Tarefa causcibench_real.q109
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01dVeredito
Família do método (das chamadas de ferramentas): did (OLS with unit and time fixed effects; the regressor varies within unit)
Pergunta feita ao analista
What is the effect of the Merit scholarship on college attendance ?
Estimativa (infer.ols): coef.merit = 0,03375.
Valores esperados e de onde vêm
causcibench_real.gold.q109
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 109
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 109: fields effect and std_error
- Trecho
id 109 effect 0.034 std_error 0.013
- Valor como publicado
0.034- Erro-padrão como publicado
0.013- Valor
- 0,034
0.034(se 0,0130.013) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
- #1 figura da resposta próxima: 0,034
0.034· relativa 0.05
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 1 | figura da resposta próxima 0.03374649486 vs 0.034 | obrigatória | passou | 0,0340.034 | 0,03374650.03374649485631394 | relativa 0.05 | causcibench_real.gold.q109 | call_f6026342 |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
caminho de referência do item · metadata_rule
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| controls | ["male","black","asian"] | ["male","black","asian"] | igual |
| dataset | "conley_inference_with_merit" | "conley_inference_with_merit" | igual |
| fe | ["state","year"] | ["state","year"] | igual |
| intercept | — | true | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| se | — | "HC1" | não fixado pela referência |
| subset | — | — | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| x | ["merit"] | ["merit"] | igual |
| y | "coll" | "coll" | igual |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
What is the effect of the Merit scholarship on college attendance ?
conley_inference_with_merit(agent)Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: coll: Whether the person is enrolled in college (1 = yes, 0 = no) merit: Statewide merit-aid program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC) chst: ""Changer state"" flag (1 = state that adopts a merit program during the sample window, 0 = otherwise)
fileab17c09dc39124fed9d72a4c0801c5b7179696c2f1b894d8052ce8326f759ef1· frame — - 1Turno do modelo
call_a961cee8referenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelcauscibench_metadata_rule/1: did
Chamadas pedidasinfer.ols{ "controls": [ "male", "black", "asian" ], "dataset": "conley_inference_with_merit", "fe": [ "state", "year" ], "x": [ "merit" ], "y": "coll" }
- 2Ferramenta
infer.olsv0.1.0call_f6026342decidido pelo modeloreexecutávelMotivo: causcibench_metadata_rule/1: did
Argumentos
{ "cluster": null, "controls": [ "male", "black", "asian" ], "dataset": "conley_inference_with_merit", "fe": [ "state", "year" ], "intercept": true, "level": 0.95, "se": "HC1", "subset": null, "weights": null, "x": [ "merit" ], "y": "coll" }Figuras call_f6026342 Chave Valor Valor bruto Erro-padrão IC coef.merit Coefficient on merit in the regression of coll0,0337465 0.033746494856313940,0145166 0.0145165952520584660,00529367 – 0,0621993 Diagnósticosn_obs= 42.16142161k= 6666r2= 0,03304770.03304774668449051df_resid= 42.09542095se_type="HC1"n_clusters= —fixed_effects="state (51 levels), year (12 levels)"
Tabelas (1)
{ "coefficients": [ { "ci_high": 0.49185081640581074, "ci_low": 0.3919317859712047, "coef": 0.4418913011885077, "p": 4.2808901704330336e-67, "se": 0.025489284046858827, "t": 17.336355951628395, "term": "Intercept" }, { "ci_high": 0.062199316836930474, "ci_low": 0.005293672875697399, "coef": 0.03374649485631394, "p": 0.020093601752805158, "se": 0.014516595252058466, "t": 2.3246838718279106, "term": "merit" }, { "ci_high": -0.06950484399034054, "ci_low": -0.08818807638425111, "coef": -0.07884646018729582, "p": 2.7980724355651683e-61, "se": 0.004766081249292487, "t": -16.54324718006022, "term": "male" }, { "ci_high": -0.13601544380580996, "ci_low": -0.1647222040328247, "coef": -0.15036882391931733, "p": 3.0970750485704783e-93, "se": 0.0073230771186309, "t": -20.533557339818078, "term": "black" }, { "ci_high": 0.19531007763076957, "ci_low": 0.14259083041481102, "coef": 0.1689504540227903, "p": 3.9346713008997574e-36, "se": 0.013448647982063836, "t": 12.562634864717687, "term": "asian" } ] }- Digests dos dados
conley_inference_with_merite8e2a51104ccc15dad142f997ce73a6a0e3e5ce984dfebfc62c7cf412802bdfc- sha256 do resultado
1038a1bda0ddb498d80878cbcf1f388b72fd83f10b5fdc560f723156689f7ae5
- 3Turno do modelo
call_a4391b07referenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa (infer.ols): coef.merit = 0,03375.", "caveats": [], "figure_refs": [ "call_f6026342:coef.merit" ] }
- 4Guardaresposta aceita
- Números encontrados
- 0,03375
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa (infer.ols): coef.merit = 0,03375.
Figuras citadas:call_f6026342:coef.merit· Parada:answeredFigura da resposta:call_f6026342:coef.merit= 0,03374650.03374649485631394(se 0,01451660.014516595252058466) - 6Pontuação#0resposta com lastropassouobrigatória
every number backed - 7Pontuação#1figura da resposta próximapassouobrigatória
0.03374649486 vs 0.034
Épocas × verificações
| # | 0 | 1 |
|---|---|---|
| Época 1 | passou | passou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1passoupontuada(exibindo)
Downloads desta tarefa
524929fe32a17248f14ab95f6223a47fe02254f6779b97e6bee1d5ff924b275aO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e.json | 92 B | 070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e |
| attachments/1b9b542d5e6fd12486b7d5924963c1b104ee7cc7b3b2402c58c64b6e760d11ad.json | 247 B | 1b9b542d5e6fd12486b7d5924963c1b104ee7cc7b3b2402c58c64b6e760d11ad |
| attachments/2a54e999db8f467ea5fae22c48a1567c8294633de07fa5b8c21d12104fc73730.json | 1,4 KB | 2a54e999db8f467ea5fae22c48a1567c8294633de07fa5b8c21d12104fc73730 |
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd.json | 1,2 KB | 4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd |
| attachments/4e52326576141673a06bc62e56faa0c62be21f71269351df7562ce7f3921bbf0.json | 1,3 KB | 4e52326576141673a06bc62e56faa0c62be21f71269351df7562ce7f3921bbf0 |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| native/causcibench_real/causcibench_real.q109.e1.a1.json | 1,8 KB | a12dafa95de209a34447535c1cc2e6a11392e8a3820400d4ffe9c493eea57ebb |
| sources/causcibench_real.gold.q109.json | 1,2 KB | 651a4f3d8ee253546bf12d3e15626ee33d24af929f5ed227a30b68dc1d87caef |
| specs/causcibench_real.q109.json | 4,9 KB | 51090725f86fc4f515e3933ceaad79b1a65318ab249bc84a545d166eef427437 |
| traces/causcibench_real.q109.e1.a1.jsonl | 12,7 KB | 69fc59bc9b8f31a7dc8d391eaa44140f5b6f0ceb7c64d6989dded27458166979 |
| trajectories/causcibench_real.q109.e1.a1.jsonl | 10,0 KB | 4c561c2f86e9947053a24601fafd07c551fd1173b4fbf006e9ec80ecb87fdc41 |