Tarefa causcibench_real.q009
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494dVeredito
0.05209422598 vs 0.132Família do método (das chamadas de ferramentas): ols (regression)
Pergunta feita ao analista
What is the effect of education on earnings?
Estimativa ingênua (infer.ols): coef.educ = 0,05209.
Valores esperados e de onde vêm
causcibench_real.gold.q009
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 9
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 9: fields effect and std_error
- Trecho
id 9 effect 0.132 std_error 0.049
- Valor como publicado
0.132- Erro-padrão como publicado
0.049- Valor
- 0,132
0.132(se 0,0490.049) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
- #1 figura da resposta próxima: 0,132
0.132· relativa 0.05
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 1 | figura da resposta próxima 0.05209422598 vs 0.132 | obrigatória | falhou | 0,1320.132 | 0,05209420.052094225980016 | relativa 0.05 | causcibench_real.gold.q009 | call_ee5c944e |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
caminho de referência do item · metadata_rule
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| controls | — | [] | não fixado pela referência |
| dataset | "card_using_geographic" | "card_using_geographic" | igual |
| endog | ["educ"] | — | ausente |
| exog | ["exper","black","south","smsa"] | — | ausente |
| fe | — | [] | não fixado pela referência |
| instruments | ["nearc4"] | — | ausente |
| intercept | — | true | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| se | — | "HC1" | não fixado pela referência |
| subset | — | — | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| x | — | ["educ"] | não fixado pela referência |
| y | "lwage" | "lwage" | igual |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
What is the effect of education on earnings?
card_using_geographic(agent)The National Longitudinal Survey of Young Men (NLSYM) was conducted to collect data on demographics, education, and employment outcomes. Participants were tracked over time to study long-term patterns. The dataset used here comes from the 1976 wave of the survey. Variables include: lwage: log of wages educ: years of education exper: years of work experience black: 1 if the individual is Black, 0 otherwise south: 1 if the individual lives in a southern state, 0 otherwise married: 1 if married, 0 otherwise smsa: 1 if living in a metropolitan area, 0 otherwise nearc4: 1 if there is a four-year college in the county, 0 otherwise
filedcfffbe5294890880a8ed65da6cbca819980978b844109f455b82a24df671da7· frame — - 1Turno do modelo
call_d3e702b7naive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelLinha de base ingênua: regressão do resultado no tratamento, sem controles.
Chamadas pedidasinfer.ols{ "dataset": "card_using_geographic", "x": [ "educ" ], "y": "lwage" }
- 2Ferramenta
infer.olsv0.1.0call_ee5c944edecidido pelo modeloreexecutávelMotivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.
Argumentos
{ "cluster": null, "controls": [], "dataset": "card_using_geographic", "fe": [], "intercept": true, "level": 0.95, "se": "HC1", "subset": null, "weights": null, "x": [ "educ" ], "y": "lwage" }Figuras call_ee5c944e Chave Valor Valor bruto Erro-padrão IC coef.educ Coefficient on educ in the regression of lwage0,0520942 0.0520942259800160,00290688 0.00290687702175222020,0463946 – 0,0577939 Diagnósticosn_obs= 3.0103010k= 22r2= 0,09873650.09873649180201338df_resid= 3.0083008se_type="HC1"n_clusters= —
Tabelas (1)
{ "coefficients": [ { "ci_high": 5.64753513180526, "ci_low": 5.494229871838819, "coef": 5.570882501822039, "p": 0, "se": 0.03909346659945462, "t": 142.5016246039372, "term": "Intercept" }, { "ci_high": 0.057793893677385355, "ci_low": 0.046394558282646645, "coef": 0.052094225980016, "p": 2.553331122189117e-68, "se": 0.0029068770217522202, "t": 17.921028509356894, "term": "educ" } ] }- Digests dos dados
card_using_geographicfd36ea13401cd25c416c67b7584a5b20159e46d536946a8ce8b8f94b3fa774f0- sha256 do resultado
6308fd0d3819a0dead0855a78f6831dc6c1208c6ae07bbea690889aa945d4ade
- 3Turno do modelo
call_8561f0bcnaive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa ingênua (infer.ols): coef.educ = 0,05209.", "caveats": [], "figure_refs": [ "call_ee5c944e:coef.educ" ] }
- 4Guardaresposta aceita
- Números encontrados
- 0,05209
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa ingênua (infer.ols): coef.educ = 0,05209.
Figuras citadas:call_ee5c944e:coef.educ· Parada:answeredFigura da resposta:call_ee5c944e:coef.educ= 0,05209420.052094225980016(se 0,002906880.0029068770217522202) - 6Pontuação#0resposta com lastropassouobrigatória
every number backed - 7Pontuação#1figura da resposta próximafalhouobrigatória
0.05209422598 vs 0.132
Épocas × verificações
| # | 0 | 1 |
|---|---|---|
| Época 1 | passou | falhou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1falhoupontuada(exibindo)
Downloads desta tarefa
0c0f35fdec6768d3d95055532602cf6dd99c8e35b9f81b445f8e6c6fb7c1227bO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/45413c989fc00e0f8a16fc8d84cd08cf0d265d1592ad0677984215ecf691122c.json | 69 B | 45413c989fc00e0f8a16fc8d84cd08cf0d265d1592ad0677984215ecf691122c |
| attachments/4a52d096592baafa7c2474786e22801693a74d897026a9d5990c412ab5a30095.json | 1,1 KB | 4a52d096592baafa7c2474786e22801693a74d897026a9d5990c412ab5a30095 |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| attachments/744dbc52b27969ca37ea0e122df73fe13f0ea7db5ddb04f3fa1c9c828a2741df.json | 236 B | 744dbc52b27969ca37ea0e122df73fe13f0ea7db5ddb04f3fa1c9c828a2741df |
| attachments/7817997586ba325328de60eda04aa7902668676fd65d12879f79836e1af04d16.json | 968 B | 7817997586ba325328de60eda04aa7902668676fd65d12879f79836e1af04d16 |
| attachments/d94375674134cb766c5fbedfcd6e753e1e948edbf7ed807f97a9c617bb06e16a.json | 862 B | d94375674134cb766c5fbedfcd6e753e1e948edbf7ed807f97a9c617bb06e16a |
| native/causcibench_real/causcibench_real.q009.e1.a1.json | 1,6 KB | f7604274addda35e14f3fd48adcc8e246b8c6c5d004f675e9ed37c194634f6b0 |
| sources/causcibench_real.gold.q009.json | 1,2 KB | d81d421027195ec4796c4ba597b7c81c7c8a9593955712ae67fd120f3ccfde9a |
| specs/causcibench_real.q009.json | 4,6 KB | a366e1b3c0c63fc14d480bf3d4b055f9b605c5a7b8b07cd2083ffbc12e958097 |
| traces/causcibench_real.q009.e1.a1.jsonl | 11,7 KB | 2af1d832bf9589459ff7ae784239b214d8d1b533e10c97f24de42ba16155e458 |
| trajectories/causcibench_real.q009.e1.a1.jsonl | 9,0 KB | 3df5c4cb5bee0c2618162b632c92a6590156a5ca89484b8c31b76e7ad381b7f9 |