Tarefa causcibench_real.q109
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494dVeredito
-0.04611369246 vs 0.034Família do método (das chamadas de ferramentas): ols (regression)
Pergunta feita ao analista
What is the effect of the Merit scholarship on college attendance ?
Estimativa ingênua (infer.ols): coef.merit = -0,04611.
Valores esperados e de onde vêm
causcibench_real.gold.q109
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 109
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 109: fields effect and std_error
- Trecho
id 109 effect 0.034 std_error 0.013
- Valor como publicado
0.034- Erro-padrão como publicado
0.013- Valor
- 0,034
0.034(se 0,0130.013) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
- #1 figura da resposta próxima: 0,034
0.034· relativa 0.05
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 1 | figura da resposta próxima -0.04611369246 vs 0.034 | obrigatória | falhou | 0,0340.034 | -0,0461137-0.04611369246417185 | relativa 0.05 | causcibench_real.gold.q109 | call_7725ee5a |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
caminho de referência do item · metadata_rule
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| controls | ["male","black","asian"] | [] | diferente |
| dataset | "conley_inference_with_merit" | "conley_inference_with_merit" | igual |
| fe | ["state","year"] | [] | diferente |
| intercept | — | true | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| se | — | "HC1" | não fixado pela referência |
| subset | — | — | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| x | ["merit"] | ["merit"] | igual |
| y | "coll" | "coll" | igual |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
What is the effect of the Merit scholarship on college attendance ?
conley_inference_with_merit(agent)Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: coll: Whether the person is enrolled in college (1 = yes, 0 = no) merit: Statewide merit-aid program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC) chst: ""Changer state"" flag (1 = state that adopts a merit program during the sample window, 0 = otherwise)
fileab17c09dc39124fed9d72a4c0801c5b7179696c2f1b894d8052ce8326f759ef1· frame — - 1Turno do modelo
call_1bfe7975naive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelLinha de base ingênua: regressão do resultado no tratamento, sem controles.
Chamadas pedidasinfer.ols{ "dataset": "conley_inference_with_merit", "x": [ "merit" ], "y": "coll" }
- 2Ferramenta
infer.olsv0.1.0call_7725ee5adecidido pelo modeloreexecutávelMotivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.
Argumentos
{ "cluster": null, "controls": [], "dataset": "conley_inference_with_merit", "fe": [], "intercept": true, "level": 0.95, "se": "HC1", "subset": null, "weights": null, "x": [ "merit" ], "y": "coll" }Figuras call_7725ee5a Chave Valor Valor bruto Erro-padrão IC coef.merit Coefficient on merit in the regression of coll-0,0461137 -0.046113692464171850,0104359 0.010435907932336666-0,0665683 – -0,0256591 Diagnósticosn_obs= 42.16142161k= 22r2= 0,0004512520.0004512524325973599df_resid= 42.15942159se_type="HC1"n_clusters= —
Tabelas (1)
{ "coefficients": [ { "ci_high": 0.4520233558644275, "ci_low": 0.44225618810624195, "coef": 0.4471397719853347, "p": 0, "se": 0.0024915986785095114, "t": 179.45898584792005, "term": "Intercept" }, { "ci_high": -0.025659101529590347, "ci_low": -0.06656828339875336, "coef": -0.04611369246417185, "p": 0.000009951956595718836, "se": 0.010435907932336666, "t": -4.418752327364267, "term": "merit" } ] }- Digests dos dados
conley_inference_with_merite8e2a51104ccc15dad142f997ce73a6a0e3e5ce984dfebfc62c7cf412802bdfc- sha256 do resultado
19d5e8b1930604c4ded061e2cb166a9ef8a6eda1cd658c6d1d02593e76599680
- 3Turno do modelo
call_78251b3cnaive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa ingênua (infer.ols): coef.merit = -0,04611.", "caveats": [], "figure_refs": [ "call_7725ee5a:coef.merit" ] }
- 4Guardaresposta aceita
- Números encontrados
- -0,04611
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa ingênua (infer.ols): coef.merit = -0,04611.
Figuras citadas:call_7725ee5a:coef.merit· Parada:answeredFigura da resposta:call_7725ee5a:coef.merit= -0,0461137-0.04611369246417185(se 0,01043590.010435907932336666) - 6Pontuação#0resposta com lastropassouobrigatória
every number backed - 7Pontuação#1figura da resposta próximafalhouobrigatória
-0.04611369246 vs 0.034
Épocas × verificações
| # | 0 | 1 |
|---|---|---|
| Época 1 | passou | falhou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1falhoupontuada(exibindo)
Downloads desta tarefa
5c74164c80bf43077e5b18b533558f8f7c6c89401fa0ac9f21d2d1af4b8789abO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e.json | 92 B | 070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e |
| attachments/0d0ba7f8bf6eab4c563453444cec047bfe06d952523f8e9d3940ae8e342adecc.json | 242 B | 0d0ba7f8bf6eab4c563453444cec047bfe06d952523f8e9d3940ae8e342adecc |
| attachments/164343f9ba86ca202dc856d9ae4413f295df65337bbb011db9a48c677a6e7388.json | 982 B | 164343f9ba86ca202dc856d9ae4413f295df65337bbb011db9a48c677a6e7388 |
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd.json | 1,2 KB | 4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| attachments/f89666ef6ac5e5d3ab25d5ebbb4e6d990cb4101bdbb179118e949d3a07bb21f6.json | 876 B | f89666ef6ac5e5d3ab25d5ebbb4e6d990cb4101bdbb179118e949d3a07bb21f6 |
| native/causcibench_real/causcibench_real.q109.e1.a1.json | 1,6 KB | b8741105348a25aad3971174bce0df88b522dc3dbfcb215514e3b94716062afb |
| sources/causcibench_real.gold.q109.json | 1,2 KB | 651a4f3d8ee253546bf12d3e15626ee33d24af929f5ed227a30b68dc1d87caef |
| specs/causcibench_real.q109.json | 4,9 KB | 51090725f86fc4f515e3933ceaad79b1a65318ab249bc84a545d166eef427437 |
| traces/causcibench_real.q109.e1.a1.jsonl | 12,0 KB | df59c853952722a89669cad896475378f93470c3cc3d46ea60b7ae6d25394803 |
| trajectories/causcibench_real.q109.e1.a1.jsonl | 9,3 KB | e864386008453d2a4b06e9ce053acb984bdc95c4b64ab5cfbe9a2853a1261fec |