Tarefa causcibench_real.q005
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01dVeredito
Família do método (das chamadas de ferramentas): ols (regression)
Pergunta feita ao analista
What is the effect of the training program on job earnings for 1978?
Estimativa (infer.ols): coef.treat = 1673.
Valores esperados e de onde vêm
causcibench_real.gold.q005
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 5
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 5: fields effect and std_error
- Trecho
id 5 effect 1672.204 std_error 638.397
- Valor como publicado
1672.204- Erro-padrão como publicado
638.397- Valor
- 1.672,2
1672.204(se 638,397638.397) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
- #1 figura da resposta próxima: 1.672,2
1672.204· relativa 0.05
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 1 | figura da resposta próxima 1673.484813 vs 1672.204 | obrigatória | passou | 1.672,21672.204 | 1.673,481673.4848130406144 | relativa 0.05 | causcibench_real.gold.q005 | call_093e937c |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
caminho de referência do item · metadata_rule
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| controls | ["age","education","black","hispanic","nodegree","re74","re75"] | ["age","education","black","hispanic","nodegree","re74","re75"] | igual |
| dataset | "dehejia_propensity_score" | "dehejia_propensity_score" | igual |
| fe | — | [] | não fixado pela referência |
| intercept | — | true | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| se | — | "HC1" | não fixado pela referência |
| subset | — | — | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| x | ["treat"] | ["treat"] | igual |
| y | "re78" | "re78" | igual |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
What is the effect of the training program on job earnings for 1978?
dehejia_propensity_score(agent)The data originates from the National Supported Work (NSW) Demonstration, which was a temporary employment program created to assist disadvantaged workers lacking basic job skills in entering the labor market. The NSW program randomly assigned qualified applicants to either a treatment group, which received the benefits of the NSW program, or a control group, which did not. Participants in the treatment group were guaranteed a job for a duration of 9 to 18 months. Variables Measured: treat: whether the applicant received the training (1 if received training, 0 otherwise) age: measured in years education: measured in years black: indicating race (1 if Black, 0 otherwise) hispanic: indicating race (1 if Hispanic, 0 otherwise) married: indicating marital status (1 if married, 0 otherwise) nodegree: indicating high school diploma (1 if no degree, 0 otherwise) re74: real earnings in 1974 re75: real earnings in 1975 re78: real earnings in 1978
file301ac38a23accac1694b5be91c3967dc22fc38c70c3a82ab4d67786194a816eb· frame — - 1Turno do modelo
call_a6a48ce7referenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelcauscibench_metadata_rule/1: ols
Chamadas pedidasinfer.ols{ "controls": [ "age", "education", "black", "hispanic", "nodegree", "re74", "re75" ], "dataset": "dehejia_propensity_score", "x": [ "treat" ], "y": "re78" }
- 2Ferramenta
infer.olsv0.1.0call_093e937cdecidido pelo modeloreexecutávelMotivo: causcibench_metadata_rule/1: ols
Argumentos
{ "cluster": null, "controls": [ "age", "education", "black", "hispanic", "nodegree", "re74", "re75" ], "dataset": "dehejia_propensity_score", "fe": [], "intercept": true, "level": 0.95, "se": "HC1", "subset": null, "weights": null, "x": [ "treat" ], "y": "re78" }Figuras call_093e937c Chave Valor Valor bruto Erro-padrão IC coef.treat Coefficient on treat in the regression of re781.673,48 1673.4848130406144674,783 674.7829621510485347,253 – 2.999,72 Diagnósticosn_obs= 445445k= 99r2= 0,05477590.05477593527479674df_resid= 436436se_type="HC1"n_clusters= —
Tabelas (1)
{ "coefficients": [ { "ci_high": 7182.123043828514, "ci_low": -5490.240895975875, "coef": 845.9410739263195, "p": 0.7931351554241328, "se": 3223.8312657192605, "t": 0.2624024039104242, "term": "Intercept" }, { "ci_high": 2999.716642802574, "ci_low": 347.25298327865494, "coef": 1673.4848130406144, "p": 0.01351360757422965, "se": 674.7829621510485, "t": 2.480034184185594, "term": "treat" }, { "ci_high": 129.75241215226677, "ci_low": -21.987781624847635, "coef": 53.882315263709565, "p": 0.16347759403489867, "se": 38.60248831935864, "t": 1.395824922423156, "term": "age" }, { "ci_high": 775.2571909492856, "ci_low": 10.556874784264267, "coef": 392.9070328667749, "p": 0.044027201639168234, "se": 194.53866696605093, "t": 2.0196860551909785, "term": "education" }, { "ci_high": -187.2894716780038, "ci_low": -4150.941061935906, "coef": -2169.115266806955, "p": 0.03201246953332277, "se": 1008.3472968255468, "t": -2.151158904908763, "term": "black" }, { "ci_high": 2810.8037026792404, "ci_low": -2510.45613851364, "coef": 150.17378208280005, "p": 0.9117196676556997, "se": 1353.7208945814664, "t": 0.11093408004847978, "term": "hispanic" }, { "ci_high": 1937.5247546627015, "ci_low": -2086.8071684256756, "coef": -74.64120688148705, "p": 0.9419134284974374, "se": 1023.7842867291178, "t": -0.07290716203503943, "term": "nodegree" }, { "ci_high": 0.29089481574977305, "ci_low": -0.12580340721038863, "coef": 0.0825457042696922, "p": 0.43659154108520354, "se": 0.10600743207264302, "t": 0.7786784629697157, "term": "re74" }, { "ci_high": 0.28312625770366157, "ci_low": -0.18688561601191228, "coef": 0.04812032084587463, "p": 0.6875548247101434, "se": 0.11957034859014228, "t": 0.40244359419590925, "term": "re75" } ] }- Digests dos dados
dehejia_propensity_score7d37e4b64ffef37edc3d25e43f6438624dff60ce4635743ba588b9beb6ba3965- sha256 do resultado
39e9cb682e166782067bae57ad3064c61d4568e78decb0900301f3325e6693bc
- 3Turno do modelo
call_22be961breferenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa (infer.ols): coef.treat = 1673.", "caveats": [], "figure_refs": [ "call_093e937c:coef.treat" ] }
- 4Guardaresposta aceita
- Números encontrados
- 1673
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa (infer.ols): coef.treat = 1673.
Figuras citadas:call_093e937c:coef.treat· Parada:answeredFigura da resposta:call_093e937c:coef.treat= 1.673,481673.4848130406144(se 674,783674.7829621510485) - 6Pontuação#0resposta com lastropassouobrigatória
every number backed - 7Pontuação#1figura da resposta próximapassouobrigatória
1673.484813 vs 1672.204
Épocas × verificações
| # | 0 | 1 |
|---|---|---|
| Época 1 | passou | passou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1passoupontuada(exibindo)
Downloads desta tarefa
9afd2c4d4fa4b245c118be37d9b9cd3a6506e2e7053a3115416b221e4cdd0409O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62.json | 93 B | 225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62 |
| attachments/33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20.json | 1,4 KB | 33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20 |
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| attachments/5b64d8ec3b013c549b2e6a25b46562435a5d29be32a445fe3bc7bdfd29629d82.json | 1,6 KB | 5b64d8ec3b013c549b2e6a25b46562435a5d29be32a445fe3bc7bdfd29629d82 |
| attachments/66144bdf795efdac571f238096cc3d85ff4dbc52ca500ec881236e5f3623690a.json | 261 B | 66144bdf795efdac571f238096cc3d85ff4dbc52ca500ec881236e5f3623690a |
| attachments/dbfe5391f001272eeb323e04c67e7972f060e2e49dd5c89d2c80f04ec0b78075.json | 1,7 KB | dbfe5391f001272eeb323e04c67e7972f060e2e49dd5c89d2c80f04ec0b78075 |
| native/causcibench_real/causcibench_real.q005.e1.a1.json | 1,8 KB | 195984452936e6809c7773591c96b25fa6f9d0989d8d0765d34fcffa7d897b1f |
| sources/causcibench_real.gold.q005.json | 1,2 KB | 8f5fb49e4148529f7013b9eb46bda9a47e5d408bc6bdd33a760409152a44e745 |
| specs/causcibench_real.q005.json | 5,0 KB | 9a120beb84a62b7c049760d052c75abacde4214b14731508d02bd0da252bb99a |
| traces/causcibench_real.q005.e1.a1.jsonl | 13,4 KB | 125680c8216fec6ee22bd3f12be6ae7802b5ccb38cc3b17e33ee6f7afe76ec35 |
| trajectories/causcibench_real.q005.e1.a1.jsonl | 10,5 KB | 9294a2316a7368767219f19fc2750f609c30bd9a2a14347bae6cf6363e44e606 |