Tarefa causcibench_real.q058
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494dVeredito
0.001609131427 vs 0.003Família do método (das chamadas de ferramentas): ols (regression)
Pergunta feita ao analista
How does an increase in presidential advertising intensity (measured in Gross Ratings Points) affect voter turnout in the presidential election?
Estimativa ingênua (infer.ols): coef.prezg = 0,001609.
Valores esperados e de onde vêm
causcibench_real.gold.q058
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 58
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 58: fields effect and std_error
- Trecho
id 58 effect 0.003 std_error 0.001
- Valor como publicado
0.003- Erro-padrão como publicado
0.001- Valor
- 0,003
0.003(se 0,0010.001) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
- #1 figura da resposta próxima: 0,003
0.003· relativa 0.05
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 1 | figura da resposta próxima 0.001609131427 vs 0.003 | obrigatória | falhou | 0,0030.003 | 0,001609130.0016091314272217913 | relativa 0.05 | causcibench_real.gold.q058 | call_8cb94e6c |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
caminho de referência do item · metadata_rule
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| controls | ["senate"] | [] | diferente |
| dataset | "krasno_do_televised" | "krasno_do_televised" | igual |
| fe | — | [] | não fixado pela referência |
| intercept | — | true | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| se | — | "HC1" | não fixado pela referência |
| subset | — | — | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| x | ["prezg"] | ["prezg"] | igual |
| y | "turn00" | "turn00" | igual |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
How does an increase in presidential advertising intensity (measured in Gross Ratings Points) affect voter turnout in the presidential election?
krasno_do_televised(agent)The dataset aggregates information for 128 ""media zones,"" defined as the intersection of a state and a media market, from the 2000 U.S. presidential election. It combines data on voter turnout, television advertising, candidate visits, and voter contact to study how presidential TV ads influenced voter participation. Advertising measures come from the Campaign Media Analysis Group (CMAG), turnout and population statistics are drawn from the America Votes series and the U.S. Census, candidate visit data are taken from Althaus, Nardulli, and Shaw (2002), and voter contact rates are based on the 2000 Annenberg survey. Data variables are: state: State dma: Media Market turn00: Turnout of voting-age citizens, 2000 turn96: Turnout of voting-age citizens, 1996 turn92: Turnout of voting-age citizens, 1992 turn88: Turnout of voting-age citizens, 1988 turn90: Turnout of voting-age citizens, 1990 turn94: Turnout of voting-age citizens, 1994 turn98: Turnout of voting-age citizens, 1998 senate: Turnout in most recent Senate election ('98 or '94) prezg: Presidential ad GRPs seng: Senatorial ad GRPs hseg: House ad GRPs issg: Issue ad GRPs othg: Other office ad GRPs govg: Gubernatorial ad GRPs balg: Ballot initiative ad GRPs pq: p(1 - p) p: Turnout in 2000 sum_grp: GRPs - all ads starting 7/1/2000 fall_grp: GRPs - all ads starting 9/1/2000 yr_grp: GRPs - all ads starting 1/1/2000 bush: Number of candidate visits by Bush cheney: Number of candidate visits by Cheney gore: Number of candidate visits by Gore lieb: Number of candidate visits by Lieberman n0901: Number polled 9/1/2000 cont0901: Proportion reporting being contacted about presidential election, 9/1/2000 n1001: Number polled 10/1/2000 cont1001: Proportion reporting being contacted about presidential election, 10/1/2000 n1016: Number polled 10/16/2000 cont1016: Proportion reporting being contacted about presidential election, 10/16/2000 yr_att: Attack ad GRPs - starting 1/1/2000 yr_cont: Contrast ad GRPs - starting 1/1/2000 yr_pro: Promotional ad GRPs - starting 1/1/2000 sum_att: Attack ad GRPs - starting 7/1/2000 sum_cont: Contrast ad GRPs - starting 7/1/2000 sum_pro: Promotional ad GRPs - starting 7/1/2000 fall_att: Attack ad GRPs - starting 9/1/2000 fall_con: Contrast ad GRPs - starting 9/1/2000 fall_pro: Promotional ad GRPs - starting 9/1/2000 end_grp: GRPs - all ads, final three weeks end_att: Attack ad GRPs - final three weeks end_cont: Contrast ad GRPs - final three weeks end_pro: Promotional ad GRPs - final three weeks lncpop00: Log of citizen population, 2000 bg: Indicator for battleground state
file557f9bcc8be77116fb5f38df0e569469eadc7072aecd833022441be593288801· frame — - 1Turno do modelo
call_f621369anaive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelLinha de base ingênua: regressão do resultado no tratamento, sem controles.
Chamadas pedidasinfer.ols{ "dataset": "krasno_do_televised", "x": [ "prezg" ], "y": "turn00" }
- 2Ferramenta
infer.olsv0.1.0call_8cb94e6cdecidido pelo modeloreexecutávelMotivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.
Argumentos
{ "cluster": null, "controls": [], "dataset": "krasno_do_televised", "fe": [], "intercept": true, "level": 0.95, "se": "HC1", "subset": null, "weights": null, "x": [ "prezg" ], "y": "turn00" }Figuras call_8cb94e6c Chave Valor Valor bruto Erro-padrão IC coef.prezg Coefficient on prezg in the regression of turn000,00160913 0.00160913142722179130,00141032 0.0014103229188498433-0,00118186 – 0,00440012 Diagnósticosn_obs= 128128k= 22r2= 0,01094190.010941939209753948df_resid= 126126se_type="HC1"n_clusters= —
Tabelas (1)
{ "coefficients": [ { "ci_high": 0.5501259167616187, "ci_low": 0.5200789017826023, "coef": 0.5351024092721105, "p": 4.2967657586936264e-103, "se": 0.007591576890731079, "t": 70.48633201956272, "term": "Intercept" }, { "ci_high": 0.004400119022939245, "ci_low": -0.0011818561684956627, "coef": 0.0016091314272217913, "p": 0.256047739487561, "se": 0.0014103229188498433, "t": 1.1409666578588127, "term": "prezg" } ] }- Digests dos dados
krasno_do_televised9f4481d6eb3625cb6ec3d7b118be772ed1005e9362338b857e01fda87c3115ec- sha256 do resultado
820d3f6f4e3bc7472f77c94d729d2d48e79649334c8a61c4316993ce8619a585
- 3Turno do modelo
call_27681b78naive-olsFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa ingênua (infer.ols): coef.prezg = 0,001609.", "caveats": [], "figure_refs": [ "call_8cb94e6c:coef.prezg" ] }
- 4Guardaresposta aceita
- Números encontrados
- 0,001609
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa ingênua (infer.ols): coef.prezg = 0,001609.
Figuras citadas:call_8cb94e6c:coef.prezg· Parada:answeredFigura da resposta:call_8cb94e6c:coef.prezg= 0,001609130.0016091314272217913(se 0,001410320.0014103229188498433) - 6Pontuação#0resposta com lastropassouobrigatória
every number backed - 7Pontuação#1figura da resposta próximafalhouobrigatória
0.001609131427 vs 0.003
Épocas × verificações
| # | 0 | 1 |
|---|---|---|
| Época 1 | passou | falhou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1falhoupontuada(exibindo)
Downloads desta tarefa
51683b812f6e974a669b293ea0d0f46bf02ff91ace44870253d5e633a184a0efO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/37effd2a5a31a064757a6424666857c1648c05b609303a920d90ac304da457eb.json | 5,1 KB | 37effd2a5a31a064757a6424666857c1648c05b609303a920d90ac304da457eb |
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| attachments/554d2209ffbb9f47d524430ec003dc95954811ae6aab2ef0a768681c6c21dcab.json | 169 B | 554d2209ffbb9f47d524430ec003dc95954811ae6aab2ef0a768681c6c21dcab |
| attachments/57b2331653bc9fa729add358236cd549e2e28c5f2797d9a221fe1ca3dbecbfec.json | 236 B | 57b2331653bc9fa729add358236cd549e2e28c5f2797d9a221fe1ca3dbecbfec |
| attachments/5cb3d3af6956b4ebf44304d0e3b496fda3cd2c0e52c33a9efe548ae56c673a22.json | 990 B | 5cb3d3af6956b4ebf44304d0e3b496fda3cd2c0e52c33a9efe548ae56c673a22 |
| attachments/76c2c3eb2bc4bd63dc7e300af0ae8468cb9c81a43779a9a93dbffb8be2d87e65.json | 884 B | 76c2c3eb2bc4bd63dc7e300af0ae8468cb9c81a43779a9a93dbffb8be2d87e65 |
| native/causcibench_real/causcibench_real.q058.e1.a1.json | 1,7 KB | e92fb2d4275af24f7f1ced0930c945214dc1e5ab28191fb2643cea0b40f2bfef |
| sources/causcibench_real.gold.q058.json | 1,2 KB | 330496274dccefcace7e4fea36a4b631d37457ea61d240ca38332caf110ded37 |
| specs/causcibench_real.q058.json | 6,5 KB | a7e8e184dcb15ec67a480136868819cc6166de295c064db50cb6f69f83d9f52a |
| traces/causcibench_real.q058.e1.a1.jsonl | 15,9 KB | 82bc74d733e846b1908b71a8804f84cb13d7fe4d1c8fe37c04b37e7f34bf16a3 |
| trajectories/causcibench_real.q058.e1.a1.jsonl | 11,1 KB | a9a1afba9e169d5072c1a09c966186b5e3578372d84fddd75b7aa450fd474141 |