Tarefa crb_papers.q089

crb_papersagentT2publicépoca 1, tentativa 1Execução: 20261015T170050Z-suite-crb_papers-scripted-8b13b2

Veredito

puladaPulada: falta um recurso que a tarefa exige.

Motivo: no reference path (coverage gap)

Pergunta feita ao analista

Among states with gubernatorial elections decided near 50-50, what is the average effect of electing a Democratic rather than a Republican governor on the one-year change in state policy liberalism?

Valores esperados e de onde vêm

crb_papers.q089.gold

Fonte: CausalReasoningBenchmark, causal_queries.json, index 89 (revision edd0fe1c1d1c)
Tipo: benchmark_gold
Localização: causal_queries.json['89'].effect and .standard_error
Trecho: index 89: effect 0.027245, standard_error 0.0180247
Valor como publicado: 0.02724502978988668
Erro-padrão como publicado: 0.01802473822893924
Valor: 0,0272450.02724502978988668 (se 0,01802470.01802473822893924)
Conferido por: arquivo do benchmark · Read from the catalog at the pinned revision by scripts/freeze_crb_papers.py; the catalog states the value its estimation script prints.
Endereço: https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/causal_queries.json
Licença: MIT

crb_papers.q089.script

Fonte: CausalReasoningBenchmark reference estimation script for index 89
Tipo: software
Localização: solutions/research_papers/RDD/caughey_etal_2017/question_1/estimation.py
Valor: —
Conferido por: arquivo do benchmark · sha256 of the script's 1507 bytes at the pinned revision; the reference path of the item is a transcription of this script into typed transforms and tool calls (never executed here).
Implementação: independente da ferramenta
sha256 da cópia lida: 154f06f33d28ead6fe5c03050bc610b3c4f7b20e8f13a4f8063a75477f1dfdb8 (identifica a cópia lida, não um arquivo canônico)
Endereço: https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/solutions/research_papers/RDD/caughey_etal_2017/question_1/estimation.py
Licença: MIT

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#	Verificação	Obrigatória	Resultado	Esperado	Observado	Tolerância	Fonte	Chamada

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

Nenhum caminho de referência registrado para esta tarefa.

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

Esta tentativa não tem trajetória publicada.

Épocas × verificações

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

época 1, tentativa 1puladapontuada(exibindo)no reference path (coverage gap)

Downloads desta tarefa

Pacote da tarefa (.zip)

62,3 KB · sha256 db773c25afe712c4da90142e79ab56840a472d361a3f211417838b2c327f487f

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
Arquivo	Tamanho	sha256
native/crb_papers/crb_papers.q089.e1.a1.json	2,7 KB	`d1659ca6e426d490f6113d167b652759cd9c713965c74677a86468bdf8e5b940`
sources/crb_papers.q089.gold.json	1,1 KB	`278de138ecdee5a5bd5664196a274532077854b1893684c0d484a9dba1ecae8d`
sources/crb_papers.q089.script.json	1,1 KB	`e6eb06735cd311ec7c85a94b320f361137d8578d95f5386e387f847a24c02bc9`
specs/crb_papers.q089.json	18,7 KB	`9455148322e109879b256b5330d951e80c371ba6eb345494ac7d3d14f830f680`