Tarefa crb_papers.q109

crb_papersagentT2publicépoca 1, tentativa 1Execução: 20261015T170925Z-suite-crb_papers-scripted-2dbcf5

Veredito

puladaPulada: falta um recurso que a tarefa exige.

Motivo: no reference path (coverage gap)

Pergunta feita ao analista

What is the average effect of nominating an extremist (versus a moderate) U.S. House candidate on that party's share of general-election turnout in 2006-2014 contested primaries?

Valores esperados e de onde vêm

crb_papers.q109.gold

Fonte: CausalReasoningBenchmark, causal_queries.json, index 109 (revision edd0fe1c1d1c)
Tipo: benchmark_gold
Localização: causal_queries.json['109'].effect and .standard_error
Trecho: index 109: effect -0.0864194, standard_error 0.0440451
Valor como publicado: -0.08641935780540233
Erro-padrão como publicado: 0.04404510666000531
Valor: -0,0864194-0.08641935780540233 (se 0,04404510.04404510666000531)
Conferido por: arquivo do benchmark · Read from the catalog at the pinned revision by scripts/freeze_crb_papers.py; the catalog states the value its estimation script prints.
Endereço: https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/causal_queries.json
Licença: MIT

crb_papers.q109.script

Fonte: CausalReasoningBenchmark reference estimation script for index 109
Tipo: software
Localização: solutions/research_papers/RDD/hall_thompson_2018/question_1/estimation.py
Valor: —
Conferido por: arquivo do benchmark · sha256 of the script's 1446 bytes at the pinned revision; the reference path of the item is a transcription of this script into typed transforms and tool calls (never executed here).
Implementação: independente da ferramenta
sha256 da cópia lida: 6b5036dae700d297740e850df0f0b024d4a6cd0c709677e09f52953862afdfad (identifica a cópia lida, não um arquivo canônico)
Endereço: https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/solutions/research_papers/RDD/hall_thompson_2018/question_1/estimation.py
Licença: MIT

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#	Verificação	Obrigatória	Resultado	Esperado	Observado	Tolerância	Fonte	Chamada

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

Nenhum caminho de referência registrado para esta tarefa.

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

Esta tentativa não tem trajetória publicada.

Épocas × verificações

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

época 1, tentativa 1puladapontuada(exibindo)no reference path (coverage gap)

Downloads desta tarefa

Pacote da tarefa (.zip)

63,5 KB · sha256 04fb3e791457d5bd05cc86cebad578f9080932573459a04df1a5d7572a92aaae

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
Arquivo	Tamanho	sha256
native/crb_papers/crb_papers.q109.e1.a1.json	2,7 KB	`2a2b87bfe2af4895e89af87b7c534b0d9de0ce631b17337f17f798c7866cf3e1`
sources/crb_papers.q109.gold.json	1,1 KB	`886956b99bd9b57a1a2ea2dfe883b815feae9a3c5fea8a638a989c5471404ad0`
sources/crb_papers.q109.script.json	1,1 KB	`9de5e40f7f4137956e15495c49141c3c566241cf71e05df3a7dac0c606be2d46`
specs/crb_papers.q109.json	28,3 KB	`4806b234be1ab860a4b810167d5fe53f95c2517f062e927b2bef116208b87666`