Tarefa crb_papers.q101
crb_papersagentT2publicépoca 1, tentativa 1Execução: 20261015T170050Z-suite-crb_papers-scripted-8b13b2Veredito
puladaPulada: falta um recurso que a tarefa exige.
Motivo: no reference path (coverage gap)
Pergunta feita ao analista
What is the average effect of the party of the sitting governor on the subsequent change in that party's two-party presidential vote share in the state?
Valores esperados e de onde vêm
crb_papers.q101.gold
- Fonte
- CausalReasoningBenchmark, causal_queries.json, index 101 (revision edd0fe1c1d1c)
- Tipo
- benchmark_gold
- Localização
- causal_queries.json['101'].effect and .standard_error
- Trecho
index 101: effect -3.43876, standard_error 2.12119
- Valor como publicado
-3.438761398131504- Erro-padrão como publicado
2.121189713213744- Valor
- -3,43876
-3.438761398131504(se 2,121192.121189713213744) - Conferido por
- arquivo do benchmark · Read from the catalog at the pinned revision by scripts/freeze_crb_papers.py; the catalog states the value its estimation script prints.
- Endereço
https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/causal_queries.json- Licença
- MIT
crb_papers.q101.script
- Fonte
- CausalReasoningBenchmark reference estimation script for index 101
- Tipo
- software
- Localização
- solutions/research_papers/RDD/erikson_etal_2015/question_1/estimation.py
- Valor
- —
- Conferido por
- arquivo do benchmark · sha256 of the script's 936 bytes at the pinned revision; the reference path of the item is a transcription of this script into typed transforms and tool calls (never executed here).
- Implementação
- independente da ferramenta
- sha256 da cópia lida
7321aeb430c257cad5c28253d17fd102f273c11ef3115e1365ec3ec4c0dd7331(identifica a cópia lida, não um arquivo canônico)- Endereço
https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/solutions/research_papers/RDD/erikson_etal_2015/question_1/estimation.py- Licença
- MIT
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
Nenhum caminho de referência registrado para esta tarefa.
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
Esta tentativa não tem trajetória publicada.
Épocas × verificações
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1puladapontuada(exibindo)
no reference path (coverage gap)
Downloads desta tarefa
Pacote da tarefa (.zip)
61,0 KB · sha256
b71c5ec13591e178b34a53f1b842d30561a5e15c82a15ea6b4c0a51d23910f2fO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| native/crb_papers/crb_papers.q101.e1.a1.json | 2,7 KB | 095457107b155f5b3231d85f558988401a46b6da20562182fd7b0259c35104e4 |
| sources/crb_papers.q101.gold.json | 1,1 KB | abce6d71293483e5d86f80d71e0d3aeadcab36916558f24fcc4d25e0f8f1c438 |
| sources/crb_papers.q101.script.json | 1,1 KB | 48f0b90622b1a7a617a45ec4e69b2a9bca9b8204fae94f2278d823c1f321980a |
| specs/crb_papers.q101.json | 6,2 KB | 9885c454808285bdbba371dcdd3df4ade85f10fef653714ee85529ec87bc8eaa |