Tarefa crb_papers.q083
crb_papersagentT2publicépoca 1, tentativa 1Execução: 20261015T170925Z-suite-crb_papers-scripted-2dbcf5Veredito
puladaPulada: falta um recurso que a tarefa exige.
Motivo: no reference path (coverage gap)
Pergunta feita ao analista
Among candidates at the win-loss margin, what is the average causal effect of holding office on the probability of running in the next election?
Valores esperados e de onde vêm
crb_papers.q083.gold
- Fonte
- CausalReasoningBenchmark, causal_queries.json, index 83 (revision edd0fe1c1d1c)
- Tipo
- benchmark_gold
- Localização
- causal_queries.json['83'].effect and .standard_error
- Trecho
index 83: effect 0.108223, standard_error 0.0525098
- Valor como publicado
0.10822290111227129- Erro-padrão como publicado
0.05250984555532867- Valor
- 0,108223
0.10822290111227129(se 0,05250980.05250984555532867) - Conferido por
- arquivo do benchmark · Read from the catalog at the pinned revision by scripts/freeze_crb_papers.py; the catalog states the value its estimation script prints.
- Endereço
https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/causal_queries.json- Licença
- MIT
crb_papers.q083.script
- Fonte
- CausalReasoningBenchmark reference estimation script for index 83
- Tipo
- software
- Localização
- solutions/research_papers/RDD/ariga_2015/question_1/estimation.py
- Valor
- —
- Conferido por
- arquivo do benchmark · sha256 of the script's 1353 bytes at the pinned revision; the reference path of the item is a transcription of this script into typed transforms and tool calls (never executed here).
- Implementação
- independente da ferramenta
- sha256 da cópia lida
68ec0626e445b55de9c3fe6ec7f38b3d23f096f3b4cb317062cef0a16580ff7f(identifica a cópia lida, não um arquivo canônico)- Endereço
https://huggingface.co/datasets/syrgkanislab/CausalReasoningBenchmark/resolve/edd0fe1c1d1c5c0a4f0e3e67a50481ac679fb888/solutions/research_papers/RDD/ariga_2015/question_1/estimation.py- Licença
- MIT
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
Nenhum caminho de referência registrado para esta tarefa.
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
Esta tentativa não tem trajetória publicada.
Épocas × verificações
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1puladapontuada(exibindo)
no reference path (coverage gap)
Downloads desta tarefa
Pacote da tarefa (.zip)
62,9 KB · sha256
22b569fc8f550cd174e3c8f2801d5d3bbaa28eb1751ab4685fe0c863d917399cO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| native/crb_papers/crb_papers.q083.e1.a1.json | 2,7 KB | 110371fb4591d8fe00c6649c7c0183ba245941a88409f4b7f59d163216d5f3eb |
| sources/crb_papers.q083.gold.json | 1,1 KB | 1f5ead096aadd5786ae9c526800332149491ed59e1131d7fc94d88540a29b94b |
| sources/crb_papers.q083.script.json | 1,1 KB | b48166efb5fbbeaca5a36f08a4d7021de88bdf623459d535001c0ff53dcdd7cd |
| specs/crb_papers.q083.json | 17,5 KB | 277cd05b005b5ee27f6a81b19bbb0c5721199f04be015fbfa0d307bdf0ae6fd3 |