Tarefa qrdata_socsci.400
qrdata_socsciagentT2publicépoca 1, tentativa 1Execução: 20261015T170010Z-suite-qrdata_socsci-scripted-7912b3Veredito
puladaPulada: falta um recurso que a tarefa exige.
Motivo: no reference path (coverage gap)
Pergunta feita ao analista
What is the average causal effect of the Neighbors message on whether the voter voted in the 2006 primary election if the voter's age was 25 in 2006? Please estimate a linear regression model with both message and age as predictors, and round the result to the nearest thousandth.
Valores esperados e de onde vêm
qrdata.gold.400
- Fonte
- QRData benchmark/QRData.json at de450af45ff7101b328bb064c6b475f73414a7ed (Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235.)
- Tipo
- benchmark_gold
- Localização
- QRData.json item 400 (0-based), field 'answer'
- Trecho
item 400 answer 0.064
- Valor
- 0,064
0.064 - Conferido por
- arquivo do benchmark · The printed gold is in the excerpt and index.json. It has fewer than 3 significant digits, so it is not set as value_as_published: the isolation gate searches that field verbatim, and a string this short can occur anywhere in a prompt (the gate does not search such numbers either).
- sha256 da cópia lida
e076d960f19434adf728aab70480ce34808c06066fcea48eaa38b145d1a111a1(identifica a cópia lida, não um arquivo canônico)- Desvio conhecido
- não conferidoThe question fixes age in 2006; the gold 0.064 matches age computed as 2008 - yearofbirth (the textbook's convention: 0.0643), while age 25 in 2006 gives 0.0655. Found by an independent statsmodels fit before any MAGI tool ran. At the question's age, 0.0655 rounds to 0.066, outside the open interval: the item is unpassable as worded (B-join review).
- Endereço
https://raw.githubusercontent.com/xxxiaol/QRData/de450af45ff7101b328bb064c6b475f73414a7ed/benchmark/QRData.json- Licença
- CC BY-NC 4.0
qrdata.eval_py
- Fonte
- QRData benchmark/eval.py at de450af45ff7101b328bb064c6b475f73414a7ed (Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235.)
- Tipo
- software
- Localização
- benchmark/eval.py: extract_first_number, calc_acc
- Valor
- —
- Conferido por
- arquivo do benchmark · Vendored byte for byte as suites/data/qrdata_socsci/vendor/benchmark_eval.py.txt; a parity test runs its functions against MAGI's port and the answer_figure_close check.
- Implementação
- independente da ferramenta
- sha256 da cópia lida
d6e5c1f7535ac9413951996c15544beb6f184244acb2da56e1fcd0942837e33d(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/xxxiaol/QRData/de450af45ff7101b328bb064c6b475f73414a7ed/benchmark/eval.py- Licença
- CC BY-NC 4.0
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
Nenhum caminho de referência registrado para esta tarefa.
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
Esta tentativa não tem trajetória publicada.
Épocas × verificações
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1puladapontuada(exibindo)
no reference path (coverage gap)
Downloads desta tarefa
Pacote da tarefa (.zip)
22,6 KB · sha256
84d1b77ae9cfd37d28094f901820fe09721701be31492ae827f377c4ed20d4dcO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| native/qrdata_socsci/qrdata_socsci.400.e1.a1.json | 200 B | 2ac30c677e30d73ead86ef5b180408f739b53da7565fb93ed8e5c505e3846b13 |
| sources/qrdata.eval_py.json | 1,3 KB | d610b61f390d29ce767e08ce850eab5cb0dc4d13c1edb62d8cf3b0e49a3a291a |
| sources/qrdata.gold.400.json | 1,8 KB | 53a356b2550853361792d04ac43569f2473aee4e0a48572360ebbf956c3eebe0 |
| specs/qrdata_socsci.400.json | 5,4 KB | 9979996a122f9e38aecc6e68274e5c9ce3ab347ff075d72356415e8b6a108ba1 |