Tarefa qrdata_socsci.360
qrdata_socsciagentT2publicépoca 1, tentativa 1Execução: 20261015T170010Z-suite-qrdata_socsci-scripted-7912b3Veredito
puladaPulada: falta um recurso que a tarefa exige.
Motivo: no reference path (coverage gap)
Pergunta feita ao analista
We are estimating the average treatment effect (ATE) on payments from sending the email reminder to late-paying customers. Should we control for the 'agreement' variable? Please answer with 'yes' or 'no'.
Valores esperados e de onde vêm
qrdata.gold.360
- Fonte
- QRData benchmark/QRData.json at de450af45ff7101b328bb064c6b475f73414a7ed (Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235.)
- Tipo
- benchmark_gold
- Localização
- QRData.json item 360 (0-based), field 'answer'
- Trecho
item 360 answer no
- Valor
- —
- Conferido por
- arquivo do benchmark · The printed gold is in the excerpt and index.json. It has fewer than 3 significant digits, so it is not set as value_as_published: the isolation gate searches that field verbatim, and a string this short can occur anywhere in a prompt (the gate does not search such numbers either).
- sha256 da cópia lida
e076d960f19434adf728aab70480ce34808c06066fcea48eaa38b145d1a111a1(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/xxxiaol/QRData/de450af45ff7101b328bb064c6b475f73414a7ed/benchmark/QRData.json- Licença
- CC BY-NC 4.0
qrdata.eval_py
- Fonte
- QRData benchmark/eval.py at de450af45ff7101b328bb064c6b475f73414a7ed (Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235.)
- Tipo
- software
- Localização
- benchmark/eval.py: extract_first_number, calc_acc
- Valor
- —
- Conferido por
- arquivo do benchmark · Vendored byte for byte as suites/data/qrdata_socsci/vendor/benchmark_eval.py.txt; a parity test runs its functions against MAGI's port and the answer_figure_close check.
- Implementação
- independente da ferramenta
- sha256 da cópia lida
d6e5c1f7535ac9413951996c15544beb6f184244acb2da56e1fcd0942837e33d(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/xxxiaol/QRData/de450af45ff7101b328bb064c6b475f73414a7ed/benchmark/eval.py- Licença
- CC BY-NC 4.0
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
Nenhum caminho de referência registrado para esta tarefa.
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
Esta tentativa não tem trajetória publicada.
Épocas × verificações
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1puladapontuada(exibindo)
no reference path (coverage gap)
Downloads desta tarefa
Pacote da tarefa (.zip)
21,8 KB · sha256
ee274f5f29926e1d129584c7bcc03bbdabc0299cf4fb7b28bd7cc4b63e10c61bO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| native/qrdata_socsci/qrdata_socsci.360.e1.a1.json | 203 B | 54b51b1389eb876304c3fc864693cc50668f1730cf1cfdc2bbae3c01f9506fd5 |
| sources/qrdata.eval_py.json | 1,3 KB | d610b61f390d29ce767e08ce850eab5cb0dc4d13c1edb62d8cf3b0e49a3a291a |
| sources/qrdata.gold.360.json | 1,4 KB | 49a32b308c346f70de13d1597257393007b51baef5989fa9aaab45fdf23a8dc5 |
| specs/qrdata_socsci.360.json | 3,9 KB | d9dc895932f13626b2bac4a75828f46eb7b7173bfd917fae58169c27bba470af |