Benchmarks
O MAGI medido contra benchmarks oficiais de economia e contra resultados publicados de artigos, por chamadas de ferramentas. Cada número abaixo leva à execução de onde saiu, e cada execução pode ser baixada inteira: tarefas, trajetórias, registros de decisão e somas de verificação.
O que é avaliado
A camada de ferramentas do MAGI (estimadores registrados, chamados com a especificação de referência) e o analista que as usa (um modelo de linguagem que escolhe ferramentas e argumentos e cita os números que elas devolvem). O modelo nunca calcula um número: a resposta é pontuada pela figura que ele cita, selecionada por uma regra fixa.
- Verificabilidade
- Qualquer pessoa pode conferir um pacote baixado com o verify_bundle.py que vai dentro dele (só a biblioteca padrão do Python): o hash de cada arquivo, o nome de cada anexo contra seus bytes, a cadeia do registro e o summary.json recalculado a partir de results.jsonl. Refazer as chamadas de ferramentas (magi-bench verify) exige o repositório no commit da execução, e o repositório é privado.
- Limites
- Chamadas de ferramentas, não execução de código: um resultado que nenhuma ferramenta registrada expressa é uma lacuna de cobertura relatada, nunca omitida.
- Os benchmarks externos são públicos há anos; contaminação por dados de treino não é descartável e é declarada por suíte.
- Os resumos de raciocínio são o que o modelo declarou, não o raciocínio em si.
Como ler os números
Os números ficam separados, nunca misturados num só placar. Cada um diz de qual execução veio.
- Cobertura das ferramentas
- itens da divisão de origem do benchmark cujo desenho uma ferramenta registrada expressa.
- Cobertura alcançável pelo agente
- itens que se resolvem a partir dos dados como o agente os recebe, com as ferramentas de hoje.
- Fidelidade de implementação
- a ferramenta contra uma implementação independente na mesma especificação (execuções roteirizadas).
- Fidelidade de replicação
- a ferramenta na especificação dos próprios autores (o script do benchmark, ou a T1 de um artigo) contra o número publicado ou o gabarito do benchmark, em todas as células.
- Concordância com o caminho de referência
- a mesma conta quando o caminho foi montado pelo MAGI (por uma regra sobre os metadados ou à mão): mede o caminho tanto quanto a ferramenta, por isso nunca se chama fidelidade.
- Acurácia do analista
- o modelo ao vivo, bruta e condicionada à tarefa T1 do mesmo alvo ter passado.
- Métrica nativa
- a métrica do próprio benchmark, calculada como o código dele calcula.
- Linhas de base triviais
- uma estimativa constante 0, o caminho ingênuo (resultado sobre tratamento, sem controles) e o roteador por regras, pela mesma regra de pontuação.
Por suíte
| Suíte | Cobertura (ferramenta · agente) | Fidelidade (implementação · replicação) · concordância do caminho | Acurácia do analista | Dado T1 | Métrica nativa | Linhas de base (zero · ingênua · regras) | Comparador | Outro conjunto de itens | Licença | Exclusões |
|---|---|---|---|---|---|---|---|---|---|---|
| causcibench_real | Fidelidade de implementação: — Fidelidade de replicação: — Concordância com o caminho de referência: 45%50/112 | — | — | — | nenhum no mesmo conjunto de itens | 70,83 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Method Sel. Accuracy, Direct) +31 referências publicadas77,17 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Method Sel. Accuracy, CoT) 68,33 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Method Sel. Accuracy, PoT) 72,6 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Method Sel. Accuracy, ReAct) 52,56 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Mean Rel. Error, Direct) 48,96 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Mean Rel. Error, CoT) 63,1 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Mean Rel. Error, PoT) 66,48 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, OpenAI-o3, Mean Rel. Error, ReAct) 69,4 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Method Sel. Accuracy, Direct) 70,95 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Method Sel. Accuracy, CoT) 68,31 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Method Sel. Accuracy, PoT) 70,32 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Method Sel. Accuracy, ReAct) 59,05 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Mean Rel. Error, Direct) 55,78 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Mean Rel. Error, CoT) 59,5 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Mean Rel. Error, PoT) 53,56 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-5-mini, Mean Rel. Error, ReAct) 42,86 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Method Sel. Accuracy, Direct) 51,63 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Method Sel. Accuracy, CoT) 51,91 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Method Sel. Accuracy, PoT) 54,34 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Method Sel. Accuracy, ReAct) 67,64 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Mean Rel. Error, Direct) 66,08 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Mean Rel. Error, CoT) 71,82 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Mean Rel. Error, PoT) 72,09 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, Gemini-2.5-Flash-Lite, Mean Rel. Error, ReAct) 56,52 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Method Sel. Accuracy, Direct) 59,34 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Method Sel. Accuracy, CoT) 56,14 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Method Sel. Accuracy, PoT) 59,41 method_selection_accuracy · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Method Sel. Accuracy, ReAct) 67,09 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Mean Rel. Error, Direct) 67,44 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Mean Rel. Error, CoT) 74,2 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Mean Rel. Error, PoT) 66,58 mean_relative_error · N = 175 Acharya, S., Zhang, T. J., Kim, A., et al. (2026). CauSciBench: Can LLMs Automate Causal Inference in Real-World Scientific Research? Proceedings of the 43rd International Conference on Machine Learning (ICML), PMLR 306, 332-384. (Table 6 (appendix F.1), Dataset Real, GPT-4o, Mean Rel. Error, ReAct) Calculado sobre outros itens: mostrado à parte, nunca como diferença. | Benchmark code MIT (CauSciBench README); each dataset keeps its own licence as data/README.md…Benchmark code MIT (CauSciBench README); each dataset keeps its own licence as data/README.md lists it (CC0 1.0, MIT, CC BY 4.0, CC BY-NC 2.0, GPL 3.0 or none stated), recorded per item; the CSVs are fetched at the pinned revision, never hosted | 22 itens excluídos
| ||
| closed_form | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — Acurácia das ferramentas contra os valores esperados: 100%48/48 (93%–100%)v0.1.0 da versão 0.1.0, não a atual | — | — | — | Linha de base zero: — Caminho ingênuo: — Roteador por regras: — | nenhum no mesmo conjunto de itens | nenhum | Generated at evaluation time; the published figures are cited, not copied data | nenhuma |
| crb_papers | Fidelidade de implementação: — Fidelidade de replicação: 88%139/158 | — | — | — | nenhum no mesmo conjunto de itens | 0,810345 strategy_correct · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Identification Metrics, row 'Strategy correct') +9 referências publicadas0,747126 causal_quantity_correct · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Identification Metrics, row 'Causal quantity correct') 0,706897 controls_correct · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Identification Metrics, row 'Controls correct') 0,37931 identification_spec_correct · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Identification Metrics, row 'Identification spec correct (all checks)') 0,833 estimate_within_solution_ci · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Estimation Metrics, row 'Estimate Within gold CI') 0,793 null_hypothesis_decision_correct · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Estimation Metrics, row 'Null Hypothesis Agreement') 13,5 percentage_error (median) · N = 174 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 5, Estimation Metrics, row 'Median percentage error') 0,597 identification_spec_correct (Difference-in-Differences) · N = 67 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 6, row 'Difference-in-Differences', column 'Full ID (%)') 0,114 identification_spec_correct (Regression Discontinuity) · N = 44 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 6, row 'Regression Discontinuity', column 'Full ID (%)') 0,364 identification_spec_correct (Instrumental Variable) · N = 22 Sawarni, Tan & Syrgkanis, CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation, arXiv 2602.20571v3 (2026-09-27), GPT-5.3 baseline (Table 6, row 'Instrumental Variable', column 'Full ID (%)') Calculado sobre outros itens: mostrado à parte, nunca como diferença. | MIT (benchmark) plus each dataset's own terms; data files fetched, never hosted | 5 itens excluídos
| ||
| dgp | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — Acurácia das ferramentas contra os valores esperados: 100%12/12 (76%–100%) | — | — | — | Linha de base zero: — Caminho ingênuo: — Roteador por regras: — | nenhum no mesmo conjunto de itens | nenhum | Generated at evaluation time (magi_bench.generators) | nenhuma |
| e2e_memo | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — Taxa de aprovação do protocolo: 100%7/7 (65%–100%)v0.1.0 da versão 0.1.0, não a atual | — | — | — | Linha de base zero: — Caminho ingênuo: — Roteador por regras: — | nenhum no mesmo conjunto de itens | nenhum | internal; the bills are validation texts written for MAGI | nenhuma |
| nist_anova |
T2 e T3 aparecem separados, nunca somados. T3 pontua o desenho; a estimativa é registrada. gemini-3.8-flash | — | — | nenhum no mesmo conjunto de itens | nenhum | Public domain (US Government work, NIST/ITL StRD); files fetched from commit- or…Public domain (US Government work, NIST/ITL StRD); files fetched from commit- or timestamp-pinned mirrors with sha256, never committed | nenhuma | |||
| nist_univariate |
T2 e T3 aparecem separados, nunca somados. T3 pontua o desenho; a estimativa é registrada. gemini-3.8-flash | — | — | nenhum no mesmo conjunto de itens | nenhum | Public domain (US Government work, NIST/ITL StRD); files fetched from commit- or…Public domain (US Government work, NIST/ITL StRD); files fetched from commit- or timestamp-pinned mirrors with sha256, never committed | nenhuma | |||
| official | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — | — | — | — | Linha de base zero: — Caminho ingênuo: — Roteador por regras: — | nenhum no mesmo conjunto de itens | nenhum | Public statistics; PNADc and POF microdata come from magi_data's local cache and are never downloaded here | nenhuma |
| paper_repro | T2 e T3 aparecem separados, nunca somados. T3 pontua o desenho; a estimativa é registrada. gemini-3.8-flash | 87%48/55 | any_cited_would_pass 0,245283n=153 | nenhum no mesmo conjunto de itens | nenhum | Datasets are fetched, never hosted: each keeps its publisher's terms (the authors' pages, the…Datasets are fetched, never hosted: each keeps its publisher's terms (the authors' pages, the Econometric Society's supplements). Bundles hold digests, tool results and short attributed excerpts only. | nenhuma | |||
| qrdata_socsci | Fidelidade de implementação: — Fidelidade de replicação: — Concordância com o caminho de referência: 89%17/19 | — | — | — | nenhum no mesmo conjunto de itens | 57,9 accuracy (eval.py), all 411 items · N = 411 Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235. (Table 2, Code Interpreter Assistants, GPT-4, Overall Acc.) 38,9 accuracy (eval.py), all 411 items · N = 411 Xiao Liu, Zirui Wu, Xueqing Wu, Pan Lu, Kai-Wei Chang, Yansong Feng. Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data. Findings of the Association for Computational Linguistics: ACL 2024, pages 9215-9235. (Table 2, ReAct-style Prompting, Gemini-Pro, Overall Acc.) Calculado sobre outros itens: mostrado à parte, nunca como diferença. | CC BY-NC 4.0 (QRData); question text quoted with attribution, data files fetched, never hosted | nenhuma | ||
| strd | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — Acurácia das ferramentas contra os valores esperados: 100%20/20 (84%–100%) | — | — | — | Linha de base zero: — Caminho ingênuo: — Roteador por regras: — | nenhum no mesmo conjunto de itens | nenhum | Public domain (US Government work, NIST); files committed under suites/data/strd | nenhuma |
| tool_selection | Cobertura das ferramentas: — Cobertura alcançável pelo agente: — | Fidelidade de implementação: — Fidelidade de replicação: — | — | — | — | nenhum no mesmo conjunto de itens | nenhum | internal | nenhuma |
Registro de execuções
Toda execução publicável é registrada quando começa. Execuções interrompidas, com erro ou parciais continuam listadas.
Cadeia do registro íntegra: 62 eventos, cada um com o sha256 do anterior.
| Data | Execução | Situação | Cadeia | Commit | Agente | Modelo | Taxa de acerto ± IC 95% | Tokens | Custo | Resumo (sha256 de SHA256SUMS) |
|---|---|---|---|---|---|---|---|---|---|---|
| 15/10/2026, 15:35 | 20261015T183517Z-suite-paper_repro-gemini-0cda63 | concluída | íntegra | a167d5ead931 | gemini | gemini-3.8-flash | paper_repro
| 9.462.607 | USD 18,256 estimativa | de545076236a |
| 15/10/2026, 15:33 | 20261015T183314Z-suite-nist_anova-gemini-6acf8c | concluída | íntegra | a167d5ead931 | gemini | gemini-3.8-flash | nist_anova
| 489.000 | USD 0,974898 estimativa | 2428cc68cd79 |
| 15/10/2026, 15:28 | 20261015T182814Z-suite-nist_univariate-gemini-dd5d14 | concluída | íntegra | a167d5ead931 | gemini | gemini-3.8-flash | nist_univariate
| 780.586 | USD 1,54581 estimativa | 0a04f1dc0202 |
| 15/10/2026, 14:14 | 20261015T171414Z-suite-official-scripted-391f79 | concluída | íntegra | 2925aeab2262 | scripted | — | official 86% (49%–97%) | 0 | — | 41a2118bddb5 |
| 15/10/2026, 14:14 | 20261015T171401Z-suite-tool_selection-baseline-a1426d linha de base | concluída | íntegra | 2925aeab2262 | baseline | rules-1 | tool_selection 94% (86%–98%) | 0 | — | 82a6279c7d1b |
| 15/10/2026, 14:13 | 20261015T171350Z-suite-tool_selection-scripted-900f27 | concluída | íntegra | 2925aeab2262 | scripted | reference | tool_selection 100% (95%–100%) | 0 | — | 5220de39f3ee |
| 15/10/2026, 14:13 | 20261015T171333Z-suite-e2e_memo-scripted-8076a5 | concluída | íntegra | 2925aeab2262 | scripted | fake | e2e_memo 100% (65%–100%) | 0 | — | 1913e25f398f |
| 15/10/2026, 14:13 | 20261015T171311Z-suite-dgp-scripted-505dfe | concluída | íntegra | 2925aeab2262 | scripted | — | dgp 100% (76%–100%) | 0 | — | aab927559ab5 |
| 15/10/2026, 14:13 | 20261015T171300Z-suite-closed_form-scripted-9fb914 | concluída | íntegra | 2925aeab2262 | scripted | — | closed_form 100% (93%–100%) | 0 | — | 7ac29f56955f |
| 15/10/2026, 14:12 | 20261015T171252Z-suite-strd-scripted-d8a322 | concluída | íntegra | 2925aeab2262 | scripted | — | strd 100% (84%–100%) | 0 | — | ab3339433da2 |
| 15/10/2026, 14:12 | 20261015T171234Z-suite-nist_anova-baseline-71784e linha de base | concluída | íntegra | 2925aeab2262 | baseline | rules-1 | nist_anova
| 0 | — | 4d086120920f |
| 15/10/2026, 14:12 | 20261015T171223Z-suite-nist_anova-scripted-7361e5 | concluída | íntegra | 2925aeab2262 | scripted | reference | nist_anova
| 0 | — | ebcea7f62a4e |
| 15/10/2026, 14:12 | 20261015T171212Z-suite-nist_univariate-baseline-e9020b linha de base | concluída | íntegra | 2925aeab2262 | baseline | rules-1 | nist_univariate
| 0 | — | 30187cd37b8a |
| 15/10/2026, 14:12 | 20261015T171204Z-suite-nist_univariate-scripted-ca602b | concluída | íntegra | 2925aeab2262 | scripted | reference | nist_univariate
| 0 | — | f20a58ff6dfa |
| 15/10/2026, 14:11 | 20261015T171142Z-suite-causcibench_real-naive-d6494d linha de base | concluída | íntegra | 2925aeab2262 | naive | naive-ols | causcibench_real 7% (3%–11%) sem os 2 gabaritos defeituosos: 7% | 0 | — | e51187e6c780 |
| 15/10/2026, 14:11 | 20261015T171122Z-suite-causcibench_real-baseline-4f971b linha de base | concluída | íntegra | 2925aeab2262 | baseline | rules-1 | causcibench_real 0% (0%–0%) sem os 2 gabaritos defeituosos: 0% | 0 | — | ec13653244f2 |
| 15/10/2026, 14:10 | 20261015T171059Z-suite-causcibench_real-scripted-ded01d | concluída | íntegra | 2925aeab2262 | scripted | reference | causcibench_real 45% (31%–60%) sem os 2 gabaritos defeituosos: 45% | 0 | — | fd313e86558c |
| 15/10/2026, 14:10 | 20261015T171027Z-suite-crb_papers-naive-54c3f2 linha de base | concluída | íntegra | 2925aeab2262 | naive | naive-ols | crb_papers 41% (31%–51%) sem o gabarito defeituoso: 41% | 0 | — | 17150e88100b |
| 15/10/2026, 14:09 | 20261015T170957Z-suite-crb_papers-baseline-dae0c1 linha de base | concluída | íntegra | 2925aeab2262 | baseline | rules-1 | crb_papers 0% (0%–0%) sem o gabarito defeituoso: 0% | 0 | — | 7358859fc6a8 |
| 15/10/2026, 14:09 | 20261015T170925Z-suite-crb_papers-scripted-2dbcf5 | concluída | íntegra | 2925aeab2262 | scripted | reference | crb_papers 100% (100%–100%) | 0 | — | 187a2175daa3 |
| 15/10/2026, 14:00 | 20261015T170050Z-suite-crb_papers-scripted-8b13b2 | concluída | íntegra | 62cdbe0860ad | scripted | reference | crb_papers 100% (100%–100%) | 0 | — | 4ab029eb5663 |
| 15/10/2026, 14:00 | 20261015T170037Z-suite-qrdata_socsci-naive-761cb5 linha de base | concluída | íntegra | 62cdbe0860ad | naive | naive-ols | qrdata_socsci 3% (0%–9%) sem os 7 gabaritos defeituosos: 4% | 0 | — | c25a2cb8ad3b |
| 15/10/2026, 14:00 | 20261015T170025Z-suite-qrdata_socsci-baseline-2a40bf linha de base | concluída | íntegra | 62cdbe0860ad | baseline | rules-1 | qrdata_socsci 0% (0%–0%) sem os 7 gabaritos defeituosos: 0% | 0 | — | 43a789ea122e |
| 15/10/2026, 14:00 | 20261015T170010Z-suite-qrdata_socsci-scripted-7912b3 | concluída | íntegra | 62cdbe0860ad | scripted | reference | qrdata_socsci 89% (71%–100%) sem os 4 gabaritos defeituosos: 100% | 0 | — | 941d4980c181 |
| 15/10/2026, 13:59 | 20261015T165911Z-suite-paper_repro-baseline-8b4f85 linha de base | concluída | íntegra | 62cdbe0860ad | baseline | rules-1 | paper_repro
| 0 | — | cc7aa3c9bb99 |
| 15/10/2026, 13:57 | 20261015T165744Z-suite-paper_repro-scripted-def9df | concluída | íntegra | 62cdbe0860ad | scripted | reference | paper_repro
| 0 | — | e606b6f37dbb |
| 15/10/2026, 09:47 | 20261015T124724Z-suite-nist_univariate-gemini-28801c seleção parcial nist_univariate: n = 1 de 18 · --limit 1 --target agent | concluída | íntegra | 38e979372a0f | gemini | gemini-3.8-flash | nist_univariate 100% (21%–100%) | 42.185 | USD 0,047038 estimativa | 8c86c8bb1eec |
| 15/10/2026, 09:45 | 20261015T124546Z-suite-causcibench_real-gemini-c5831e seleção parcial causcibench_real: n = 2 de 153 · --limit 2 | concluída | íntegra | 38e979372a0f | gemini | gemini-3.8-flash | causcibench_real 0% (0%–0%) | 460.090 | USD 0,415357 estimativa | 999d2b83d9a4 |
| 15/10/2026, 09:43 | 20261015T124340Z-suite-crb_papers-gemini-f9eb57 seleção parcial crb_papers: n = 2 de 115 · --limit 2 | concluída | íntegra | 38e979372a0f | gemini | gemini-3.8-flash | crb_papers 50% (50%–50%) | 473.391 | USD 0,45179 estimativa | 7fb2d0661f28 |
| 15/10/2026, 09:42 | 20261015T124204Z-suite-qrdata_socsci-gemini-9c7e4b seleção parcial qrdata_socsci: n = 2 de 59 · --limit 2 | concluída | íntegra | 38e979372a0f | gemini | gemini-3.8-flash | qrdata_socsci 50% (9%–91%) | 357.079 | USD 0,318005 estimativa | 6a39f82561f2 |
| 15/10/2026, 09:41 | 20261015T124100Z-suite-paper_repro-gemini-c5ea8f seleção parcial paper_repro: n = 3 de 153 · --limit 3 --target agent | concluída | íntegra | 38e979372a0f | gemini | gemini-3.8-flash | paper_repro
| 264.664 | USD 0,241107 estimativa | 383d85c525b2 |
Regras de relato
- Tudo congelado antes de rodar: suítes, verificações, tolerâncias, fontes, transformações e formatos de resposta ficam travados num commit antes de qualquer execução ao vivo; mudar uma verificação é uma nova versão da suíte.
- Toda execução é relatada: registrada ao começar, e as interrompidas, com erro ou parciais seguem listadas.
- Só erros de transporte do provedor que sobrevivem às novas tentativas dele são incidentes; cada taxa aparece com os incidentes excluídos e contados como falhas. Uma execução com incidentes em mais de 5% das tarefas é parcial e nunca vira manchete.
- Um tempo esgotado numa tarefa é uma falha, não um incidente.
- Manchetes só de execuções completas: uma execução com limite, filtro de etiquetas, tarefas ou alvo, ou com menos tarefas do que a suíte constrói, segue no registro com o selo “seleção parcial” e nunca vira manchete. Uma suíte pode declarar sua seleção padrão (tool_selection: a divisão de teste; dgp: o nível rápido), e uma execução exatamente dela é completa. Uma execução ao vivo precisa rodar todas as tarefas da suíte, as de ferramenta inclusive, e não usa --target. A exceção é a fidelidade, e a acurácia das ferramentas, que podem vir de uma execução de todas as tarefas de ferramenta.
- Números de versões diferentes de uma suíte são marcados; números de outro conjunto de itens nunca são subtraídos dos nossos.
- Um gabarito que contradiz a própria pergunta é pontuado como o benchmark o pontua; a taxa sem esses itens aparece ao lado da taxa pontuada, nunca no lugar dela, com quantos são.
O que não é publicado, e por quê
- dedp
- derivada de material de curso: privada.
- plan_selection, framing_selection
- rascunhos do responsável ainda não confirmados: privadas.
- Dados de terceiros
- baixados de endereços fixos e conferidos por sha256, nunca hospedados; os pacotes guardam digests, resultados de ferramentas e o texto das perguntas com atribuição e licença.
A recusa está no código: a publicação e o gateway recusam qualquer execução que nomeie essas suítes.