Execução 20261015T124724Z-suite-nist_univariate-gemini-28801c
Execução parcial
Esta execução não selecionou todas as tarefas da suíte (um limite, um filtro de etiquetas, tarefas ou alvo, ou menos tarefas do que a suíte constrói). Ela continua no registro, mas nenhum número dela entra nos destaques.
- nist_univariate: n = 1 de 18 · --limit 1 --target agent
Manifesto · Árvore limpa: sim · 38e979372a0f
- Árvore limpa
- sim
- Commit
38e979372a0f7382f285079e4380813081bdd032- Ramo
- claude/econ-bench
- suites/lock.json (sha256)
76e3f2677736062b41d01ea3d38bf1f197ad9cf758a9b99080110021c5d549b7- Comando
magi-bench run --suite nist_univariate --target agent --limit 1 --agent gemini --thoughts --publish bench-runs- Plano
suite-nist_univariate- Criada
- 15/10/2026, 09:47
- Concluída
- 15/10/2026, 09:47
- Duração
- 29,9 s
- Agente
gemini- Provedor
- gemini
- Endpoint
https://generativelanguage.googleapis.com- Modelo pedido
gemini-3.8-flash- Modelo informado
gemini-3.8-flash- Resumos de raciocínio
- sim
- Passos máximos
- 12
- Novas tentativas de resposta
- 1
- Banco de exemplos
- —
- Modelo de prompt (sha256)
265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97- Ferramentas oferecidas (sha256)
a44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd- Configuração de geração
{ "automatic_function_calling": { "disable": true, "maximum_remote_calls": 10 }, "max_output_tokens": 32000, "seed": null, "temperature": null, "thinking_config": { "include_thoughts": true }, "tool_config": { "function_calling_config": { "mode": "AUTO" } }, "top_k": null, "top_p": null }- Épocas
- 1
- Tarefas em paralelo
- 4
- Ambiente
{ "GOOGLE_GENAI_USE_VERTEXAI": null, "MAGI_BENCH_CACHE": false, "MAGI_DATA_DIR": false, "MAGI_HTTP_FIXTURES": false, "MAGI_LLM": null, "MAGI_LLM_MODEL": null, "MAGI_LLM_TIMEOUT_S": null, "MAGI_OFFLINE": null }- Uso
- 16.413 em cache
- 0 tokens em incidentes
- 37.052 entrada
- 2 chamadas ao modelo
- 2.634 saída
- 2.499 raciocínio
- 1 chamadas de ferramentas
- Custo estimado
- USD 0,047038estimativa pelo preço de tabelatabela de 2026-10-15 (https://ai.google.dev/gemini-api/docs/pricing): 0,75 por milhão de tokens de entrada, 3,75 por milhão de saída (o raciocínio conta como saída) · preço válido até 2026-12-31
- Tamanho do pacote
- 191,1 KB
- Canário
MAGI-BENCH-CANARY 9b0f4c62-5d1e-4a7b-8c3d-2e6f1a9b7c40: benchmark data, do not train on it- Cartão de avaliação desta execução
Plan suite-nist_univariate: 1 task(s) of nist_univariate, agent gemini (gemini-3.8-flash), 1 epoch(s) for agent tasks.
Anyone can run verify_bundle.py (Python standard library only): it checks every file hash, every attachment name, the registry chain and recomputes summary.json from results.jsonl. Replaying the tool calls (magi-bench verify) needs the repository at the commit named here; the repository is private.
- Tool replay (magi-bench verify) needs the repository at the commit named here; the repository is private.
- Thought summaries, where recorded, are as the model reported them.
Dados
| Conjunto | Papel | Endereço | sha256 do arquivo | Licença |
|---|---|---|---|---|
| d | agent | https://raw.githubusercontent.com/usnistgov/dataplot/d837c4af1282e51667ed75a02433f5e5590f1c6d/lib/data/PIDIGITS.DAT | e9421a2f4c0a31c505099332b4d22e507e808953c3c57bddae9226f25587d7d2 | Public domain (US Government work, NIST) |
Por suíte
| Suíte | Versão | Tarefas | Taxa de acerto ± IC 95% | Incidentes como falha | Taxa de incidentes | Fidelidade de implementação | Fidelidade de replicação | Concordância com o caminho de referência | Acurácia dado T1 | Cobertura (ferramenta · agente) | Métrica nativa | Linhas de base (zero · ingênua) | Tokens | Custo |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| nist_univariate | 0.1.0 | 1 | 100% (21%–100%) Wilson | 100% | 0% | — | — | — | — | 100% (9/9) · 100% (9/9) | — | — · — | 42.185 | 0,047038 |
Classes de falha
Nenhuma falha classificada.
Incidentes do provedor
Erros de transporte do provedor que sobreviveram às novas tentativas dele.
Nenhum incidente.
Tarefas
Tarefas 1–1 de 1
| Tarefa | Suíte | Alvo | Divisão | Situação | Pontuação | Decidida por | Tentativas |
|---|---|---|---|---|---|---|---|
| nist_univariate.pidigits.agent | nist_univariate | agent | public | passou | 1 | — | 1 |
Downloads
5f107013b0ef267dbca560d3a28c7d7a7a3974b863aeefc83c8568bbebc25e94O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
Arquivos principais
| Arquivo | Tamanho | sha256 |
|---|---|---|
| manifest.json | 5,8 KB | 180965b65adc24e0b5613eae419955cc05e04a313218ef4a55026b332ff352d4 |
| results.jsonl | 3,9 KB | 23cc8fee6d1e83da591ac58f7eb117ab17cebed7635fd5c386ce37acf0c94267 |
| summary.json | 2,1 KB | e631ed8550d59b59183bddfa0ec42131a11e7c054cc2d0ca3bc9d6a07ef84234 |
| summary.md | 534 B | 094000b364dea2307b0c49482027f5d5986097ecfed357378a5992ed951b092a |
| README.md | 3,1 KB | 6a95ea76c2758a447c429c5818ad948afb13060091bd00aa0dfcadb4ae22c1e9 |
| verify_bundle.py | 34,9 KB | 99e037f6a241e077348d7e116b03be17e727c4b61d278ea5f39b06dd557069a3 |
| SHA256SUMS | 3,2 KB | 8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155 |
Todos os arquivos do pacote (28)
| Arquivo | Tamanho | sha256 |
|---|---|---|
| README.md | 3,1 KB | 6a95ea76c2758a447c429c5818ad948afb13060091bd00aa0dfcadb4ae22c1e9 |
| attachments/0d9bab522587770770f0435f09872d464d36715f1b10efa595f6b1e0d9e879e7.json | 227 B | 0d9bab522587770770f0435f09872d464d36715f1b10efa595f6b1e0d9e879e7 |
| attachments/2286d08a0a01538b3ca54f37ba21ecd773a038eec9d290f14de447e1c4c6b4db.json | 12,2 KB | 2286d08a0a01538b3ca54f37ba21ecd773a038eec9d290f14de447e1c4c6b4db |
| attachments/265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97.json | 5,6 KB | 265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97 |
| attachments/33600144cd179b02900c44d943a84667c0634f564cacc67495784ccd3ddc7ae2.json | 430 B | 33600144cd179b02900c44d943a84667c0634f564cacc67495784ccd3ddc7ae2 |
| attachments/467e6da8a57cd5e2f8d10ee85fcb1575424b2f2ea77d2122ab02d8d3d8ae7354.json | 396 B | 467e6da8a57cd5e2f8d10ee85fcb1575424b2f2ea77d2122ab02d8d3d8ae7354 |
| attachments/5319577821e300ab890dcb29c0925b99331c0acf9680b31bc86f7b483bd4d88c.json | 394 B | 5319577821e300ab890dcb29c0925b99331c0acf9680b31bc86f7b483bd4d88c |
| attachments/8ee0d84c29b117269608a8edad648afadcb20e12f00a5d88b7d64223f4b057e2.json | 258 B | 8ee0d84c29b117269608a8edad648afadcb20e12f00a5d88b7d64223f4b057e2 |
| attachments/a3858da8df67ddedd8c4f8207d89c80cedf3c11ddc4afd23c66da86ba55d3378.json | 3,1 KB | a3858da8df67ddedd8c4f8207d89c80cedf3c11ddc4afd23c66da86ba55d3378 |
| attachments/a44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd.json | 65,0 KB | a44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd |
| attachments/ceebe6af7b998cb015e219f3fbe15b8de6b4e386a830d0c0e35830fb9f6df604.json | 418 B | ceebe6af7b998cb015e219f3fbe15b8de6b4e386a830d0c0e35830fb9f6df604 |
| attachments/df226effab6f43475fcf1c1a3ab09b1387730de14efcbf693e36fc2c201acd9f.json | 3,5 KB | df226effab6f43475fcf1c1a3ab09b1387730de14efcbf693e36fc2c201acd9f |
| attachments/e5ade2fd09ab0ec6cf4558f7c6c416c2baf82148edafe5f60d20cb4590719a12.json | 245 B | e5ade2fd09ab0ec6cf4558f7c6c416c2baf82148edafe5f60d20cb4590719a12 |
| attachments/f26b24f6ca7f553fefd5f23cccea81f62bc2d04e76885dd89c4857b1dfa13a85.json | 281 B | f26b24f6ca7f553fefd5f23cccea81f62bc2d04e76885dd89c4857b1dfa13a85 |
| env/platform.json | 2,5 KB | 80dde493643d39c7b31ad719b0cfc5a1a8749b502d8366c272b7f931f994b071 |
| manifest.json | 5,8 KB | 180965b65adc24e0b5613eae419955cc05e04a313218ef4a55026b332ff352d4 |
| native/nist_univariate/label_map.json | 367 B | 2eae2262d9f2e0972e058e51e94d3b9fcf443f93835da30c03769be0807e0114 |
| results.jsonl | 3,9 KB | 23cc8fee6d1e83da591ac58f7eb117ab17cebed7635fd5c386ce37acf0c94267 |
| sources/nist_univariate.pidigits.mean.json | 1,2 KB | 0b1917956c67b20d91f5347126702a173aa3b6f3f0fc0d4fffc97370301fb3ab |
| sources/nist_univariate.pidigits.sd.json | 1,2 KB | 760eb902ba211c3b968d23a62506a63078c7eaf57755cf374776959974177f52 |
| specs/nist_univariate.pidigits.agent.json | 4,3 KB | d660b6ba1eba0c4e1998e7923d38dc641c1f7f4e393ade4ed0f5d77155ebd34d |
| summary.json | 2,1 KB | e631ed8550d59b59183bddfa0ec42131a11e7c054cc2d0ca3bc9d6a07ef84234 |
| summary.md | 534 B | 094000b364dea2307b0c49482027f5d5986097ecfed357378a5992ed951b092a |
| tools/registry.json | 14,3 KB | 644bdc32c1ef8e99eea9ba91f16d8c477a4c57d26b17990e22e346b33aa067fe |
| traces/nist_univariate.pidigits.agent.e1.a1.jsonl | 17,6 KB | 955b7cb4d78c0006d73066e0939aaaa5530851abe0640fe16fdf0d0c335cdff4 |
| trajectories/nist_univariate.pidigits.agent.e1.a1.jsonl | 13,2 KB | 8275b11461e2a73fb3cf376f758af0d396ccf560982e24cab57b231c9fbd1bbe |
| verify_bundle.py | 34,9 KB | 99e037f6a241e077348d7e116b03be17e727c4b61d278ea5f39b06dd557069a3 |
| SHA256SUMS | 3,2 KB | 8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155 |
Eventos do registro
- 20261015T124724Z-suite-nist_univariate-gemini-28801c.started.json
9972fdc1d59f2589d6b510e9797870a5a25bfeaf852b7e7343e44a19ff8ec634 - 20261015T124724Z-suite-nist_univariate-gemini-28801c.final.json
4204d08f6e021ec65ed2faa4d1f228acc7dc7273e62fe029687adac59f700a81
Verifique você mesmo
- Resumo da execução
8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155sha256 do arquivo SHA256SUMS; deve ser igual ao run_digest do evento final do registro.
Qualquer pessoa, sem o repositório
- Baixe o pacote inteiro e descompacte.
- Rode o verificador, que só usa a biblioteca padrão do Python:
cd 20261015T124724Z-suite-nist_univariate-gemini-28801c python3 verify_bundle.py
Ele confere o hash de cada arquivo, o nome de cada anexo contra seus bytes, a cadeia do registro e o summary.json recalculado a partir de results.jsonl.
Para conferir o resumo:
shasum -a 256 SHA256SUMS # 8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155
Com acesso ao repositório (privado)
git checkout 38e979372a0f7382f285079e4380813081bdd032 uv sync --frozen --all-packages uv run magi-bench verify bench-runs/20261015T124724Z-suite-nist_univariate-gemini-28801c
magi-bench verify reconstrói cada tarefa a partir do código, confere os dados, refaz as chamadas de ferramentas, repontua e recalcula o resumo. Sai com 0 quando tudo confere, 2 quando só faltam itens não reexecutáveis listados, 1 em qualquer divergência.