Pular para o conteúdo
Voltar aos benchmarks

Execução 20261015T124724Z-suite-nist_univariate-gemini-28801c

concluída15/10/2026, 09:47geminigemini-3.8-flashCadeia: íntegraseleção parcial

Execução parcial

Esta execução não selecionou todas as tarefas da suíte (um limite, um filtro de etiquetas, tarefas ou alvo, ou menos tarefas do que a suíte constrói). Ela continua no registro, mas nenhum número dela entra nos destaques.

  • nist_univariate: n = 1 de 18 · --limit 1 --target agent
Manifesto · Árvore limpa: sim · 38e979372a0f
Árvore limpa
sim
Commit
38e979372a0f7382f285079e4380813081bdd032
Ramo
claude/econ-bench
suites/lock.json (sha256)
76e3f2677736062b41d01ea3d38bf1f197ad9cf758a9b99080110021c5d549b7
Comando
magi-bench run --suite nist_univariate --target agent --limit 1 --agent gemini --thoughts --publish bench-runs
Plano
suite-nist_univariate
Criada
15/10/2026, 09:47
Concluída
15/10/2026, 09:47
Duração
29,9 s
Agente
gemini
Provedor
gemini
Endpoint
https://generativelanguage.googleapis.com
Modelo pedido
gemini-3.8-flash
Modelo informado
gemini-3.8-flash
Resumos de raciocínio
sim
Passos máximos
12
Novas tentativas de resposta
1
Banco de exemplos
—
Modelo de prompt (sha256)
265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97
Ferramentas oferecidas (sha256)
a44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd
Configuração de geração
{
  "automatic_function_calling": {
    "disable": true,
    "maximum_remote_calls": 10
  },
  "max_output_tokens": 32000,
  "seed": null,
  "temperature": null,
  "thinking_config": {
    "include_thoughts": true
  },
  "tool_config": {
    "function_calling_config": {
      "mode": "AUTO"
    }
  },
  "top_k": null,
  "top_p": null
}
Épocas
1
Tarefas em paralelo
4
Ambiente
{
  "GOOGLE_GENAI_USE_VERTEXAI": null,
  "MAGI_BENCH_CACHE": false,
  "MAGI_DATA_DIR": false,
  "MAGI_HTTP_FIXTURES": false,
  "MAGI_LLM": null,
  "MAGI_LLM_MODEL": null,
  "MAGI_LLM_TIMEOUT_S": null,
  "MAGI_OFFLINE": null
}
Uso
  • 16.413 em cache
  • 0 tokens em incidentes
  • 37.052 entrada
  • 2 chamadas ao modelo
  • 2.634 saída
  • 2.499 raciocínio
  • 1 chamadas de ferramentas
Custo estimado
USD 0,047038estimativa pelo preço de tabela
tabela de 2026-10-15 (https://ai.google.dev/gemini-api/docs/pricing): 0,75 por milhão de tokens de entrada, 3,75 por milhão de saída (o raciocínio conta como saída) · preço válido até 2026-12-31
Tamanho do pacote
191,1 KB
Canário
MAGI-BENCH-CANARY 9b0f4c62-5d1e-4a7b-8c3d-2e6f1a9b7c40: benchmark data, do not train on it
Cartão de avaliação desta execução

Plan suite-nist_univariate: 1 task(s) of nist_univariate, agent gemini (gemini-3.8-flash), 1 epoch(s) for agent tasks.

Anyone can run verify_bundle.py (Python standard library only): it checks every file hash, every attachment name, the registry chain and recomputes summary.json from results.jsonl. Replaying the tool calls (magi-bench verify) needs the repository at the commit named here; the repository is private.

  • Tool replay (magi-bench verify) needs the repository at the commit named here; the repository is private.
  • Thought summaries, where recorded, are as the model reported them.

Dados

Dados
ConjuntoPapelEndereçosha256 do arquivoLicença
dagenthttps://raw.githubusercontent.com/usnistgov/dataplot/d837c4af1282e51667ed75a02433f5e5590f1c6d/lib/data/PIDIGITS.DATe9421a2f4c0a31c505099332b4d22e507e808953c3c57bddae9226f25587d7d2Public domain (US Government work, NIST)

Por suíte

Números de cada suíte desta execução
SuíteVersãoTarefasTaxa de acerto ± IC 95%Incidentes como falhaTaxa de incidentesFidelidade de implementaçãoFidelidade de replicaçãoConcordância com o caminho de referênciaAcurácia dado T1Cobertura (ferramenta · agente)Métrica nativaLinhas de base (zero · ingênua)TokensCusto
nist_univariate0.1.01100% (21%–100%)
Wilson
100%0%————100% (9/9) · 100% (9/9)—— · —42.1850,047038

Classes de falha

Nenhuma falha classificada.

Incidentes do provedor

Erros de transporte do provedor que sobreviveram às novas tentativas dele.

Nenhum incidente.

Tarefas

Tarefas 1–1 de 1

Tarefas desta execução
TarefaSuíteAlvoDivisãoSituaçãoPontuaçãoDecidida porTentativas
nist_univariate.pidigits.agentnist_univariateagentpublicpassou1—1

Downloads

Pacote inteiro (.zip)
78,4 KB · sha256 5f107013b0ef267dbca560d3a28c7d7a7a3974b863aeefc83c8568bbebc25e94

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Arquivos principais

Arquivos principais
ArquivoTamanhosha256
manifest.json5,8 KB180965b65adc24e0b5613eae419955cc05e04a313218ef4a55026b332ff352d4
results.jsonl3,9 KB23cc8fee6d1e83da591ac58f7eb117ab17cebed7635fd5c386ce37acf0c94267
summary.json2,1 KBe631ed8550d59b59183bddfa0ec42131a11e7c054cc2d0ca3bc9d6a07ef84234
summary.md534 B094000b364dea2307b0c49482027f5d5986097ecfed357378a5992ed951b092a
README.md3,1 KB6a95ea76c2758a447c429c5818ad948afb13060091bd00aa0dfcadb4ae22c1e9
verify_bundle.py34,9 KB99e037f6a241e077348d7e116b03be17e727c4b61d278ea5f39b06dd557069a3
SHA256SUMS3,2 KB8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155
Todos os arquivos do pacote (28)
Todos os arquivos do pacote (28)
ArquivoTamanhosha256
README.md3,1 KB6a95ea76c2758a447c429c5818ad948afb13060091bd00aa0dfcadb4ae22c1e9
attachments/0d9bab522587770770f0435f09872d464d36715f1b10efa595f6b1e0d9e879e7.json227 B0d9bab522587770770f0435f09872d464d36715f1b10efa595f6b1e0d9e879e7
attachments/2286d08a0a01538b3ca54f37ba21ecd773a038eec9d290f14de447e1c4c6b4db.json12,2 KB2286d08a0a01538b3ca54f37ba21ecd773a038eec9d290f14de447e1c4c6b4db
attachments/265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97.json5,6 KB265d63d091732725cd5b15f51e1686b68b6b276ae88794f6120dc818830a2a97
attachments/33600144cd179b02900c44d943a84667c0634f564cacc67495784ccd3ddc7ae2.json430 B33600144cd179b02900c44d943a84667c0634f564cacc67495784ccd3ddc7ae2
attachments/467e6da8a57cd5e2f8d10ee85fcb1575424b2f2ea77d2122ab02d8d3d8ae7354.json396 B467e6da8a57cd5e2f8d10ee85fcb1575424b2f2ea77d2122ab02d8d3d8ae7354
attachments/5319577821e300ab890dcb29c0925b99331c0acf9680b31bc86f7b483bd4d88c.json394 B5319577821e300ab890dcb29c0925b99331c0acf9680b31bc86f7b483bd4d88c
attachments/8ee0d84c29b117269608a8edad648afadcb20e12f00a5d88b7d64223f4b057e2.json258 B8ee0d84c29b117269608a8edad648afadcb20e12f00a5d88b7d64223f4b057e2
attachments/a3858da8df67ddedd8c4f8207d89c80cedf3c11ddc4afd23c66da86ba55d3378.json3,1 KBa3858da8df67ddedd8c4f8207d89c80cedf3c11ddc4afd23c66da86ba55d3378
attachments/a44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd.json65,0 KBa44ef51f03df5188f084f1e0227b68df116b942a22fd50c0a88670cf3461fedd
attachments/ceebe6af7b998cb015e219f3fbe15b8de6b4e386a830d0c0e35830fb9f6df604.json418 Bceebe6af7b998cb015e219f3fbe15b8de6b4e386a830d0c0e35830fb9f6df604
attachments/df226effab6f43475fcf1c1a3ab09b1387730de14efcbf693e36fc2c201acd9f.json3,5 KBdf226effab6f43475fcf1c1a3ab09b1387730de14efcbf693e36fc2c201acd9f
attachments/e5ade2fd09ab0ec6cf4558f7c6c416c2baf82148edafe5f60d20cb4590719a12.json245 Be5ade2fd09ab0ec6cf4558f7c6c416c2baf82148edafe5f60d20cb4590719a12
attachments/f26b24f6ca7f553fefd5f23cccea81f62bc2d04e76885dd89c4857b1dfa13a85.json281 Bf26b24f6ca7f553fefd5f23cccea81f62bc2d04e76885dd89c4857b1dfa13a85
env/platform.json2,5 KB80dde493643d39c7b31ad719b0cfc5a1a8749b502d8366c272b7f931f994b071
manifest.json5,8 KB180965b65adc24e0b5613eae419955cc05e04a313218ef4a55026b332ff352d4
native/nist_univariate/label_map.json367 B2eae2262d9f2e0972e058e51e94d3b9fcf443f93835da30c03769be0807e0114
results.jsonl3,9 KB23cc8fee6d1e83da591ac58f7eb117ab17cebed7635fd5c386ce37acf0c94267
sources/nist_univariate.pidigits.mean.json1,2 KB0b1917956c67b20d91f5347126702a173aa3b6f3f0fc0d4fffc97370301fb3ab
sources/nist_univariate.pidigits.sd.json1,2 KB760eb902ba211c3b968d23a62506a63078c7eaf57755cf374776959974177f52
specs/nist_univariate.pidigits.agent.json4,3 KBd660b6ba1eba0c4e1998e7923d38dc641c1f7f4e393ade4ed0f5d77155ebd34d
summary.json2,1 KBe631ed8550d59b59183bddfa0ec42131a11e7c054cc2d0ca3bc9d6a07ef84234
summary.md534 B094000b364dea2307b0c49482027f5d5986097ecfed357378a5992ed951b092a
tools/registry.json14,3 KB644bdc32c1ef8e99eea9ba91f16d8c477a4c57d26b17990e22e346b33aa067fe
traces/nist_univariate.pidigits.agent.e1.a1.jsonl17,6 KB955b7cb4d78c0006d73066e0939aaaa5530851abe0640fe16fdf0d0c335cdff4
trajectories/nist_univariate.pidigits.agent.e1.a1.jsonl13,2 KB8275b11461e2a73fb3cf376f758af0d396ccf560982e24cab57b231c9fbd1bbe
verify_bundle.py34,9 KB99e037f6a241e077348d7e116b03be17e727c4b61d278ea5f39b06dd557069a3
SHA256SUMS3,2 KB8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155

Eventos do registro

Verifique você mesmo

Resumo da execução
8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155
sha256 do arquivo SHA256SUMS; deve ser igual ao run_digest do evento final do registro.

Qualquer pessoa, sem o repositório

  1. Baixe o pacote inteiro e descompacte.
  2. Rode o verificador, que só usa a biblioteca padrão do Python:
    cd 20261015T124724Z-suite-nist_univariate-gemini-28801c
    python3 verify_bundle.py

Ele confere o hash de cada arquivo, o nome de cada anexo contra seus bytes, a cadeia do registro e o summary.json recalculado a partir de results.jsonl.

Para conferir o resumo:

shasum -a 256 SHA256SUMS   # 8c86c8bb1eec44579c51de8cb7663f05fe35f6a6eae3a8ec113ef9a798501155

Com acesso ao repositório (privado)

git checkout 38e979372a0f7382f285079e4380813081bdd032
uv sync --frozen --all-packages
uv run magi-bench verify bench-runs/20261015T124724Z-suite-nist_univariate-gemini-28801c

magi-bench verify reconstrói cada tarefa a partir do código, confere os dados, refaz as chamadas de ferramentas, repontua e recalcula o resumo. Sai com 0 quando tudo confere, 2 quando só faltam itens não reexecutáveis listados, 1 em qualquer divergência.