Execução 20261015T171333Z-suite-e2e_memo-scripted-8076a5

concluída15/10/2026, 14:13scriptedfakeCadeia: íntegra

Manifesto · Árvore limpa: sim · 2925aeab2262

Árvore limpa

sim

Commit

2925aeab226272b243436386a1c4e01d97c1377e

Ramo

claude/econ-bench

suites/lock.json (sha256)

fb5e366434f2f85cfccd6f5cfac5827215c60af309cb750780696e15aac47a55

Comando

magi-bench run --suite e2e_memo --agent scripted --jobs 4 --publish bench-runs

Plano

suite-e2e_memo

Criada

15/10/2026, 14:13

Concluída

15/10/2026, 14:13

Duração

3,3 s

Agente

scripted

Provedor

fake

Endpoint

—

Modelo pedido

fake

Modelo informado

—

Resumos de raciocínio

não

Passos máximos

Novas tentativas de resposta

Banco de exemplos

—

Modelo de prompt (sha256)

433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420

Ferramentas oferecidas (sha256)

52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b

Configuração de geração

{}

Épocas

Tarefas em paralelo

Ambiente

{
  "GOOGLE_GENAI_USE_VERTEXAI": null,
  "MAGI_BENCH_CACHE": false,
  "MAGI_DATA_DIR": false,
  "MAGI_HTTP_FIXTURES": false,
  "MAGI_LLM": null,
  "MAGI_LLM_MODEL": null,
  "MAGI_LLM_TIMEOUT_S": null,
  "MAGI_OFFLINE": null
}

Uso

0 em cache
0 tokens em incidentes
0 entrada
0 chamadas ao modelo
0 saída
0 raciocínio
145 chamadas de ferramentas

Custo estimado

—

Tamanho do pacote

226,7 KB

Canário

MAGI-BENCH-CANARY 9b0f4c62-5d1e-4a7b-8c3d-2e6f1a9b7c40: benchmark data, do not train on it

Cartão de avaliação desta execução

Plan suite-e2e_memo: 7 task(s) of e2e_memo, agent scripted (fake), 1 epoch(s) for agent tasks.

Anyone can run verify_bundle.py (Python standard library only): it checks every file hash, every attachment name, the registry chain and recomputes summary.json from results.jsonl. Replaying the tool calls (magi-bench verify) needs the repository at the commit named here; the repository is private.

Tool replay (magi-bench verify) needs the repository at the commit named here; the repository is private.
Thought summaries, where recorded, are as the model reported them.

Por suíte

Números de cada suíte desta execução
Suíte	Versão	Tarefas	Taxa de acerto ± IC 95%	Incidentes como falha	Taxa de incidentes	Fidelidade de implementação	Fidelidade de replicação	Concordância com o caminho de referência	Acurácia dado T1	Cobertura (ferramenta · agente)	Métrica nativa	Linhas de base (zero · ingênua)	Tokens	Custo
e2e_memo	0.1.0	7	100% (65%–100%) Wilson	100%	0%	—	—	—	—	— · —	—	— · —	0	—

Classes de falha

Nenhuma falha classificada.

Incidentes do provedor

Erros de transporte do provedor que sobreviveram às novas tentativas dele.

Nenhum incidente.

Tarefas

Tarefas 1–7 de 7

Tarefas desta execução
Tarefa	Suíte	Alvo	Divisão	Situação	Pontuação	Decidida por	Tentativas
e2e_memo.londrina_brc_2026	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_brc_2026.planned	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_creche_2027	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_creche_2027.planned	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_parque_2027.framed	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_saneamento_2026	e2e_memo	protocol	public	passou	1	—	1
e2e_memo.londrina_saneamento_2026.planned	e2e_memo	protocol	public	passou	1	—	1

Downloads

Pacote inteiro (.zip)

57,7 KB · sha256 caf25342c9346fb150c119757f178d37e7b3f4d7b39ee971115ab45602eebde9

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Arquivos principais

Arquivos principais
Arquivo	Tamanho	sha256
manifest.json	3,8 KB	`edf5ac1765eb7ab7f76284d1819b4313fbf36a373e5a4dcaaeda4fe0c38060b0`
results.jsonl	64,9 KB	`3beb433dda9692cdca8c2ae2ced02a34fd376e9c551fde86900fb862a57654af`
summary.json	1,5 KB	`3d3dfde3d7cec06ef787fe03f29e02bbc2e40921540f8089da50746674c6faf1`
summary.md	424 B	`9d9bdd436db4a83732c1977349c9112fe3d1ed8a6e1dbf6c0cd2bb8550f02d37`
README.md	3,3 KB	`2f5ebb3931bb3dc28ac3e7b0b6004a344757111d43a0f3825e22106fb52ed0e8`
verify_bundle.py	36,1 KB	`e529500171e873cc55733c9c44f3a7b8386074c3aad998e6cb27a79b53cddd31`
SHA256SUMS	1,5 KB	`1913e25f398ffa52da3fb12cd4d82d3b4eee32c2f4122cef3752089904f3bda0`

Todos os arquivos do pacote (17)

Todos os arquivos do pacote (17)
Arquivo	Tamanho	sha256
README.md	3,3 KB	`2f5ebb3931bb3dc28ac3e7b0b6004a344757111d43a0f3825e22106fb52ed0e8`
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json	64,0 KB	`52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b`
env/platform.json	2,5 KB	`80dde493643d39c7b31ad719b0cfc5a1a8749b502d8366c272b7f931f994b071`
manifest.json	3,8 KB	`edf5ac1765eb7ab7f76284d1819b4313fbf36a373e5a4dcaaeda4fe0c38060b0`
results.jsonl	64,9 KB	`3beb433dda9692cdca8c2ae2ced02a34fd376e9c551fde86900fb862a57654af`
specs/e2e_memo.londrina_brc_2026.json	5,3 KB	`5eea6a906abb6b202b910ec44e99d3d29aa20af3f6a6395298f1fc6b2e50a283`
specs/e2e_memo.londrina_brc_2026.planned.json	5,6 KB	`678efba2ab604d6e460b7d96af1b4c363a7fb5837ca723b229c7b19f7b9dbc21`
specs/e2e_memo.londrina_creche_2027.json	5,3 KB	`1cba98aa2f982d0757c3603298c867f443da79663edf78ca0155e0018d1c2fe0`
specs/e2e_memo.londrina_creche_2027.planned.json	5,4 KB	`43eda12f8ba50cbe36c4611e285975e5fad5f7f3437ee74a170d9ee8553dd03f`
specs/e2e_memo.londrina_parque_2027.framed.json	5,9 KB	`c3773390aa0459dc5cc80b9801c54384bfd4a664ad0a8713905521b2ca8a0cba`
specs/e2e_memo.londrina_saneamento_2026.json	5,8 KB	`9a4625ca6b859a490fa3a75609960f8855876d66962613defdebfe50c4d8c612`
specs/e2e_memo.londrina_saneamento_2026.planned.json	6,4 KB	`691ed26b476164f4965274354000b02640f03feb4c92ff6be2af70ab7e41bc2c`
summary.json	1,5 KB	`3d3dfde3d7cec06ef787fe03f29e02bbc2e40921540f8089da50746674c6faf1`
summary.md	424 B	`9d9bdd436db4a83732c1977349c9112fe3d1ed8a6e1dbf6c0cd2bb8550f02d37`
tools/registry.json	14,3 KB	`27ebe450c05193ace734f93b9e9cd24a3072c19308bcdb8877b34d71a6d7670b`
verify_bundle.py	36,1 KB	`e529500171e873cc55733c9c44f3a7b8386074c3aad998e6cb27a79b53cddd31`
SHA256SUMS	1,5 KB	`1913e25f398ffa52da3fb12cd4d82d3b4eee32c2f4122cef3752089904f3bda0`

Eventos do registro

20261015T171333Z-suite-e2e_memo-scripted-8076a5.started.jsonfa43b5d124e64ca4fbbc063201002f311bccf088d46cc4e4c52e00e727eb2578
20261015T171333Z-suite-e2e_memo-scripted-8076a5.final.json9695dd61eac72963d2fa035bd6c54800ce373ac261565536aa1ae70aece25793

Verifique você mesmo

Resumo da execução: 1913e25f398ffa52da3fb12cd4d82d3b4eee32c2f4122cef3752089904f3bda0
sha256 do arquivo SHA256SUMS; deve ser igual ao run_digest do evento final do registro.

Qualquer pessoa, sem o repositório

Baixe o pacote inteiro e descompacte.

Rode o verificador, que só usa a biblioteca padrão do Python:

cd 20261015T171333Z-suite-e2e_memo-scripted-8076a5
python3 verify_bundle.py

Ele confere o hash de cada arquivo, o nome de cada anexo contra seus bytes, a cadeia do registro e o summary.json recalculado a partir de results.jsonl.

Para conferir o resumo:

shasum -a 256 SHA256SUMS   # 1913e25f398ffa52da3fb12cd4d82d3b4eee32c2f4122cef3752089904f3bda0

Com acesso ao repositório (privado)

git checkout 2925aeab226272b243436386a1c4e01d97c1377e
uv sync --frozen --all-packages
uv run magi-bench verify bench-runs/20261015T171333Z-suite-e2e_memo-scripted-8076a5

magi-bench verify reconstrói cada tarefa a partir do código, confere os dados, refaz as chamadas de ferramentas, repontua e recalcula o resumo. Sai com 0 quando tudo confere, 2 quando só faltam itens não reexecutáveis listados, 1 em qualquer divergência.