Tarefa tool_selection.rct_cluster.test.s1004
tool_selectionagentT2testépoca 1, tentativa 1Execução: 20261015T171401Z-suite-tool_selection-baseline-a1426dVeredito
Família do método (das chamadas de ferramentas): rct (difference in means of a randomized assignment)
Pergunta feita ao analista
Queremos avaliar o programa de leitura implantado em metade das escolas da rede, escolhidas em sorteio público. Houve efeito na nota dos alunos?
Estimativa (infer.ate): ate = 0,5635 (IC 95%: 0,4457 a 0,6812).
Valores esperados e de onde vêm
Nenhuma fonte citada pelas verificações.
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | ferramenta chamada 1 successful call(s) of infer.ate | obrigatória | passou | — | 11 | — | — | call_8e6b835c |
| 1 | argumento igual infer.ate.cluster = ['escola'] | obrigatória | passou | "escola" | ["escola"] | — | — | call_8e6b835c |
| 2 | figura próxima 0.5634620416 vs 0.45 | obrigatória | passou | 0,450.45 | 0,5634620.5634620416379926 | absoluta 0.24035117703771222 | — | call_8e6b835c |
| 3 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 4 | uma entre answer_cites(infer.ate): ok | registrada | passou | [{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"answer_cites","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.ate","value":null,"weight":1,"where":null}] | ["call_8e6b835c:ate"] | — | — | call_8e6b835c |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
o que as verificações esperam da chamada da resposta
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | "escola" | "escola" | igual |
| covariates | — | [] | não fixado pela referência |
| dataset | — | "dados" | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| treatment | — | "tratado" | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| y | — | "nota" | não fixado pela referência |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
Queremos avaliar o programa de leitura implantado em metade das escolas da rede, escolhidas em sorteio público. Houve efeito na nota dos alunos?
dados(agent)Uma linha por aluno. escola: código da escola do aluno; nota: nota padronizada na prova municipal ao fim do ano; tratado: 1 se a escola do aluno entrou no programa; nota_base: nota padronizada no início do ano.
file — · frame — - 1Turno do modelo
call_d5fb36ferules-1Fim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelAtribuição sorteada: diferença de médias entre os grupos.
Chamadas pedidasinfer.ate{ "cluster": "escola", "dataset": "dados", "treatment": "tratado", "y": "nota" }
- 2Ferramenta
infer.atev0.1.0call_8e6b835cdecidido pelo modeloreexecutávelMotivo: Atribuição sorteada: diferença de médias entre os grupos.
Argumentos
{ "cluster": "escola", "covariates": [], "dataset": "dados", "level": 0.95, "treatment": "tratado", "weights": null, "y": "nota" }Figuras call_8e6b835c Chave Valor Valor bruto Erro-padrão IC ate Average effect of tratado on nota0,563462 0.56346204163799260,0600878 0.0600877942594280550,445692 – 0,681232 Diagnósticosn_treated= 1.2001200n_control= 1.2001200se_type="cluster"n_clusters= 120120
- Digests dos dados
dadosce1b25d013d7a02b16edf51933a9f2dd9081c64ce1f2410a8b3ae8f1e4d4b033- sha256 do resultado
65364d38e0cdf3ee5e8be03aeb57b43694edab06802490100ff0cc7246a9cf33
- 3Turno do modelo
call_cec8bfe3rules-1Fim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa (infer.ate): ate = 0,5635 (IC 95%: 0,4457 a 0,6812).", "caveats": [], "figure_refs": [ "call_8e6b835c:ate" ] }
- 4Guardaresposta aceita
- Números encontrados
- 0,5635 · 95% · 0,4457 · 0,6812
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa (infer.ate): ate = 0,5635 (IC 95%: 0,4457 a 0,6812).
Figuras citadas:call_8e6b835c:ate· Parada:answeredFigura da resposta:call_8e6b835c:ate= 0,5634620.5634620416379926(se 0,06008780.060087794259428055) - 6Pontuação#0ferramenta chamadapassouobrigatória
1 successful call(s) of infer.ate - 7Pontuação#1argumento igualpassouobrigatória
infer.ate.cluster = ['escola'] - 8Pontuação#2figura próximapassouobrigatória
0.5634620416 vs 0.45 - 9Pontuação#3resposta com lastropassouobrigatória
every number backed - 10Pontuação#4uma entrepassouregistrada
answer_cites(infer.ate): ok
Épocas × verificações
| # | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| Época 1 | passou | passou | passou | passou | passou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1passoupontuada(exibindo)
Downloads desta tarefa
f639bfd687b9abdc4fdeee1c1e84ff95b6b497309db16807e80b5f9af3261563O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| attachments/090850f742512fdb3c0d7dbd48886d15c40c6f05914b186a8aa604e7b133647c.json | 503 B | 090850f742512fdb3c0d7dbd48886d15c40c6f05914b186a8aa604e7b133647c |
| attachments/19e143e5a1d8e0ae92504e183f965e68315d4e4796119d209ef5ab847ecee8f5.json | 241 B | 19e143e5a1d8e0ae92504e183f965e68315d4e4796119d209ef5ab847ecee8f5 |
| attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json | 2,4 KB | 433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420 |
| attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json | 64,0 KB | 52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b |
| attachments/5d670bfcfdd8a804eea14460e4bcb3f86392e83e2292933cb8c6ea3fa09d4886.json | 450 B | 5d670bfcfdd8a804eea14460e4bcb3f86392e83e2292933cb8c6ea3fa09d4886 |
| attachments/aabab43ead6dc9a39a7d3564702e2b6b1127f4d90a4ee6dddf28b24669c1d6fc.json | 558 B | aabab43ead6dc9a39a7d3564702e2b6b1127f4d90a4ee6dddf28b24669c1d6fc |
| attachments/dbd1b6f0eb6cf7b64543c63da1eec298db02ea50baf4c40587d389196af095d9.json | 174 B | dbd1b6f0eb6cf7b64543c63da1eec298db02ea50baf4c40587d389196af095d9 |
| specs/tool_selection.rct_cluster.test.s1004.json | 3,8 KB | 20901a59090384d444915fbbfe0c74d5b364b24e9d632048cd41b3cbbc3511fe |
| traces/tool_selection.rct_cluster.test.s1004.e1.a1.jsonl | 10,7 KB | 6d7852aa527a29e69a0bdebf25e2bfe60b09ec09b59abb51030dadf1752ade28 |
| trajectories/tool_selection.rct_cluster.test.s1004.e1.a1.jsonl | 9,7 KB | ae0da12c5a6a706aca9dc22d2cb9fb8d961644628ff01ea5f4f91c795c18c7aa |