Pular para o conteúdo

Tarefa tool_selection.rct_cluster.test.s1002

tool_selectionagentT2testépoca 1, tentativa 1Execução: 20261015T171401Z-suite-tool_selection-baseline-a1426d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): rct (difference in means of a randomized assignment)

Pergunta feita ao analista

Temos as notas de 2.000 alunos de 100 escolas; o programa foi atribuído aleatoriamente às escolas. Qual foi o impacto sobre a nota?

Resposta

Estimativa (infer.ate): ate = 0,6558 (IC 95%: 0,5089 a 0,8027).

Valores esperados e de onde vêm

Nenhuma fonte citada pelas verificações.

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0ferramenta chamada
1 successful call(s) of infer.ate
obrigatóriapassou—11——call_b47c0b4c
1argumento igual
infer.ate.cluster = ['escola']
obrigatóriapassou"escola"["escola"]——call_b47c0b4c
2figura próxima
0.6557765773 vs 0.53
obrigatóriapassou0,530.530,6557770.65577657730227absoluta 0.29977805752322223—call_b47c0b4c
3resposta com lastro
every number backed
obrigatóriapassou—[]———
4uma entre
answer_cites(infer.ate): ok
registradapassou[{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"answer_cites","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.ate","value":null,"weight":1,"where":null}]["call_b47c0b4c:ate"]——call_b47c0b4c

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

o que as verificações esperam da chamada da resposta

Referência: infer.ateChamada do agente: infer.ate (call_b47c0b4c)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster"escola""escola"igual
covariates—[]não fixado pela referência
dataset—"dados"não fixado pela referência
level—0,950.95não fixado pela referência
treatment—"tratado"não fixado pela referência
weights——não fixado pela referência
y—"nota"não fixado pela referência

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Temos as notas de 2.000 alunos de 100 escolas; o programa foi atribuído aleatoriamente às escolas. Qual foi o impacto sobre a nota?

    dados (agent)

    Uma linha por aluno. escola: código da escola do aluno; nota: nota padronizada na prova municipal ao fim do ano; tratado: 1 se a escola do aluno entrou no programa; nota_base: nota padronizada no início do ano.

    file — · frame —
  2. 1Turno do modelo
    call_9525da00rules-1Fim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    Atribuição sorteada: diferença de médias entre os grupos.

    Chamadas pedidas
    • infer.ate
      {
        "cluster": "escola",
        "dataset": "dados",
        "treatment": "tratado",
        "y": "nota"
      }
  3. 2Ferramenta
    infer.atev0.1.0call_b47c0b4cdecidido pelo modeloreexecutável

    Motivo: Atribuição sorteada: diferença de médias entre os grupos.

    Argumentos
    {
      "cluster": "escola",
      "covariates": [],
      "dataset": "dados",
      "level": 0.95,
      "treatment": "tratado",
      "weights": null,
      "y": "nota"
    }
    Figuras call_b47c0b4c
    ChaveValorValor brutoErro-padrãoIC
    ate
    Average effect of tratado on nota
    0,655777 0.655776577302270,07494450.074944514380805560,508888 – 0,802665
    Diagnósticos
    • n_treated = 1.0001000
    • n_control = 1.0001000
    • se_type = "cluster"
    • n_clusters = 100100
    Digests dos dados
    dados 437768434a1f064b23dfc4f59c78263cec4fc4c636a2163d35039af9f305ec25
    sha256 do resultado
    13f3223ac7d5ffff6c9f9e02afa64e0a5b7bee321d412b73d1bbf07aefb623f7
  4. 3Turno do modelo
    call_32ab33carules-1Fim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.ate): ate = 0,6558 (IC 95%: 0,5089 a 0,8027).",
        "caveats": [],
        "figure_refs": [
          "call_b47c0b4c:ate"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    0,6558 · 95% · 0,5089 · 0,8027
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.ate): ate = 0,6558 (IC 95%: 0,5089 a 0,8027).

    Figuras citadas: call_b47c0b4c:ate · Parada: answered
    Figura da resposta: call_b47c0b4c:ate = 0,6557770.65577657730227 (se 0,07494450.07494451438080556)
  7. 6Pontuação
    #0ferramenta chamadapassouobrigatória1 successful call(s) of infer.ate
  8. 7Pontuação
    #1argumento igualpassouobrigatóriainfer.ate.cluster = ['escola']
  9. 8Pontuação
    #2figura próximapassouobrigatória0.6557765773 vs 0.53
  10. 9Pontuação
    #3resposta com lastropassouobrigatóriaevery number backed
  11. 10Pontuação
    #4uma entrepassouregistradaanswer_cites(infer.ate): ok

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01234
Época 1passoupassoupassoupassoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
51,9 KB · sha256 d888ed80ca28ef64e1852dcadf72dc87c0fd3d5e4caa317f4d341b3577a7f3f0

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/19e143e5a1d8e0ae92504e183f965e68315d4e4796119d209ef5ab847ecee8f5.json241 B19e143e5a1d8e0ae92504e183f965e68315d4e4796119d209ef5ab847ecee8f5
attachments/2dbe4695cac08d5f30a1ad6b395e67ddd810325504841c924354f51c6ad12bd1.json503 B2dbe4695cac08d5f30a1ad6b395e67ddd810325504841c924354f51c6ad12bd1
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/52b19add5f84457b3eea737d474667953994bcb2f01a78a06817761d5af8ec8d.json558 B52b19add5f84457b3eea737d474667953994bcb2f01a78a06817761d5af8ec8d
attachments/aceb31622919f1435d5ab10f057a5c76b42517982be62dd297fc9f35291cdbb0.json166 Baceb31622919f1435d5ab10f057a5c76b42517982be62dd297fc9f35291cdbb0
attachments/b8316bc815308a86f0e74eaaa7a7d8651a6da96890f7ed3fd710f78f1323c2cf.json450 Bb8316bc815308a86f0e74eaaa7a7d8651a6da96890f7ed3fd710f78f1323c2cf
specs/tool_selection.rct_cluster.test.s1002.json3,8 KB51197baf244a380559d4d9579b757e4844eb6b4ce5c61b212481529387ffe5de
traces/tool_selection.rct_cluster.test.s1002.e1.a1.jsonl10,7 KBb42c3fc25c086ac797a918863c5c65e3911b1001c0ddd4ebbdb892f4547d1447
trajectories/tool_selection.rct_cluster.test.s1002.e1.a1.jsonl9,7 KBd05fa9e65cea977e8d34883cda03b2dd508c13ba6d392fc7fe26a9d532dd0d6c