Tarefa tool_selection.rct_individual.test.s1002
tool_selectionagentT2testépoca 1, tentativa 1Execução: 20261015T171350Z-suite-tool_selection-scripted-900f27Veredito
Família do método (das chamadas de ferramentas): rct (difference in means of a randomized assignment)
Pergunta feita ao analista
Queremos saber se o reforço escolar funcionou. Como havia mais inscritos do que vagas, a escola usou uma lista gerada ao acaso para decidir quem entraria. Qual o impacto do reforço na nota de fim de ano?
Estimativa (infer.ate): ate = 0,4715.
Valores esperados e de onde vêm
Nenhuma fonte citada pelas verificações.
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|---|---|---|---|---|---|---|---|
| 0 | ferramenta chamada 1 successful call(s) of infer.ate | registrada | passou | — | 11 | — | — | call_e812a11d |
| 1 | uma entre tool_called(infer.ate): ok | tool_called(infer.neyman): 0 successful call(s) of infer.neyman | obrigatória | passou | [{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"tool_called","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.ate","value":null,"weight":1,"where":null},{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"tool_called","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.neyman","value":null,"weight":1,"where":null}] | 11 | — | — | call_e812a11d |
| 2 | uma entre figure_close(infer.ate:ate): ok | figure_close(infer.neyman:ate): no successful call of infer.neyman | obrigatória | passou | [{"abs_tol":0.163526189241581,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":"ate","kind":"figure_close","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.ate","value":0.39,"weight":1,"where":null},{"abs_tol":0.163526189241581,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":"ate","kind":"figure_close","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.neyman","value":0.39,"weight":1,"where":null}] | 0,4715370.47153720219355866 | — | — | call_e812a11d |
| 3 | resposta com lastro every number backed | obrigatória | passou | — | [] | — | — | — |
| 4 | uma entre answer_cites(infer.ate): ok | answer_cites(infer.neyman): cited ['call_e812a11d:ate'] | registrada | passou | [{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"answer_cites","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.ate","value":null,"weight":1,"where":null},{"abs_tol":null,"bind":"any","column":null,"failure_class":null,"field":"value","interval":false,"key":null,"kind":"answer_cites","min_lre":null,"note":"","open_interval":false,"rel_tol":null,"required":true,"source_id":null,"table":null,"tool":"infer.neyman","value":null,"weight":1,"where":null}] | ["call_e812a11d:ate"] | — | — | call_e812a11d |
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
o que as verificações esperam da chamada da resposta
| Argumento | Referência | Agente | |
|---|---|---|---|
| cluster | — | — | não fixado pela referência |
| covariates | — | [] | não fixado pela referência |
| dataset | — | "dados" | não fixado pela referência |
| level | — | 0,950.95 | não fixado pela referência |
| treatment | — | "tratado" | não fixado pela referência |
| weights | — | — | não fixado pela referência |
| y | — | "nota" | não fixado pela referência |
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
- 0Início
Queremos saber se o reforço escolar funcionou. Como havia mais inscritos do que vagas, a escola usou uma lista gerada ao acaso para decidir quem entraria. Qual o impacto do reforço na nota de fim de ano?
dados(agent)Uma linha por aluno inscrito no programa. nota: nota padronizada na prova municipal de matemática ao fim do ano; tratado: 1 se o aluno recebeu o reforço, 0 se ficou na lista de espera; nota_base: nota padronizada na mesma prova no início do ano, antes do programa.
file — · frame — - 1Turno do modelo
call_c6797abareferenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheTexto visívelAtribuição por sorteio com adesão completa: diferença de médias.
Chamadas pedidasinfer.ate{ "dataset": "dados", "treatment": "tratado", "y": "nota" }
- 2Ferramenta
infer.atev0.1.0call_e812a11ddecidido pelo modeloreexecutávelMotivo: Atribuição por sorteio com adesão completa: diferença de médias.
Argumentos
{ "cluster": null, "covariates": [], "dataset": "dados", "level": 0.95, "treatment": "tratado", "weights": null, "y": "nota" }Figuras call_e812a11d Chave Valor Valor bruto Erro-padrão IC ate Average effect of tratado on nota0,471537 0.471537202193558660,0408815 0.040881547310395250,391411 – 0,551664 Diagnósticosn_treated= 1.2501250n_control= 1.2501250se_type="HC1"n_clusters= —
- Digests dos dados
dados2fab161fb6cef1f91312d217af005d47dd45b1aa37692b024d0aa4fa7537ad0f- sha256 do resultado
6e8a1adf1fbd4cfcf2c3e2d18ef27b01d4cba9973e27f864b091d9d68b4a20ab
- 3Turno do modelo
call_5a6d5866referenceFim:tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cacheChamadas pedidassubmit_answer(meta-ferramenta){ "answer": "Estimativa (infer.ate): ate = 0,4715.", "caveats": [], "figure_refs": [ "call_e812a11d:ate" ] }
- 4Guardaresposta aceita
- Números encontrados
- 0,4715
- Sem lastro
- —
- Não citados
- —
1 nova(s) tentativa(s) restante(s) - 5Resposta
Estimativa (infer.ate): ate = 0,4715.
Figuras citadas:call_e812a11d:ate· Parada:answeredFigura da resposta:call_e812a11d:ate= 0,4715370.47153720219355866(se 0,04088150.04088154731039525) - 6Pontuação#0ferramenta chamadapassouregistrada
1 successful call(s) of infer.ate - 7Pontuação#1uma entrepassouobrigatória
tool_called(infer.ate): ok | tool_called(infer.neyman): 0 successful call(s) of infer.neyman - 8Pontuação#2uma entrepassouobrigatória
figure_close(infer.ate:ate): ok | figure_close(infer.neyman:ate): no successful call of infer.neyman - 9Pontuação#3resposta com lastropassouobrigatória
every number backed - 10Pontuação#4uma entrepassouregistrada
answer_cites(infer.ate): ok | answer_cites(infer.neyman): cited ['call_e812a11d:ate']
Épocas × verificações
| # | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| Época 1 | passou | passou | passou | passou | passou |
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1passoupontuada(exibindo)
Downloads desta tarefa
c609d65f881ced4cc818749d4b5f7ae8665b0c914ea9bf80acdd8310c8db44e8O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.