Pular para o conteúdo

Tarefa causcibench_real.q109

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494d

Veredito

falhouDecidida pela verificação 1: figura da resposta próxima, fora da tolerância.
-0.04611369246 vs 0.034

Família do método (das chamadas de ferramentas): ols (regression)

Pergunta feita ao analista

What is the effect of the Merit scholarship on college attendance ?

Resposta

Estimativa ingênua (infer.ols): coef.merit = -0,04611.

Valores esperados e de onde vêm

causcibench_real.gold.q109

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 109
Tipo
benchmark_gold
Localização
real_input.json, record id 109: fields effect and std_error
Trecho
id 109 effect 0.034 std_error 0.013
Valor como publicado
0.034
Erro-padrão como publicado
0.013
Valor
0,0340.034 (se 0,0130.013)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,0340.034 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
-0.04611369246 vs 0.034
obrigatóriafalhou0,0340.034-0,0461137-0.04611369246417185relativa 0.05causcibench_real.gold.q109call_7725ee5a

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_7725ee5a)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["male","black","asian"][]diferente
dataset"conley_inference_with_merit""conley_inference_with_merit"igual
fe["state","year"][]diferente
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["merit"]["merit"]igual
y"coll""coll"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the Merit scholarship on college attendance ?

    conley_inference_with_merit (agent)

    Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: coll: Whether the person is enrolled in college (1 = yes, 0 = no) merit: Statewide merit-aid program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC) chst: ""Changer state"" flag (1 = state that adopts a merit program during the sample window, 0 = otherwise)

    file ab17c09dc39124fed9d72a4c0801c5b7179696c2f1b894d8052ce8326f759ef1 · frame —
  2. 1Turno do modelo
    call_1bfe7975naive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Chamadas pedidas
    • infer.ols
      {
        "dataset": "conley_inference_with_merit",
        "x": [
          "merit"
        ],
        "y": "coll"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_7725ee5adecidido pelo modeloreexecutável

    Motivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Argumentos
    {
      "cluster": null,
      "controls": [],
      "dataset": "conley_inference_with_merit",
      "fe": [],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "merit"
      ],
      "y": "coll"
    }
    Figuras call_7725ee5a
    ChaveValorValor brutoErro-padrãoIC
    coef.merit
    Coefficient on merit in the regression of coll
    -0,0461137 -0.046113692464171850,01043590.010435907932336666-0,0665683 – -0,0256591
    Diagnósticos
    • n_obs = 42.16142161
    • k = 22
    • r2 = 0,0004512520.0004512524325973599
    • df_resid = 42.15942159
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 0.4520233558644275,
          "ci_low": 0.44225618810624195,
          "coef": 0.4471397719853347,
          "p": 0,
          "se": 0.0024915986785095114,
          "t": 179.45898584792005,
          "term": "Intercept"
        },
        {
          "ci_high": -0.025659101529590347,
          "ci_low": -0.06656828339875336,
          "coef": -0.04611369246417185,
          "p": 0.000009951956595718836,
          "se": 0.010435907932336666,
          "t": -4.418752327364267,
          "term": "merit"
        }
      ]
    }
    Digests dos dados
    conley_inference_with_merit e8e2a51104ccc15dad142f997ce73a6a0e3e5ce984dfebfc62c7cf412802bdfc
    sha256 do resultado
    19d5e8b1930604c4ded061e2cb166a9ef8a6eda1cd658c6d1d02593e76599680
  4. 3Turno do modelo
    call_78251b3cnaive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa ingênua (infer.ols): coef.merit = -0,04611.",
        "caveats": [],
        "figure_refs": [
          "call_7725ee5a:coef.merit"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    -0,04611
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa ingênua (infer.ols): coef.merit = -0,04611.

    Figuras citadas: call_7725ee5a:coef.merit · Parada: answered
    Figura da resposta: call_7725ee5a:coef.merit = -0,0461137-0.04611369246417185 (se 0,01043590.010435907932336666)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximafalhouobrigatória-0.04611369246 vs 0.034

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoufalhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
104,0 KB · sha256 5c74164c80bf43077e5b18b533558f8f7c6c89401fa0ac9f21d2d1af4b8789ab

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e.json92 B070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e
attachments/0d0ba7f8bf6eab4c563453444cec047bfe06d952523f8e9d3940ae8e342adecc.json242 B0d0ba7f8bf6eab4c563453444cec047bfe06d952523f8e9d3940ae8e342adecc
attachments/164343f9ba86ca202dc856d9ae4413f295df65337bbb011db9a48c677a6e7388.json982 B164343f9ba86ca202dc856d9ae4413f295df65337bbb011db9a48c677a6e7388
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd.json1,2 KB4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/f89666ef6ac5e5d3ab25d5ebbb4e6d990cb4101bdbb179118e949d3a07bb21f6.json876 Bf89666ef6ac5e5d3ab25d5ebbb4e6d990cb4101bdbb179118e949d3a07bb21f6
native/causcibench_real/causcibench_real.q109.e1.a1.json1,6 KBb8741105348a25aad3971174bce0df88b522dc3dbfcb215514e3b94716062afb
sources/causcibench_real.gold.q109.json1,2 KB651a4f3d8ee253546bf12d3e15626ee33d24af929f5ed227a30b68dc1d87caef
specs/causcibench_real.q109.json4,9 KB51090725f86fc4f515e3933ceaad79b1a65318ab249bc84a545d166eef427437
traces/causcibench_real.q109.e1.a1.jsonl12,0 KBdf59c853952722a89669cad896475378f93470c3cc3d46ea60b7ae6d25394803
trajectories/causcibench_real.q109.e1.a1.jsonl9,3 KBe864386008453d2a4b06e9ce053acb984bdc95c4b64ab5cfbe9a2853a1261fec