Pular para o conteúdo

Tarefa causcibench_real.q009

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): iv (two-stage least squares)

Pergunta feita ao analista

What is the effect of education on earnings?

Resposta

Estimativa (infer.iv_2sls): coef.educ = 0,1318.

Valores esperados e de onde vêm

causcibench_real.gold.q009

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 9
Tipo
benchmark_gold
Localização
real_input.json, record id 9: fields effect and std_error
Trecho
id 9 effect 0.132 std_error 0.049
Valor como publicado
0.132
Erro-padrão como publicado
0.049
Valor
0,1320.132 (se 0,0490.049)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,1320.132 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
0.1318496962 vs 0.132
obrigatóriapassou0,1320.1320,131850.13184969617215697relativa 0.05causcibench_real.gold.q009call_6aa2cf12

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.iv_2slsChamada do agente: infer.iv_2sls (call_6aa2cf12)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
dataset"card_using_geographic""card_using_geographic"igual
endog["educ"]["educ"]igual
exog["exper","black","south","smsa"]["exper","black","south","smsa"]igual
instruments["nearc4"]["nearc4"]igual
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
y"lwage""lwage"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of education on earnings?

    card_using_geographic (agent)

    The National Longitudinal Survey of Young Men (NLSYM) was conducted to collect data on demographics, education, and employment outcomes. Participants were tracked over time to study long-term patterns. The dataset used here comes from the 1976 wave of the survey. Variables include: lwage: log of wages educ: years of education exper: years of work experience black: 1 if the individual is Black, 0 otherwise south: 1 if the individual lives in a southern state, 0 otherwise married: 1 if married, 0 otherwise smsa: 1 if living in a metropolitan area, 0 otherwise nearc4: 1 if there is a four-year college in the county, 0 otherwise

    file dcfffbe5294890880a8ed65da6cbca819980978b844109f455b82a24df671da7 · frame —
  2. 1Turno do modelo
    call_3083af26referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    causcibench_metadata_rule/1: iv

    Chamadas pedidas
    • infer.iv_2sls
      {
        "dataset": "card_using_geographic",
        "endog": [
          "educ"
        ],
        "exog": [
          "exper",
          "black",
          "south",
          "smsa"
        ],
        "instruments": [
          "nearc4"
        ],
        "y": "lwage"
      }
  3. 2Ferramenta
    infer.iv_2slsv0.1.0call_6aa2cf12decidido pelo modeloreexecutável

    Motivo: causcibench_metadata_rule/1: iv

    Argumentos
    {
      "cluster": null,
      "dataset": "card_using_geographic",
      "endog": [
        "educ"
      ],
      "exog": [
        "exper",
        "black",
        "south",
        "smsa"
      ],
      "instruments": [
        "nearc4"
      ],
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "y": "lwage"
    }
    Figuras call_6aa2cf12
    ChaveValorValor brutoErro-padrãoIC
    coef.educ
    2SLS effect of educ on lwage
    0,13185 0.131849696172156970,04883880.048838778599161810,0360889 – 0,227611
    Diagnósticos
    • first_stage_F.educ = 17,521617.52158709867487
    • partial_r2.educ = 0,005537340.005537342378534316
    • weak_instrument = false
    • n_obs = 3.0103010
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (3)
    {
      "coefficients": [
        {
          "ci_high": 5.544490320001097,
          "ci_low": 2.3351553411401573,
          "coef": 3.9398228305706273,
          "p": 0.0000015517749142396129,
          "se": 0.8183930713200654,
          "t": 4.814096023828386,
          "term": "Intercept"
        },
        {
          "ci_high": 0.10010964665521813,
          "ci_low": 0.024429992693417044,
          "coef": 0.062269819674317585,
          "p": 0.0012659486578627472,
          "se": 0.019298610101529643,
          "t": 3.2266478957146227,
          "term": "exper"
        },
        {
          "ci_high": -0.027947774739779788,
          "ci_low": -0.2312548689607402,
          "coef": -0.12960132185026,
          "p": 0.012478322230729104,
          "se": 0.051844110495347324,
          "t": -2.4998272824430248,
          "term": "black"
        },
        {
          "ci_high": -0.06426232341599948,
          "ci_low": -0.1542420443547961,
          "coef": -0.10925218388539779,
          "p": 0.000002013141708255201,
          "se": 0.022945183553809055,
          "t": -4.761443011740963,
          "term": "south"
        },
        {
          "ci_high": 0.1932202622051477,
          "ci_low": 0.07643167032893833,
          "coef": 0.13482596626704302,
          "p": 0.000006210461791105025,
          "se": 0.029781551327695815,
          "t": 4.527163974217136,
          "term": "smsa"
        },
        {
          "ci_high": 0.22761052674120977,
          "ci_low": 0.036088865603104175,
          "coef": 0.13184969617215697,
          "p": 0.006979246362745491,
          "se": 0.04883877859916181,
          "t": 2.6996927432255613,
          "term": "educ"
        }
      ],
      "first_stage": [
        {
          "ci_high": 0.4953986651741941,
          "ci_low": 0.17933787627132974,
          "coef": 0.33736827072276193,
          "endog": "educ",
          "instrument": "nearc4",
          "p": 0.000029221851538226085,
          "se": 0.08059674713228678,
          "t": 4.18587948926804
        }
      ],
      "reduced_form": [
        {
          "ci_high": 0.0767429145328812,
          "ci_low": 0.012220893452963864,
          "coef": 0.04448190399292254,
          "instrument": "nearc4",
          "p": 0.00689971388183915,
          "se": 0.016453369731480306,
          "t": 2.703513305716039
        }
      ]
    }
    Digests dos dados
    card_using_geographic fd36ea13401cd25c416c67b7584a5b20159e46d536946a8ce8b8f94b3fa774f0
    sha256 do resultado
    3490d2a4013f3d7835b10206df4300fa99e2268a5b5788c9e2778f1d252b032d
  4. 3Turno do modelo
    call_e9dceb1areferenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.iv_2sls): coef.educ = 0,1318.",
        "caveats": [],
        "figure_refs": [
          "call_6aa2cf12:coef.educ"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    0,1318
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.iv_2sls): coef.educ = 0,1318.

    Figuras citadas: call_6aa2cf12:coef.educ · Parada: answered
    Figura da resposta: call_6aa2cf12:coef.educ = 0,131850.13184969617215697 (se 0,04883880.04883877859916181)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximapassouobrigatória0.1318496962 vs 0.132

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
98,1 KB · sha256 f905991eef38f8b783ee9a8e25b554b111b305af27432612f14ac882e69b1a40

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/2829212526336506109cd93cc8079c2bebfa6dca068c2405d41c69d4b3617440.json1,9 KB2829212526336506109cd93cc8079c2bebfa6dca068c2405d41c69d4b3617440
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/45413c989fc00e0f8a16fc8d84cd08cf0d265d1592ad0677984215ecf691122c.json69 B45413c989fc00e0f8a16fc8d84cd08cf0d265d1592ad0677984215ecf691122c
attachments/4a52d096592baafa7c2474786e22801693a74d897026a9d5990c412ab5a30095.json1,1 KB4a52d096592baafa7c2474786e22801693a74d897026a9d5990c412ab5a30095
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/9876bdd4ab372cd5c65aa84d368c39e2ff1d81da5e7e99d419fe26834b3adb9f.json255 B9876bdd4ab372cd5c65aa84d368c39e2ff1d81da5e7e99d419fe26834b3adb9f
attachments/b35fea1b01ffc614ff2492144c8b08935696d0957c27ed62ff2e1c587c936405.json1,8 KBb35fea1b01ffc614ff2492144c8b08935696d0957c27ed62ff2e1c587c936405
native/causcibench_real/causcibench_real.q009.e1.a1.json1,7 KB564062bf94a0c084815da0b99f871af8a0df89712c9b8cc6300992cc3d3d0b7e
sources/causcibench_real.gold.q009.json1,2 KBd81d421027195ec4796c4ba597b7c81c7c8a9593955712ae67fd120f3ccfde9a
specs/causcibench_real.q009.json4,6 KBa366e1b3c0c63fc14d480bf3d4b055f9b605c5a7b8b07cd2083ffbc12e958097
traces/causcibench_real.q009.e1.a1.jsonl13,4 KB8a97cbf328d90a04bde46024a34f2f7e5b81036e679609606f0aa08b3d4df79b
trajectories/causcibench_real.q009.e1.a1.jsonl10,6 KB07842dc27f6481172dfcf5dbb41648e59da4d3e5e376d84f6130560a35ae9e65