Pular para o conteúdo

Tarefa causcibench_real.q005

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494d

Veredito

falhouDecidida pela verificação 1: figura da resposta próxima, fora da tolerância.
1794.343085 vs 1672.204

Família do método (das chamadas de ferramentas): ols (regression)

Pergunta feita ao analista

What is the effect of the training program on job earnings for 1978?

Resposta

Estimativa ingênua (infer.ols): coef.treat = 1794.

Valores esperados e de onde vêm

causcibench_real.gold.q005

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 5
Tipo
benchmark_gold
Localização
real_input.json, record id 5: fields effect and std_error
Trecho
id 5 effect 1672.204 std_error 638.397
Valor como publicado
1672.204
Erro-padrão como publicado
638.397
Valor
1.672,21672.204 (se 638,397638.397)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 1.672,21672.204 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
1794.343085 vs 1672.204
obrigatóriafalhou1.672,21672.2041.794,341794.3430848752598relativa 0.05causcibench_real.gold.q005call_1bdafc9f

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_1bdafc9f)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["age","education","black","hispanic","nodegree","re74","re75"][]diferente
dataset"dehejia_propensity_score""dehejia_propensity_score"igual
fe—[]não fixado pela referência
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["treat"]["treat"]igual
y"re78""re78"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the training program on job earnings for 1978?

    dehejia_propensity_score (agent)

    The data originates from the National Supported Work (NSW) Demonstration, which was a temporary employment program created to assist disadvantaged workers lacking basic job skills in entering the labor market. The NSW program randomly assigned qualified applicants to either a treatment group, which received the benefits of the NSW program, or a control group, which did not. Participants in the treatment group were guaranteed a job for a duration of 9 to 18 months. Variables Measured: treat: whether the applicant received the training (1 if received training, 0 otherwise) age: measured in years education: measured in years black: indicating race (1 if Black, 0 otherwise) hispanic: indicating race (1 if Hispanic, 0 otherwise) married: indicating marital status (1 if married, 0 otherwise) nodegree: indicating high school diploma (1 if no degree, 0 otherwise) re74: real earnings in 1974 re75: real earnings in 1975 re78: real earnings in 1978

    file 301ac38a23accac1694b5be91c3967dc22fc38c70c3a82ab4d67786194a816eb · frame —
  2. 1Turno do modelo
    call_fa559c74naive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Chamadas pedidas
    • infer.ols
      {
        "dataset": "dehejia_propensity_score",
        "x": [
          "treat"
        ],
        "y": "re78"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_1bdafc9fdecidido pelo modeloreexecutável

    Motivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Argumentos
    {
      "cluster": null,
      "controls": [],
      "dataset": "dehejia_propensity_score",
      "fe": [],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "treat"
      ],
      "y": "re78"
    }
    Figuras call_1bdafc9f
    ChaveValorValor brutoErro-padrãoIC
    coef.treat
    Coefficient on treat in the regression of re78
    1.794,34 1794.3430848752598670,825670.8246758771626475,949 – 3.112,74
    Diagnósticos
    • n_obs = 445445
    • k = 22
    • r2 = 0,01782340.017823393171420787
    • df_resid = 443443
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 5223.4162394344075,
          "ci_low": 3886.188325950208,
          "coef": 4554.802282692308,
          "p": 1.4503388845360379e-34,
          "se": 340.2038316991563,
          "t": 13.388450858837295,
          "term": "Intercept"
        },
        {
          "ci_high": 3112.7372328138904,
          "ci_low": 475.94893693662925,
          "coef": 1794.3430848752598,
          "p": 0.007753398243551436,
          "se": 670.8246758771626,
          "t": 2.6748316652618622,
          "term": "treat"
        }
      ]
    }
    Digests dos dados
    dehejia_propensity_score 7d37e4b64ffef37edc3d25e43f6438624dff60ce4635743ba588b9beb6ba3965
    sha256 do resultado
    ce41ae14b9db5984766b24d33f073dcc47ba2e1ff605eb26f064173b51f872d5
  4. 3Turno do modelo
    call_c786895cnaive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa ingênua (infer.ols): coef.treat = 1794.",
        "caveats": [],
        "figure_refs": [
          "call_1bdafc9f:coef.treat"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    1794
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa ingênua (infer.ols): coef.treat = 1794.

    Figuras citadas: call_1bdafc9f:coef.treat · Parada: answered
    Figura da resposta: call_1bdafc9f:coef.treat = 1.794,341794.3430848752598 (se 670,825670.8246758771626)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximafalhouobrigatória1794.343085 vs 1672.204

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoufalhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
104,1 KB · sha256 4dac4318b44fab41b8e86687a3b6aa8b2929e1b22056d73ab221776c60904b40

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62.json93 B225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62
attachments/33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20.json1,4 KB33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/66f9247be15943fb488174a8cc109a8ddd52f6483c36d05c00adb1bd4196095d.json955 B66f9247be15943fb488174a8cc109a8ddd52f6483c36d05c00adb1bd4196095d
attachments/c91779378568bb42578d34a155cd1a87387dcd7d2c8e8ba1a633c4523f3a4efe.json849 Bc91779378568bb42578d34a155cd1a87387dcd7d2c8e8ba1a633c4523f3a4efe
attachments/d5b3a9f72cf6a6a954aa1ef6889c8751f3afcda857652d1506a919c80747cb2c.json239 Bd5b3a9f72cf6a6a954aa1ef6889c8751f3afcda857652d1506a919c80747cb2c
native/causcibench_real/causcibench_real.q005.e1.a1.json1,6 KB14cc4bb8c0729f3e796cafae4b2a4ddcc111f1f7abb1219bc1ed0648437d7bc2
sources/causcibench_real.gold.q005.json1,2 KB8f5fb49e4148529f7013b9eb46bda9a47e5d408bc6bdd33a760409152a44e745
specs/causcibench_real.q005.json5,0 KB9a120beb84a62b7c049760d052c75abacde4214b14731508d02bd0da252bb99a
traces/causcibench_real.q005.e1.a1.jsonl12,1 KB2c55eceb661eeafc97da584f699cd4c86842d8b035c4b523d542fdc67881f582
trajectories/causcibench_real.q005.e1.a1.jsonl9,3 KBc1660d4429ea72b73bb57d041bbf8d4494b902cfd6da1b4554835e5ca31700f8