Pular para o conteúdo

Tarefa causcibench_real.q005

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): ols (regression)

Pergunta feita ao analista

What is the effect of the training program on job earnings for 1978?

Resposta

Estimativa (infer.ols): coef.treat = 1673.

Valores esperados e de onde vêm

causcibench_real.gold.q005

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 5
Tipo
benchmark_gold
Localização
real_input.json, record id 5: fields effect and std_error
Trecho
id 5 effect 1672.204 std_error 638.397
Valor como publicado
1672.204
Erro-padrão como publicado
638.397
Valor
1.672,21672.204 (se 638,397638.397)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 1.672,21672.204 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
1673.484813 vs 1672.204
obrigatóriapassou1.672,21672.2041.673,481673.4848130406144relativa 0.05causcibench_real.gold.q005call_093e937c

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_093e937c)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["age","education","black","hispanic","nodegree","re74","re75"]["age","education","black","hispanic","nodegree","re74","re75"]igual
dataset"dehejia_propensity_score""dehejia_propensity_score"igual
fe—[]não fixado pela referência
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["treat"]["treat"]igual
y"re78""re78"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the training program on job earnings for 1978?

    dehejia_propensity_score (agent)

    The data originates from the National Supported Work (NSW) Demonstration, which was a temporary employment program created to assist disadvantaged workers lacking basic job skills in entering the labor market. The NSW program randomly assigned qualified applicants to either a treatment group, which received the benefits of the NSW program, or a control group, which did not. Participants in the treatment group were guaranteed a job for a duration of 9 to 18 months. Variables Measured: treat: whether the applicant received the training (1 if received training, 0 otherwise) age: measured in years education: measured in years black: indicating race (1 if Black, 0 otherwise) hispanic: indicating race (1 if Hispanic, 0 otherwise) married: indicating marital status (1 if married, 0 otherwise) nodegree: indicating high school diploma (1 if no degree, 0 otherwise) re74: real earnings in 1974 re75: real earnings in 1975 re78: real earnings in 1978

    file 301ac38a23accac1694b5be91c3967dc22fc38c70c3a82ab4d67786194a816eb · frame —
  2. 1Turno do modelo
    call_a6a48ce7referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    causcibench_metadata_rule/1: ols

    Chamadas pedidas
    • infer.ols
      {
        "controls": [
          "age",
          "education",
          "black",
          "hispanic",
          "nodegree",
          "re74",
          "re75"
        ],
        "dataset": "dehejia_propensity_score",
        "x": [
          "treat"
        ],
        "y": "re78"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_093e937cdecidido pelo modeloreexecutável

    Motivo: causcibench_metadata_rule/1: ols

    Argumentos
    {
      "cluster": null,
      "controls": [
        "age",
        "education",
        "black",
        "hispanic",
        "nodegree",
        "re74",
        "re75"
      ],
      "dataset": "dehejia_propensity_score",
      "fe": [],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "treat"
      ],
      "y": "re78"
    }
    Figuras call_093e937c
    ChaveValorValor brutoErro-padrãoIC
    coef.treat
    Coefficient on treat in the regression of re78
    1.673,48 1673.4848130406144674,783674.7829621510485347,253 – 2.999,72
    Diagnósticos
    • n_obs = 445445
    • k = 99
    • r2 = 0,05477590.05477593527479674
    • df_resid = 436436
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 7182.123043828514,
          "ci_low": -5490.240895975875,
          "coef": 845.9410739263195,
          "p": 0.7931351554241328,
          "se": 3223.8312657192605,
          "t": 0.2624024039104242,
          "term": "Intercept"
        },
        {
          "ci_high": 2999.716642802574,
          "ci_low": 347.25298327865494,
          "coef": 1673.4848130406144,
          "p": 0.01351360757422965,
          "se": 674.7829621510485,
          "t": 2.480034184185594,
          "term": "treat"
        },
        {
          "ci_high": 129.75241215226677,
          "ci_low": -21.987781624847635,
          "coef": 53.882315263709565,
          "p": 0.16347759403489867,
          "se": 38.60248831935864,
          "t": 1.395824922423156,
          "term": "age"
        },
        {
          "ci_high": 775.2571909492856,
          "ci_low": 10.556874784264267,
          "coef": 392.9070328667749,
          "p": 0.044027201639168234,
          "se": 194.53866696605093,
          "t": 2.0196860551909785,
          "term": "education"
        },
        {
          "ci_high": -187.2894716780038,
          "ci_low": -4150.941061935906,
          "coef": -2169.115266806955,
          "p": 0.03201246953332277,
          "se": 1008.3472968255468,
          "t": -2.151158904908763,
          "term": "black"
        },
        {
          "ci_high": 2810.8037026792404,
          "ci_low": -2510.45613851364,
          "coef": 150.17378208280005,
          "p": 0.9117196676556997,
          "se": 1353.7208945814664,
          "t": 0.11093408004847978,
          "term": "hispanic"
        },
        {
          "ci_high": 1937.5247546627015,
          "ci_low": -2086.8071684256756,
          "coef": -74.64120688148705,
          "p": 0.9419134284974374,
          "se": 1023.7842867291178,
          "t": -0.07290716203503943,
          "term": "nodegree"
        },
        {
          "ci_high": 0.29089481574977305,
          "ci_low": -0.12580340721038863,
          "coef": 0.0825457042696922,
          "p": 0.43659154108520354,
          "se": 0.10600743207264302,
          "t": 0.7786784629697157,
          "term": "re74"
        },
        {
          "ci_high": 0.28312625770366157,
          "ci_low": -0.18688561601191228,
          "coef": 0.04812032084587463,
          "p": 0.6875548247101434,
          "se": 0.11957034859014228,
          "t": 0.40244359419590925,
          "term": "re75"
        }
      ]
    }
    Digests dos dados
    dehejia_propensity_score 7d37e4b64ffef37edc3d25e43f6438624dff60ce4635743ba588b9beb6ba3965
    sha256 do resultado
    39e9cb682e166782067bae57ad3064c61d4568e78decb0900301f3325e6693bc
  4. 3Turno do modelo
    call_22be961breferenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.ols): coef.treat = 1673.",
        "caveats": [],
        "figure_refs": [
          "call_093e937c:coef.treat"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    1673
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.ols): coef.treat = 1673.

    Figuras citadas: call_093e937c:coef.treat · Parada: answered
    Figura da resposta: call_093e937c:coef.treat = 1.673,481673.4848130406144 (se 674,783674.7829621510485)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximapassouobrigatória1673.484813 vs 1672.204

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
98,3 KB · sha256 9afd2c4d4fa4b245c118be37d9b9cd3a6506e2e7053a3115416b221e4cdd0409

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62.json93 B225554bc2d01ab88102e430277a6be8e7aede14d17694f7e73465140eaf4aa62
attachments/33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20.json1,4 KB33b6b838abe2fcc1e3994e284f8164c018617b394c75ae26a42d05a06e1c3e20
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/5b64d8ec3b013c549b2e6a25b46562435a5d29be32a445fe3bc7bdfd29629d82.json1,6 KB5b64d8ec3b013c549b2e6a25b46562435a5d29be32a445fe3bc7bdfd29629d82
attachments/66144bdf795efdac571f238096cc3d85ff4dbc52ca500ec881236e5f3623690a.json261 B66144bdf795efdac571f238096cc3d85ff4dbc52ca500ec881236e5f3623690a
attachments/dbfe5391f001272eeb323e04c67e7972f060e2e49dd5c89d2c80f04ec0b78075.json1,7 KBdbfe5391f001272eeb323e04c67e7972f060e2e49dd5c89d2c80f04ec0b78075
native/causcibench_real/causcibench_real.q005.e1.a1.json1,8 KB195984452936e6809c7773591c96b25fa6f9d0989d8d0765d34fcffa7d897b1f
sources/causcibench_real.gold.q005.json1,2 KB8f5fb49e4148529f7013b9eb46bda9a47e5d408bc6bdd33a760409152a44e745
specs/causcibench_real.q005.json5,0 KB9a120beb84a62b7c049760d052c75abacde4214b14731508d02bd0da252bb99a
traces/causcibench_real.q005.e1.a1.jsonl13,4 KB125680c8216fec6ee22bd3f12be6ae7802b5ccb38cc3b17e33ee6f7afe76ec35
trajectories/causcibench_real.q005.e1.a1.jsonl10,5 KB9294a2316a7368767219f19fc2750f609c30bd9a2a14347bae6cf6363e44e606