Pular para o conteúdo

Tarefa causcibench_real.q110

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): did (OLS with unit and time fixed effects; the regressor varies within unit)

Pergunta feita ao analista

What is the effect of the HOPE scholarship on college attendance?

Resposta

Estimativa (infer.ols): coef.hopeScholarship = 0,07218.

Valores esperados e de onde vêm

causcibench_real.gold.q110

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 110
Tipo
benchmark_gold
Localização
real_input.json, record id 110: fields effect and std_error
Trecho
id 110 effect 0.072 std_error 0.011
Valor como publicado
0.072
Erro-padrão como publicado
0.011
Valor
0,0720.072 (se 0,0110.011)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,0720.072 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
0.07217999339 vs 0.072
obrigatóriapassou0,0720.0720,072180.07217999338668614relativa 0.05causcibench_real.gold.q110call_a909df35

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_a909df35)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["male","black","asian"]["male","black","asian"]igual
dataset"conley_inference_with_hope""conley_inference_with_hope"igual
fe["state","year"]["state","year"]igual
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["hopeScholarship"]["hopeScholarship"]igual
y"collegeAttendance""collegeAttendance"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the HOPE scholarship on college attendance?

    conley_inference_with_hope (agent)

    Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: collegeAttendance: Whether the person is enrolled in college (1 = yes, 0 = no) hopeScholarship: Statewide Hope Scholarship program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC)

    file 8c646a88e3c045b7ba1c179b5012dedcc34f8e64d901159ce4f2eca89e77f330 · frame —
  2. 1Turno do modelo
    call_8a0d61f2referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    causcibench_metadata_rule/1: did

    Chamadas pedidas
    • infer.ols
      {
        "controls": [
          "male",
          "black",
          "asian"
        ],
        "dataset": "conley_inference_with_hope",
        "fe": [
          "state",
          "year"
        ],
        "x": [
          "hopeScholarship"
        ],
        "y": "collegeAttendance"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_a909df35decidido pelo modeloreexecutável

    Motivo: causcibench_metadata_rule/1: did

    Argumentos
    {
      "cluster": null,
      "controls": [
        "male",
        "black",
        "asian"
      ],
      "dataset": "conley_inference_with_hope",
      "fe": [
        "state",
        "year"
      ],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "hopeScholarship"
      ],
      "y": "collegeAttendance"
    }
    Figuras call_a909df35
    ChaveValorValor brutoErro-padrãoIC
    coef.hopeScholarship
    Coefficient on hopeScholarship in the regression of collegeAttendance
    0,07218 0.072179993386686140,04097430.04097432894298293-0,008131 – 0,152491
    Diagnósticos
    • n_obs = 34.90734907
    • k = 5757
    • r2 = 0,03181980.03181981186617522
    • df_resid = 34.85034850
    • se_type = "HC1"
    • n_clusters = —
    • fixed_effects = "state (42 levels), year (12 levels)"
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 0.49190614881375216,
          "ci_low": 0.3910674731567052,
          "coef": 0.4414868109852287,
          "p": 9.430571689201934e-66,
          "se": 0.025723731215789525,
          "t": 17.162627275246873,
          "term": "Intercept"
        },
        {
          "ci_high": 0.15249099166073243,
          "ci_low": -0.008131004887360141,
          "coef": 0.07217999338668614,
          "p": 0.07814725752506017,
          "se": 0.04097432894298293,
          "t": 1.7615906165815887,
          "term": "hopeScholarship"
        },
        {
          "ci_high": -0.06674764209163578,
          "ci_low": -0.08733171199105161,
          "coef": -0.0770396770413437,
          "p": 1.3695848564214876e-48,
          "se": 0.005250952355031189,
          "t": -14.67156276280593,
          "term": "male"
        },
        {
          "ci_high": -0.13910799315475778,
          "ci_low": -0.1722159906951133,
          "coef": -0.15566199192493554,
          "p": 1.7028071684891525e-75,
          "se": 0.008445779600652752,
          "t": -18.430742842603287,
          "term": "black"
        },
        {
          "ci_high": 0.20079889028222425,
          "ci_low": 0.1456282216183467,
          "coef": 0.17321355595028548,
          "p": 9.757625810556183e-35,
          "se": 0.014073919976216882,
          "t": 12.307413730005155,
          "term": "asian"
        }
      ]
    }
    • 1 rows were dropped because one of 'collegeAttendance', 'hopeScholarship', 'male', 'black', 'asian', 'state', 'year' was missing
    Digests dos dados
    conley_inference_with_hope fa5d9847488b0396d491a7be7185829ccafec75ef49d3633f2e7cdcb29f69e05
    sha256 do resultado
    d065495d4b4b73086b753940d08018939e15951dc84a8c04eae71d858f1d88b4
  4. 3Turno do modelo
    call_c4ba5a23referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.ols): coef.hopeScholarship = 0,07218.",
        "caveats": [],
        "figure_refs": [
          "call_a909df35:coef.hopeScholarship"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    0,07218
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.ols): coef.hopeScholarship = 0,07218.

    Figuras citadas: call_a909df35:coef.hopeScholarship · Parada: answered
    Figura da resposta: call_a909df35:coef.hopeScholarship = 0,072180.07217999338668614 (se 0,04097430.04097432894298293)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximapassouobrigatória0.07217999339 vs 0.072

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
97,8 KB · sha256 a448498793f80d3c0f24284019830dfa7b974a741b4a93a291dfb37f18fb2bb8

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/3ec778694f3dea6dd484cb2d846b57cd38f177309a37dfec2a72f04c13fa5a1d.json269 B3ec778694f3dea6dd484cb2d846b57cd38f177309a37dfec2a72f04c13fa5a1d
attachments/432c0f881d92c5472bce3f0de9bfa2fd485bac5ce126979e5203bebf1042bbb0.json90 B432c0f881d92c5472bce3f0de9bfa2fd485bac5ce126979e5203bebf1042bbb0
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/523b4d46b9a5229da3490906f12bf8e1da3967be61b6ce18c2cfa228491ff730.json1,6 KB523b4d46b9a5229da3490906f12bf8e1da3967be61b6ce18c2cfa228491ff730
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/a217a8308baa7ca1afd21f799559846449ec9ed5b32e4de83e10bd89976dd1c1.json1,1 KBa217a8308baa7ca1afd21f799559846449ec9ed5b32e4de83e10bd89976dd1c1
attachments/f3d542f45153f1e0111edbaf0ee4c96919b52161f9ff732e116de021d01ac9b4.json1,5 KBf3d542f45153f1e0111edbaf0ee4c96919b52161f9ff732e116de021d01ac9b4
native/causcibench_real/causcibench_real.q110.e1.a1.json1,8 KBf474fe0dcd86ac6840ea0f8de06f8961b59a3737ec08a30e4f2d72ef3a1093d5
sources/causcibench_real.gold.q110.json1,2 KB14a3d60a3a4adeb1da146e116fcb70433c7cb11a770d025362eaf10f5f96f21d
specs/causcibench_real.q110.json5,0 KBdeb0c1da422c34494f7ef38368180bc0c0fe21aaceb7c0cfbc9d71fbec90b3c8
traces/causcibench_real.q110.e1.a1.jsonl12,9 KBd93219d58e34a451d89a74d68cab90729e557fbee07414e6bf8940e48d7d142d
trajectories/causcibench_real.q110.e1.a1.jsonl10,2 KB68a813049bc33e3a739ed8f0daa0cf7ad3b875b9b0d036160ae80ff34c947439