Pular para o conteúdo

Tarefa causcibench_real.q110

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171142Z-suite-causcibench_real-naive-d6494d

Veredito

falhouDecidida pela verificação 1: figura da resposta próxima, fora da tolerância.
-0.07188608978 vs 0.072

Família do método (das chamadas de ferramentas): ols (regression)

Pergunta feita ao analista

What is the effect of the HOPE scholarship on college attendance?

Resposta

Estimativa ingênua (infer.ols): coef.hopeScholarship = -0,07189.

Valores esperados e de onde vêm

causcibench_real.gold.q110

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 110
Tipo
benchmark_gold
Localização
real_input.json, record id 110: fields effect and std_error
Trecho
id 110 effect 0.072 std_error 0.011
Valor como publicado
0.072
Erro-padrão como publicado
0.011
Valor
0,0720.072 (se 0,0110.011)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,0720.072 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
-0.07188608978 vs 0.072
obrigatóriafalhou0,0720.072-0,0718861-0.07188608978371812relativa 0.05causcibench_real.gold.q110call_d4211264

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_d4211264)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["male","black","asian"][]diferente
dataset"conley_inference_with_hope""conley_inference_with_hope"igual
fe["state","year"][]diferente
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["hopeScholarship"]["hopeScholarship"]igual
y"collegeAttendance""collegeAttendance"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the HOPE scholarship on college attendance?

    conley_inference_with_hope (agent)

    Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: collegeAttendance: Whether the person is enrolled in college (1 = yes, 0 = no) hopeScholarship: Statewide Hope Scholarship program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC)

    file 8c646a88e3c045b7ba1c179b5012dedcc34f8e64d901159ce4f2eca89e77f330 · frame —
  2. 1Turno do modelo
    call_e3a7f814naive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Chamadas pedidas
    • infer.ols
      {
        "dataset": "conley_inference_with_hope",
        "x": [
          "hopeScholarship"
        ],
        "y": "collegeAttendance"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_d4211264decidido pelo modeloreexecutável

    Motivo: Linha de base ingênua: regressão do resultado no tratamento, sem controles.

    Argumentos
    {
      "cluster": null,
      "controls": [],
      "dataset": "conley_inference_with_hope",
      "fe": [],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "hopeScholarship"
      ],
      "y": "collegeAttendance"
    }
    Figuras call_d4211264
    ChaveValorValor brutoErro-padrãoIC
    coef.hopeScholarship
    Coefficient on hopeScholarship in the regression of collegeAttendance
    -0,0718861 -0.071886089783718120,02310880.02310883605238589-0,11718 – -0,026592
    Diagnósticos
    • n_obs = 34.90734907
    • k = 22
    • r2 = 0,0002642510.0002642506471258743
    • df_resid = 34.90534905
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 0.45883923665371634,
          "ci_low": 0.448325800056577,
          "coef": 0.4535825183551467,
          "p": 0,
          "se": 0.0026819554126189084,
          "t": 169.12381026954768,
          "term": "Intercept"
        },
        {
          "ci_high": -0.026592032782001507,
          "ci_low": -0.11718014678543473,
          "coef": -0.07188608978371812,
          "p": 0.0018675560234692658,
          "se": 0.02310883605238589,
          "t": -3.1107620314912476,
          "term": "hopeScholarship"
        }
      ]
    }
    • 1 rows were dropped because one of 'collegeAttendance', 'hopeScholarship' was missing
    Digests dos dados
    conley_inference_with_hope fa5d9847488b0396d491a7be7185829ccafec75ef49d3633f2e7cdcb29f69e05
    sha256 do resultado
    59c8a4916677c87fe48d502b714817b6659c02af5a48d34c239b159c809671b4
  4. 3Turno do modelo
    call_3d7efdf1naive-olsFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa ingênua (infer.ols): coef.hopeScholarship = -0,07189.",
        "caveats": [],
        "figure_refs": [
          "call_d4211264:coef.hopeScholarship"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    -0,07189
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa ingênua (infer.ols): coef.hopeScholarship = -0,07189.

    Figuras citadas: call_d4211264:coef.hopeScholarship · Parada: answered
    Figura da resposta: call_d4211264:coef.hopeScholarship = -0,0718861-0.07188608978371812 (se 0,02310880.02310883605238589)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximafalhouobrigatória-0.07188608978 vs 0.072

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoufalhou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
104,1 KB · sha256 866688200dcebf52feda96b9edc797f485056bc555a1abd3c36d06f7d38ebc80

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/432c0f881d92c5472bce3f0de9bfa2fd485bac5ce126979e5203bebf1042bbb0.json90 B432c0f881d92c5472bce3f0de9bfa2fd485bac5ce126979e5203bebf1042bbb0
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/8e29663bfc315cced2018f7777b4b459c25cbb001d5f7e3c3fc5c5546451a71d.json1,1 KB8e29663bfc315cced2018f7777b4b459c25cbb001d5f7e3c3fc5c5546451a71d
attachments/a217a8308baa7ca1afd21f799559846449ec9ed5b32e4de83e10bd89976dd1c1.json1,1 KBa217a8308baa7ca1afd21f799559846449ec9ed5b32e4de83e10bd89976dd1c1
attachments/ccb3bb6805ab1254c32f70ef0c6692509a0434de951692cbb629b62b71c4bae7.json1015 Bccb3bb6805ab1254c32f70ef0c6692509a0434de951692cbb629b62b71c4bae7
attachments/d60c09be913d6c11e9e9f2e3727eafb27a41501e9cf24b5ec52728dbe4765002.json264 Bd60c09be913d6c11e9e9f2e3727eafb27a41501e9cf24b5ec52728dbe4765002
native/causcibench_real/causcibench_real.q110.e1.a1.json1,7 KB1ec8f013bed7ecafb54d5db8cf34639af354c3f1ed37bf448bd1a15042822031
sources/causcibench_real.gold.q110.json1,2 KB14a3d60a3a4adeb1da146e116fcb70433c7cb11a770d025362eaf10f5f96f21d
specs/causcibench_real.q110.json5,0 KBdeb0c1da422c34494f7ef38368180bc0c0fe21aaceb7c0cfbc9d71fbec90b3c8
traces/causcibench_real.q110.e1.a1.jsonl12,2 KBedb6173cf74f25f3479ecdd9bce18a740788ecab88454b26484e857c9ad1a7b2
trajectories/causcibench_real.q110.e1.a1.jsonl9,4 KB1383f74e84a5d62ba0dc7a47e3e74496f093917288d2cfbfaa4105337b044623