Pular para o conteúdo

Tarefa causcibench_real.q109

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): did (OLS with unit and time fixed effects; the regressor varies within unit)

Pergunta feita ao analista

What is the effect of the Merit scholarship on college attendance ?

Resposta

Estimativa (infer.ols): coef.merit = 0,03375.

Valores esperados e de onde vêm

causcibench_real.gold.q109

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 109
Tipo
benchmark_gold
Localização
real_input.json, record id 109: fields effect and std_error
Trecho
id 109 effect 0.034 std_error 0.013
Valor como publicado
0.034
Erro-padrão como publicado
0.013
Valor
0,0340.034 (se 0,0130.013)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,0340.034 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
0.03374649486 vs 0.034
obrigatóriapassou0,0340.0340,03374650.03374649485631394relativa 0.05causcibench_real.gold.q109call_f6026342

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_f6026342)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["male","black","asian"]["male","black","asian"]igual
dataset"conley_inference_with_merit""conley_inference_with_merit"igual
fe["state","year"]["state","year"]igual
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["merit"]["merit"]igual
y"coll""coll"igual

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    What is the effect of the Merit scholarship on college attendance ?

    conley_inference_with_merit (agent)

    Individual-level U.S. Current Population Survey (CPS) microdata pooled across states and years (late 1980s-2000). Each row is a person-year observation with demographics plus state and year identifiers suitable for fixed-effects analysis. The sample spans all 50 states plus DC. Variables: coll: Whether the person is enrolled in college (1 = yes, 0 = no) merit: Statewide merit-aid program in effect in that state-year (1 = yes, 0 = no) male: Respondent's gender (1 = male, 0 = female) black: Race indicator (1 = Black/African American, 0 = otherwise) asian: Race indicator (1 = Asian, 0 = otherwise) year: CPS survey year (e.g., 1989-2000) state: Numeric CPS state code identifying the respondent's state (includes DC) chst: ""Changer state"" flag (1 = state that adopts a merit program during the sample window, 0 = otherwise)

    file ab17c09dc39124fed9d72a4c0801c5b7179696c2f1b894d8052ce8326f759ef1 · frame —
  2. 1Turno do modelo
    call_a961cee8referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    causcibench_metadata_rule/1: did

    Chamadas pedidas
    • infer.ols
      {
        "controls": [
          "male",
          "black",
          "asian"
        ],
        "dataset": "conley_inference_with_merit",
        "fe": [
          "state",
          "year"
        ],
        "x": [
          "merit"
        ],
        "y": "coll"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_f6026342decidido pelo modeloreexecutável

    Motivo: causcibench_metadata_rule/1: did

    Argumentos
    {
      "cluster": null,
      "controls": [
        "male",
        "black",
        "asian"
      ],
      "dataset": "conley_inference_with_merit",
      "fe": [
        "state",
        "year"
      ],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "merit"
      ],
      "y": "coll"
    }
    Figuras call_f6026342
    ChaveValorValor brutoErro-padrãoIC
    coef.merit
    Coefficient on merit in the regression of coll
    0,0337465 0.033746494856313940,01451660.0145165952520584660,00529367 – 0,0621993
    Diagnósticos
    • n_obs = 42.16142161
    • k = 6666
    • r2 = 0,03304770.03304774668449051
    • df_resid = 42.09542095
    • se_type = "HC1"
    • n_clusters = —
    • fixed_effects = "state (51 levels), year (12 levels)"
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 0.49185081640581074,
          "ci_low": 0.3919317859712047,
          "coef": 0.4418913011885077,
          "p": 4.2808901704330336e-67,
          "se": 0.025489284046858827,
          "t": 17.336355951628395,
          "term": "Intercept"
        },
        {
          "ci_high": 0.062199316836930474,
          "ci_low": 0.005293672875697399,
          "coef": 0.03374649485631394,
          "p": 0.020093601752805158,
          "se": 0.014516595252058466,
          "t": 2.3246838718279106,
          "term": "merit"
        },
        {
          "ci_high": -0.06950484399034054,
          "ci_low": -0.08818807638425111,
          "coef": -0.07884646018729582,
          "p": 2.7980724355651683e-61,
          "se": 0.004766081249292487,
          "t": -16.54324718006022,
          "term": "male"
        },
        {
          "ci_high": -0.13601544380580996,
          "ci_low": -0.1647222040328247,
          "coef": -0.15036882391931733,
          "p": 3.0970750485704783e-93,
          "se": 0.0073230771186309,
          "t": -20.533557339818078,
          "term": "black"
        },
        {
          "ci_high": 0.19531007763076957,
          "ci_low": 0.14259083041481102,
          "coef": 0.1689504540227903,
          "p": 3.9346713008997574e-36,
          "se": 0.013448647982063836,
          "t": 12.562634864717687,
          "term": "asian"
        }
      ]
    }
    Digests dos dados
    conley_inference_with_merit e8e2a51104ccc15dad142f997ce73a6a0e3e5ce984dfebfc62c7cf412802bdfc
    sha256 do resultado
    1038a1bda0ddb498d80878cbcf1f388b72fd83f10b5fdc560f723156689f7ae5
  4. 3Turno do modelo
    call_a4391b07referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.ols): coef.merit = 0,03375.",
        "caveats": [],
        "figure_refs": [
          "call_f6026342:coef.merit"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    0,03375
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.ols): coef.merit = 0,03375.

    Figuras citadas: call_f6026342:coef.merit · Parada: answered
    Figura da resposta: call_f6026342:coef.merit = 0,03374650.03374649485631394 (se 0,01451660.014516595252058466)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximapassouobrigatória0.03374649486 vs 0.034

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
97,6 KB · sha256 524929fe32a17248f14ab95f6223a47fe02254f6779b97e6bee1d5ff924b275a

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e.json92 B070fd6eb00ee432b4b7a0e5c9dd229e4d157232ee35f4a764f8038cdcdb1e69e
attachments/1b9b542d5e6fd12486b7d5924963c1b104ee7cc7b3b2402c58c64b6e760d11ad.json247 B1b9b542d5e6fd12486b7d5924963c1b104ee7cc7b3b2402c58c64b6e760d11ad
attachments/2a54e999db8f467ea5fae22c48a1567c8294633de07fa5b8c21d12104fc73730.json1,4 KB2a54e999db8f467ea5fae22c48a1567c8294633de07fa5b8c21d12104fc73730
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd.json1,2 KB4d9b96346884482b7e11af7778b36e25c60f39620c16341cc89a9fc1006424fd
attachments/4e52326576141673a06bc62e56faa0c62be21f71269351df7562ce7f3921bbf0.json1,3 KB4e52326576141673a06bc62e56faa0c62be21f71269351df7562ce7f3921bbf0
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
native/causcibench_real/causcibench_real.q109.e1.a1.json1,8 KBa12dafa95de209a34447535c1cc2e6a11392e8a3820400d4ffe9c493eea57ebb
sources/causcibench_real.gold.q109.json1,2 KB651a4f3d8ee253546bf12d3e15626ee33d24af929f5ed227a30b68dc1d87caef
specs/causcibench_real.q109.json4,9 KB51090725f86fc4f515e3933ceaad79b1a65318ab249bc84a545d166eef427437
traces/causcibench_real.q109.e1.a1.jsonl12,7 KB69fc59bc9b8f31a7dc8d391eaa44140f5b6f0ceb7c64d6989dded27458166979
trajectories/causcibench_real.q109.e1.a1.jsonl10,0 KB4c561c2f86e9947053a24601fafd07c551fd1173b4fbf006e9ec80ecb87fdc41