Pular para o conteúdo

Tarefa causcibench_real.q019

causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01d

Veredito

passouPassou em todas as verificações obrigatórias.

Família do método (das chamadas de ferramentas): ols (regression)

Pergunta feita ao analista

Did receiving financial assistance from Uruguay's poverty alleviation program cause recipients to view the government more favorably?

Resposta

Estimativa (infer.ols): coef.participation = 0,09745.

Valores esperados e de onde vêm

causcibench_real.gold.q019

Fonte
CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 19
Tipo
benchmark_gold
Localização
real_input.json, record id 19: fields effect and std_error
Trecho
id 19 effect 0.093 std_error 0.046
Valor como publicado
0.093
Erro-padrão como publicado
0.046
Valor
0,0930.093 (se 0,0460.046)
Conferido por
arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438 (identifica a cópia lida, não um arquivo canônico)
Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json
Licença
CauSciBench repository (MIT for code; metadata as published in the repository)
  • #1 figura da resposta próxima: 0,0930.093 · relativa 0.05

Verificações

Cada verificação, o que esperava, o que observou e a chamada que leu
#VerificaçãoObrigatóriaResultadoEsperadoObservadoTolerânciaFonteChamada
0resposta com lastro
every number backed
obrigatóriapassou—[]———
1figura da resposta próxima
0.09744515135 vs 0.093
obrigatóriapassou0,0930.0930,09744520.0974451513453532relativa 0.05causcibench_real.gold.q019call_0183176f

Caminho de referência e caminho do agente

A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.

caminho de referência do item · metadata_rule

Referência: infer.olsChamada do agente: infer.ols (call_0183176f)igual
Argumentos da referência e do agente
ArgumentoReferênciaAgente
cluster——não fixado pela referência
controls["income_centered"]["income_centered"]igual
dataset"manacorda_gov_transfers""manacorda_gov_transfers"igual
fe—[]não fixado pela referência
intercept—truenão fixado pela referência
level—0,950.95não fixado pela referência
se—"HC1"não fixado pela referência
subset——não fixado pela referência
weights——não fixado pela referência
x["participation"]["participation"]igual
y"support""support"igual

Pendências do caminho de referência: needs_spec:bandwidth

Trajetória

Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.

  1. 0Início

    Did receiving financial assistance from Uruguay's poverty alleviation program cause recipients to view the government more favorably?

    manacorda_gov_transfers (agent)

    The data focuses on the Uruguayan Plan de Atencion Nacional a la Emergencia Social (PANES), described as a large, temporary social relief program. PANES ran from April 2005 to December 2007. PANES included several components. The main part was a monthly cash transfer. Eligibility for the PANES program was determined using a predicted income score. This score was based on household socioeconomic characteristics collected during a baseline survey. Households were eligible only if their predicted income score fell below a predetermined threshold. Variables: income_centered: Income measure, centered around program cutoff (negative value = eligible) education: Household average years of education among those 16+ age: Household average age participation: Participation in transfers (1 = participated, 0 = did not participate) support: Measure of support for the government

    file a25fd9493a2f57e990d7769905fe56374bc6ddad9534e88c8d01085812fb0334 · frame —
  2. 1Turno do modelo
    call_c17850b2referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Texto visível

    causcibench_metadata_rule/1: rdd

    Chamadas pedidas
    • infer.ols
      {
        "controls": [
          "income_centered"
        ],
        "dataset": "manacorda_gov_transfers",
        "x": [
          "participation"
        ],
        "y": "support"
      }
  3. 2Ferramenta
    infer.olsv0.1.0call_0183176fdecidido pelo modeloreexecutável

    Motivo: causcibench_metadata_rule/1: rdd

    Argumentos
    {
      "cluster": null,
      "controls": [
        "income_centered"
      ],
      "dataset": "manacorda_gov_transfers",
      "fe": [],
      "intercept": true,
      "level": 0.95,
      "se": "HC1",
      "subset": null,
      "weights": null,
      "x": [
        "participation"
      ],
      "y": "support"
    }
    Figuras call_0183176f
    ChaveValorValor brutoErro-padrãoIC
    coef.participation
    Coefficient on participation in the regression of support
    0,0974452 0.09744515134535320,02900210.029002110366317220,0405667 – 0,154324
    Diagnósticos
    • n_obs = 1.9481948
    • k = 33
    • r2 = 0,03404810.03404807560099432
    • df_resid = 1.9451945
    • se_type = "HC1"
    • n_clusters = —
    Tabelas (1)
    {
      "coefficients": [
        {
          "ci_high": 0.7720391116472279,
          "ci_low": 0.7044016509177701,
          "coef": 0.738220381282499,
          "p": 1.0801152909473884e-282,
          "se": 0.01724403387657321,
          "t": 42.81019085014698,
          "term": "Intercept"
        },
        {
          "ci_high": 0.15432363798640958,
          "ci_low": 0.04056666470429683,
          "coef": 0.0974451513453532,
          "p": 0.000794677655549363,
          "se": 0.02900211036631722,
          "t": 3.3599331260570984,
          "term": "participation"
        },
        {
          "ci_high": 1.32917143203201,
          "ci_low": -3.3603118998228743,
          "coef": -1.015570233895432,
          "p": 0.3957402966608699,
          "se": 1.195574295161437,
          "t": -0.8494413421278021,
          "term": "income_centered"
        }
      ]
    }
    Digests dos dados
    manacorda_gov_transfers 545db619c654ede637c18214cd75e71504b965d091a1f70f0af6dee6e4ec7827
    sha256 do resultado
    e275f585d58f2bc7b40703514ade0f0f51f04a38617636da04abf162d49fceea
  4. 3Turno do modelo
    call_cbace782referenceFim: tool_use0 ms0 de entrada · 0 de saída · 0 de raciocínio · 0 em cache
    Chamadas pedidas
    • submit_answer (meta-ferramenta)
      {
        "answer": "Estimativa (infer.ols): coef.participation = 0,09745.",
        "caveats": [],
        "figure_refs": [
          "call_0183176f:coef.participation"
        ]
      }
  5. 4Guarda
    resposta aceita
    Números encontrados
    0,09745
    Sem lastro
    —
    Não citados
    —
    1 nova(s) tentativa(s) restante(s)
  6. 5Resposta

    Estimativa (infer.ols): coef.participation = 0,09745.

    Figuras citadas: call_0183176f:coef.participation · Parada: answered
    Figura da resposta: call_0183176f:coef.participation = 0,09744520.0974451513453532 (se 0,02900210.02900211036631722)
  7. 6Pontuação
    #0resposta com lastropassouobrigatóriaevery number backed
  8. 7Pontuação
    #1figura da resposta próximapassouobrigatória0.09744515135 vs 0.093

Épocas × verificações

Resultado de cada verificação em cada época pontuada
#01
Época 1passoupassou

Tentativas

Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.

Downloads desta tarefa

Pacote da tarefa (.zip)
97,1 KB · sha256 21ad88e86c9c6e2924fafd60aa9327d48426d8904117760bedecd4e0d3c6a6d2

O hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.

Downloads desta tarefa
ArquivoTamanhosha256
attachments/433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420.json2,4 KB433a6877aa6a378bbd4b7e2752e484d8cb7499c562d68222be231f62ff2fa420
attachments/52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b.json64,0 KB52ab03d8ec104abb85572294bf8a469d75c5de9e74d6042caabff8017adc572b
attachments/69a51ac0d6537f9c0d1a19736552e520037b1aa023bd9e446e2f97d553ec20bf.json1,1 KB69a51ac0d6537f9c0d1a19736552e520037b1aa023bd9e446e2f97d553ec20bf
attachments/8d3eb8ab39c02c2911617c090a0411ac3001c8cd5c64f884019d7fde6c066c1d.json1016 B8d3eb8ab39c02c2911617c090a0411ac3001c8cd5c64f884019d7fde6c066c1d
attachments/b9ebe0faa56e9c315574a8ac2503ec94bfef2d8ee0864dd804da690ad5a170e5.json227 Bb9ebe0faa56e9c315574a8ac2503ec94bfef2d8ee0864dd804da690ad5a170e5
attachments/f36270888cc600966498a6ebba4537a7b302ebdff351ea7deb9bbcc2823d8183.json158 Bf36270888cc600966498a6ebba4537a7b302ebdff351ea7deb9bbcc2823d8183
attachments/ff47843a700e0e15ddbf4fcf7ad8b67853efe5b4adea0c00853df5e0f8409484.json1,2 KBff47843a700e0e15ddbf4fcf7ad8b67853efe5b4adea0c00853df5e0f8409484
native/causcibench_real/causcibench_real.q019.e1.a1.json1,7 KBf420755ae465a5923fab4f74ac47bbd5d7f37e7cde576579b55512cd1405bac5
sources/causcibench_real.gold.q019.json1,2 KB22e6d5861f762dfc10e53e7d8d2978888b741aa4e623f046370d48ce25362060
specs/causcibench_real.q019.json5,0 KB34d5726d427e00487a62b62806654e20a0d215aff1859a98540e5c37c7eeb702
traces/causcibench_real.q019.e1.a1.jsonl12,2 KB58569bf5be0965847df4f295ea3aea06e1e1013f01dd94d7aa738b71cde776f4
trajectories/causcibench_real.q019.e1.a1.jsonl9,6 KB3dad5f7facdda5fadf3f23875e2ad8fbd2b39877666aff53050be0a17ffd2392