Tarefa causcibench_real.q023
causcibench_realagentT2publicépoca 1, tentativa 1Execução: 20261015T171059Z-suite-causcibench_real-scripted-ded01dVeredito
puladaPulada: falta um recurso que a tarefa exige.
Motivo: no reference path (coverage gap)
Pergunta feita ao analista
If a Democrat won the previous congressional election in a district closely, is it likely that a Democrat will win the current election in that same district?
Valores esperados e de onde vêm
causcibench_real.gold.q023
- Fonte
- CauSciBench real split, data/metadata_json/real_input.json at d9bb43a, id 23
- Tipo
- benchmark_gold
- Localização
- real_input.json, record id 23: fields effect and std_error
- Trecho
id 23 effect 0.167 std_error 0.02
- Valor como publicado
0.167- Erro-padrão como publicado
0.02- Valor
- 0,167
0.167(se 0,020.02) - Conferido por
- arquivo do benchmark · Written by scripts/freeze_causcibench_real.py from the pinned file; equal to the `answer` and `std_error` of the same id in data/metadata_csv/real_input.csv at the pin.
- sha256 da cópia lida
c1f4c8930675afff63d816d8ed066941ae92697e7bfc31e9d38519398dd80438(identifica a cópia lida, não um arquivo canônico)- Endereço
https://raw.githubusercontent.com/causalNLP/CauSciBench/d9bb43a2d90f261978cc5ac0b628c0484f6e8956/data/metadata_json/real_input.json- Licença
- CauSciBench repository (MIT for code; metadata as published in the repository)
Verificações
| # | Verificação | Obrigatória | Resultado | Esperado | Observado | Tolerância | Fonte | Chamada |
|---|
Caminho de referência e caminho do agente
A chamada de referência ao lado da chamada que deu a resposta, argumento por argumento.
Nenhum caminho de referência registrado para esta tarefa.
Trajetória
Cada evento na ordem em que aconteceu: turnos do modelo, chamadas de ferramentas, guardas, transformações e pontuação.
Esta tentativa não tem trajetória publicada.
Épocas × verificações
Tentativas
Cada tentativa é seu próprio arquivo e é publicada; só a última de cada época é pontuada.
- época 1, tentativa 1puladapontuada(exibindo)
no reference path (coverage gap)
Downloads desta tarefa
Pacote da tarefa (.zip)
67,0 KB · sha256
6cde08c888a3ce4e2c8586c7e57282aaf49626f9bd3da31adecfd983159a051fO hash de um zip é só de transporte: o que ancora a integridade é o RUN_SHA256SUMS que vai dentro dele, cópia exata do SHA256SUMS da execução.
| Arquivo | Tamanho | sha256 |
|---|---|---|
| native/causcibench_real/causcibench_real.q023.e1.a1.json | 1,5 KB | 3652b23802575f0e8393f5c94d5f7d8c6e8d3bc5cf3ad95af8c9f47e2bfbc6ad |
| sources/causcibench_real.gold.q023.json | 1,2 KB | 2ac64841ca9f1863b1d5580e9f684d129788efa759e46d9fd5ce55ec1983e8d6 |
| specs/causcibench_real.q023.json | 4,8 KB | 636a683b85aa2012d8b533d45ddebd42a33f6229b9cd5370391fe4a79bdd5247 |