Verification
検証
生成された主張や回答を、追加の証拠、テスト、比較、または別の確認手段によって検査する過程です。
ARC-V1-047
例
回答に含まれる計算結果を別の方法でもう一度計算し、元の結論と照合する。
区別・注意
検証は出力を確認する過程であり、モデルが自分の誤りを見直して直すSelf-correction Failureとは焦点が異なります。検証を行っても正しさが保証されるわけではなく、モデル内部の確信度だけを確認することも、ここでいう検証とは限りません。
Evidence
Evidenceを見る →
Chain-of-Verification Reduces Hallucination in Large Language Models
SRC-F02-010
- タイトル
- Chain-of-Verification Reduces Hallucination in Large Language Models
- 著者・組織
- Dhuliawala et al.
- 年
- 2024
- 種別
- Findings ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Verification; hallucination mitigation
- 範囲
- self-/model-based verification。外部ground truthを保証しない。
- アクセス・版
- published ACL Findings。
- URL / DOI
- 10.18653/v1/2024.findings-acl.212
FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
SRC-F02-004
- タイトル
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
- 著者・組織
- Min et al.
- 年
- 2023
- 種別
- EMNLP original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Factuality, Verification, claim-level support
- 範囲
- biographies/long-form中心。reference knowledge source品質に依存。
- アクセス・版
- published EMNLP。
- URL / DOI
- 10.18653/v1/2023.emnlp-main.741
Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics
SRC-F02-011
- タイトル
- Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics
- 著者・組織
- Godbole & Jia
- 年
- 2025
- 種別
- Findings ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Verification limitations, factuality metric disagreement
- 範囲
- studied factuality metrics/datasetsに依存。
- アクセス・版
- published ACL Findings。
- URL / DOI
- 10.18653/v1/2025.findings-acl.1175