Factuality
事実性
生成された主張が、外部の現実や信頼できる参照知識によって事実として裏付けられている程度を表す性質です。
ARC-V1-011
例
「ある出来事は2024年に起きた」と回答したが、信頼できる資料では2023年だった。
区別・注意
事実性は、生成された**事実主張が外部の事実と合っているか**を見る観点です。与えられた資料に忠実かを見る忠実性とは参照先が異なります。そのため、誤った資料に忠実な回答は「忠実」でも「事実的には誤り」という場合があります。
未解明・注意点
時間とともに変わる事実、曖昧な主張、価値判断を含む文を、同じ方法で事実性評価できるとは限りません。
Evidence
Evidenceを見る →
FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
SRC-F02-004
- タイトル
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
- 著者・組織
- Min et al.
- 年
- 2023
- 種別
- EMNLP original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Factuality, Verification, claim-level support
- 範囲
- biographies/long-form中心。reference knowledge source品質に依存。
- アクセス・版
- published EMNLP。
- URL / DOI
- 10.18653/v1/2023.emnlp-main.741
On Faithfulness and Factuality in Abstractive Summarization
SRC-F02-003
- タイトル
- On Faithfulness and Factuality in Abstractive Summarization
- 著者・組織
- Maynez et al.
- 年
- 2020
- 種別
- ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Faithfulness, Factuality, Hallucination boundary
- 範囲
- summarization中心だがsource-vs-world distinctionの強い基礎Evidence。
- アクセス・版
- published ACL。
- URL / DOI
- 10.18653/v1/2020.acl-main.173
Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics
SRC-F02-011
- タイトル
- Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics
- 著者・組織
- Godbole & Jia
- 年
- 2025
- 種別
- Findings ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Verification limitations, factuality metric disagreement
- 範囲
- studied factuality metrics/datasetsに依存。
- アクセス・版
- published ACL Findings。
- URL / DOI
- 10.18653/v1/2025.findings-acl.1175