Citation / Evidence Attribution Quality
引用・根拠帰属品質
主張に付された引用や根拠が、その主張を実際に支え、関連する証拠を適切に指し示しているかという品質です。
ARC-V1-027
例
回答に複数の引用が付いていても、主要な結論を直接支える記述がどの引用にもない。
区別・注意
引用が付いているという事実だけでは、引用・根拠帰属品質が高いとはいえません。Factualityは主張が事実に合っているかに焦点を置き、Groundednessは出力が根拠に支えられているかという、より広い観点を含み得ます。したがって、引用・根拠帰属品質をFactualityやGroundednessと同一視しません。
用語上の注意
引用の完全性、十分性、正確性などを測る具体的な指標や判定方法は、用途や評価設計によって異なり得ます。
Evidence
Evidenceを見る →
Enabling Large Language Models to Generate Text with Citations
SRC-F02-007
- タイトル
- Enabling Large Language Models to Generate Text with Citations
- 著者・組織
- Gao et al.
- 年
- 2023
- 種別
- EMNLP original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Citation correctness/completeness/support, retrieval
- 範囲
- ALCE benchmark/tasksに依存。citation presence≠support。
- アクセス・版
- published EMNLP。
- URL / DOI
- 10.18653/v1/2023.emnlp-main.398
Overview of the TREC 2025 Retrieval Augmented Generation Track
SRC-F02-013
- タイトル
- Overview of the TREC 2025 Retrieval Augmented Generation Track
- 著者・組織
- NIST TREC 2025
- 年
- 2025
- 種別
- official evaluation proceeding
- 公開状態
- published
- 対応する用語・主張
- Grounding, completeness, attribution, retrieval/relevance, RAG evaluation
- 範囲
- shared-task operationalization。標準定義ではない。
- アクセス・版
- official proceedings page。
- URL / DOI
- https://pages.nist.gov/trec-browser/trec34/rag/proceedings/