Retrieval Failure
検索・取得失敗
回答や処理に必要な情報を取得できない、または無関係・不適切な情報を取得してしまう失敗です。
ARC-V1-025
例
質問に必要な条件が資料群の中にあるのに検索結果に現れず、モデルが無関係な説明だけを根拠に回答した。
区別・注意
長い文脈の中に必要な情報がすでにあるのに見つけて使えない場合はLong-context Utilization Failureに近く、内部知識と提示された情報が食い違う問題はKnowledge Conflictです。Retrieval-Augmented Generationは取得した情報を生成に渡す構成であり、正しい取得を保証しません。取得情報と回答の結び付きの問題であるGroundingとも同一ではありません。
Evidence
Evidenceを見る →
ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
SRC-F02-006
- タイトル
- ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
- 著者・組織
- Saad-Falcon et al.
- 年
- 2024
- 種別
- NAACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Context relevance, Answer Faithfulness, Answer Relevance; Retrieval Failure
- 範囲
- evaluator design自体にもerrorがあり得る。
- アクセス・版
- published NAACL。
- URL / DOI
- 10.18653/v1/2024.naacl-long.20
Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
SRC-F02-012
- タイトル
- Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
- 著者・組織
- Wang et al.
- 年
- 2025
- 種別
- ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Retrieval Failure, RAG, Knowledge Conflict
- 範囲
- controlled RAG analyses。全retrievers/domainsへの万能推論は不可。
- アクセス・版
- published ACL。
- URL / DOI
- 10.18653/v1/2025.acl-long.1476