Long-context Utilization Failure
長文脈利用失敗
必要な情報がモデルの想定された文脈長に収まっているにもかかわらず、長い文脈の中からその情報を適切に見つけ、選び、推論に利用できない失敗です。
ARC-V1-017
例
長い手順書の中央にある例外条件を質問に関係する情報として提示したのに、モデルが冒頭の一般規則だけを使って回答する。
区別・注意
これは単に文脈ウィンドウが短いことを意味しません。情報がそもそも取得されていない検索・取得失敗とは異なり、必要な情報が文脈にあっても使われない場合を扱います。`Lost-in-the-Middle` はこの概念に関係する位置依存のパターンで、V1では独立したentryではありません。
Evidence
Evidenceを見る →
Lost in the Middle: How Language Models Use Long Contexts
SRC-F03-003
- タイトル
- Lost in the Middle: How Language Models Use Long Contexts
- 著者・組織
- Liu et al.
- 年
- 2024
- 種別
- TACL
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Long-context Utilization Failure; position-dependent context use; long context is not effective use
- 範囲
- multi-document QA, key-value retrieval, MPT/LongChat/GPT-3.5/Claude
- 限界
- 2023-era model set; later-model effect size needs replication
- アクセス・版
- published TACL
- URL / DOI
- https://doi.org/10.1162/tacl_a_00638
LongAlign: A Recipe for Long Context Alignment of Large Language Models
SRC-F03-004
- タイトル
- LongAlign: A Recipe for Long Context Alignment of Large Language Models
- 著者・組織
- Bai et al.
- 年
- 2024
- 種別
- Findings EMNLP
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Long-context Utilization Failure; long-context alignment/training mitigation
- 範囲
- LongBench-Chat, 10k–100k queries
- 限界
- recipe-specific; not a universal mitigation
- アクセス・版
- published Findings EMNLP
- URL / DOI
- https://doi.org/10.18653/v1/2024.findings-emnlp.74