Instruction-following Failure
指示追従失敗
モデルが、明示された作業内容、文体、形式、状況、その他の制約を満たせない失敗です。
ARC-V1-018
例
「結論を3つの箇条書きで示してください」と依頼したのに、モデルが箇条書きを使わず長い文章だけを返す。
区別・注意
回答が事実として誤っていることと、指示に従っていないことは別の観点です。正しい内容でも指定形式を無視すれば指示追従失敗になり得ます。一方、意図された安全上の拒否は、自動的にこの失敗とはみなしません。
Evidence
Evidenceを見る →
FollowBench
SRC-F03-005
- タイトル
- FollowBench
- 著者・組織
- Jiang et al.
- 年
- 2024
- 種別
- ACL
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Instruction-following Failure; five constraint classes; multi-level constraint difficulty
- 範囲
- 13 open/closed LLMs
- 限界
- benchmark-specific automatic judge component
- アクセス・版
- published ACL
- URL / DOI
- https://doi.org/10.18653/v1/2024.acl-long.257
InFoBench
SRC-F03-006
- タイトル
- InFoBench
- 著者・組織
- Qin et al.
- 年
- 2024
- 種別
- Findings ACL
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Instruction-following Failure; decomposed requirement following
- 範囲
- 500 instructions, 2,250 decomposed questions
- 限界
- evaluator construction dependent
- アクセス・版
- published Findings ACL
- URL / DOI
- https://doi.org/10.18653/v1/2024.findings-acl.772
LLM Self-Correction with DeCRIM
SRC-F03-007
- タイトル
- LLM Self-Correction with DeCRIM
- 著者・組織
- Ferraz et al.
- 年
- 2024
- 種別
- Findings EMNLP
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Instruction-following Failure; Self-correction Failure; multi-constraint failures; critic-assisted refinement
- 範囲
- RealInstruct, IFEval, GPT-4/Mistral等
- 限界
- critic feedback means this is not pure intrinsic self-correction
- アクセス・版
- published Findings EMNLP
- URL / DOI
- https://doi.org/10.18653/v1/2024.findings-emnlp.458