Response Consistency
応答一貫性
同じ入力、意味的に同等な入力、繰り返し実行、または関連する会話の各ターンに対して、回答や判断がどの程度一致しているかを表す性質です。
ARC-V1-007
別名: Output Consistency、Answer Consistency
例
同じ意味の質問を少し違う言い方で尋ねても、結論がほぼ変わらない場合は、応答一貫性が高いと考えられます。
区別・注意
一貫性は**回答同士が一致するか**を見るもので、正しさそのものは要求しません。毎回同じ誤答を返す場合でも、一貫性だけを見れば高くなることがあります。頑健性は、変化した条件でも望ましい性能を維持できるかという、より広い観点です。
未解明・注意点
繰り返し生成による一致度と、意味的に等価なプロンプト間の一致度を、同じ評価指標の枠組みとして扱うべきかはまだ整理の余地があります。
Evidence
Evidenceを見る →
Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs
SRC-F01-008
- タイトル
- Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs
- 著者・組織
- Hejabi et al.
- 年
- 2026
- 種別
- ACL original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Response Consistency, Robustness, Prompt Sensitivity boundary
- 範囲
- 11 datasets、特定のprompt-variation design。Consistency≠truth。
- アクセス・版
- published ACL。
- URL / DOI
- 10.18653/v1/2026.acl-long.71