Prompt Sensitivity
プロンプト感度
意味がほぼ同じプロンプトでも、語句、句読点、形式、順序などの小さな表面上の違いによって、モデルの出力やタスク性能が大きく変わる性質です。
ARC-V1-016
例
同じ質問を「理由を説明してください」と「なぜそうなるのですか」と言い換えただけで、前者では正しく答えるのに後者では結論を誤る。
区別・注意
プロンプト感度は、入力を意図的に少し変えたときの変化を指します。同じ入力を繰り返したときの出力差である非決定性とは異なり、頑健性全体の同義語でもありません。頑健性との関係はありますが、プロンプト表現への局所的な敏感さに焦点があります。
Evidence
Evidenceを見る →
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
SRC-F03-002
- タイトル
- When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
- 著者・組織
- Seleznyov et al.
- 年
- 2025
- 種別
- Findings EMNLP
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- Prompt Sensitivity; non-semantic prompt perturbation sensitivity; robustness methods
- 範囲
- 8 Llama/Qwen/Gemma models, 52 Natural Instructions tasks, GPT-4.1/DeepSeek V3
- 限界
- prompt perturbation/task distribution dependent
- アクセス・版
- published Findings EMNLP
- URL / DOI
- https://doi.org/10.18653/v1/2025.findings-emnlp.1109