キャリブレーション

例

「80%の確信がある」とされた回答を多数集めたとき、そのうち実際に約80%が正しければ、よくキャリブレーションされていると考えられます。

区別・注意

キャリブレーションは、確信度そのものではなく、**確信度と実際の正しさの対応関係**です。LLMでは、トークン単位の確率、回答単位のスコア、言語で表現した確信度など、何を確信度として扱うかで評価結果が変わります。

未解明・注意点

自由記述の長い回答では、どの単位の確信度を実際の正しさと対応させるべきか、まだ一意に定まっていません。

関連用語

• 確信度（Confidence） — 個々の回答や予測に付けられる確かさの表現
• 不確実性推定（Uncertainty Estimation） — 不確かさを推定・定量化する方法群
• 正確性（Accuracy） — 予測や回答そのものが正しいかを見る観点

Evidence