LLM-as-a-Judge
LLM-as-a-Judge
LLMを評価者として使い、モデルやシステムの出力を評価、比較、採点、順位付けする方法です。
ARC-V1-028
例
同じ質問への二つの回答を評価基準とともに別のLLMへ渡し、どちらが条件を多く満たすか順位付けさせる。
区別・注意
LLM-as-a-Judgeは評価の方法や役割であり、客観的な正解や人間による監督を意味しません。追加の証拠やテストで出力を確かめるVerification一般と同一でもありません。評価者として使うLLM自体に、LLM Judge Biasが生じることがあります。
用語上の注意
LLMを評価者に使うことの妥当性や有効性は、評価対象、基準、比較対象、運用条件などに依存します。
Evidence
Evidenceを見る →
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
SRC-F04-004
- タイトル
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- 著者・組織
- Zheng et al.
- 年
- 2023
- 種別
- NeurIPS Datasets & Benchmarks
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- LLM-as-a-Judge; LLM Judge Bias; human agreement; position/verbosity/self-enhancement bias
- 範囲
- MT-Bench + Chatbot Arena; GPT-4-era judges
- 限界
- early-generation judges; >80% agreement is setting-specific
- アクセス・版
- published proceedings
- URL / DOI
- https://doi.org/10.52202/075280-2020
Curse of Knowledge: … Biasing LLM Judges in Complex Evaluation
SRC-F04-007
- タイトル
- Curse of Knowledge: … Biasing LLM Judges in Complex Evaluation
- 著者・組織
- Li et al.
- 年
- 2025
- 種別
- Findings EMNLP
- 公開状態
- PEER_REVIEWED
- 対応する用語・主張
- LLM Judge Bias; LLM-as-a-Judge; auxiliary-information-induced biases; task complexity
- 範囲
- ComplexEval Bench; 12 basic + 3 advanced scenarios
- 限界
- benchmark-defined complex evaluation
- アクセス・版
- published Findings EMNLP
- URL / DOI
- https://doi.org/10.18653/v1/2025.findings-emnlp.805