Grader Gaming（採点系の攻略）（Grader Gaming） | AI Reliability Catalog

例

採点器が出力の一部だけを確認しているため、実際の要件を満たさない回答でも、その確認対象だけを整えて合格になる。

区別・注意

Grader Gamingに人間のような悪意があることを前提にしません。採点指標に沿って正当に性能を高めることとは、意図された課題とのずれがあるかで区別します。評価中に解答情報へアクセスするSolution Contaminationや、LLM評価者の判断の偏りであるLLM Judge Biasとも異なります。

用語上の注意

「採点系の攻略」は、このカタログでGrader Gamingを説明するためのプロジェクト内の表現です。採点指標の設計や評価環境によって、該当するずれの現れ方は異なります。

Evidence

Evidenceを見る →

Cheating On AI Agent Evaluations

SRC-F04-001

タイトル: Cheating On AI Agent Evaluations
著者・組織: NIST CAISI
年: 2025
種別: official technical publication
公開状態: PUBLISHED
対応する用語・主張: Solution Contamination; Grader Gaming; explicit definitions; evaluation-log cases; mitigation
範囲: agentic coding/cyber evaluations
限界: historical logs; percentages are lower bounds, not population rates
アクセス・版: published official source
URL / DOI: https://www.nist.gov/caisi/cheating-ai-agent-evaluations

Can You Trick the Grader? Adversarial Persuasion of LLM Judges

SRC-F04-006

タイトル: Can You Trick the Grader? Adversarial Persuasion of LLM Judges
著者・組織: Hwang et al.
年: 2025
種別: Findings EMNLP
公開状態: PEER_REVIEWED
対応する用語・主張: LLM Judge Bias; Grader Gaming boundary; persuasion inflates scores for incorrect solutions
範囲: 6 math benchmarks, 7 persuasion techniques
限界: adversarial rhetoric; not proof of spontaneous gaming
アクセス・版: published Findings EMNLP
URL / DOI: https://doi.org/10.18653/v1/2025.findings-emnlp.790

Detecting Proxy Gaming in RL and LLM Alignment via Evaluator Stress Tests

SRC-F04-011

タイトル: Detecting Proxy Gaming in RL and LLM Alignment via Evaluator Stress Tests
著者・組織: Akter et al.
年: 2026
種別: Findings ACL
公開状態: PEER_REVIEWED
対応する用語・主張: Grader Gaming; evaluator/proxy gaming detection and mitigation
範囲: 4 tasks, 2 scales, 2 training methods, 2 judges, 1,200 human-annotated cases
限界: broader proxy-gaming umbrella; equivalence to grader gaming is not universal
アクセス・版: published Findings ACL
URL / DOI: https://doi.org/10.18653/v1/2026.findings-acl.513

例