AI Reliability Catalog

Reliability

信頼性

AIシステムが、想定された条件・期間・用途のもとで、求められた機能を安定して果たせる性質です。

Accuracy

正確性

予測、計算、推定、回答などが、正解・基準値・受け入れられた参照値にどの程度一致しているかを表す性質です。

Calibration

キャリブレーション

較正

モデルが示す確信度と、実際にその予測や回答が正しい頻度とが、どの程度対応しているかを表す性質です。

Confidence

確信度

モデルが、ある予測や回答をどの程度正しいとみなしているかを、確率、スコア、または自然言語などで外部に表したものです。

Uncertainty Estimation

不確実性推定

モデルの出力がどの程度不確かかを、確率分布、複数回の出力差、意味のばらつき、複数の出力や手法を組み合わせるアンサンブルなどから推定・定量化する方法の総称です。

Robustness

頑健性

入力、利用環境、データ分布、プロンプト表現などに妥当な変化があっても、必要な性能や挙動を維持できる性質です。

Response Consistency

応答一貫性

同じ入力、意味的に同等な入力、繰り返し実行、または関連する会話の各ターンに対して、回答や判断がどの程度一致しているかを表す性質です。

Nondeterminism

非決定性

同じ論理的な入力と同じ名目上の推論設定を使っても、実行時や実行環境の条件によって出力が一意に再現されない性質です。

Stochasticity

確率性

モデルやシステムの設計に、サンプリングなどの確率的な選択を意図的に含めることで、同じ条件でも複数の出力候補が生じ得る性質です。

Abstention

回答保留

不確実性や判断リスクが高いときに、無理に予測や回答を出さず、「分からない」「回答しない」などを選ぶ判断・運用です。

Distribution Shift

分布シフト

学習や基準評価に使ったデータの分布と、実際の利用時や別の評価時に現れるデータの分布が異なる状態です。

Hallucination

ハルシネーション

モデルの生成結果がもっともらしく見えても、関連する証拠や文脈、外部の事実に照らして、誤っている、裏付けがない、または整合していない状態です。

Factuality

事実性

生成された主張が、外部の現実や信頼できる参照知識によって事実として裏付けられている程度を表す性質です。

Faithfulness

忠実性

出力が、与えられた資料、文脈、検索で取得した証拠などと矛盾せず、その内容から正当に導かれている程度を表す性質です。

Groundedness

根拠整合性

出力中の重要な主張が、指定された証拠、資料、文脈によって裏付けられ、その根拠をたどれる性質です。

Grounding

グラウンディング

根拠付け

生成や回答を外部の証拠、検索で取得した情報、資料などに結び付け、主張をそれらの情報に基づかせる過程やシステム側の仕組みです。

Knowledge Conflict

知識競合

モデルが内部に持つ知識と、プロンプトや検索で与えられた文脈・外部情報が互いに食い違う状態です。

Retrieval Failure

検索・取得失敗

回答や処理に必要な情報を取得できない、または無関係・不適切な情報を取得してしまう失敗です。

Citation / Evidence Attribution Quality

引用・根拠帰属品質

主張に付された引用や根拠が、その主張を実際に支え、関連する証拠を適切に指し示しているかという品質です。

Retrieval-Augmented Generation

検索拡張生成

RAG

外部から検索・取得した情報を言語モデルの生成に渡して、回答や文章を作るシステム構成・方法群です。

Verification

検証

生成された主張や回答を、追加の証拠、テスト、比較、または別の確認手段によって検査する過程です。

Prompt Sensitivity

プロンプト感度

意味がほぼ同じプロンプトでも、語句、句読点、形式、順序などの小さな表面上の違いによって、モデルの出力やタスク性能が大きく変わる性質です。

Long-context Utilization Failure

長文脈利用失敗

必要な情報がモデルの想定された文脈長に収まっているにもかかわらず、長い文脈の中からその情報を適切に見つけ、選び、推論に利用できない失敗です。

Instruction-following Failure

指示追従失敗

モデルが、明示された作業内容、文体、形式、状況、その他の制約を満たせない失敗です。

Sycophancy

迎合

モデルが、根拠や独立した判断を維持するよりも、利用者が示した信念、主張、望む結論に合わせて回答や判断を変える傾向・失敗です。

Over-refusal

過剰拒否

本来は適切に回答できる無害な依頼を、関連する方針や利用条件のもとで不必要に拒否する失敗です。

Unsafe Compliance

不適切な応諾

関連する方針やタスク設計のもとで、拒否または安全な制限が必要な依頼に対し、モデルが実行可能な支援を提供してしまう失敗です。

Reasoning Failure

推論失敗

推論を要する課題で、推論、問題分解、制約の適用、論理・算術・合成などの処理に失敗し、誤った結論、手順、判断に至る失敗です。

Self-correction Failure

自己修正失敗

モデルが自分の回答や推論の誤りを検出・再検討・修正しようとする場面で、誤りを直せない、誤っていない内容を変える、または修正によって結果を悪化させる失敗です。

LLM-as-a-Judge

LLM-as-a-Judge

LLMを評価者として使い、モデルやシステムの出力を評価、比較、採点、順位付けする方法です。

LLM Judge Bias

LLMジャッジの偏り

LLMを評価者として用いるとき、評価基準とは関係の薄い出力の順序、長さ、表現、説得力などの要因によって判断が系統的に傾く問題です。

Benchmark Contamination

ベンチマーク汚染

評価に使うベンチマークやテスト素材、またはそれに近い情報が、評価対象の学習などに入り、評価の妥当性を損なう問題です。

Solution Contamination

解答汚染

評価中のモデルやエージェントが、想定された現実的な条件では与えられない解答や解答に直結する情報へアクセスし、その情報を使って課題を完了することで評価の妥当性を損なう問題です。

Grader Gaming

Grader Gaming

採点系の攻略

システムが意図された課題を実質的に満たさず、採点の実装上の隙や代理指標のずれによって、高い評価につながる出力を生じる問題です。

AI Agent

AIエージェント

目標に関係する状態を扱いながら、モデルの推論だけでなく、環境、ツール、ソフトウェアなどと複数の段階でやり取りして処理を進めるAIシステムです。

Planning Failure

計画失敗

目標に向けた行動の順序、依存関係、手順を適切に組み立て、維持、更新、または組み直せない失敗です。

Tool-selection Failure

ツール選択失敗

課題に必要な適切なツールや行動を選べず、誤ったもの、不要なもの、または不十分なものを選ぶ失敗です。

Tool-use Failure

ツール利用失敗

選んだツールについて、呼び出し、引数の設定、実行順序、返り値の解釈、またはエラーからの回復を適切に行えない失敗です。

Memory Failure

メモリ失敗

エージェントやシステムが、過去のやり取りや作業状態などの課題関連情報を保存、取得、更新、維持、無効化、または利用することに失敗する問題です。

Agent Non-termination

エージェント非停止

エージェントやシステムが、適切な完了・停止条件に到達せず、不要な繰り返しや行動を続ける問題です。

Error Propagation

誤り伝播

ある段階や構成要素で生じた誤りが、後続の推論、状態、行動、ツール操作、出力、または評価へ引き継がれる問題です。

Cascading Failure

連鎖的失敗

一つの失敗が、複数の段階、構成要素、または失敗の種類にわたって別の失敗を引き起こし、より広い下流の失敗へ広がる問題です。

Goal Misalignment

目標不整合

人間、利用者、運用者が指定した目標と、システムが実際に選んだ行動や生じた結果との間に、重要なずれがある状態です。

Overreliance

AIへの過信

利用者や人間が、正確さ、不確実性、課題の条件、確認の必要性に照らして妥当な範囲を超えてAIの出力や助言を受け入れ、判断を委ねることです。

Prompt Injection

プロンプトインジェクション

信頼されていない入力に含まれる指示によって、モデルやシステムが本来従うべき指示や制御の境界を乱される問題です。

Indirect Prompt Injection

間接プロンプトインジェクション

利用者が主たる指示として直接与えたのではなく、攻撃者や信頼されていない第三者が用意したWebページ、メール、ファイル、検索結果、取得文書、ツールの返り値などを通じて、プロンプトインジェクションの内容がモデルへ届く問題です。

Excessive Agency

過剰なエージェンシー

タスクやリスクに必要な範囲を超える機能、権限、自律的な判断権限、または外部への作用能力を、AIシステムが与えられたり行使したりする状態です。

Human Oversight

人間による監督

AIシステムの運用や判断の過程で、人間が監視、確認、承認、差し戻し、介入、停止、または上書きを行う役割・仕組みです。