頑健性（Robustness） | AI Reliability Catalog | OSIIX

← Catalogへ戻る

別名: ロバストネス

例

質問の意味を変えずに言い回しだけを変えても、回答品質が大きく低下しない場合は、プロンプト変化に対して頑健だと考えられます。

区別・注意

頑健性は、単に毎回答えが同じであることではありません。同じ誤答を繰り返せば一貫していても頑健とは限りません。また、ある種類の変化に強いことは、別のデータ分布の変化や、別の入力や条件の変化にも強いことを保証しません。

Evidence

Evidenceを見る →

Artificial Intelligence Risk Management Framework (AI RMF 1.0)

SRC-F01-001

タイトル: Artificial Intelligence Risk Management Framework (AI RMF 1.0)
著者・組織: NIST
年: 2023
種別: official technical publication
公開状態: published
対応する用語・主張: Reliability, Accuracy, Robustness; trustworthiness characteristics
範囲: AI全般のrisk framework。LLM固有taxonomyではない。2026年時点でrevision underway。
アクセス・版: 現行公開版をhistorical/technical baselineとして扱う。
URL / DOI: 10.6028/NIST.AI.100-1

WILDS: A Benchmark of in-the-Wild Distribution Shifts

SRC-F01-009

タイトル: WILDS: A Benchmark of in-the-Wild Distribution Shifts
著者・組織: Koh et al.
年: 2021
種別: ICML original peer-reviewed research
公開状態: published
対応する用語・主張: Distribution Shift, Robustness
範囲: general ML benchmark。LLM-onlyではない。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.mlr.press/v139/koh21a.html

Evaluating Model Robustness and Stability to Dataset Shift

SRC-F01-010

タイトル: Evaluating Model Robustness and Stability to Dataset Shift
著者・組織: Subbaswamy et al.
年: 2021
種別: AISTATS original peer-reviewed research
公開状態: published
対応する用語・主張: Robustness, Distribution Shift
範囲: predictive-model setting中心。
アクセス・版: published proceedings。
URL / DOI: https://proceedings.mlr.press/v130/subbaswamy21a.html

Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs

SRC-F01-008

タイトル: Flip-Flop Consistency: Unsupervised Training for Robustness to Prompt Perturbations in LLMs
著者・組織: Hejabi et al.
年: 2026
種別: ACL original peer-reviewed research
公開状態: published
対応する用語・主張: Response Consistency, Robustness, Prompt Sensitivity boundary
範囲: 11 datasets、特定のprompt-variation design。Consistency≠truth。
アクセス・版: published ACL。
URL / DOI: 10.18653/v1/2026.acl-long.71