Distribution Shift
分布シフト
学習や基準評価に使ったデータの分布と、実際の利用時や別の評価時に現れるデータの分布が異なる状態です。
ARC-V1-026
例
技術文書を中心に評価していたモデルを、語彙や質問傾向が大きく異なる利用環境で使ったところ、回答精度が下がった。
区別・注意
分布シフトは**データや環境が変わった状態そのもの**を指します。その変化があっても必要な性能を保てるかどうかは頑健性の問題です。また、分布外でどこまで一般化できるかという評価問題とも区別します。
未解明・注意点
LLMの実運用では、利用者、話題、時期、プロンプト、接続するツールなどのうち、どこまでを「分布」の変化として扱うかは利用目的によって異なります。
Evidence
Evidenceを見る →
WILDS: A Benchmark of in-the-Wild Distribution Shifts
SRC-F01-009
- タイトル
- WILDS: A Benchmark of in-the-Wild Distribution Shifts
- 著者・組織
- Koh et al.
- 年
- 2021
- 種別
- ICML original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Distribution Shift, Robustness
- 範囲
- general ML benchmark。LLM-onlyではない。
- アクセス・版
- published proceedings。
- URL / DOI
- https://proceedings.mlr.press/v139/koh21a.html
Evaluating Model Robustness and Stability to Dataset Shift
SRC-F01-010
- タイトル
- Evaluating Model Robustness and Stability to Dataset Shift
- 著者・組織
- Subbaswamy et al.
- 年
- 2021
- 種別
- AISTATS original peer-reviewed research
- 公開状態
- published
- 対応する用語・主張
- Robustness, Distribution Shift
- 範囲
- predictive-model setting中心。
- アクセス・版
- published proceedings。
- URL / DOI
- https://proceedings.mlr.press/v130/subbaswamy21a.html