Appendix Aは、AI・機械学習・LLMに関する一般的な用語を、調べやすいまとまりで整理した用語集です。見出しから用語を探し、矢印の参照先で関連する概念を確認できます。本書固有の確認方法や権限の境界はAppendix Bを参照してください。
AI・機械学習の基礎
AI — Artificial Intelligence（人工知能）
AI（人工知能）は、コンピュータなどで知的な課題に取り組むための技術や仕組みを広く扱う分野・概念です。予測・分類・生成などはその例で、機械学習はAIに関わる代表的な方法の一つです。AI全体は機械学習や生成AI、LLMと同じ意味ではありません。
ML — Machine Learning（機械学習）
機械学習は、データを用いてモデルのパラメータを調整し、入力に対する予測や出力に役立つモデルを作る方法です。AIの一部として使われる方法であり、AIのすべてが機械学習であるわけではありません。
Deep Learning（深層学習）
深層学習は、複数の隠れ層をもつニューラルネットワークを使う機械学習の一分野です。機械学習やAI全体と同じ意味ではなく、すべてのニューラルネットワークが深層学習に当たるわけでもありません。 → ニューラルネットワーク
Neural Network（ニューラルネットワーク）
ニューラルネットワークは、互いにつながった計算単位を層として組み合わせ、重みなどの調整できる値を使って入力から出力を得るモデル、またはその構造です。機械学習で広く使われますが、生物の脳をそのまま再現したものではありません。深層学習は、複数の隠れ層をもつニューラルネットワークを用いる方法です。 → パラメータ、深層学習
Dataset（データセット）
データセットは、共通した形式やまとまりをもつデータや例の集まりです。機械学習では、モデルの学習、検証、テストや評価に使われることがあります。すべてのデータセットにラベルが付いているわけではなく、データセット、学習データ、テストセット、ラベル付きデータは同じ意味ではありません。 → ラベル／ラベル付きデータ
Parameter（パラメータ）
パラメータは、モデルの内部にあり、出力をどのように計算するかに影響する値です。ニューラルネットワークの重みはその例で、学習の過程でデータから調整されます。学習前や学習の試行ごとに設定するハイパーパラメータとは区別します。 → ニューラルネットワーク
Algorithm（アルゴリズム）
アルゴリズムは、ある課題を行うための、定められた計算手順や規則のまとまりです。機械学習では、データからモデルのパラメータを定めるための手順を、機械学習アルゴリズムといいます。アルゴリズムは手順であり、その結果として得られるモデルそのものではありません。 → 機械学習、パラメータ
Feature（特徴量）
特徴量は、機械学習でモデルや処理に使う入力側の情報・性質・表現です。元のデータをそのまま使う場合に限らず、変換などの過程で得られた表現を含むこともあります。特徴量はモデル内部のパラメータでも、予測したい答えであるラベルでもありません。 → パラメータ、ラベル／ラベル付きデータ
Label / Labeled Data（ラベル／ラベル付きデータ）
ラベルは、教師あり学習で例に対応付ける、予測したい答えや出力の情報です。ラベル付きデータは、そのようなラベルを例と組み合わせたデータを指します。ラベルは分類のカテゴリだけでなく、回帰で予測する数値でもあり、すべてのデータセットに含まれるわけではありません。特徴量は入力側の情報で、ラベルとは区別します。 → 特徴量、分類、回帰
Classification（分類）
分類は、入力に対してクラスやカテゴリを予測・割り当てる機械学習の課題です。予測の対象は連続値ではなく、離散的なクラスやカテゴリです。二値分類、多クラス分類、複数ラベルの分類などがあり、分類は特定の一つのアルゴリズムを指す言葉ではありません。 → 回帰
Regression（回帰）
回帰は、入力に対して連続的な数値を予測・推定する機械学習の課題です。クラスやカテゴリを扱う分類とは区別し、回帰も特定の一つのアルゴリズムではなく課題の種類を指します。 → 分類
モデルとアーキテクチャ
Foundation Model（基盤モデル）
基盤モデルは、幅広いデータをもとに訓練され、複数の下流タスクや用途に適応・再利用できる、土台となるモデルです。大規模に訓練されることはありますが、規模だけで定まる概念ではありません。特定の一つの課題だけを対象にしたモデルとは区別し、LLMや、すべての大規模モデルと同じ意味ではありません。
Layer（層）
層は、ニューラルネットワークやモデルの中で、計算単位や変換をまとめた一つの段階です。層を重ねることで、入力から出力に向かう情報の表現を順に変換します。層はNeuronそのものではなく、モデルごとに構成や数は異なります。
Neuron（ニューロン）
ニューロンは、ニューラルネットワークで使われる計算単位（ノード）です。入力された値を重みなどで組み合わせて変換し、次の処理へ渡す出力を作ります。生物の神経細胞をそのまま再現したものではありません。
Model（モデル）
機械学習におけるModel（モデル）は、入力から予測・出力・表現を作るために使う、学習によって得られた数学的・計算的な構成物です。学習で調整された状態や設計に基づいて働きます。モデルは手順であるAlgorithmや、重みだけ、利用者向けのAIサービスそのものとは区別します。 → Algorithm、Model Weights
Embedding（埋め込み）
Embedding（埋め込み）は、トークン・項目・対象などを、モデルが扱える数値ベクトルとして表すものです。この表現は計算や比較に使われ、ベクトル空間にモデルにとって有用な関係が反映されることがあります。元の文字列や対象そのもの、またその意味そのものではありません。 → Feature
Vector Database（ベクトルデータベース）
→ Embedding、Semantic Search、Retrieval
Vector Database（ベクトルデータベース）は、EmbeddingなどのVectorを保存・索引化し、類似性にもとづく検索などに利用できるデータベースです。Vector DatabaseはRAGそのものではなく、RAGやSemantic Searchで利用できる構成要素の一つです。
Vector（ベクトル）
→ Embedding
Vector（ベクトル）は、複数の数値を順序を持って並べた表現です。機械学習では、特徴、確率、Embeddingなどさまざまな情報をVectorで表すことがあります。VectorそのものとEmbeddingは同じ意味ではありません。
Transformer（トランスフォーマー）
Transformer（トランスフォーマー）は、Attention（注意機構）を中心に構成されたニューラルネットワークのアーキテクチャです。表現どうしの関係を処理し、Encoderを使う形、Decoderを使う形、両方を組み合わせる形など、構成の異なる型があります。多くの現代の言語モデルで使われますが、Attentionそのもの、LLMそのもの、すべての生成AIと同じ意味ではありません。 → Attention、Encoder、Decoder
Attention（注意機構）
注意機構は、入力や表現の異なる位置・要素どうしの関係を扱い、出力や新しい表現を作るときに情報ごとの重みや寄与を変える仕組みです。Transformerを構成する重要な機構の一つですが、Transformer全体そのものではありません。 → Transformer
Model Weights（モデルの重み）
モデルの重みは、モデル内部で学習される数値で、入力の変換や出力の計算に影響します。ニューラルネットワークでは、学習中に調整されるパラメータの例です。重みだけで完全なモデル成果物になるとは限らず、アーキテクチャ、トークナイザ、実行環境などを必ず含むものでもありません。 → Parameter、Model、Checkpoint
MoE — Mixture of Experts（専門家混合）
MoE（Mixture of Experts、専門家混合）は、複数の専門家（expert）となるサブネットワークや構成要素を持つ、モデルの設計パターンです。入力に応じてルーティングやゲート機構が、どの専門家を使うか、またはどの程度寄与させるかを変えるため、モデルの構成要素を条件付きで使います。通常のアンサンブルと常に同じ意味ではありません。
Checkpoint（チェックポイント）
チェックポイントは、モデルや学習の状態を、ある時点で保存したものです。モデルの重みを含むことが多く、フレームワークや作業手順によってはオプティマイザなど学習に関する状態も含みます。保存した状態を再開・評価・配布に使えますが、必ず最終公開モデルとは限らず、重みだけを指すとも限りません。 → Model Weights
Activation Function（活性化関数）
活性化関数は、ニューラルネットワークの計算の中で、ユニットや層が計算した値を変換する関数です。変換した値が次の処理へ渡されるため、非線形な変換や振る舞いを取り入れる役割を持ちます。関数そのものは学習されるモデルパラメータではありません。 → Neuron、Parameter
Encoder（エンコーダ）
エンコーダは、入力を処理して、モデル内部で使う表現（文脈を含む表現など）に変換する構成要素です。Transformerでは、Encoderの層が入力表現を処理します。EncoderはDecoderやTransformer全体と同じ意味ではなく、他の機械学習構成での使われ方もあります。 → Transformer、Decoder
Decoder（デコーダ）
デコーダは、モデル内部の表現を使って、出力または次の出力表現を作る構成要素です。Transformerでは、Decoderの層が表現を処理して出力系列の生成に関わります。DecoderはEncoderやTransformer全体と同じ意味ではなく、すべてのDecoderが自己回帰的に動くわけでも、LLMであるわけでもありません。 → Transformer、Encoder
Encoder-Decoder（エンコーダ・デコーダ）
→ Encoder、Decoder、Transformer
Encoder-Decoder（エンコーダ・デコーダ）は、入力を内部表現へ変換するEncoderと、その内部表現から出力を生成・復元するDecoderを組み合わせた構成です。TransformerにはEncoder-Decoder型だけでなく、Encoderのみ、Decoderのみの構成もあります。
言語モデルとコンテキスト
NLP — Natural Language Processing（自然言語処理）
自然言語処理（NLP）は、人間が使う言語をコンピュータで処理・利用する分野です。言語に関わる分析、処理、生成などの課題を扱いますが、LLMや生成AIだけを指す言葉ではありません。 → Language Model、LLM
Language Model（言語モデル）
言語モデルは、言語やトークン列に現れるパターンや確率を扱い、言語に関わる系列や出力を予測・推定するモデルです。すべての言語モデルが大規模、Transformerベース、または会話用であるわけではありません。 → LLM、Token、Next-token prediction
LLM — Large Language Model（大規模言語モデル）
大規模言語モデルは、現代の技術文脈で大規模と扱われる言語モデルで、広い言語関連の用途に使われることがあります。ここでいう「大規模」には、パラメータ数やデータ量による、すべての場面に共通する固定の数値基準はありません。LLMはAI全体、Chat Model、Foundation Model、Transformerそのものと同じ意味ではありません。 → Language Model
Token（トークン）
トークンは、テキストなどの入力をモデルが扱うときに使う単位です。トークナイザやモデルによって、単語全体、単語の一部、文字、バイトなどに対応するため、トークンと単語は同じとは限りません。 → Tokenization
Tokenization（トークン化）
トークン化は、テキストなどの入力を、モデルが扱えるトークンやトークン識別子に変換する処理です。分け方や処理の段階はトークナイザやモデルによって異なり、トークン化は埋め込みや意味の理解そのものではありません。 → Token、Embedding
Vocabulary（語彙）
→ Token、Tokenization
Vocabulary（語彙）は、言語モデルやTokenizerなどが扱うTokenや記号の集合です。Vocabularyに含まれる単位は必ずしも自然言語の「単語」と一致せず、TokenそのものやTokenizationという処理と同じ意味でもありません。
Context（コンテキスト）
コンテキストは、モデルやシステムが現在の処理・推論で利用できる情報です。現在の入力やプロンプト、会話の履歴などが含まれることがありますが、何が含まれるかはシステムによって異なります。コンテキストは、処理できる量の上限であるコンテキストウィンドウや、後で再利用するために保持するメモリ、学習データそのものとは別の概念です。 → Context Window、Prompt、Memory
Context Window（コンテキストウィンドウ）
コンテキストウィンドウは、モデルやシステムが一度の処理で扱えるコンテキストの範囲・容量です。トークン数で表されることがありますが、具体的な上限や動作はモデルやシステムによって異なります。これは長期的なメモリや学習データを意味せず、大きければ常に結果が良くなるという意味でもありません。 → Context、Memory、Token
Prompt（プロンプト）
プロンプトは、モデルの処理や出力を導くために与える入力・指示・その他の内容です。質問、指示、例、データなどを含められますが、プロンプトが利用可能なコンテキストのすべてであるとは限りません。 → Input、Context、Output
Input（入力）
入力は、モデルやシステムに処理のために与えるデータや情報です。形式や範囲はモデルや課題によって異なり、利用者が直接書いた文章だけを指すわけではありません。入力は、指示や内容を与えるプロンプトと常に同じ意味ではありません。 → Prompt、Output
Output（出力）
出力は、モデルやシステムが入力を処理した結果として返すデータ、情報、または結果です。形式は課題やモデルによって異なり、文章、分類結果、数値などになることがあります。出力は常に利用者に表示される最終回答を意味するわけではありません。 → Input、Model、Classification、Regression
Next-token prediction（次トークン予測）
次トークン予測は、直前までのトークンや利用可能なコンテキストをもとに、次に続くトークンを予測する処理・目的です。自己回帰型の言語モデルで使われ、多くの現代的なLLMに関わりますが、すべてのAIやすべての言語モデルの構成を説明する言葉ではありません。これだけで人間のような理解があることを示すものでもありません。 → Token、Language Model、LLM
Chat Model（チャットモデル）
チャットモデルは、会話形式のやり取りを行えるよう適応・構成されたモデルまたはシステムです。複数回のメッセージを用いた対話を扱うことがありますが、メッセージ形式や仕組みはモデルやシステムによって異なります。事前学習済みの言語モデルをもとにする場合があっても、Chat ModelがすべてLLMまたは同じ一つのアーキテクチャであるとは限りません。 → Language Model、LLM、Context
Memory（メモリ）
メモリは、後の段階や対話で再利用できるように保持・保存された情報や状態を指します。同じ情報でも、現在の処理で利用できる側面はコンテキスト、後の利用のために保持・再取得する側面はメモリとして説明されるなど、機能上の見方が異なることがあります。仕組みは実装によって異なるため、メモリはコンテキスト、コンテキストウィンドウ、モデルの重み、チェックポイント、学習データのいずれか一つと常に同じ意味ではありません。 → Context、Context Window、Model Weights、Checkpoint
学習と適応
Training（学習）
Training（学習）は、データと学習の目的に基づいて、モデルのパラメータや学習された状態を調整するプロセスです。学習は、訓練済みのモデルを使って予測や出力を得るInference（推論）とは区別します。学習全体がFine-tuning（微調整）だけを指すわけではありません。 → Parameter、Inference、Fine-tuning
Inference（推論）
Inference（推論）は、訓練済みのモデルに入力を与え、予測や出力などを得るためにモデルを使うことです。モデルのパラメータを調整するTraining（学習）とは役割が異なり、テキスト生成だけを指す言葉でもありません。 → Training、Input、Output
Pretraining（事前学習）
Pretraining（事前学習）は、後のタスク・分野・指示への適応に先立って行う学習です。後のFine-tuning（微調整）やPost-training（事後学習）に向けた段階を表す言葉であり、常に教師なし学習、ウェブ規模のデータ、または同じ目的で行われるとは限りません。 → Training、Fine-tuning、Post-training
Fine-tuning（微調整）
Fine-tuning（微調整）は、すでに学習された、しばしば事前学習済みのモデルに対して、追加の学習や適応を行うことです。タスク・分野・指示に合わせたデータや目的を使うことがあり、方法によって更新するパラメータの範囲は異なります。Fine-tuningはPretrainingやすべてのPost-training、またはInstruction Tuning（指示チューニング）と常に同じではありません。 → Pretraining、Instruction Tuning、Post-training、Parameter
Supervised Learning（教師あり学習）
Supervised Learning（教師あり学習）は、入力と、予測したい目標・ラベルや望ましい出力が組になった例から学ぶ方法です。その目標情報がモデルの学習を導きます。分類だけに限らず、回帰のように数値を予測する課題にも使われます。 → Label / Labeled Data、Unsupervised Learning、Reinforcement Learning / RL
Reinforcement Learning / RL（強化学習）
Reinforcement Learning（RL、強化学習）は、エージェントや方策が環境と相互作用し、報酬やリターンの信号を受けながら行動を改善する学習方法です。報酬は人間から直接与えられるとは限らず、RLはRLHFや教師あり学習全体と同じ意味ではありません。 → Reward Function、RLHF、Objective Function
RLHF — Reinforcement Learning from Human Feedback（人間のフィードバックからの強化学習）
RLHFは、人間の評価や選好などのフィードバックを、強化学習にもとづくモデルの適応に利用する方法です。人間のフィードバックが報酬信号や関連する学習情報として使われることがありますが、具体的な段階や手順はシステムによって異なります。RL全体、すべてのアラインメント、すべてのPost-training、またはInstruction Tuningと同じ意味ではありません。 → Reinforcement Learning / RL、Reward Function、Instruction Tuning、Post-training
Reward Model / Preference Learning（報酬モデル／選好学習）
→ Reward Function、RLHF、Alignment
Reward Model（報酬モデル）は、人間などから得られた比較・評価データを使って、ある出力がどの程度好まれるかなどを予測するために学習されるモデルです。Preference Learning（選好学習）は、このような選好情報から学習するより広い考え方を指します。Reward ModelはReward Functionそのものと常に同じではなく、Preference LearningがRLHFだけを意味するわけでもありません。
Loss Function（損失関数）
Loss Function（損失関数）は、学習や最適化で、予測のずれなどの学習上の差を表す量を計算する関数です。その量は通常、学習の中で小さくするように扱われます。Loss FunctionはReward Function（報酬関数）やEvaluation Metric（評価指標）と常に同じではなく、Objective Function（目的関数）とは文脈によって用語が重なることがあります。 → Objective Function、Reward Function、Training
Reward Function（報酬関数）
Reward Function（報酬関数）は、強化学習で、行動・状態・結果などにどのような報酬を割り当てるかを定める関数や規則です。この仕組みによって生じたり使われたりする報酬の値や信号は、関数そのものとは区別します。報酬は学習する方策や行動の改善を導く情報であり、人間のフィードバックやLoss Function（損失関数）、Objective Function（目的関数）と常に同じものではありません。 → Reinforcement Learning / RL、RLHF、Loss Function
Objective Function（目的関数）
Objective Function（目的関数）は、最適化や学習の過程で、最小化または最大化しようとする量や関数です。文脈によって、損失・報酬・正則化など複数の要素を含むことがあります。Loss FunctionやReward Functionと常に同じ意味ではなく、技術文書では用語の重なりが生じる場合があります。 → Loss Function、Reward Function、Training
Hyperparameter（ハイパーパラメータ）
Hyperparameter（ハイパーパラメータ）は、モデルのパラメータが学習で直接調整されるのとは別に、モデルの構造や学習・最適化の進み方を左右する設定値です。学習の試行前などに決める値を指すことが多いものの、自動的に調整される場合もあります。学習で得られるParameter（パラメータ）とは区別します。 → Parameter、Training
Unsupervised Learning（教師なし学習）
Unsupervised Learning（教師なし学習）は、教師あり学習で明示的に与える目標ラベルがないデータから、パターンや構造を見つける学習方法です。目標や学習の基準がないという意味ではなく、Self-supervised Learning（自己教師あり学習）やPretrainingと常に同じでもありません。 → Supervised Learning、Self-supervised Learning、Pretraining
Instruction Tuning（指示チューニング）
Instruction Tuning（指示チューニング）は、指示とそれに対する応答などのデータを使ってモデルを適応させ、指示に従う能力を高めることを目指す方法です。Fine-tuningの一形態・用途として扱われることがありますが、すべてのFine-tuningやPost-training、RLHFを指すわけではなく、強化学習を必須とする言葉でもありません。 → Fine-tuning、RLHF、Post-training
SFT / Supervised Fine-Tuning（教師あり微調整）
→ Fine-tuning、Supervised Learning、Instruction Tuning
SFT（Supervised Fine-Tuning、教師あり微調整）は、入力と望ましい出力などの教師ありデータを使って、事前学習済みモデルをFine-tuningする方法です。Instruction Tuningで用いられることがありますが、すべてのFine-tuningやRLHFと同じ意味ではありません。
Self-supervised Learning（自己教師あり学習）
Self-supervised Learning（自己教師あり学習）は、人が別に用意したラベルではなく、データそのものから学習の目標や信号を作る方法です。外部から目標ラベルを与えない場合でも、データから作った目標を使って学習するため、「ラベルや目標がまったくない」という意味ではありません。Unsupervised LearningやすべてのPretrainingと常に同じではありません。 → Unsupervised Learning、Supervised Learning、Pretraining
Post-training（ポストトレーニング）
Post-training（ポストトレーニング）は、Pretraining（事前学習）の後に行う追加の学習や適応を指す段階・まとめ方です。Fine-tuning、Instruction Tuning、選好を用いる適応、RLHFなどが含まれることがありますが、どの方法を含めるかはシステムや文脈によって異なります。Post-trainingは一つの手法、RLHF、またはすべてのFine-tuningと同じ意味ではありません。 → Pretraining、Fine-tuning、Instruction Tuning、RLHF
Distillation（蒸留）
Distillation（蒸留）は、教師モデルが示す出力・確率・内部表現・振る舞いなどの情報を使って、学生モデルを学習・適応させる方法です。モデル間の知識移転や効率化を目的とすることがありますが、教師の情報を学生が完全に再現することや、常に同じ方法・目的になることを意味しません。Fine-tuningと常に同じ方法ではありません。 → Model、Model Weights、Fine-tuning
生成AIと信頼性
Generative AI（生成AI）
Generative AI（生成AI）は、入力やコンテキストをもとに、文章、画像、音声、動画、コードなどのコンテンツを生成するAIシステムやモデルの分野・カテゴリです。扱うコンテンツやモダリティの範囲は文脈によって異なり、すべてのAIやLLMを意味しません。 → AI、LLM、Generation
Generation（生成）
Generation（生成）は、入力やコンテキスト、モデルの状態などをもとに、モデルがコンテンツや出力を作るプロセスです。Generative AIという分野・カテゴリそのものではなく、すべてのInference（推論）操作をGenerationと呼ぶわけでもありません。 → Generative AI、Input、Output、Inference
Hallucination（ハルシネーション）
Hallucination（ハルシネーション）は、モデルが生成した出力が、もっともらしく見えても、関連する証拠やコンテキストに照らして誤っている、裏付けがない、または整合しない場合を指す言葉です。資料や文脈によって、誤り・未裏付け・現実に関する主張のどれを重視するかなど境界が少し異なり、すべてのモデルエラーや意図的な欺きと同じ意味ではありません。 → Factuality、Grounding、Output
Multimodal（マルチモーダル）
Multimodal（マルチモーダル）は、テキスト、画像、音声、動画など、二つ以上のモダリティ（扱う情報の種類）を入力または出力として扱うモデルやシステムです。入力と出力の組合せや対応できるモダリティはシステムによって異なり、マルチモーダルであることは生成機能を意味しません。 → Input、Output、Generative AI
VLM / Vision-Language Model（視覚言語モデル）
→ Multimodal、Model
VLM（Vision-Language Model、視覚言語モデル）は、画像などの視覚情報と言語情報を組み合わせて扱うモデルです。画像について質問に答える、画像を説明するなどの用途がありますが、Multimodal AI全体と常に同じ意味を持つわけではありません。
Bias（バイアス）
Bias（バイアス）は、データ、予測、出力、評価などに現れる、系統的な傾向や偏りを指す言葉です。統計・技術上のずれを指す場合も、社会的なステレオタイプや公平性に関する問題を指す場合もあり、文脈によって意味が異なります。そのため、Biasは常に不公平だけを、または学習データだけを指すわけではありません。 → Dataset、Evaluation、Factuality
Nondeterminism / Stochasticity（非決定性／確率性）
Nondeterminism / Stochasticity（非決定性／確率性）は、同じ入力に対して同じ出力になることが保証されない性質や、その要因となる確率的な仕組みに関係する用語です。Stochasticityは特に確率的な選択や処理を、Nondeterminismは結果の再現が保証されないことを強調する場合があります。出力が変わる可能性を表しますが、常に異なることや、信頼できないことを意味しません。 → Sampling / Decoding、Output
Alignment（アラインメント）
Alignment（アラインメント）は、モデルやシステムの振る舞いを、意図した目標、指示、好み、制約、価値などによりよく適合させる取り組みや性質です。人間のフィードバックを使う適応は一つの方法ですが、AlignmentそのものがRLHF、安全性、正しさ、単なる従順さのいずれかと同じ意味ではありません。 → RLHF、Instruction Tuning、Model
Grounding（グラウンディング）
Grounding（グラウンディング）は、生成された出力や応答を、与えられた、検索・取得された、または利用可能な情報・証拠・コンテキストに結び付け、それにもとづかせることです。これにより裏付けのない生成を抑える助けになる場合がありますが、事実の正しさを保証せず、RAGや引用表示だけを意味するわけでもありません。 → Context、Factuality、Hallucination
Confidence / Confidence Score（確信度／信頼度スコア）
Confidence / Confidence Score（確信度／信頼度スコア）は、ある課題やモデル・システムにおける、確実さや可能性などを推定して表す値またはスコアです。何をどの方法で測った値かによって意味は異なり、すべてのシステムで較正済み確率を示すわけでも、正しさを保証するわけでもありません。自然言語による自己申告としての「自信がある」と常に同じ意味でもありません。 → Factuality、Evaluation、Output
LLM-as-a-judge（LLMによる評価）
LLM-as-a-judgeは、LLMを使って、モデルの出力や課題の結果を評価、比較、採点、分類する方法です。判定は人間の選好との一致を近似することがあっても、客観的な正解や人間による評価そのものではなく、プロンプト、提示順、説明の長さ、自己選好に関わる偏りなどの影響を受けうるため、定義から信頼できるとは限りません。 → LLM、Evaluation、Bias
Contamination / Benchmark Contamination（汚染／ベンチマーク汚染）
Contamination / Benchmark Contamination（汚染／ベンチマーク汚染）は、評価前に、ベンチマークやテストの資料、またはそれに密接に関係する情報が、モデルのTraining（学習）や適応に含まれている状態です。評価の独立性を損ない、測定された性能を実際より高く見せる場合がありますが、すべての過学習やデータ漏洩と同じ意味ではなく、意図的な行為とも限りません。 → Training、Evaluation
Factuality（事実性）
Factuality（事実性）は、評価の文脈において、出力に含まれる主張が、確認可能な事実や現実にどの程度対応しているかを表す性質・品質の観点です。評価方法や課題によって基準は異なり、出力の流暢さや「真実を伝えようとする意図」を表すものではなく、Groundingを行ったことだけを意味するものでもありません。 → Hallucination、Grounding、Confidence / Confidence Score
Sampling / Decoding（サンプリング／デコーディング）
Sampling / Decoding（サンプリング／デコーディング）は、モデルのスコアや確率分布から、生成中に出力トークンや系列を選ぶ手順です。資料によっては、Decodingをより広い選択戦略の呼び名、Samplingを確率的な選択の一つとするなど用語の範囲が重なりますが、SamplingがすべてのDecodingを指すとは限りません。Training（学習）そのものでもありません。 → Generation、Token、Inference
Temperature（温度）
→ Sampling / Decoding、Nondeterminism / Stochasticity
Temperature（温度）は、生成時の確率分布の扱いを調整し、出力のばらつきに影響を与える設定値です。一般に高くすると多様性が増え、低くすると選択が集中しやすくなりますが、Temperatureだけで出力の内容や再現性が決まるわけではありません。
Search・Retrieval・RAG
Search（検索）
Search（検索）は、情報や文書などの集合に対してquery（検索条件）を与え、目的に関係する情報や結果を探す処理・機能です。Web検索はSearchの一例ですが、Searchが常にWebだけを対象とするわけではなく、Generation（生成）やRetrieval（情報取得）と同じ意味でもありません。 → Retrieval、Generation
Retrieval（情報取得）
Retrieval（情報取得）は、情報要求に関連する文書や情報を、collection（集合）やindexなどから見つけて取り出すことです。検索と密接に関係しますが、Generationそのものではなく、RetrievalだけでRAG全体を意味するわけでもありません。 → Search、RAG、Generation
RAG（Retrieval-Augmented Generation／検索拡張生成）
検索拡張生成は、外部の情報源から関連情報を取得し、その情報を利用して生成を行う方法・構成です。RetrievalとGenerationを組み合わせる考え方ですが、RAGを使うだけで出力の事実性が保証されるわけではなく、モデルを再学習することと同じでもありません。 → Retrieval、Generation、Grounding、Factuality
Knowledge Base（ナレッジベース）
→ Retrieval、RAG
Knowledge Base（ナレッジベース）は、検索や参照に利用できるよう整理された情報の集合を指す表現です。生成AIでは、RAGやRetrievalの情報源として利用されることがありますが、Knowledge Baseが必ずVector Databaseで構成されるわけでも、モデル内部の知識そのものを意味するわけでもありません。
Training Data（学習データ）
Training Data（学習データ）は、モデルや機械学習システムをTraining（学習）するために使われるデータです。学習後のモデルそのものやCurrent Context（現在の文脈）とは別の概念であり、評価のために分けて使われるTest Dataとも区別して扱います。 → Training、Dataset、Parameter、Context
Synthetic Data（合成データ）
Synthetic Data（合成データ）は、実世界から直接収集・観測したデータそのものではなく、simulation（シミュレーション）、統計的な方法、生成モデルなどによって人工的に生成されたデータです。Synthetic Dataは必ずAIによって生成されるわけでも、必ずTraining Dataとして使われるわけでもなく、合成データであることだけで品質・匿名性・偏りのなさが保証されるわけでもありません。 → Dataset、Training Data、Generative AI
Semantic Search（セマンティック検索）
Semantic Search（セマンティック検索）は、文字列やkeyword（キーワード）の一致だけでなく、queryや対象となる情報の意味・文脈を考慮して、関連する結果を探す検索です。EmbeddingやVector Searchを使う実装もありますが、Semantic Searchが常にVector Searchと同じものを意味するわけではなく、RAGそのものでもありません。 → Search、Embedding、RAG
Chunk / Chunking（チャンク／チャンク分割）
Chunk（チャンク）は、文書やデータを一定の範囲ごとに分けた部分・単位です。そのように分割する処理をChunking（チャンク分割）と呼びます。検索、Retrieval、Embedding、RAGなどの処理で利用されることがありますが、ChunkはTokenとは異なる単位であり、ChunkingはTokenizationやRAGそのものではありません。分割の大きさや方法も、用途によって異なります。 → Token、Tokenization、Retrieval、RAG
Tool Use・Agent
Tool Use（ツール使用）
Tool Use（ツール使用）は、AIモデルやAIシステムが、検索、API、関数、コード実行などの外部ツールを利用して、情報取得や処理、操作を行う仕組み・能力です。モデルがツール利用の要求を生成することと、外部のツールが実際に実行されることは同じではなく、Tool UseがFunction Callingだけを意味するわけでもありません。 → Function Calling、AI Agent
AI Agent（AIエージェント）
AI Agent（AIエージェント）は、ある目標や課題に対して、モデルなどを使って状況を判断し、必要に応じて複数の手順やTool Useを組み合わせながら処理を進めるAIシステムです。すべてのLLMアプリケーションやチャットボットがAI Agentであるわけではなく、AI Agentであることが完全な自律性を意味するわけでもありません。 → Tool Use、LLM、Agentic AI
System Prompt（システムプロンプト）
System Prompt（システムプロンプト）は、モデルの振る舞い、役割、制約、応答方針などを指定するために、通常のユーザー入力とは区別してモデルへ与えられる指示です。名称、優先関係、扱い方はシステムやAPIによって異なる場合があり、System Promptがシステム全体の方針やセキュリティ境界そのものを意味するわけではありません。 → Prompt、Context
Function Calling（関数呼び出し）
Function Calling（関数呼び出し）は、モデルが、あらかじめ定義された関数やツールを利用するために、関数名や引数などを構造化して出力する仕組みです。その出力は関数を実行するための要求や指示であり、関数が実際に実行されたこと自体を意味しません。 → Tool Use、Output
Agentic AI（エージェンティックAI）
Agentic AI（エージェンティックAI）は、目標の達成に向けて、状況に応じた計画、判断、Tool Use、操作などを一定程度自律的に組み合わせるAIシステムや、そのような性質を持つAIを指す表現です。この用語の使われ方には幅があり、AI Agentと常に完全に同じ意味ではなく、完全な自律性や複数エージェントの利用を必ず意味するわけでもありません。 → AI Agent、Tool Use
Inference Server（推論サーバー）
Inference Server（推論サーバー）は、モデルへのInference（推論）要求を受け付け、対象となるモデルを実行して結果を返すためのサーバーまたはソフトウェアです。Inference Serverはモデルそのものでも、Inferenceという処理そのものでもなく、AIサービス全体と常に同じものを指すわけでもありません。 → Model、Inference
評価と性能
Evaluation（評価）
Evaluation（評価）は、モデルやAIシステムの性能や振る舞いを、目的に応じたデータ、課題、基準、指標、人による判断などを使って調べることです。Evaluationにはさまざまな方法があり、Benchmarkの利用や一つの指標だけを意味するわけではありません。 → Benchmark、Test Set
Benchmark（ベンチマーク）
Benchmark（ベンチマーク）は、モデルやシステムの性能を評価・比較するために共有される、課題、データ、評価方法や指標などを組み合わせた評価の枠組みです。Benchmarkの結果は特定の評価条件での性能を示すものであり、それだけで実世界のあらゆる能力や品質を表すわけではありません。 → Evaluation、Test Set
Robustness（ロバストネス）
Robustness（ロバストネス）は、入力や環境、条件などに変化がある場合でも、モデルやシステムが目的に応じた性能や振る舞いを一定程度維持できる性質です。何に対するRobustnessを評価するかは文脈によって異なり、Robustnessが正しさ、安全性、Generalizationのすべてを意味するわけではありません。 → Evaluation、Generalization
Ground Truth（グラウンドトゥルース）
グラウンドトゥルースは、モデルの予測や出力を評価するときに比較の基準として扱う、実際の観測結果、正解ラベル、参照値などです。Ground Truthとされる情報にも、測定誤差や記録の誤り、人による判断の違いなどが含まれる場合があり、あらゆる場面で完全で絶対的な真実を意味するわけではありません。 → Evaluation、Test Set
Generalization（汎化）
Generalization（汎化）は、モデルがTraining Dataの個々の例だけに適合するのではなく、学習時にそのまま見ていない新しいデータに対しても、目的に応じて適切に働く性質です。GeneralizationはTraining Dataの記憶そのものではなく、あらゆる未知の状況や分布の異なるデータで性能が保証されることを意味するわけでもありません。 → Training Data、Overfitting、Test Set
Overfitting（過学習）
Overfitting（過学習）は、モデルがTraining Dataに過度に適合し、新しいデータに対して十分にGeneralizeできなくなる状態です。Training Dataで高い性能を示していても、未知のデータでは性能が低下する形で現れることがありますが、性能が悪いことすべてをOverfittingと呼ぶわけではなく、原因も一つに限られません。 → Training Data、Generalization、Test Set
Reproducibility（再現性）
Reproducibility（再現性）は、実験や評価を、条件や方法を明示したうえで繰り返したときに、十分に整合した結果を得られる性質を表す言葉です。分野によってReproducibilityとReplicabilityなどの用語の使い分けには違いがあり、同じ条件なら出力が一字一句完全に一致することや、AIの出力が常に決定論的であることを意味するわけではありません。 → Evaluation、Nondeterminism / Stochasticity
Test Set（テストセット）
Test Set（テストセット）は、モデルのTrainingには使わず、学習後のモデルを評価するために分けておくデータの集合です。Training Dataとは役割が異なり、Test SetそのものがBenchmarkやGround Truthと常に同じものを意味するわけでもありません。データの分け方や評価手順は用途によって異なります。 → Training Data、Evaluation、Benchmark
Underfitting（学習不足）
Underfitting（学習不足）は、モデルが学習対象となるデータの重要なパターンや構造を十分に捉えられず、Training Dataに対しても十分な性能を得られない状態です。原因にはモデルの表現能力、特徴、学習方法、学習量などさまざまな要因があり、単に学習時間が短いことやモデルが小さいことだけを意味するわけではありません。 → Training、Training Data、Generalization、Overfitting