AIの歴史は一本の置き換え表ではない
AIの歴史を、「古いAIからMachine Learning、Deep Learning、Transformer、LLMへ」という一本の進化表として考えると、重要な違いが見えなくなります。
この並びには、
- 広い研究分野
- 学習方法
- モデルの種類
- architecture
- 利用されるモデル群
という、異なる種類の概念が混ざっているからです。また、新しい方法が登場したからといって、それ以前の方法がすべて消えたわけでもありません。この章ではAIの完全な歴史を覚えるのではなく、現在のAIにつながるいくつかの流れを地図として見ます。
記号やルールを扱う考え方
AIには、知識を記号やルールとして表し、それらを操作して問題を解こうとする考え方があります。こうした記号やルールを使う方法は、AIの歴史の早い段階から重要な位置を占めてきました。専門知識をルールとして表すexpert systemも、その代表的な例です。その後、データから学ぶ方法が広がったからといって、記号やルールを扱う考え方が完全になくなったわけではありません。現在でも、記号やルールを使う考え方とニューラルネットワークを組み合わせようとする研究があります。したがって、「記号やルールを使う方法（symbolic AI）が、統計的な方法（statistical AI）の登場によって完全に消滅した」という理解は避けます。
データから学ぶ方法
人間がすべてのルールを書くのではなく、データから規則性や傾向を学ぶ方法も発展してきました。特に自然言語処理では、1980年代後半から1990年代にかけて、corpusなどのデータを利用する統計的な方法が目立つようになりました。ここでも、「古い方法が完全に新しい方法へ置き換えられた」と考える必要はありません。重要なのは、問題への取り組み方の重点が変わったことです。
Neural NetworkはDeep Learningより前からある
Neural Networkという考え方そのものは、現在のDeep Learningよりずっと前から研究されていました。1940年代には初期のモデルが提案され、1950年代にはperceptronが登場しています。1980年代には、hidden unitを含むnetworkで重みを調整するback-propagationの研究も重要な位置を占めました。
そのため、「Deep Learningが登場したことでNeural Networkが誕生した」と理解するのは適切ではありません。
Neural Networkの研究には、期待が高まった時期も、技術的な限界が強く意識された時期もありました。ただし、一つの論文や一冊の本だけを、研究分野全体の停滞や復活の唯一の原因として扱うことにも注意が必要です。技術上の限界と、研究・社会・資金などの歴史的変化は同じ問いではありません。
Deep LearningはNeural Networkと切り離されたものではない
Deep Learningは、Neural Networkとは無関係な別系統の技術ではありません。複数の層を使って表現を学習するneural networkの発展として考えることができます。2000年代から2010年代にかけて、利用できるデータや計算資源、学習方法などの変化とともに、Deep Learningが大きく注目されるようになりました。2012年のAlexNetは、computer visionでDeep Learningへの注目を大きく高めた例としてよく参照されます。
ただし、この一例から、
「2012年にAIが始まった」
「以前の方法がすべて不要になった」
と結論づけることはできません。
Transformerというarchitecture
2017年にはTransformerが発表されました。Transformerは、sequenceを扱うためのneural-network architectureとして示されました。ここで重要なのは、TransformerがAI全体の名前ではないことです。また、TransformerとLLMも同じ言葉ではありません。Transformerを利用するモデルにはさまざまなものがあります。BERTのようにTransformerを利用しながら、現在一般にイメージされる対話型の生成LLMとは異なる目的を持つモデルもあります。一方、現在よく知られるLLMにはTransformer-familyのarchitectureを使うものが多くあります。つまり、「Transformer = LLM」とは考えません。
LLM時代に変わったもの
近年のLLMでは、Transformer-familyのarchitectureだけでなく、
- モデルの規模
- Pretraining
- 利用できるデータ
- 文脈中の指示や例に応じた振る舞い
など、複数の要素が関係しています。そのため、Transformerが、そのままLLMになった と考えるのも正確ではありません。architectureの話と、モデル規模の話と、学習方法の話と、利用時の振る舞いの話を分ける必要があります。
歴史を「地図」として見る
ここまでの流れは、次のような一本道ではありません。
むしろ、記号やルールを使う方法、統計的な方法、ニューラルネットワークを使う方法、深層学習（Deep Learning）、Transformer、LLMは、それぞれ異なる関係で重なっています。これらには、広い研究分野、学習方法、モデルの種類、アーキテクチャ、現在使われているモデル群など、異なる種類の概念が含まれます。年代順に並べるだけでは、この違いを表すことはできません。
この章のまとめ
この章では、AIの歴史を「新技術が旧技術を順番に消していった歴史」として扱いませんでした。覚えておきたいのは次の点です。
- 記号やルールを使う考え方は、後のAI手法が登場したからといって単純に消滅したわけではない
- 統計的な方法とニューラルネットワークを使う方法には重なりがあり、単純な前後関係だけでは整理できない
- Neural NetworkはDeep Learningより前から研究されていた
- Deep LearningはNeural Networkの発展と連続した側面を持つ
- Transformerはarchitectureであり、LLMそのものではない
- LLM時代の変化にはarchitectureだけでなく、scaleやPretrainingなど複数の要素が関係する
- AIの歴史は一本の置き換え表ではない
次の章では歴史から現在の利用場面に戻り、私たちが実際にAIサービスを使ったとき、外から何を確認できるのかを見ていきます。