コロンビア大学の Vishal Misra 教授が、AI のスケーリングの限界と AGI（Artificial General Intelligence: 汎用人工知能）実現に必要な条件について語っている。同教授はコンピュータサイエンス・電気工学を専門とし、AI・コンピューティング副学部長を務める。「モデルを大きくすれば知能に届く」という期待に対し、根本的に異なるアプローチが必要だという指摘だ。
スケーリングだけでは解決しない
Misra 教授の主張の核心は明快だ。
いま広く存在している誤解の一つは、スケールを拡大すればすべて解決するというものです。ですが、スケールだけではすべては解決しません。必要なのは、別種のアーキテクチャです。
現在の LLM は、パラメータ数やデータ量を増やすことで性能を向上させてきた。しかし、この「スケーリング則」には限界がある。モデルを大きくしても、タスク固有の性能は上がるが、継続的に適応し汎化する能力は自動的には得られない。これこそが真の知能に必要な能力だ。
継続学習と破滅的忘却のジレンマ
AGI に必要な第一の条件として、Misra 教授は「可塑性（plasticity）」を挙げる。これは継続学習（continual learning）によって実装されなければならない。
この継続学習は難しい問題です。新しいことを学べるという利点と、破滅的忘却のリスクを両立させなければならないからです。重みを更新しても、重要だったことや、すでに学んだことを忘れてしまうなら、それは進歩ではありません。そうなると、ただのランダムでカオスなモデルになってしまいます。
破滅的忘却（catastrophic forgetting）は、ニューラルネットワークが新しいタスクを学習する際に、以前のタスクの性能が急激に低下する現象だ。現在の LLM はファインチューニング時にこの問題に直面する。新しい知識を獲得しながら、既存の知識を保持する。この一見シンプルな要件が、技術的には極めて困難な課題だ。
相関から因果へ
第二の条件は、「相関から因果への移行」だ。
AGI に到達するには、二つのことが必要だと私は考えています。一つはこの可塑性であり、これは継続学習によって実装されなければなりません。もう一つは、相関から因果へ移行することです。
現在の LLM は、大量のテキストデータから統計的な相関パターンを学習している。「AのあとにBが来やすい」というパターンは捉えられるが、「AがBを引き起こす」という因果関係の理解は本質的に異なる。因果推論ができなければ、未知の状況での推論や、ある行動がどんな結果をもたらすかの予測は困難だ。
現在の AI 研究への示唆
Misra 教授の指摘は、現在の AI 開発の方向性に対する重要な問題提起だ。
- スケーリングの限界: パラメータ数やデータ量の増加だけでは、質的な飛躍は起きない
- アーキテクチャの革新: Transformer アーキテクチャの改良だけでなく、根本的に新しい設計が求められる
- 継続学習の実現: 学習と記憶の両立は、脳科学の知見も取り入れた新しいアプローチが必要
- 因果推論の統合: 統計的パターンマッチングを超えた、因果モデルの構築が不可欠
「大きくすれば賢くなる」という単純な物語は魅力的だが、AGI への道はもっと複雑で、根本的なブレイクスルーが求められている。