Embed Notice

(つづき)

まとめると
→GPT-4.5は計算能力依存の時代の到達点。
→これからは「データ効率」と「抽象化・推論能力」が重要に。
→大規模モデルの開発は今後も続くが、ただ大きくするだけでなく「効率よく賢く育てる」ことが問われるフェーズに入った。

――――――――――――――――

これからは計算資源よりデータ効率(を上げるためのアルゴリズムやアーキテクチャ)がスケーリングに大事だよっていう転換期は去年の今頃には迎えていたし、つまり物量的なピークはそのときに達成している。AIの成長をリアルタイムに追っている界隈からすればなぜ今この話を？となる。この対話では新しいことはほとんど話していない。

つまり「新しいフェーズに入ったことを世界が(開発者や研究者さえ)気づいていないひとが多い」ことへの警鐘かもしれない。実際この趣旨のことを動画のなかで言っている。

あるいはそうは言ってないけれども OpenAI として MoE (Mixture of Experts) 関連の研究に力をいれていくよと暗にアピールしているのかも。MoEは効率の面では決して外せない要素だけれど、これまでもどの程度自社のモデルに使っているのか使っていないのか OpenAI は明らかにしていない。