「経験の時代」は到来か？研究者はAIエージェントが世界から学ぶことを提案

二人の著名なAI研究者が、人工知能の次なる段階として「経験学習」を提唱しました。彼らの理論は、MIT Pressから近日出版予定の書籍『Designing an Intelligence（知能の設計）』からの抜粋「経験の時代」で詳述されています。デビッド・シルバーとリチャード・S・サットンは、彼らの次世代AIエージェントを「超人的な知能」への道筋と表現しています。

「数学、コーディング、科学などの重要な分野では、人間のデータから抽出される知識は急速に限界に近づいている」とシルバー氏とサットン氏は書いている。

さらに、生成型 AI では、有用なものを発明したり、「現在の人間の理解の限界を超えた価値ある新しい洞察」を見つけたりすることはできない。

これらの AI 研究者は誰でしょうか?

コンピューター科学者のデビッド・シルバー氏は、2016年に世界チャンピオンのイ・セドル氏を破った極めて重要な囲碁プログラム「アルファ碁」の主要開発者だった。

強化学習の著名な人物であるリチャード・S・サットンは、この分野の基礎となるアルゴリズムをいくつか開発しました。2019年のエッセイで、彼はコンピューター科学者は「メタメソッド」、つまり構造化されたデータだけに頼るのではなく、「任意で、本質的に複雑な外の世界」から学習することを可能にする手法を取り入れるべきだと主張しました。

AIの発展を3つの異なる時代に再定義する

シルバーとサットンは、過去10年間のAI開発における新たなカテゴリーを構築しました。このモデルでは、

1. AlphaGo やその他の機械学習技術はシミュレーションの時代に生まれました。
2. GPT-3 は、ヒューマンデータの時代の幕開けとなりました。
3. エクスペリエンスの時代は、Google DeepMind が開発した強化学習ベースの AI システムである AlphaProof によって 2024 年に始まりました。

彼らは、AlphaProofが「正式な証明システムとの継続的な相互作用」を用いた強化アルゴリズムを通じて国際数学オリンピックでメダルを獲得したと指摘している。彼らはモデルに数学を教えるのではなく、数学を行うことで得られる特定の報酬を欲しがるように教えたのだ。

著者らは、世界モデルのシミュレーションを通じてであれ、利益、試験結果、エネルギー消費などのデータを利用することでであれ、AI 学習は世界自体によって強化される可能性があると示唆している。

「このデータは、エージェントが強くなるにつれて継続的に改善される方法で生成される必要がある。合成的にデータを生成する静的な手順はすぐに追い越されてしまうだろう」と彼らは書いている。

参照: AI が強力になればなるほど、地球の資源への負担も大きくなります。

将来のAIエージェントは長期的な目標を追求するだろう

エクスペリエンスの時代の AI エージェントはさまざまな点で異なります。

• 彼らは「野心的な目標」を長期的に達成し続けることができるでしょう。
• 彼らは人間から直接の入力だけでなく、環境から受動的に情報を得ることになります。
• 彼らは「人間の判断」ではなく「環境に関する経験」によって動機づけられるのです。
• 彼らは、人間のユーザーとは独立して、経験する事柄について計画したり推論したりします。

彼らが提案する未来のAIは、「ユーザーの質問に直接答える」という枠を超え、長期的な目標を追求しています。対照的に、現在のAIモデルはユーザーの好みを記憶し、会話の別の場所での質問を回答に織り込むことができます。

彼らは、仕事の置き換え、人間がエージェントの行動に介入する機会が少ない場合の安全上のリスク、将来の AI システムの解釈が困難になることなどのリスクも認識しています。

こちらもご覧ください

• OpenAI、強制売却に備えGoogle Chromeブラウザを調査へ、幹部が法廷で明らかに
• OpenAIのo3: AIベンチマークの不一致がパフォーマンス主張のギャップを明らかに
• AIの要求にも関わらず、エンタープライズITが水の持続可能性を実現する方法
• 人工知能：さらに読むべき記事