自律型 AI の開発方法

一部の愛好家は、人工知能 (AI) は 感覚的になる寸前。 しかし、2018 年のチューリング賞を受賞した Yann LeCun はそうではありません。 ディープラーニング。

実際、LeCun は AI は いいえ 人間のように考え、学ぶための正しい道を歩んでいます。 彼は、10 代の若者が約 20 時間で運転を学ぶことができる一方で、今日のまともな自動運転車には、数百万または数十億のラベル付けされたトレーニング データ サンプルまたはシミュレートされた環境での強化学習の試行が必要であり、それでも人間の運転には及ばないと指摘しています。確実に運転する能力。 (以下もお読みください: 自動運転車のハッキング: これが自動運転車がまだない理由?)

この認識に基づいて、LeCun は「自律型人工知能」を作成するためのロードマップをスケッチしました。 LeCun のロードマップは、ディープラーニング、ロボット工学、認知科学、神経科学などのさまざまな分野からインスピレーションを得て、モジュール式の構成可能な構造をスケッチしています。 このロードマップを実際に実装するにはさらに調査が必要ですが、動物と人間の知性を複製するために必要なさまざまなコンポーネントについて考えるのは有益です。

この記事では、LeCun の自律型人工知能ロードマップの背後にある方法論を深く掘り下げます。

使い方

世界モデル

LeCun のフレームワークの中核は、世界の状況や状態を予測する「世界モデル」です。 LeCun は、動物と人はそれぞれ、前頭前皮質のどこかに独自の「世界モデル」を持っていると主張しています。

AI ベースの世界モデルを開発する試みは既に行われていますが、これらのモデルはタスクに依存しており、さまざまなタスクに適応することはできません。 ただし、LeCun は複数のタスク依存の世界モデルの概念に同意せず、動的に構成可能な単一の世界モデルを信じています。 LeCun によると、各個人の単一の世界モデルは、複数のタスク間で知識を共有することを可能にし、それが人間を類推を通じて推論に導きます。

LeCun の自律型 AI ロードマップのコンテキストでは、世界モデルのアイデアには、AI システムが世界を理解し、その中でアクションを実行するのに役立つ他のモデルが付随しています。

知覚モデル

「知覚」モデルは、センサーからの信号を収集して処理し、世界の状態を推定します。 したがって、人間の五感を模倣しています。 世界モデルは、知覚モデルが 2 つの重要なタスクを実行するのに役立ちます。

  1. 感覚データに欠けている情報を埋める (例: 占有オブジェクト)。
  2. 世界の最も可能性の高い未来の状態を予測する (例: 移動中の車の 5 秒後の位置)。

LeCun の自律型 AI アーキテクチャには、世界モデルと連携して AI の学習能力を促進する他のモデルも含まれています。 これらには以下が含まれます:

コストモデル

コスト モデルは、AI システムが目的を達成することを促します。 システムの不快感のレベルを測定し、2 つのサブモデルで構成されます。

  1. 本質的なコスト: 即時の不快感 (システムへの損傷など) を計算する、組み込みのトレーニング不可能なモデル。
  2. 評論家: 本質的なコストの将来の状態を予測する学習可能なモデル。

AI システムは、一定期間にわたって本質的なコストを削減することを目的としています。 LeCun によると、基本的な行動衝動と内発的動機が存在するのはコスト モデルです。 このモデルを区別することは重要です。これにより、コストの勾配が他のモデルを通じて逆伝播できるようになるためです。つまり、これらのモデルが連携して固有のコストを削減できるようにトレーニングします。

アクターモデル

「アクター」モデルは、不快感のレベル (つまり、固有のコスト) を最小限に抑えるために行動を起こします。

短期記憶モデル

「短期記憶」モデルは、世界の状態とそれに対応する固有コストに関する重要な情報を記憶します。 世界モデルが正確な予測を行うのを助ける重要な役割を果たします。

コンフィギュレーター モデル

最後に、LeCun の自律型 AI アーキテクチャには、システムに実行制御を提供する「コンフィギュレータ」モデルが含まれています。

コンフィギュレーターの主な目的は、AI がさまざまなタスクを処理できるようにすることです。 これは、アーキテクチャ内の他のモデルを調整することによって行われます。たとえば、パラメータを調整することによって行われます。

先ほどの「自動運転車」の例に戻ると、車を運転したい場合、「知覚モデル」(五感) は、運転に関連する車の部品から情報を吸収する必要があります。フロントガラス越しに外を眺め、ハンドルに触れ、エンジン音を聞く。 一方、「アクター モデル」は、それに応じてアクションを計画する必要があります (エンジンを始動してギアを変更するなど)。「コスト モデル」は、交通ルールを考慮に入れます。

興味深いことに、LeCun のロードマップは、Daniel Kahneman の「Thinking Fast and Slow」で提案された二重プロセス理論に触発されました。 カーネマンのモデルにより、AI システムは次の 2 種類の動作を示すことができます。

  1. モード 1。 モード 1 は、直接的な知覚から行動へのマッピングの結果としての、迅速で反射的な行動です。
  2. モード 2。 モード 2 は、世界モデル、知覚モデル、コスト モデル、アクター モデル、短期記憶モデル、コンフィギュレーター モデルを推論と計画に使用する、ゆっくりとした意図的な動作です。

Yann LeCun の自律型 AI フレームワークの実装方法

LeCun 氏によると、彼の概念フレームワークを実現する上での重要な課題は実装です。

LeCun は、勾配ベースの最適化アルゴリズムでトレーニング可能なディープ ラーニング モデルを使用して自分のモデルを実装することを信じています。 彼は、人間の手でコード化された知識を必要とする記号システムの使用に確信が持てません。

このフレームワークを実装するための 2 つの有望な方法論は次のとおりです。

1. 自己管理学習

ディープ ラーニング モデルは、教師あり学習を使用して学習するために人間が注釈を付けた大量のデータ セットを必要とするため、LeCun は自己教師あり学習 (SSL) の使用を提唱しています。人間による注釈はありません)。 LeCun は、人間の子供も自己教師あり学習を使用して、重力、次元、深さ、社会的関係など、世界の常識的な知識を獲得していると主張しています。

理論的な動機に加えて、SSL は、変換器ベースの深層学習アーキテクチャを使用して基本的な言語モデルを学習する上で、信じられないほど実用的なユーティリティも示しています。 (以下もお読みください: 基盤モデル: AI の次のフロンティア.)

2. エネルギーベースのモデル

自動エンコードや対照学習など、さまざまな SSL アプローチが存在しますが、LeCun はエネルギーベースのモデル (EBM) の使用を強調しています。

EBM は、関連情報のみを保持することで、画像などの高次元データを低次元の埋め込み空間にエンコードします。 注意: AI モデルは、2 つの観測値が類似しているかどうかを測定することによってトレーニングされます。 この目的のために、LeCun は、世界モデルを学習するために、「Joint Embedding Predictive Architecture (JEPA)」と呼ばれる EBM ベースの学習アーキテクチャを提案しています。

LeCun 氏によると、JEPA の重要な特徴は、簡単に予測できなかった無関係な詳細を見落とすことを選択できることです。 たとえば、画像処理では、ピクセル レベルで世界の状態を予測するのではなく、JEPA は特定のタスクに不可欠な低次元の特徴を学習する傾向があります。 LeCun はまた、JEPA アーキテクチャを相互に積み重ねて「階層型 JEPA」(H-JEPA) を形成する方法についても説明しています。これは、複数の時間スケールでの推論や計画などの複雑なタスクを処理するために重要になる可能性があります。

結論:自律型 AI への上昇

一部の研究者は、ディープラーニング アーキテクチャを大規模にスケーリングすることで汎用人工知能 (AGI) を実現できると考えていますが、LeCun は、自律型 AI を実現するにはスケーリングだけでは不十分だと述べています。 スケーリングは、離散データを含む言語モデルに驚異的な進歩をもたらしましたが、ビデオなどの高次元の連続データに対して同様の効果を達成することはできません。 (以下もお読みください: 自然言語理解 (NLU) テクノロジの入門書.)

LeCun はまた、報酬関数と強化アルゴリズムが AGI を達成するのに十分であると確信していません。 彼は、主に知覚を使って学習する人間や動物とは異なり、強化学習には環境との継続的な相互作用が必要であると主張しています。

明らかに、LeCun のフレームワークには、その実装上の課題に対処するためのさらなる調査が必要です。

Leave a Comment

Your email address will not be published. Required fields are marked *