MultiRay の紹介: 大規模な人工知能 (AI) モデルを効率的に実行するための Meta AI の新しいプラットフォーム

テキスト、画像、およびその他のモダリティを処理するための今日の最先端の AI システムは、最初に大量のデータを使用して大規模なモデルをトレーニングし、次にそのモデルを単一のジョブに特化するようにトレーニングすることによって、最適なパフォーマンスを実現します (たとえば、有害な発言)。 その結果、高品質で高価な専用ツールが完成しました。 非常に多くの大規模なモデルを維持するコストは、解決すべき問題が多数ある場合、すぐに制御不能になります。 その結果、最先端の巨大なモデルが本番環境で使用されることはめったになく、通常、代わりにかなり小さくて単純なモデルが使用されます。

新しいメタ AI 研究により、最先端の AI モデルを大規模に実行して AI システムをより効果的にするための新しいプラットフォームである MultiRay が作成されました。 MultiRay を使用すると、多数のモデルが同じ入力を共有できます。 各モデルで使用される処理時間とリソースはごくわずかであり、これらの AI ベースの操作の全体的なコストを最小限に抑えます。 ビジネスのコンピューティング リソースを 1 つのモデルに集中化することで、AI アクセラレータはコンピューティング リソースとデータ ストレージの間で簡単に展開し、戦略的に交換できます。 MultiRay のユニバーサル モデルは、さまざまなアプリケーションで優れた性能を発揮するように微調整されています。

投稿の件名タグ付けやヘイトスピーチの検出など、さまざまな用途の機械学習 (ML) モデルは、MultiRay の助けを借りて Meta 全体のチームによって開発および改良されます。 この方法は、複数のチームが巨大なエンド ツー エンド モデルを個別に構築するよりも、時間と労力を節約できます。

MultiRay は、計算をグラフィックス プロセッシング ユニット (GPU) などの特殊なハードウェアにオフロードし、頻繁に使用されるデータをメモリ (キャッシュ) に保持することで再計算に費やされる時間とエネルギーを最小限に抑えることで、Meta のビッグ コア モデルへのアクセシビリティを向上させます。 MultiRay は現在、Meta 全体で 125 を超えるユース ケースを推進しており、1 秒あたり最大 2,000 万クエリ (QPS) と 1 日あたり 8,000 億のクエリをサポートしています。

MultiRay は、高次元ベクトル空間で点を提供する入力を正確に反映するために、巨大な基本モデルを採用しています。 埋め込みは、機械学習により適した入力を表します。 タスク固有のモデルの処理を簡素化するために、MultiRay は生の入力の代わりに使用できる入力データ (テキストや画像など) の埋め込みを提供します。 MultiRay のコア モデルは、類似性や分類など、さまざまなタスクでうまく機能するようにトレーニングされています。 追加情報を伝える必要があるため、埋め込みは大きくなっています (サイズは数キロバイト)。

集中型の大規模モデルには、次の利点があります。

  1. 複数チームの償却
  2. 生産と運用における複雑さの軽減
  3. 発見から商品化までの時間を短縮: 局所的な速度変化

MultiRay 外部 API を使用して、1 つのリクエストを同時に行うことができます。 複数の顧客からの大量のリクエストを一度に処理するために、MultiRay はクロスリクエストのバッチ処理メカニズムを内部で採用しています。 ロジックは一度記述するだけでよく、微調整してモデルとハードウェアに最適なサイズのバッチを生成できます。 最新世代の GPU アクセラレーター ハードウェアに移行する際により大きなバッチ サイズを使用するなど、パフォーマンスを大幅に改善する場合でも、このバッチ処理は、要求を発行するクライアントに対して完全に透過的です。

再計算に費やされる時間とエネルギーを最小限に抑えるために、MultiRay はキャッシュを使用します。 これは、お金と時間を節約するために設計されたマルチレベル キャッシュであり、アクセス時間は遅くなりますが、ヒット率は高くなります。 各 MultiRay サーバーには、高速ではあるが限定的な RAM ベースの独自のローカル キャッシュがあります。 これらのキャッシュは、低速ですがより大規模なフラッシュ メモリ ベースのグローバルに分散されたキャッシュによって補われます。


チェックアウト 参考記事. この研究のすべての功績は、このプロジェクトの研究者に帰属します。 また、忘れずに参加してください 私たちのRedditページ不協和音チャンネルでは、最新の AI 研究ニュース、クールな AI プロジェクトなどを共有しています。


Tanushree Shenwai は MarktechPost のコンサルティングインターンです。 彼女は現在、ブバネーシュワルのインド工科大学 (IIT) で B.Tech を目指しています。 彼女はデータ サイエンスの愛好家であり、さまざまな分野での人工知能の適用範囲に強い関心を持っています。 彼女は、テクノロジーの新しい進歩とその実際のアプリケーションを探求することに情熱を注いでいます。



Leave a Comment

Your email address will not be published. Required fields are marked *