Microsoft は、最新の NVIDIA H100 Tensor コア GPU と NVIDIA Quantum-2 InfiniBand ネットワーキングを統合した、強力で拡張性の高い新しい仮想マシンを発表しました。
マイクロソフトは、OpenAIのチャットボット「ChatGPT」を支えるため、数億ドルを投じて巨大なスーパーコンピューターを構築した。マイクロソフトは報告書の中で、OpenAIが利用する強力なAzure AIインフラストラクチャをどのように構築したか、そしてそのシステムがどのようにさらに堅牢になっているかを解説している。
OpenAIプロジェクトを支えるスーパーコンピューターを構築するために、マイクロソフトは数千個のNVIDIA製グラフィックス処理ユニット（GPU）を自社のAzureクラウドコンピューティングプラットフォームに接続したと主張している。これにより、OpenAIはより強力なモデルをトレーニングし、ChatGPTやBingといったツールの「AI機能を解き放つ」ことが可能になった。
マイクロソフトの人工知能およびクラウド担当副社長であるスコット・ガスリー氏は、声明の中で、同社がこのプロジェクトに数億ドルを費やしたと述べた。マイクロソフトは最近、OpenAIへの複数年にわたる数十億ドル規模の投資を拡大したばかりであり、この金額はマイクロソフトにとってほんのわずかなものに見えるかもしれないが、同社がAI分野にさらに資金を投入する用意があることを確かに示している。
マイクロソフトは2019年にOpenAIに1億ドルを投資した際、このAI研究スタートアップのために巨大で最先端のスーパーコンピューターを構築することに合意した。唯一の問題は、マイクロソフトがOpenAIが必要とするものを何も持っておらず、自社のAzureクラウドサービス上でこれほど大規模なシステムを構築しても、システムがダウンしないという確信が持てなかったことだ。
OpenAI は、モデルと呼ばれる増え続ける一連の人工知能プログラムをトレーニングしようとしていました。モデルは、より多くのデータを取り込み、ますます多くのパラメーターを学習しました。AI システムがトレーニングと再トレーニングを通じて発見した変数です。 これは、OpenAI が強力なクラウド コンピューティング サービスに長期間アクセスする必要があったことを意味します。
この課題に対応するため、マイクロソフトは数万個ものNVIDIA A100グラフィックチップを接続する方法を見つけ出し、停電を避けるためにサーバーをラックに配置する方法を変更する必要があった。
「私たちは、大規模に機能し、信頼できるシステム アーキテクチャを構築しました。 これが ChatGPT を可能にした理由です」と、マイクロソフトの Azure AI インフラストラクチャ担当ゼネラル マネージャーである Nidhi Chappell は述べています。 「そこから生まれたパターンです。 もっと、もっとたくさんあるでしょう。」
この技術により、OpenAI は ChatGPT を立ち上げることができました。ChatGPT は、XNUMX 月の IPO から数日で XNUMX 万人以上のユーザーを集めたバイラル チャットボットであり、現在では億万長者のヘッジファンドの創設者 Ken Griffin が運営する他の企業のビジネス モデルに吸収されています。配達の時間。
ChatGPT のようなジェネレーティブ AI ツールが企業や消費者の関心を集めるにつれて、Microsoft、Amazon、Google などのクラウド サービス プロバイダーに対して、データ センターが必要な膨大なコンピューティング パワーを確実に提供できるようにするというプレッシャーが高まるでしょう。
現在、Microsoft は OpenAI 用に構築したものと同じリソース セットを使用して、先月導入された新しい Bing 検索ボットを含む独自の優れた AI モデルをトレーニングおよび実行しています。 同社はまた、このシステムを他の顧客にも販売しています。 ソフトウェアの巨人は、Microsoft が投資に 10 億ドルを追加した OpenAI との拡大された取引の一環として、次世代の AI スーパーコンピューターに既に取り組んでいます。
「カスタムとして構築するのではありません。 それはカスタムなものとして始まりましたが、大規模な言語モデルをトレーニングしたい人が同じ改善を利用できるように、常に一般化された方法で構築しました。」 ガスリーはインタビューで語った。 「これは、私たちが AI 全体のより良いクラウドになるのに本当に役立ちました。」
大規模な AI モデルをトレーニングするには、Microsoft が組み立てた AI スーパーコンピューターのように、多数のグラフィックス プロセッシング ユニットを 60 か所に接続する必要があります。 モデルが使用されると、ユーザーが提起したすべての質問に答える (推論と呼ばれる) には、少し異なる設定が必要になります。 Microsoft は推論用のグラフィック チップも展開していますが、これらのプロセッサ (数十万) は、同社の 100 以上のデータ センター リージョンに地理的に分散しています。 同社は現在、AI ワークロード用の最新の NVIDIA グラフィックス チップ (HXNUMX) と、データ共有をさらに高速化するための NVIDIA の Infiniband ネットワーキング テクノロジの最新バージョンを追加しています。
マイクロソフトがOpenAIと提携することを決定したのは、この前例のない規模のインフラストラクチャが、新たなAI機能や新しいタイプのプログラミングプラットフォームといった成果を生み出し、それを顧客に真の利益をもたらす製品やサービスへと転換できるという確信に基づいていた、とウェイマス氏は述べた。この確信が、両社がインフラストラクチャ構築におけるあらゆる技術的課題を克服し、AIスーパーコンピューティングの限界を押し広げ続けるという野心を掻き立てたのだ。
出典：https://news.microsoft.com/