Open Assistant は、優れたチャットベースの大規模な言語モデルに誰もがアクセスできるようにすることを目的としたプロジェクトです。
最近、 ライオンコミュニティ (Large-Scale Artificial Intelligence Open Network) 発表により発表 «OpenAssistant» プロジェクトの最初のリリースは、自然言語で質問を理解して回答し、サードパーティのシステムとやり取りして、必要な情報を動的に抽出できる人工知能チャットボットを開発しています。
LAION に慣れていない人は、無料の機械学習システムを作成するためのツール、モデル、およびデータ コレクションを開発していることを知っておく必要があります (たとえば、LAION コレクションは、Stable Diffusion 画像合成システムのモデルのトレーニングに使用されます)。
に加えて 作業をトレーニングおよび整理するためのコード コンピューター上のボットの 既製のモデルのコレクションを使用することが提案されています すでに訓練された言語モデルを使用し、要求-応答 (命令-実行) 形式の対話の 600 万例に基づいて訓練され、愛好家のコミュニティの参加を得て準備および改訂されました。
30 億のパラメーターをカバーする OA_SFT_Llama_6B_30 ナレッジ モデルを使用して、チャットボットの品質を評価するオンライン サービスも開始されました。
私たちのチームは、言語モデルやその他の AI アプリケーションのトレーニング用に特別に設計された、非常に多様でユニークなデータセットを作成するために、膨大な量の情報とテキストベースのフィードバックを収集するために、過去数か月にわたってたゆまぬ努力を続けてきました。
人間が生成した 600 を超えるデータ ポイントが幅広いトピックや文体をカバーしているため、当社のデータ セットは、次世代の教育モデルを作成しようとしているすべての開発者にとって非常に貴重なツールであることが証明されています。
効率を上げるには システムの 大量のプリセットパラメータを保存プロジェクトでは、検索エンジンや外部サービスを通じて必要な情報を取得できる、動的に更新されるナレッジ ベースを使用する可能性を予測しています。
たとえば、応答を生成するとき、ボットは外部 API にアクセスして追加データを取得できます。 高度な機能の中で、パーソナライゼーションのサポートも強調されています。つまり、以前のフレーズに基づいて特定のユーザーに適応する機能です。
OpenAssistant のインストールに関心がある場合は、ローカルにインストールできること、および候補の Pythia SFT モデルが HuggingFace から入手可能であり、HuggingFace Transformers ライブラリを介してロードできることを知っておく必要があります。 そのため、十分なハードウェアで使用できる可能性があります。 HF には、自分のハードウェアがなくても OA 候補者とチャットできるスペースもあります。 ただし、これらのモデルは決定的なものではなく、不適切な結果や望ましくない結果をもたらす可能性があります。
LLaMa SFT モデルは Meta ライセンスのため直接リリースできませんが、XOR 重みは近日中にリリースされる予定です。
現在の最小モデル (Pythia) には 12B のパラメーターがあり、消費者向けハードウェアで実行するのは困難ですが、単一のプロ向け GPU で実行できることに言及することが重要です。 将来的にはより小さなモデルが登場する可能性があり、より小さなハードウェアでモデルを実行するのに役立つ整数量子化などの方法を進めたいと考えています。
このプロジェクトは、ChatGPT の機能を繰り返すだけにとどまる予定はありません。 Open-Assistant は、オープン ソース プロジェクトの Stable Diffusion が画像生成ツールの開発を刺激したように、自然言語でのコンテンツ生成とクエリ処理の分野におけるオープン開発の発展を刺激すると期待されています。
プロジェクト コードは Python で記述され、Apache 2.0 ライセンスの下で配布されます。 OpenAssistant の開発を使用して、外部 API やサービスに結び付けられていない独自のインテリジェント アシスタントやダイアログ システムを作成できます。 従来の民生用ハードウェアで十分に機能します。たとえば、スマートフォンで作業することができます。 Open Assistant のデータは、商用利用を含む幅広い用途を許可するクリエイティブ コモンズ ライセンスの下で公開されています。
最後に、ソースコードを調べるだけでなく、それについてもっと学ぶことができることに興味がある場合は、詳細を調べることができます 次のリンクで。