Meta が、WhatsApp 上でリアルタイムに画像を生成できる AI モデル Llama 3 を発表
今日 (18/4) Meta 次世代ラマの最初の 2 つのモデルを発表しました。 メタラマ 3、包括的に使用する準備ができています。この新しいバージョンには、パラメータを備えた事前トレーニングおよび微調整された言語モデルが含まれています 8B e 70B、幅広いニーズにお応えします。オープンソース コミュニティをサポートする伝統に従って、Meta は ラマ3 コミュニティのために。これはまた、 メタAI、企業のソーシャル ネットワーク上に存在する人工知能も、リアルタイムで画像を作成する機能を含めて改善されます。 WhatsApp。続きを見る！
ラマ 3 に会いましょう
とともに ラマ3 同社は、現在利用可能な最高の独自言語モデルに匹敵するオープン モデルを開発するつもりです。 GPT-4。 Meta 氏によると、Llama 3 の全体的な使いやすさを向上させるために、開発者のフィードバックが優先されています。Grand Language Model (LLM) の責任ある使用と実装においてリーダーシップを発揮するというコミットメントを維持する"
の原則に従って、 オープンコード、早期かつ頻繁なリリースのアプローチが採用され、コミュニティがリアルタイムでこれらのモデルにアクセスして開発に貢献できるようになりました。今回紹介したテキストベースのテンプレートは、Llama 3 シリーズの最初のものにすぎません。将来のビジョンには、Llama 3 を拡張して、多言語およびマルチモーダルのサポートを提供し、コンテキスト機能を強化し、すべての主要な側面にわたってパフォーマンスを継続的に向上させることがさらに含まれています。 LLM、推論やコーディングなど。
の設計アプローチに沿って、 ラマ3、メタは変圧器アーキテクチャを選択しました デコーダのみ、これがデフォルトの選択です。 Llama 3 は、拡張された語彙によるトークン化を採用しています。 128トークンその結果、言語コーディングがより効率的になり、その結果、モデルのパフォーマンスが向上します。 Llama 3 モデルの推論効率を最適化するために、同社はクラスター化クエリ アテンション技術 (GQA) 8B と 70B の 8.192 つの異なるサイズがあります。トレーニング中、使用されるシーケンスの長さは XNUMX トークンであり、セルフ アテンションがドキュメントの境界内に留まるようにマスクが適用されます。
最適な言語モデルをトレーニングするには、大規模で高品質のトレーニング データ セットが必要です。私たちの設計原則に従って、Llama 3 の事前トレーニング データに多額の投資を行ってきました。このモデルは、以下で事前トレーニングされています。 15兆以上のトークン、すべて公開されているソースからのものです。私たちのトレーニング データセットは、Llama 2 で使用されているものより XNUMX 倍大きく、XNUMX 倍のコードが含まれています。
将来の多言語ユースケースに備えて、Llama 5 事前トレーニング データセットの 3% 以上が英語以外の言語の高品質データで構成されています。 30以上の言語をカバー。ただし、Meta は、これらの言語で英語で達成されるのと同じレベルのパフォーマンスを達成できるとは期待していません。
Llama 3 が最高品質のデータでトレーニングされるようにするために、一連のデータ フィルタリング パイプラインが開発されました。これらのパイプラインには、 ヒューリスティックフィルター、不適切なコンテンツのフィルター、セマンティック重複排除技術、およびデータ品質を評価するテキスト分類子。 Llama の以前のバージョンは次の場合に有効です。 高品質のデータ識別次に、Llama 2 を使用して、Llama 3 にフィードするテキスト品質分類器のトレーニング データを生成しました。
さらに、Meta は実験を使用して、さまざまなソースからのデータを最終的な事前トレーニング データセットに結合する最適な方法を決定しました。これらの実験により、Llama 3 がさまざまなユースケースで適切に動作することを保証するデータの組み合わせを選択することができました。 ペルグンタスの雑学, 幹 (科学、技術、工学、数学)、 成文化, 歴史的知識、とりわけ。
ラマ2との比較
新しいモデル ラマ3、パラメータ 8B および 70B は、 ラマ2、これらのスケールでの LLM モデルの新しい標準を設定します。 Meta 氏は、トレーニング前とトレーニング後の両方の改善により、現在、トレーニング前および命令で微調整されたモデルが 8B および 70B パラメーター スケールで議論の余地のないリーダーであると主張しています。
トレーニング後の手順を最適化した結果、 誤った拒否率を減らす、アライメントを改善し、モデル応答の多様性を高めることに加えて。推論、コード生成、将来のガイダンスなどの機能にも大幅な改善が見られ、Llama 3 はさらに適応性が高く、対象を絞ったものになりました。
Llama 3 の開発中に、標準ベンチマークと現実世界のシナリオの両方でモデルのパフォーマンスの分析が行われました。実際のアプリケーションに効果的な最適化を確実にするために、新しい高品質の人的評価スイートが作成されました。このセットは、1.800 の主要な使用例をカバーする 12 のプロンプトで構成されています。 アドバイスを求める、ブレーンストーミング、並べ替え、限定形式の質問に答える、コーディング、クリエイティブライティング、抽出、登場人物/ペルソナになりすます、自由形式の質問に答える、推論、リライト e 概要.
回避するには 過学習 （または 過適合、最も一般的に使用される用語）この評価セットに対するモデルの偶発的なものであり、Meta 自身のモデリング チームでさえアクセスできません。提示されたグラフは、Llama 3 のパフォーマンスをモデルと比較し、これらのカテゴリとプロンプトにおける人間による評価の集計結果を示しています。 クロード Sonnet, ミストラル ミディアム e GPT-3.5.
Llama 3 がメタ AI をどのように改善するか
Meta Llama 3 の進歩を受けて、同社は Meta AI の国際展開を発表しましたが、このリソースが米国限定であったことを思い出しました。既存のモデルに対する強力な競合相手として登場した Meta AI は、世界中のより多くの人々に利用可能になり、 Facebook, Instagram, WhatsApp e メッセンジャー この無料テクノロジーを活用して、さまざまなアクションを実行し、コンテンツを作成し、リアルタイムで情報にアクセスしてください。
メタ AI は昨年の Connect 中に初めて公開され、現在では次のような国のユーザーが使用しています。 オーストラリア、カナダ、ガーナ、ジャマイカ、マラウイ、ニュージーランド、ナイジェリア、パキスタン、シンガポール、南アフリカ、ウガンダ、ザンビア e ジンバブエ そのメリットも享受できます。 Meta AI の拡張の一環として、人々は次からはそれにアクセスできるようになります。 メタアイ, Web版では。
友達と夜に出かける予定はありますか？ Meta AI に、素晴らしい景色を望むレストランやビーガン対応のレストランを勧めてもらいましょう。週末の旅行の計画は立てていますか？ Meta AI に土曜日の夜の番組を見つけてもらいます。テストの準備はしていますか？メタ AI に遺伝形質がどのように機能するかを説明してもらいます。初めてのアパートに引っ越しますか？ Meta AI に希望の美学を「想像」してもらうと、アシスタントが家具のインスピレーションとなる写真を生成します。
AI がどのように役立つかを説明するメタ
O メタAI Facebook、Instagram、WhatsApp、メッセンジャーの検索機能でも直接利用できるようになります。つまり、次のことができます インターネットからの情報にリアルタイムでアクセスする アプリケーションを切り替える必要はありません。たとえば、Messenger のグループ チャットで友人と旅行の計画を立てていると想像してください。メッセンジャー検索を使用すると、新しい Llama 3 を搭載した Meta AI に、出発地から目的地までのフライトを検索したり、最も遅い週末を見つけたりすることができます。もちろん、これらすべてをメッセンジャー アプリから離れる必要はありません。
Facebook フィードを閲覧しながら Meta AI にアクセスすることもできます。興味をそそられる投稿を見つけた場合は、通常の Google 検索と同じように、Facebook の投稿内でのみ、その投稿から Meta AI に直接詳細情報をリクエストできます。
Meta は、Meta AI の Imagine 機能を使用して、人々がテキストからリアルタイムの画像を作成できるように、画像処理を加速しています。この機能の展開は本日ベータ版で開始され、米国の WhatsApp および Meta AI Web エクスペリエンスで利用可能になりました。入力を開始すると、すぐに画像が表示されるのがわかります。この画像は、入力する数文字ごとに変化し、メタ AI がアイデアをリアルタイムで実現する様子を観察できます。
同社によれば、これらの生成された画像は、 切れ味と品質の向上、画像にテキストを含める機能が向上しました。さらに、イメージを改善するための提案が提供されるため、最初の出発点から引き続き調整を続けることができます。画像を見つけたら、Meta AI にアニメートしたり、新しい形式に適応させたり、画像に変換したりするだけです。 GIF 友達と共有するために。
これらのアップデートは Facebook、Instagram、WhatsApp、メッセンジャー、ウェブ上の Meta AI に固有のものですが、Meta AI は米国のスマート グラスでも利用できることを覚えておくことが重要です。 レイバンメタそしてすぐに メタクエスト — メタ仮想現実デバイス。
オープンソースとセキュリティによる透明性
生成 AI テクノロジーの可能性により、Meta の製品とより広範なエコシステムのユーザー エクスペリエンスを真に向上させることができます。さらに、対処しなければならないもう 1 つの点は、これが確実に実行されるようにすることです。 責任者 e セグラ。したがって、同社は AI の開発と実装のすべての段階でリスクを評価し、軽減するための措置を講じています。これには、Llama ベース モデルの設計およびリリース プロセスに安全対策を組み込むことや、責任ある実践を促進する開発者エコシステムのサポートが含まれます。
したがって、Llama 3 では、次のことを統合する体系的なアプローチが採用されました。 開発のすべての段階での保護措置。これは、開発者が責任を持ってモデルを実装できるようにするツールを提供することに加えて、トレーニングとチューニングのプロセスに特別な注意が適用されていることを意味します。
このアプローチは、責任ある AI への取り組みを強化するだけでなく、オープン イノベーションのビジョンを反映しており、開発者がユーザーに利益をもたらすために製品を安全にカスタマイズできるようにします。メタには、 責任ある使用ガイド、 製品を構築するためのガイドラインを提供する、開発者にとって重要な情報源です。
Llama 2 のリリース時に説明したように、これらの対策を意図的に設計することが重要です。モデルプロバイダーによってのみ効果的に実装できるものもあれば、開発者が特定の機能の一部として実装した場合にのみ効果的に機能するものもあるためです。応用。
会社を強くする
昨年 Meta AI を発表して以来、このブランドはいくつかの分野でエクスペリエンスを継続的に改善してきました。
- 政治的および社会的問題に対するメタ AI の対応は洗練されており、これらのトピックに対する具体的なガイドラインが組み込まれています。目標は、特定の質問をするときにユーザーの意図を尊重しながら、トピックに関してさまざまな関連する視点を提供することです。
- 報酬モデルを使用して行動をガイドし、より便利にするための具体的な指示と応答を含めます。
- Meta AI のパフォーマンスはベンチマークと人間の専門家によるテストを通じて評価され、進行中のプロセスで特定された問題に対処します。
- インタラクションがガイドラインに沿って安全であることを保証するフィルターや分類子を含む、リクエストおよびレスポンスレベルの保護手段。
- ユーザーが体験を共有するためのフィードバック ツールにより、Meta AI のパフォーマンスを継続的に向上させることができます。
そしてあなたは、そのニュースについてどう思いましたか?ブラジルに行くのが待ちきれませんね?私たちの中で見つけたものを教えてください コメント!
以下も参照してください。
Googleフォト 自由な 無料のAI画像編集 すべてのユーザーにとって.
によってレビュー グラウコンバイタル 18/4/24。
Showmetech について詳しく知る
最新ニュースを電子メールで受け取るには登録してください。
