LLMの内側：ChatGPTの考え方

誰でも、 AI言語モデルを活用してコードのデバッグからデータの異常検出まで、、現在最も人気のある AI エージェントが機能するとしたら、多くの人はすぐに「人工知能」という答えを思いつくでしょう。しかし、その答えは非常に曖昧です。人工知能は、今日のコンピューティングにおいて最も研究開発が進んでいる研究分野の 1 つですが、いくつかの科学的テーマを包含しています。

その 1 つは、ChatGPT や Web 上で利用可能なほとんどの AI エージェントの動作の鍵となる LLM です。この記事では、このコンセプトが人工知能と私たちの世界にどのような革命をもたらしたかを詳しく探ります。

大規模言語モデル (LLM) とは何ですか?

大規模な言語モデル （LLM、ポルトガル語で大規模言語モデル）は、 深層学習 （ポルトガル語でディープラーニング）一連のタスクを実行できる 自然言語処理 (自然言語処理、ポルトガル語)。ふーん、頭字語がたくさんあるね。

LLM はトランスフォーマー モデルを使用し、大規模なデータセットを使用してトレーニングされます。人気のあるデータセットの例は次のとおりです。 LAION-2B-en, CCAW e ウィキテキスト-103。トランスフォーマーモデルは車に変形するロボットのように思われるかもしれませんが、AIの分野ではLLMの最も一般的なアーキテクチャです。

変圧器は エンコーダ （エンコーダー、ポルトガル語）と デコーダ (デコーダー、ポルトガル語)。基本的に、エンコーダーは文またはテキストの単語をトークンと呼ばれる小さな部分に分割する役割を担い、デコーダーはこれらのトークン間の関係を識別するための数学的演算を実行します。

トランスフォーマーと数年前に使用されていたアーキテクチャであるLSTM（長期短期記憶、または Long Short Term Memory (長期短期記憶) の優れた点は、トランスフォーマーが自己注意メカニズムを使用して動作することです。つまり、文の一部やそのコンテキストを考慮するときに、より速く学習して予測を生成することができます。

LLM は、人間の言語を処理できることに加えて、タンパク質構造の分析やプログラミング コードの生成などの他のタスクも実行できる多目的 AI システムです。 LLM が効率的に機能するには、テキスト分類、要約、質問への回答などの機能を処理するための事前トレーニングと慎重な調整が必要であり、医療、金融、エンターテイメントなどの業界にとって価値のあるものとなっています。

主要コンポーネント

LLM は複数層のニューラル ネットワークで構成されています。ニューラルネットワーク（ニューラルネットワーク機械学習（ML）は、基本的に変数を入力として使い、1 つ以上のレイヤーで異なる重みと数式を使って処理し、出力値を生成します。

LLMに存在する最初のタイプのニューラルネットワークは埋め込み層（埋め込み層、 英語で）。モデルがコンテキストを理解できるように、入力のセマンティクスと構文上の意味をキャプチャする埋め込みプロセスを担当します。

次に、埋め込み入力を変換する複数の相互接続された層で構成されるフィードフォワード層 (英語では FFN、Feedforward Network) があります。このプロセスでは、これらのレイヤーにより、モデルはより高レベルの抽象化を収集し、テキスト入力によるユーザーの意図を理解できるようになります。

次に、入力テキスト内の単語を順番に解釈する再帰層があります。文中の単語間の関係を捉える役割を担います。

最後に、割り当てられたタスクに関連する入力テキストの単一部分に LLM が焦点を当てることができるアテンション メカニズムがあります。このレイヤーにより、モデルは最も適切かつ正確な出力を生成できます。

仕組み

LLM とは何か、その主要コンポーネントは何かがわかったので、LLM がどのように機能するかをより明確に理解できるようになりました。基本的に、トランスフォーマーベースの LLM は入力を受け取り、それをエンコードし、デコードして予測出力を生成します。ただし、LLM がテキスト入力を受け取り、予測出力を生成する前に、一般的な機能を実行するためのトレーニングと、特定のタスクを実行できるようにするための微調整が必​​要です。

事前トレーニング（事前トレーニング（英語では）は、 機械学習 (機械学習人工知能分野における人工知能（AI）の分野。このプロセスは、その名前が示すように、次のようなウェブサイトから取得した数兆語の大規模なテキストデータセットを使用してLLMを事前学習することから成ります。 Wikipedia, GitHub、その他。結局のところ、LLM は小さな子供のように、どこかから学ぶ必要があるのではないでしょうか。

この段階では、LLMはいわゆる教師なし学習（教師なし学習（英語では「読み取り専用」）とは、特定の操作指示なしにデータセットを単純に読み取るプロセスです。言い換えれば、「インストラクター」なしで、LLM独自のAIアルゴリズムが各単語の意味と単語間の関係を学習する役割を担っています。さらに、LLM は文脈に基づいて単語を区別することも学習します。たとえば、彼女は「右」が「正しい」という意味なのか、それとも単に「左の反対」なのかを理解することを学んでいます。

さて、微調整のプロセス（微調整（英語では「LLM」）は、テキスト翻訳などの特定のタスクを効率的に実行できるようにLLMを正確に「調整」し、パフォーマンスを最適化します。プロンプト（LLM に与えられる質問と指示）を調整すると、特定のタスクを実行するようにモデルをトレーニングできるため、一種の微調整として機能します。

大規模な言語モデルで翻訳などの特定のタスクを実行するには、その特定のタスクに合わせて調整する必要があります。微調整により、特定のタスクのパフォーマンスが最適化されます。

プロンプト チューニングは、微調整と同様の機能を果たし、少数試行のプロンプトまたはゼロ試行のプロンプトを通じて特定のタスクを実行するようにモデルをトレーニングします。以下は、数回のプロンプトを使用した「感情分析」演習の例です。

Texto de entrada: Essa casa é linda!
Sentimento da frase: Positivo

Texto de entrada: Essa casa é horrível!
Sentimento da frase: Negativo

この例で得られた結果に基づいて、LLM は「ひどい」という言葉の意味と反対の例が提供されたことにより、2 番目の例におけるユーザーの感情が「否定的」であることを理解するでしょう。

使用シナリオ

前述したように、LLM はいくつかの目的に使用できます。

• 情報検索: この場合、Google や Bing などの Web 検索エンジンでの使用が考えられます。ユーザーがこれらのサービスの検索機能を使用する場合、LLM を使用して、要求に対する応答の形式で情報を生成します。 LLM は、情報を取得し、要約し、ユーザーとの会話の形式で応答を伝えることができます。
• テキストとプログラミングコードの生成LLM は ChatGPT のような生成 AI の背後にある主要な「エンジン」であり、入力とプロンプトに基づいてテキストとプログラミング コードを生成できます。たとえば、chatGPTはパターンを理解し、「マヌエル・バンデイラ風に花についての詩を書いてください」や「映画のリストをアルファベット順に並べ替えることができるPythonコードを作成してください」などのユーザーの要求に効率的に応答できます。
• チャットボットと会話型AI: LLM はすでに、消費者と会話し、質問や懸念の意味を解釈し、適切な回答やガイダンスを提供するチャットボット エージェントを通じて顧客サービスを提供できるようになっています。

これらの使用シナリオに加えて、LLM は、テクノロジー、健康、科学、マーケティング、法律の分野、さらには銀行システムでの使用においても有望な AI ツールであることが証明されています。例えば、LLMは現在、高い精度で予測することができます。 乳がんの発生 多くの経験豊富な臨床医よりも高い精度で細胞サンプルのセットを分析するだけです。

LLM と生成的事前学習済みトランスフォーマー (GPT)

O 事前にトレーニングされた生成トランスフォーマー (GPT) は、トランスフォーマー アーキテクチャを使用する LLM の特定のタイプであり、OpenAI 社によって開発されました。これは、自然言語 (ポルトガル語や英語など) を非常に効率的かつ現実的な方法で理解、生成、操作するように設計されています。

名前を分解すると、GPT が何であるかをよりよく理解できます。

• 生成的 （生成格、ポルトガル語）： モデルがテキストを生成すること、つまり、新しい文、回答、要約、コードなどを生成できることを示します。
• 事前トレーニング済み （事前トレーニング済み、ポルトガル語）： つまり、書籍、記事、ウェブサイトなど、インターネット上の大量のテキストで事前にトレーニングされているということです。その後、特定のタスクに合わせて調整できます。
• トランスフォーマー: 前述したように、これはモデルの基礎となるニューラル ネットワーク アーキテクチャです。高度な並列化が可能 (複数のタスクを同時に実行可能) であり、長いテキスト シーケンスの処理に効率的です。

GPT と他の LLM との大きな違いは、3 つの異なるプロセスで構成されるトレーニング フェーズです。

• 事前トレーニング: インターネット、書籍、さらにはビデオや音楽から膨大な量のデータが抽出され、トークンに処理されます。
• 微調整の手順: ここで、モデルは特定の指示にどのように応答すべきかを「教えられ」、応答がより正確になるように調整されます。
• 人間のフィードバックによる強化学習： 微調整と同様に、ここでの「指導」は人間からのフィードバックを通じて行われ、「強化学習」のプロセスを誘発します。強化学習では、AI は繰り返しと外部エージェント (この場合は AI を使用するユーザー) によって提供される情報を通じて、何が「正しい」か、何が「間違っている」かを学習します。

歴史：数十億語から複雑なテキストまで

言語モデルのブームは 2017 年に起こったばかりですが、1990 年以来、IBM のアライメント モデルは統計言語モデルの先駆者でした。 2001年に3万語で訓練されたモデルが "最先端の" テキストを解釈し、まとまりのある文章を構成する際の正確さの点で。

2012年以降 ニューラルネットワーク AIの世界でさらに注目を集め、すぐに言語タスクにも使用されるようになりました。 2016年にGoogleは 神経機械翻訳 (ポルトガル語のニューラル機械翻訳) この概念に基づいたモデルを使用します。 2018年、OpenAI社はLLMをベースにしたAIエージェントの開発に全力を注ぎ、テスト用にGPT-1をリリースしたが、その翌年になってようやくGPT-2が非倫理的な使用の可能性から世間の注目を集め始めた。

2020 年には、 GPT-3 当初はAPI経由のみのアクセスが制限されていましたが、ChatGPT（GPT-2022を搭載したAIエージェント）が世界中の注目を集めたのは3年になってからでした。
GPT-4はマルチモーダル機能を備えて2023年に打ち上げられる予定だが、技術的な詳細はまだ公表されていない。 2024年にOpenAIは モデルO1長い推論の連鎖を生成することに重点を置いています。これらのツールにより、さまざまな研究分野にわたって LLM が広く採用されるようになりました。

2024年現在、最大かつ最も効率的なLLMはすべてトランスフォーマーアーキテクチャに基づいており、一部の研究者は他のアーキテクチャで実験とテストを行っています。 リカレントニューラルネットワーク (リカレントニューラルネットワーク、ポルトガル語)。

LLMの利点と限界

LLM は幅広い用途があり、ユーザーが理解しやすい明確でシンプルなスタイルで情報を提供するため、問題解決に非常に役立ちます。さらに、言語翻訳、文章完成、感情分析、質問回答、数式などにも使用できます。

LLM のパフォーマンスは、データとパラメータが追加されるにつれて増大し、継続的に向上します。言い換えれば、学べば学ぶほど、上達するということです。さらに、大規模言語モデルは、「コンテキスト学習」と呼ばれるものを示すことができます。 LLM が事前トレーニングされると、少数ショットのプロンプトにより、モデルは追加のパラメータなしでプロンプトから学習できるようになります。このようにして、彼は継続的に学習しています。

LLM はコンテキスト内で学習を実証することにより、トレーニングに追加の重み、リソース、パラメータを必要としないため、迅速に学習します。これらは、より「インテリジェント」になるために多くの例を必要としないという意味で高速です。

LLM の重要な特徴は、予測できないクエリに応答できることです。たとえば、従来のコンピュータ プログラムは、受け入れられた構文で、または指定された一連のユーザー入力からコマンドを受け取ります。一方、LLM は自然な人間の言語に応答し、データ分析を使用して、構造化されていない質問や要求に意味のある方法で回答することができます。一般的なコンピュータ プログラムは、「史上最高のロック バンド 5 つはどれですか?」のような質問を認識できませんが、法学修士 (LLM) であれば、そのようなバンド 5 つをリストし、なぜそれらが最高なのかについて十分に説得力のある説明で応答できます。

ただし、LLM が提供する情報の信頼性は、受信するデータと同程度にしか上がりません。事前トレーニング段階で誤った情報を受け取った場合、ユーザーのクエリに対して誤った情報を提供することになります。時には、LLM は正確な回答を出すことができないときに、回答をでっち上げたり、文学的なソースを偽造したりして「幻覚」を起こすこともあります。

例えば、2022年には、通信社は ファースト·カンパニー ChatGPTに同社の前四半期の財務状況について尋ねた テスラ。 ChatGPT はそれに応じて一貫したニュース記事を提供しましたが、そこに含まれる情報の多くは捏造されたものでした。これは AI ベースのシステムであるため、継続的に改善されていることが知られていますが、それでも LLM によって生成された応答を 100% 信頼するのは間違いです。

セキュリティの観点から見ると、LLM に基づくユーザー向けアプリケーションは、他のアプリケーションと同様にバグが発生しやすくなります。 LLM は、悪意のある入力によって操作され、危険な応答や非倫理的な応答など、他の応答よりも特定の種類の応答を提供することもできます。

最後に、LLM のセキュリティ上の問題の 1 つは、ユーザーが安全で機密性の高いデータをアップロードして、自分の生産性を向上できることです。しかし、LLM は受け取った入力を使用してモデルをさらにトレーニングするため、他のユーザーからのクエリに応じて機密データを公開する可能性があるため、安全な保管庫として設計されていません。

LLMと言葉の背後にある知性

巨大な図書館に放たれた子供のように、LLM は膨大な量のデータに基づいて自然な人間の言語を理解し、再現することを学習するインテリジェントな AI システムです。 LLM は一般ユーザーに多くのメリットをもたらし、専門環境における強力な補助ツールとなりますが、その機能と危険性については依然として非常に慎重に研究する必要があります。

さて、あなたはこの記事のLLMに関する説明についてどう思いましたか?コメント欄にご意見を残してください。

もっと見る

職場で使える最高の AI プロンプト

Fontesは： ElasticSearch, クラウド運賃, IBM

によってレビュー ティアゴロドリゲス 16年04月2025日