サービス
DMM.com トップへ
DMM.com トップへ
お知らせ
お気に入り

お気に入り

クーポン ヘルプ

マイページ

大規模推論モデルの仕組み（１）：単語のベクトル化（埋め込み）

テキスト

大規模推論モデルの仕組み（１）：単語のベクトル化（埋め込み）
1. はじめに

LLMの仕組みを理解することは、この技術の力だけでなく、その限界を理解する上でも非常に重要です。
私たちは大規模推論モデル（LLM）と日常語（自然言語）—プロンプトとも呼ばれます—でやり取りし、LLMは文章（テキスト）を生成します。その出力は、特に数学や論理的な問いが含まれるプロンプトに対しては、非常によく考え抜かれた回答のように見えることがあります。LLMはどのようにしてそれを実現しているのでしょうか？

大まかに言えば、LLMは入力として与えられた単語の並びを受け取り、その続きとして最も確率の高い単語を予測します。たとえば、スティーブン・ウルフラム氏はその著書（巻末）の中で、“小論文を書くときなどにやっていることは、本質的には「ここまでの文章を踏まえると、次の単語は何になるべきか？」という問いを何度も何度も繰り返し、そのたびに単語を1つずつ追加しているだけなのだ”と述べています。

このプロセス、つまり生成した単語を元の並びに追加してから再び自分自身に入力として与え、次に最も確率の高い単語を生成するという流れは、「文末トークン（EOS）」と呼ばれるものが生成されるまで繰り返され、それがテキスト生成の終了を意味します。

しかし、LLMは実際にはどのようにしてそれを実現しているのでしょうか？LLMは―少なくとも現在の仕組みでは―根本的には数値に基づいています。したがって、文章（テキスト）のようなものを処理するためにLLMを使おうとするなら、そのテキストを数値で表現する方法が必要になります。

続きを表示するには、入会が必要です

AI時代の知的鍛錬塾（メルマガ）

もっとライブラリを見る

ご入会手続き中に完売することもございます。


販売価格 サロン料金 入会／詳細
入会後無料
※退会後閲覧可 詳細はこちら

550円/1ヶ月ごと

 入会する

サロンに入会中または購入済みの方はこちら

続きを閲覧するには、DMMアカウントへのログインが必要です。


オンラインサロン情報

AI時代の知的鍛錬塾（メルマガ）

AI時代の知的鍛錬塾（メルマガ）

550円/1ヶ月ごと
サロンページを見る

サロン紹介

情報を追うだけでは、もう足りない。 これから必要なのは、本質を見抜き、自分で考える力。 AI時代の知的鍛錬塾の内容の一部を川口有一郎による解説付きでメルマガ配信していきます。
運営ツール
DMMオンラインサロン専用コミュニティ

あなたにおすすめの他サロン

おすすめサロンをすべて見る
ページトップに戻る