埋め込みとは何か?
単語を数値のリストに変え、意味の似たものが近くに集まるようにする仕組み。
コンピューターは数値には強いのですが、意味には弱いものです。モデルが cat(猫)という単語で何か役に立つことをする前に、それを数値に変えなければなりません。 面白いのは、どんな数値にするかという問題です。埋め込み(エンベディング)は、現代の言語システムのほぼすべてが使っている答えです。 各単語(またはトークン)に対する数値のリストで、テキストから学習され、意味の似た単語が似たリストになるように配置されています。
単語ごとに番号を付けるだけではだめなのか?
いちばん単純な考え方は、語彙に番号を振ることです。the が 1、cat が 2、という具合です。これはおおよそトークナイザーがしていることです (モデルが文字でも単語でもなくトークンを読む理由を参照)。しかし、この番号は恣意的なラベルにすぎません。下で使う 10,000 単語のリストでは、cat は 5,606 番、dog は 3,037 番ですが、 それは猫や犬について何も語りません。モデルは平気で dog が cat より「小さい」と結論づけてしまうでしょう。これはナンセンスです。
古典的な解決策は one-hot ベクトルです。語彙の単語ごとに 1 つの枠があるリストで、その単語の枠だけが 1、残りはすべて 0 です。 語彙が 10,000 単語なら、どの単語も 10,000 個の数値になります。見せかけの順序はなくなりますが、新しい問題が出てきます。 どの単語のペアも、他のどのペアともまったく同じだけ異なるのです。cat は democracy(民主主義)と比べて dog に近いわけではありません。 この表現には意味がまったく含まれていません。
学習された数値の短いリスト
埋め込みは発想を逆にします。各単語には密なベクトルが与えられます。ずっと短いリスト(100〜1,000 個の数値が多く、ここでは 300 個)で、どの位置にも何らかの値が入っています。 これらの値を人が手で選ぶことはありません。最初はランダムで、学習の中で、似た使われ方をする単語が似たリストになるまで調整されます。
300 個の数値の各リストを座標とみなすと、どの単語も 300 次元の空間の 1 点になります。すると「意味が似ている」は「近くにある」ということになります。 300 次元は描けませんが、少数の単語を 2 次元に押し縮めて見ることはできます。
グループはひとりでにできています。ベクトルは、動物や国が何であるかを一度も教わっていません。意外な結果も同じくらい学びになります。apple(りんご)は食べ物とテクノロジーの間にあり、最近傍はすべて企業です。学習テキストが果物よりも企業としての Apple についてはるかに多く語っているからです。rice(米)に最も近い単語は condoleezza で、元米国務長官のコンドリーザ・ライスにちなみます。mouse(ネズミ、マウス)はアニメやコンピューターのほうに引っ張られています。 埋め込みが映し出すのは、単語が学習テキストの中でどう使われているかであって、辞書に何と書いてあるかではありません。
単語の意味は、その仲間を見ればわかる
なぜ「似た使われ方をする」が「意味が似ている」につながるのでしょうか? これが分布仮説で、言語学者の J.R. Firth が 1957 年に 「You shall know a word by the company it keeps.」(単語はその仲間によって知られる)という言葉でまとめています。「I poured some ___ into my cup.」(カップに ___ を注いだ)という空欄を考えてみましょう。coffee、tea、milk はどれも当てはまりますが、bicycle(自転車)は当てはまりません。何百万もの文で同じ空欄に当てはまる単語は、おそらく関係があります。そしてそれは、コンピューターが何も理解せずに測れることなのです。
数値はどう学習されるのか
2010 年代の有名な 2 つの手法が、この考え方をはっきり示しています。どちらも大量のテキストを読み、単語ごとに 1 つのベクトルを作ります。
- word2vec(Google の Mikolov ら、2013 年)は当てっこゲームをします。文から 1 つの単語を取り出し、その周りの単語を予測しようとします (またはその逆)。予測を外すたびに、関係するベクトルが少しずつ動かされます。何十億回も動かした後には、同じ近傍の単語を予測する単語同士が、似たベクトルへと押し寄せられています。
- GloVe(スタンフォード大学の Pennington、Socher、Manning、2014 年)は、まずコーパス全体で、あらゆる単語のペアが互いの近くに何回現れるかを数えます。 そして、2 つの単語のベクトルを比べるとそれらが一緒に現れる頻度を予測できるように、ベクトルを当てはめます。
作り方は違っても、結果は同じです。単語ごとに 1 行の数値が並んだ表です。これらは静的埋め込みと呼ばれます。どの文に現れても、各単語にはちょうど 1 つのベクトルしか与えられないからです。
1 つの単語、たくさんの意味:文脈埋め込み
静的なベクトルには明らかな弱点があります。bank は川の岸のことも、お金を預かる場所(銀行)のこともありますが、ベクトルは 1 つしかありません。 この GloVe のデータでは、最近傍は banks、banking、central、credit、financial です。川の意味はほとんどかき消されています。
現代の言語モデルも、最初のステップとしてこの表引きを残しています。上とまったく同じように、各トークン ID が学習済みのベクトルに置き換えられます。 しかしその後、ベクトルは何層ものアテンションを通り、そこで各トークンのベクトルが周りのトークンを使って更新されます (アテンションと Transformerを参照)。後のほうの層では、川についての文の「bank」は、貯金についての文の「bank」とは別のベクトルになっています。 これが文脈埋め込みです。ベクトルが単語だけでなく、文全体によって決まります。
近さを測る:コサイン類似度
2 つの単語が「近い」と言うには、それを測る方法が必要です。最もよく使われるのがコサイン類似度です。各ベクトルを原点から伸びる矢印として思い浮かべてください。 コサイン類似度は 2 本の矢印の間の角度のコサインで、同じ向きなら 1、直角なら 0、正反対の向きなら −1 になります。
実際には、2 つのリストを位置ごとに掛け合わせて足し合わせ(これを内積と呼びます)、両方の矢印の長さで割って計算します。 長さで割るので、意味を持つのは向きだけになります。ベクトルの長さは、単語の意味よりも、その単語がどれだけよく現れるかといったことを反映する場合があるので、これは便利です。 GloVe のデータでは、cat と dog は 0.72、king と queen は 0.70 ですが、1 文字しか違わない cat と car はわずか 0.28 です。 埋め込みは綴りについては何も知らず、知っているのは使われ方だけです。
直線距離(ユークリッド距離)でも測れます。すべてのベクトルを長さ 1 にそろえると、近傍の順位はコサイン類似度とまったく同じになります。
なぜこれが重要なのか
意味が位置になると、多くの作業が幾何学の問題になります。検索エンジンは、埋め込みがクエリの埋め込みに近い文書を見つけます。レコメンドシステムは、あなたが気に入ったものの近くにあるアイテムを提案します。 あなたのファイルの中を調べるチャットボット(よく検索拡張生成と呼ばれます)は、テキストの各チャンクを埋め込み、質問に最も近いチャンクを取ってきます。 そしてどの言語モデルの中でも、テキストが最初にネットワークに入るときの形が埋め込みです(言語モデルはあなたの言葉をどう答えに変えるのかを参照)。
これらのベクトルがある空間には、「近い」「遠い」以上の構造があります。方向も意味を持ちうるのです。それが 潜在空間のテーマです。自分をだまさずに 300 次元を平らな画面に描く方法は、 高次元を見るで扱っています。本物の単語ベクトル 10,000 個を 3D で探索するには埋め込みエクスプローラーを開いてください。 このサイトに沿った解説は単語が 300 個の数値になるまでにあります。
よくある質問
機械学習でいう埋め込み(エンベディング)とは何ですか?
埋め込みとは、単語、文、画像などを表す数値のリスト、つまりベクトルです。意味や使われ方の似たものが近くに集まるように数値が学習されているので、コンピューターは簡単な計算で類似度を測れます。
トークンと埋め込みの違いは何ですか?
トークンは ID 番号の付いたテキストの断片で、ID そのものには意味がありません。埋め込みは、モデルがその ID に対して引くベクトルです。何百、何千もの学習された数値で、似たトークンが近くに並ぶ空間の中にそのトークンを位置づけます。
コサイン類似度とは何ですか?
コサイン類似度は 2 つのベクトルの間の角度を測るものです。同じ向きなら 1、直角なら 0、正反対の向きなら −1 になります。ベクトルの長さを無視して向きだけを見るので、埋め込みを比べる最も一般的な方法になっています。
埋め込みは何に使われていますか?
埋め込みは、意味検索、レコメンド、クラスタリング、重複の検出、そして検索拡張生成(RAG)を支えています。RAG では文書をベクトルとして保存し、質問に最も近いものを言語モデルに渡します。どの言語モデルの中でも、最初のステップは各トークンを埋め込みに変えることです。
参考資料
- The Illustrated Word2vecJay Alammar · word2vec の学習の仕組みを図でたどる解説(英語)
- Transformers, the tech behind LLMs3Blue1Brown · 単語埋め込みについての美しいセクションがあります
- Efficient Estimation of Word Representations in Vector SpaceMikolov et al., 2013 · word2vec の元の論文
- GloVe: Global Vectors for Word RepresentationStanford NLP · 論文とダウンロードのあるプロジェクトページ
