テキスト以外のトークン:画像、音声、動画
マルチモーダルモデルが画像をパッチに、音をフレームに切り分け、単語のように読めるようにする仕組み。
現代の言語モデルの土台となる設計である Transformer は、トークンが何であるかを実はあまり気にしません。 受け取るのはベクトル(数値のリスト)の系列だけで、1 トークンにつき 1 つのベクトルです。その仕事は、ベクトル同士に互いを見させ、自分を更新させることです。 テキストの場合、各ベクトルは単語の断片から作られます。でも、他のものからベクトルを作ってはいけない理由はありません。
画像を見たり音を聞いたりするモデルは、そうやって動いています。やり方はいつも同じです。入力を小さな断片に切り分け、各断片をベクトルに変え、そのベクトルを系列として並べるのです。 この記事では、画像、音声、動画でそれをどう行うのか、そしてその結果をテキストとどう混ぜるのかを紹介します。
画像:1 枚の画像は 16×16 個の単語に値する
デジタル画像はピクセルのグリッドで、各ピクセルは赤、緑、青がどれだけ強いかを表す 3 つの数値です。1 ピクセルは、1 文字と同じように、小さすぎて何の意味も持ちません。 すべてのピクセルをトークンとして扱うと、系列も巨大になります。224 × 224 という控えめな写真でも、ピクセルは 50,000 個を超えます。
Google の研究者が 2020 年に「An Image is Worth 16x16 Words」(1 枚の画像は 16×16 個の単語に値する)という題で発表した Vision Transformer(ViT)が、この考え方をシンプルにしました。 画像をパッチと呼ばれる小さな正方形(ふつうはそれぞれ 16 × 16 ピクセル)のグリッドに切り分け、各パッチを 1 トークンとして扱うのです。 パッチは、ページ上の単語のように、左から右、上から下の順に読まれます。
- What
- ·is
- ·in
- ·this
- ·picture
- ?
- <image>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- </image>
パッチからベクトルへ
パッチもまだピクセルの集まりにすぎません。トークンのベクトルに変えるために、モデルは 2 つの簡単なことをします。
- 平らにする。 1 ピクセルに 3 つの色の値がある 16 × 16 のパッチは、16 × 16 × 3 = 768 個の数値です。それを 1 本の長いリストに並べます。
- 射影する。 そのリストに学習済みの行列を掛け、Transformer が求める大きさのベクトルにします。これは、テキストのトークン ID を埋め込みに変える表引きと同じ役割です。 (標準サイズの ViT では、出力もたまたま 768 個の数値になります。)
最後に、各ベクトルに位置埋め込みを加えて、パッチが画像のどこから来たかをモデルにわかるようにします。これがないと、パッチを並べ替えた画像も同じに見えてしまいます。 ここから先は、パッチのベクトルは普通のアテンションの層を通り、すべてのパッチが他のすべてのパッチを見られます。
パッチのサイズは、テキストの語彙のサイズと同じくトレードオフです。パッチが小さいほど細部が残りますが、トークンがずっと多くなり、アテンションのコストは系列長とともに急速に増えます。
- 1 辺あたりのパッチ数
- 224 ÷ 16 = 14
- 画像トークン数
- 14 × 14 = 196
- 1 パッチ内の数値の数
- 16 × 16 × 3 色 = 768
連続的なパッチか、離散的なコードか?
テキストとの本当の違いが 1 つあります。テキストのトークンは決まった語彙の 1 項目なので、モデルはリストから選ぶことで予測できます。パッチのベクトルは連続的で、数値は何でもありえ、リストはありません。 画像を理解するにはそれで問題なく、ViT を含むほとんどの画像エンコーダーはこの方式です。
画像を 1 トークンずつ生成するために、画像をまず離散的なトークンに変えるモデルもあります。 VQ-VAE(ベクトル量子化変分オートエンコーダー)のような別に学習したネットワークが、コードブック、つまり典型的な小さな画像の断片を集めた決まったリストを学習します。 画像の各領域は、最も近いコードブックの項目の ID に置き換えられるので、画像はテキストとまったく同じように ID のグリッドになります。 たとえば初代の DALL·E は、256 × 256 の各画像を、8,192 項目のコードブックから選んだ 1,024 個の画像トークンからなる 32 × 32 のグリッドに変え、最大 256 個のテキストトークンの後ろに 1 つの系列として並べました。
| 連続的なパッチ埋め込み | 離散的な画像トークン | |
|---|---|---|
| トークンとは | パッチのピクセルから計算したベクトル | 学習したコードブックの ID |
| 語彙 | なし:どんなベクトルもありうる | 決まっている。例:DALL·E では 8,192 個のコード |
| 向いている用途 | 理解:分類、説明、質問への回答 | テキストのように 1 トークンずつ画像を生成 |
| 例 | ViT:16 × 16 ピクセルのパッチ | DALL·E:32 × 32 のコードのグリッド |
音声:音のスライス
音は波です。空気の圧力を測った値の長いリストで、1 秒あたり 16,000 個以上あることもよくあります。1 つずつトークンにするには多すぎますし、測定値 1 つだけでは何の意味もありません。
そこで音声モデルはふつう、まずスペクトログラムを計算します。各瞬間にどの周波数が大きいかを表す画像です。一方の軸が時間、もう一方の軸が音の高さで、短い時間のスライスがそれぞれ数値の列になります。 たとえば OpenAI の音声認識モデル Whisper は、30 秒のクリップを受け取り、10 ミリ秒ごとに新しいスライスを作る 80 チャンネルのスペクトログラム(3,000 スライス)を計算します。その後、2 つの小さな畳み込み層がそれを半分の 1,500 個のベクトルにしてから、Transformer が読み込みます。
音声にも離散的な方式があります。Meta の EnCodec のようなニューラル音声コーデックは、音を圧縮して、時間のスライスごとにいくつかずつのコードブック ID の流れにします。 その ID はテキストのように順番に予測できるので、音声や音楽の生成モデルの中にはこの方法で音を作るものがあります。
動画:空間と時間のパッチ
動画は画像を積み重ねたものです。最も単純な方法は各フレームをパッチにトークン化することですが、そうするとトークン数がフレーム数倍になります。 ViViT のような動画用の Transformer は、代わりに動画をチューブレットに切り分けます。画像のパッチ 1 つ分と、連続するいくつかのフレームにまたがる小さな箱です。 各チューブレットは平らにされて 1 つのベクトルに射影されるので、1 つのトークンが見た目だけでなく少しの動きも捉えます。 それでも動画はコストがかかります。数秒で何千ものトークンになることがあり、動画モデルが一部のフレームだけをサンプリングすることが多いのはそのためです。
すべてを 1 つの系列に
マルチモーダルモデルは、部品を組み合わせて作られることがよくあります。オープンソースの LLaVA モデルが使っている、よくある組み立て方はこうです。
- 事前学習済みの画像エンコーダー(LLaVA の場合は CLIP の ViT)が、画像をパッチのベクトルに変えます。
- 小さな学習済みの射影が、そのベクトルをそれぞれ言語モデルの単語埋め込みと同じ空間に写し、長さを合わせて「同じ言葉を話す」ようにします。
- こうしてできた画像トークンを系列の中でテキストトークンの隣に置き、言語モデルがそれらをまとめて読みます。
Transformer の中には特別な扱いはありません。テキストのトークンは、別の単語に注意を向けるのとまったく同じように画像のパッチに注意を向けられます。「What colour is the sun?」(太陽は何色?)のような質問が、太陽を含むパッチを見つけられるのはそのためです。
断片のコストも同じで、コンテキストウィンドウの場所を使います。画像 1 枚や 1 分間の音声が、テキスト数段落分と同じくらいのトークンを使うこともあり、同じ上限や料金が適用されるのはそのためです。 テキストのトークンの選び方はモデルが文字でも単語でもなくトークンを読む理由を、これらのベクトルが系列に入った後に何が起きるかは言語モデルはあなたの言葉をどう答えに変えるのかをご覧ください。
よくある質問
AI は画像をどうやって見ているのですか?
Vision Transformer は、画像を小さな正方形のパッチ(16×16 ピクセルが多い)のグリッドに切り分け、各パッチを数値のリストに平らにして、単語埋め込みと同じ大きさのベクトルに射影します。モデルはそのパッチのベクトルを、テキストのトークンとまったく同じように系列として読みます。
画像 1 枚は何トークンになりますか?
モデルと画像のサイズによります。224×224 の画像を 16×16 のパッチに切ると、196 個のパッチトークンになります。商用のモデルは大きな画像を縮小したりタイルに分けたりして、タイルごとにトークンを数えるので、写真 1 枚はふつう数百から数千トークンかかります。
言語モデルは音声をどう処理するのですか?
音声は、ふつう 1 つ 20〜25 ミリ秒の短いフレームに切り分けられ、たいていは各周波数にどれだけのエネルギーがあるかを表すスペクトログラムに変換されます。各フレーム、または少数のフレームのまとまりが 1 つのベクトルになるので、数秒の音声は数百トークンの系列になります。
マルチモーダルモデルとは何ですか?
マルチモーダルモデルとは、テキスト、画像、音声、動画など、複数の種類のデータを受け取れるモデルで、複数の種類を出力できることもよくあります。各種類の入力は同じ大きさのベクトルに変えられるので、1 つの系列に並べ、同じ Transformer で処理できます。
参考資料
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleDosovitskiy et al. · arXiv · Vision Transformer の論文
- Visual Instruction Tuning (LLaVA)Liu et al. · arXiv · 画像エンコーダーを言語モデルにつなぐ方法
- ViViT: A Video Vision TransformerArnab et al. · arXiv
