← 学ぶ · 基礎
埋め込み7 分で読めます

高次元を見る:PCA、t-SNE、UMAP など

何百もの次元を 2 次元や 3 次元に押し縮める方法と、各手法が残すもの、こっそり捨てるもの。

単語埋め込みは 1 単語あたり数百個の数値を持ち、大規模言語モデルの内部のベクトルは数千個の数値を持ちます。私たちの目が画面上で扱えるのは 2 次元、せいぜい 3 次元です。次元削減とは、たくさんの次元を 2 次元や 3 次元に押し縮めて、目で見られるようにする手法の総称です。埋め込みを理解するための最も役に立つ道具の 1 つであり、 同時に最も読み違えやすい道具の 1 つでもあります。この記事では、主な手法と、それぞれが残すもの、こっそり捨てるものを説明します。

どんな図も少しはうそをつく理由

300 個の数値から 2 個にするということは、情報を捨てるということです。これは避けられません。平らな図には、ものを置ける場所が単純に少ないのです。 部屋の写真は奥行きを失い、世界地図はグリーンランドを引き伸ばします。どの手法も、どの関係を残すかを選んでいます。

光源2DABA と B
説明用の図。射影は影を落とすようなものです。点 A と B は 3D では遠く離れていますが、同じ視線上にあるので、影は同じ場所に落ちます。少ない次元への射影はどれも、このような違いをいくらか失います。

だから、役に立つ問いは「どの手法が正しいか?」ではなく、「この手法は何を残そうとし、何をあきらめたのか?」です。

テスト用の形:スイスロール

手法を比べるには、正解がわかっているデータを使うと便利です。古典的なテストがスイスロールです。平らな長方形のシートを、3D でらせん状に巻いたものです。 点の本当の構造は 2 次元(シートに沿った位置と、シートを横切る位置)ですが、巻かれているのでそれが隠れています。 データを本当に理解した手法なら、ロールを広げるはずです。色はシートに沿った位置に従っているので、良い 2D の図なら色の順番が保たれます。

元のデータ · 3D

PCA · 2D

PCA:PCA は最も広がりの大きい方向を探します。ロールはらせんを横切る向きに最も広いので、PCA はそれを端から見た姿で示します。シートではなく、らせんです。シートに沿って遠く離れた色が、隣り合う巻きの上で隣に並んでしまいます。

どれか点をクリックしてください。その点と、3D での最近傍 12 点が、両方の表示で白く縁取られます。2D でも一緒にまとまっているでしょうか?

説明用のデータ(700 点)です。PCA、t-SNE、Isomap、LDA は scikit-learn で実際に実行したものです。UMAP の表示は UMAP アルゴリズムを小さく再実装したものによるので、公式ライブラリの結果に近いものの、同じではありません。スライダーで 3D のロールを回し、手法を切り替えてそれぞれの 2D の結果を見てください。点は 1 つの配置から次の配置へなめらかに移動するので、目で追えます。

手法を 1 つずつ見ていく間、この図を頭に置いておいてください。

PCA:最も広い方向

主成分分析(PCA)は、データが最も広がっている方向を見つけ、それを第 1 主成分と呼びます。 第 2 主成分は、第 1 主成分と直角な方向のうち最も広がっている方向で、以下同様です。最初の 2 つを残して残りを捨てると、2D の図になります。 幾何学的には、回転してから影を落とすことです。PCA は、広がりが最も大きく見えるカメラの角度を選んでいるのです。

PCA は線形です。回転させて平らにすることしかできず、曲げることはできません。そのおかげで高速で、予測しやすく(同じデータからは常に同じ図ができます)、大きな距離について正直です。 一方で、スイスロールを広げることはできません。最も大きく見える側から写真を撮るだけです。 意味が多くの方向に広がっている単語埋め込みでは、最初の 2 つの主成分が全体の広がりのごく一部しか捉えないことが多く、PCA で描いた単語の図は、たいてい 1 つの大きな重なり合った雲のように見えます。

t-SNE:近傍を一緒に保つ

t-SNE(t 分布型確率的近傍埋め込み、2008 年)は大きな距離をあきらめ、近傍に集中します。各点について、元の空間で 「どの点が自分の近くの近傍で、どれくらい近いか?」を調べます。そして、ランダムまたはおおまかな 2D の配置から始めて、点を少しずつ動かし、 各点の 2D での近傍が元の近傍にできるだけ一致するようにします。

そのため t-SNE はクラスターを浮かび上がらせるのがとても得意です。同時に、よく知られた 3 つの錯覚も生み出します。

  • クラスターの大きさには意味がない。 t-SNE は局所的な密度に合わせるので、密集したグループもまばらなグループも、だいたい同じ大きさに見えます。
  • クラスター間の距離にはあまり意味がない。 図の上で遠く離れた 2 つのクラスターが、データの中でも遠く離れているとは限りません。
  • 設定で図が変わる。 主なつまみであるパープレキシティは、おおよそ各点がいくつの近傍に注目するかを表します。ふつうは 5〜50 の値を使います。

PCA(参考)

t-SNE、パープレキシティ 2

t-SNE、パープレキシティ 5

t-SNE、パープレキシティ 30

説明用のデータに、本物の t-SNE を実行したものです。10 次元の 3 つのグループ:赤はとても密集し、ティールは 6 倍広がっていて赤の近くにあり、黄色はどちらからも遠く離れています。PCA(まっすぐな射影)は、こうした大きさと距離の違いを保ちます。t-SNE ではグループが同じくらいの大きさに見え、どれだけ離れて見えるかはパープレキシティの設定によって変わります。

t-SNE はランダムでもあります。近傍は似ていても、異なるシードで 2 回実行すると図が変わることがあります。

UMAP:目的は似ていて、より速く、少しだけ大局的

UMAP(uniform manifold approximation and projection、2018 年)も基本的な方針は同じです。各点を最近傍とつなぐグラフを作り、そのグラフを崩さない 2D の配置を見つけます。 数学は異なり、実際には大きなデータセットでずっと速いので、埋め込みでよく使われる定番になっています。

UMAP は t-SNE より大きな配置をいくらか多く残す傾向があり、関係のあるグループがより近くに来ることがよくあります。とはいえ近傍を重視する手法であることに変わりはないので、同じ注意が必要です。 クラスター間の距離や各クラスターの大きさは信頼できません。主な設定は 2 つで、近傍の数(小さい値は細部に、大きい値は全体像に注目します)と、 点をどれだけぎっしり詰めるかを決める最小距離です。

さらに 2 つ:Isomap と LDA

Isomap(2000 年)も最近傍のグラフを作りますが、2 点間の距離をそのグラフを通る最短経路として測ります。空中にトンネルを掘るのではなく、表面に沿って歩くようなものです。 これを測地線距離と呼びます。そしてその距離が保たれるように点を配置します。スイスロールのようなきれいな形ではみごとに働きますが、 ノイズの多いデータでは、いくつかの誤ったつながり(層の間の「ショートカット」)で台無しになることがあります。

ここでの LDA は線形判別分析のことです。これまでのどの手法とも違い、教師ありの手法です。各点にラベル(たとえば各単語の話題)を与えると、 そのラベルを最もよく分ける平らな射影を見つけます。グループがすでにわかっていて、どれだけ分けられるかを見たいときに役立ちます。 名前の衝突に注意してください。テキスト分析では、「LDA」はむしろ潜在的ディリクレ配分法のことを指す場合が多く、これは文書の話題を見つけるための無関係な手法です。

ひと目でわかる比較

手法種類残すもの信用できないもの速さ
PCA線形全体の広がり、大きな距離曲がった形、大勢に埋もれた小さなグループ速い
t-SNE非線形各点の近くの近傍クラスターの大きさ、クラスター間の距離大きなデータでは遅め
UMAP非線形近くの近傍と、大きな配置の一部正確な密度と距離速い
Isomap非線形データの表面に沿って測った距離近傍がすき間をまたいでつながると崩れる、ノイズの多いデータ中くらい
LDA線形、ラベルを使う既知のクラス同士の分離ラベルでカバーされないものすべて速い
各手法が何を残そうとし、何をゆがめることが知られているか。「線形」の手法は回転させて平らにすることしかできず、非線形の手法は曲げたり引き伸ばしたりできます。

こうした図の読み方

  • 距離より近傍を信じる。 すぐ隣に描かれた点は、ふつう元の空間でも近くにあります。遠く離れた点は、そうとは限りません。
  • t-SNE や UMAP ではクラスターの大きさやすき間を無視する。 大きなかたまりが多様なグループとは限らず、広いすき間が大きな違いとも限りません。
  • 元の空間で確かめる。 パターンを信じる前に、元のベクトルでの本当の距離や類似度で確認しましょう。
  • 複数の設定とシードを試す。 異なるパープレキシティ、近傍の数、乱数シードでも残るパターンのほうが、本物である可能性が高いです。
  • ランダムなデータも構造があるように見えることがある。 近傍を重視する手法は、ノイズからでもかたまりを作ることがあるので、説明できないクラスターには用心しましょう。

そもそもなぜそこに構造があるのかは、潜在空間と埋め込みとは何か?をご覧ください。 サイトガイドのPCA と UMAPでは、この 2 つの手法が埋め込みエクスプローラーでどう使われているかを紹介しています。エクスプローラーでは、本物の 10,000 単語で 2 つを切り替えられます。

よくある質問

PCA、t-SNE、UMAP の違いは何ですか?

PCA は広がりが最も大きい方向を残す線形の手法なので、全体の形は保たれますが、小さなグループがぼやけて混ざることがあります。t-SNE は近くの近傍を一緒に保つことに集中し、クラスターを見せるのが得意ですが、クラスター間の距離にはあまり意味がありません。UMAP は t-SNE と目的が似ていて、より速く、ふつうは大局的な構造をもう少し多く残します。

UMAP は t-SNE より優れているのですか?

どんな場合でもどちらかが優れているわけではありません。UMAP はふつう大きなデータセットで速く、大きな配置をより多く残す傾向があり、t-SNE は局所的なクラスターをとてもきれいに分けることがよくあります。どちらもパープレキシティや近傍の数といった設定に左右されるので、結論を出す前にいくつかの値を試しましょう。

なぜ埋め込みを 2 次元や 3 次元に削減するのですか?

人は何百もの次元を見ることができないからです。埋め込みを 2 次元や 3 次元に射影すれば、図に描いて、クラスター、外れ値、構造を見つけられます。どの射影も情報を捨てているので、その図は役に立つ要約であって、元の空間の正確な地図ではありません。

t-SNE や UMAP の図の距離は信用できますか?

局所的にだけ信用できます。近くに並んでいる点は、おそらく元の空間でも近くにありましたが、クラスター間のすき間や各クラスターの大きさはゆがんでいることがよくあります。PCA は大きな距離をより忠実に保つので、複数の手法を比べることが役に立ちます。

参考資料