高次元を見る:PCA、t-SNE、UMAP など
何百もの次元を 2 次元や 3 次元に押し縮める方法と、各手法が残すもの、こっそり捨てるもの。
単語埋め込みは 1 単語あたり数百個の数値を持ち、大規模言語モデルの内部のベクトルは数千個の数値を持ちます。私たちの目が画面上で扱えるのは 2 次元、せいぜい 3 次元です。次元削減とは、たくさんの次元を 2 次元や 3 次元に押し縮めて、目で見られるようにする手法の総称です。埋め込みを理解するための最も役に立つ道具の 1 つであり、 同時に最も読み違えやすい道具の 1 つでもあります。この記事では、主な手法と、それぞれが残すもの、こっそり捨てるものを説明します。
どんな図も少しはうそをつく理由
300 個の数値から 2 個にするということは、情報を捨てるということです。これは避けられません。平らな図には、ものを置ける場所が単純に少ないのです。 部屋の写真は奥行きを失い、世界地図はグリーンランドを引き伸ばします。どの手法も、どの関係を残すかを選んでいます。
だから、役に立つ問いは「どの手法が正しいか?」ではなく、「この手法は何を残そうとし、何をあきらめたのか?」です。
テスト用の形:スイスロール
手法を比べるには、正解がわかっているデータを使うと便利です。古典的なテストがスイスロールです。平らな長方形のシートを、3D でらせん状に巻いたものです。 点の本当の構造は 2 次元(シートに沿った位置と、シートを横切る位置)ですが、巻かれているのでそれが隠れています。 データを本当に理解した手法なら、ロールを広げるはずです。色はシートに沿った位置に従っているので、良い 2D の図なら色の順番が保たれます。
元のデータ · 3D
PCA · 2D
PCA:PCA は最も広がりの大きい方向を探します。ロールはらせんを横切る向きに最も広いので、PCA はそれを端から見た姿で示します。シートではなく、らせんです。シートに沿って遠く離れた色が、隣り合う巻きの上で隣に並んでしまいます。
どれか点をクリックしてください。その点と、3D での最近傍 12 点が、両方の表示で白く縁取られます。2D でも一緒にまとまっているでしょうか?
手法を 1 つずつ見ていく間、この図を頭に置いておいてください。
PCA:最も広い方向
主成分分析(PCA)は、データが最も広がっている方向を見つけ、それを第 1 主成分と呼びます。 第 2 主成分は、第 1 主成分と直角な方向のうち最も広がっている方向で、以下同様です。最初の 2 つを残して残りを捨てると、2D の図になります。 幾何学的には、回転してから影を落とすことです。PCA は、広がりが最も大きく見えるカメラの角度を選んでいるのです。
PCA は線形です。回転させて平らにすることしかできず、曲げることはできません。そのおかげで高速で、予測しやすく(同じデータからは常に同じ図ができます)、大きな距離について正直です。 一方で、スイスロールを広げることはできません。最も大きく見える側から写真を撮るだけです。 意味が多くの方向に広がっている単語埋め込みでは、最初の 2 つの主成分が全体の広がりのごく一部しか捉えないことが多く、PCA で描いた単語の図は、たいてい 1 つの大きな重なり合った雲のように見えます。
t-SNE:近傍を一緒に保つ
t-SNE(t 分布型確率的近傍埋め込み、2008 年)は大きな距離をあきらめ、近傍に集中します。各点について、元の空間で 「どの点が自分の近くの近傍で、どれくらい近いか?」を調べます。そして、ランダムまたはおおまかな 2D の配置から始めて、点を少しずつ動かし、 各点の 2D での近傍が元の近傍にできるだけ一致するようにします。
そのため t-SNE はクラスターを浮かび上がらせるのがとても得意です。同時に、よく知られた 3 つの錯覚も生み出します。
- クラスターの大きさには意味がない。 t-SNE は局所的な密度に合わせるので、密集したグループもまばらなグループも、だいたい同じ大きさに見えます。
- クラスター間の距離にはあまり意味がない。 図の上で遠く離れた 2 つのクラスターが、データの中でも遠く離れているとは限りません。
- 設定で図が変わる。 主なつまみであるパープレキシティは、おおよそ各点がいくつの近傍に注目するかを表します。ふつうは 5〜50 の値を使います。
PCA(参考)
t-SNE、パープレキシティ 2
t-SNE、パープレキシティ 5
t-SNE、パープレキシティ 30
t-SNE はランダムでもあります。近傍は似ていても、異なるシードで 2 回実行すると図が変わることがあります。
UMAP:目的は似ていて、より速く、少しだけ大局的
UMAP(uniform manifold approximation and projection、2018 年)も基本的な方針は同じです。各点を最近傍とつなぐグラフを作り、そのグラフを崩さない 2D の配置を見つけます。 数学は異なり、実際には大きなデータセットでずっと速いので、埋め込みでよく使われる定番になっています。
UMAP は t-SNE より大きな配置をいくらか多く残す傾向があり、関係のあるグループがより近くに来ることがよくあります。とはいえ近傍を重視する手法であることに変わりはないので、同じ注意が必要です。 クラスター間の距離や各クラスターの大きさは信頼できません。主な設定は 2 つで、近傍の数(小さい値は細部に、大きい値は全体像に注目します)と、 点をどれだけぎっしり詰めるかを決める最小距離です。
さらに 2 つ:Isomap と LDA
Isomap(2000 年)も最近傍のグラフを作りますが、2 点間の距離をそのグラフを通る最短経路として測ります。空中にトンネルを掘るのではなく、表面に沿って歩くようなものです。 これを測地線距離と呼びます。そしてその距離が保たれるように点を配置します。スイスロールのようなきれいな形ではみごとに働きますが、 ノイズの多いデータでは、いくつかの誤ったつながり(層の間の「ショートカット」)で台無しになることがあります。
ここでの LDA は線形判別分析のことです。これまでのどの手法とも違い、教師ありの手法です。各点にラベル(たとえば各単語の話題)を与えると、 そのラベルを最もよく分ける平らな射影を見つけます。グループがすでにわかっていて、どれだけ分けられるかを見たいときに役立ちます。 名前の衝突に注意してください。テキスト分析では、「LDA」はむしろ潜在的ディリクレ配分法のことを指す場合が多く、これは文書の話題を見つけるための無関係な手法です。
ひと目でわかる比較
| 手法 | 種類 | 残すもの | 信用できないもの | 速さ |
|---|---|---|---|---|
| PCA | 線形 | 全体の広がり、大きな距離 | 曲がった形、大勢に埋もれた小さなグループ | 速い |
| t-SNE | 非線形 | 各点の近くの近傍 | クラスターの大きさ、クラスター間の距離 | 大きなデータでは遅め |
| UMAP | 非線形 | 近くの近傍と、大きな配置の一部 | 正確な密度と距離 | 速い |
| Isomap | 非線形 | データの表面に沿って測った距離 | 近傍がすき間をまたいでつながると崩れる、ノイズの多いデータ | 中くらい |
| LDA | 線形、ラベルを使う | 既知のクラス同士の分離 | ラベルでカバーされないものすべて | 速い |
こうした図の読み方
- 距離より近傍を信じる。 すぐ隣に描かれた点は、ふつう元の空間でも近くにあります。遠く離れた点は、そうとは限りません。
- t-SNE や UMAP ではクラスターの大きさやすき間を無視する。 大きなかたまりが多様なグループとは限らず、広いすき間が大きな違いとも限りません。
- 元の空間で確かめる。 パターンを信じる前に、元のベクトルでの本当の距離や類似度で確認しましょう。
- 複数の設定とシードを試す。 異なるパープレキシティ、近傍の数、乱数シードでも残るパターンのほうが、本物である可能性が高いです。
- ランダムなデータも構造があるように見えることがある。 近傍を重視する手法は、ノイズからでもかたまりを作ることがあるので、説明できないクラスターには用心しましょう。
そもそもなぜそこに構造があるのかは、潜在空間と埋め込みとは何か?をご覧ください。 サイトガイドのPCA と UMAPでは、この 2 つの手法が埋め込みエクスプローラーでどう使われているかを紹介しています。エクスプローラーでは、本物の 10,000 単語で 2 つを切り替えられます。
よくある質問
PCA、t-SNE、UMAP の違いは何ですか?
PCA は広がりが最も大きい方向を残す線形の手法なので、全体の形は保たれますが、小さなグループがぼやけて混ざることがあります。t-SNE は近くの近傍を一緒に保つことに集中し、クラスターを見せるのが得意ですが、クラスター間の距離にはあまり意味がありません。UMAP は t-SNE と目的が似ていて、より速く、ふつうは大局的な構造をもう少し多く残します。
UMAP は t-SNE より優れているのですか?
どんな場合でもどちらかが優れているわけではありません。UMAP はふつう大きなデータセットで速く、大きな配置をより多く残す傾向があり、t-SNE は局所的なクラスターをとてもきれいに分けることがよくあります。どちらもパープレキシティや近傍の数といった設定に左右されるので、結論を出す前にいくつかの値を試しましょう。
なぜ埋め込みを 2 次元や 3 次元に削減するのですか?
人は何百もの次元を見ることができないからです。埋め込みを 2 次元や 3 次元に射影すれば、図に描いて、クラスター、外れ値、構造を見つけられます。どの射影も情報を捨てているので、その図は役に立つ要約であって、元の空間の正確な地図ではありません。
t-SNE や UMAP の図の距離は信用できますか?
局所的にだけ信用できます。近くに並んでいる点は、おそらく元の空間でも近くにありましたが、クラスター間のすき間や各クラスターの大きさはゆがんでいることがよくあります。PCA は大きな距離をより忠実に保つので、複数の手法を比べることが役に立ちます。
参考資料
- How to Use t-SNE EffectivelyDistill, 2016 · t-SNE のあらゆる落とし穴をインタラクティブな例で紹介(英語)
- Understanding UMAPGoogle PAIR · UMAP と t-SNE をインタラクティブに並べて比較
- How UMAP Worksumap-learn のドキュメント
- Principal component analysisWikipedia
- 主成分分析Wikipedia(日本語版)
