看懂你看到的一切。
语言模型如何读懂文字:从最初的一步,到它写出的下一个词。
不知道从哪里开始?从这里开始
基础知识
通用学习资料。每篇文章把一个概念讲透,就像一本好教材的一章。
为什么模型读的是词元,而不是字母或单词
在字母、单词和词的片段之间如何取舍,为什么所有现代模型都选了片段,并用字节兜底。
分词器是怎样构建的:BPE、WordPiece 和 Unigram
一步步走完字节对编码的过程,再看 WordPiece 和 Unigram 做出了哪些不同的选择。
文本之外的词元:图像、音频和视频
多模态模型如何把图片切成图像块、把声音切成帧,好让它们像词一样被读取。
什么是嵌入?
把一个词变成一串数字,让意思相近的词彼此靠近。
潜在空间:数字中隐藏的意义
嵌入的各个维度捕捉了什么,为什么方向能携带意义,以及哪些东西我们无法直接读出。
看见高维空间:PCA、t-SNE、UMAP 及其他方法
怎样把几百个维度压到 2 维或 3 维,每种方法保留了什么,又悄悄丢掉了什么。
从零讲清注意力机制与 Transformer
每个词元如何查看其他词元来更新自己的含义,以及把这个思想层层堆叠如何构成 Transformer。
从最后一个向量到下一个词
logits、softmax、温度、top-k 和 top-p:模型如何挑选接下来要说的话。
站点指南
快速了解每个 WordCanvas3D 工具展示了什么,并链接回基础知识。
什么是词元?它为什么不是一个词?
分词器如何把文本切成可复用的片段,以及为什么这些片段很少和单词对齐。
配套工具:分词器为什么表情符号和其他语言更费词元
UTF-8 字节、字节级 BPE,以及为什么同一句问候可能占 4 个词元,也可能占 25 个。
配套工具:分词器一个词如何变成 300 个数字
什么是词嵌入,GloVe、Word2Vec 和 FastText 如何学习它们,以及如何衡量相似度。
配套工具:词嵌入浏览器PCA 与 UMAP:压平意义的两种方式
把 300 个维度压到 3 个的两种方式,各自保留了什么,以及怎样读结果。
配套工具:词嵌入浏览器King − man + woman 详解
把词语类比看作箭头的算术:实验场计算的是什么,为什么有效,又在哪里失效。
配套工具:向量实验场
