学习

看懂你看到的一切。

语言模型如何读懂文字:从最初的一步,到它写出的下一个词。

不知道从哪里开始?从这里开始

基础知识

通用学习资料。每篇文章把一个概念讲透,就像一本好教材的一章。

  1. 01词元6 分钟阅读

    为什么模型读的是词元,而不是字母或单词

    在字母、单词和词的片段之间如何取舍,为什么所有现代模型都选了片段,并用字节兜底。

  2. 02词元6 分钟阅读

    分词器是怎样构建的:BPE、WordPiece 和 Unigram

    一步步走完字节对编码的过程,再看 WordPiece 和 Unigram 做出了哪些不同的选择。

  3. 03词元5 分钟阅读

    文本之外的词元:图像、音频和视频

    多模态模型如何把图片切成图像块、把声音切成帧,好让它们像词一样被读取。

  4. 04嵌入7 分钟阅读

    什么是嵌入?

    把一个词变成一串数字,让意思相近的词彼此靠近。

  5. 05嵌入7 分钟阅读

    潜在空间:数字中隐藏的意义

    嵌入的各个维度捕捉了什么,为什么方向能携带意义,以及哪些东西我们无法直接读出。

  6. 06嵌入7 分钟阅读

    看见高维空间:PCA、t-SNE、UMAP 及其他方法

    怎样把几百个维度压到 2 维或 3 维,每种方法保留了什么,又悄悄丢掉了什么。

  7. 07Transformer7 分钟阅读

    从零讲清注意力机制与 Transformer

    每个词元如何查看其他词元来更新自己的含义,以及把这个思想层层堆叠如何构成 Transformer。

  8. 08Transformer5 分钟阅读

    从最后一个向量到下一个词

    logits、softmax、温度、top-k 和 top-p:模型如何挑选接下来要说的话。

站点指南

快速了解每个 WordCanvas3D 工具展示了什么,并链接回基础知识。

  1. 词元4 分钟阅读

    什么是词元?它为什么不是一个词?

    分词器如何把文本切成可复用的片段,以及为什么这些片段很少和单词对齐。

    配套工具:分词器
  2. 词元4 分钟阅读

    为什么表情符号和其他语言更费词元

    UTF-8 字节、字节级 BPE,以及为什么同一句问候可能占 4 个词元,也可能占 25 个。

    配套工具:分词器
  3. 嵌入4 分钟阅读

    一个词如何变成 300 个数字

    什么是词嵌入,GloVe、Word2Vec 和 FastText 如何学习它们,以及如何衡量相似度。

    配套工具:词嵌入浏览器
  4. 嵌入4 分钟阅读

    PCA 与 UMAP:压平意义的两种方式

    把 300 个维度压到 3 个的两种方式,各自保留了什么,以及怎样读结果。

    配套工具:词嵌入浏览器
  5. 向量4 分钟阅读

    King − man + woman 详解

    把词语类比看作箭头的算术:实验场计算的是什么,为什么有效,又在哪里失效。

    配套工具:向量实验场
返回顶部