← Aprender · Fundamentos
Tokens6 min de lectura

Cómo se construyen los tokenizadores: BPE, WordPiece y Unigram

Paso a paso por byte-pair encoding, y en qué decisiones se distinguen WordPiece y Unigram.

En Por qué los modelos leen tokens vimos que los modelos de lenguaje modernos leen el texto en pedazos de subpalabra: las palabras comunes se quedan enteras y las raras se arman con partes más pequeñas. Pero ¿quién decide que lowest (“el más bajo”) debe convertirse en low + est?

Nadie, a mano. Un tokenizador aprende su vocabulario de una gran muestra de texto, llamada corpus de entrenamiento, antes de que se entrene el propio modelo de lenguaje. Este artículo recorre las tres recetas que usan casi todos los modelos: byte-pair encoding (BPE), WordPiece y Unigram.

Byte-pair encoding: fusionar el par más común

BPE nació en 1994 como un truco de compresión de datos de Philip Gage. En 2016, Rico Sennrich y sus colegas lo adaptaron para dividir palabras en traducción automática, y de ahí se extendió. La idea cabe en una frase: empieza con caracteres sueltos y sigue pegando el par de vecinos que aparece más seguido.

Con más detalle, el entrenamiento repite tres pasos.

  • Contar pares. Mira cada palabra del corpus, dividida en sus pedazos actuales, y cuenta cuántas veces aparece cada par de pedazos vecinos.
  • Fusionar al ganador. Toma el par más frecuente, por ejemplo e + s, agrega el pedazo unido es al vocabulario y reemplaza ese par en todo el corpus.
  • Repetir hasta que el vocabulario llegue al tamaño que elegiste de antemano.

El resultado son dos cosas: el vocabulario (todos los pedazos que conoce el tokenizador) y la lista de fusiones (las fusiones, en el orden en que se aprendieron). Recórrelo paso a paso con un corpus diminuto de cuatro palabras.

Inicio: cada palabra dividida en letras

Corpus

  • low×5
  • lower×2
  • newest×6
  • widest×3

Conteo de pares

  1. e + s9
  2. s + t9
  3. w + e8
  4. l + o7
  5. o + w7

Siguiente: fusionar e + s → es

Fusiones aprendidas, en orden

  1. ninguna todavía

Vocabulario · 10

lowernstid
Entrenamiento de BPE con un corpus de juguete de cuatro palabras, donde “low” aparece 5 veces, “lower” 2, “newest” 6 y “widest” 3 (el ejemplo de Sennrich et al.). Cada paso cuenta los pares vecinos, ponderados por cuántas veces aparece la palabra, y fusiona el más frecuente (resaltado). Los empates se los lleva el par que se vio primero. Todos los números se calculan en vivo a partir del corpus.

Fíjate en lo que descubren las fusiones. Las dos primeras arman est, porque aparece tanto en newest como en widest. Luego aparece low, después new, y para la fusión 7 la palabra frecuente newest ya es un solo token. La más rara, lower, sigue siendo low + e + r. Ese es justo el comportamiento que queremos: las cadenas frecuentes se vuelven tokens enteros y las raras se quedan en partes reutilizables.

Un tokenizador real hace lo mismo con gigabytes de texto y se detiene tras decenas de miles de fusiones. En el tokenizador real de GPT-2, las primeras fusiones que se aprendieron fueron un espacio seguido de t, un espacio seguido de a, y luego he, in, re y on: los pares de letras más comunes del inglés.

Usar las fusiones con texto nuevo

Una vez terminado el entrenamiento, el corpus se descarta. Para tokenizar una palabra nueva, el tokenizador la divide en caracteres y vuelve a aplicar la lista de fusiones en el orden en que se aprendió, aplicando cada fusión donde encaje. Lo que queda al final es la lista de tokens.

  1. letraslowest
  2. aplicar eslowest
  3. aplicar estlowest
  4. aplicar lolowest
  5. aplicar lowlowest

Resultado: 2 tokens: lowest

Las 10 fusiones aprendidas arriba aplicadas a palabras nuevas (vocabulario de juguete ilustrativo). “lowest” nunca apareció en el corpus, y aun así sale como low + est. Da la casualidad de que el tokenizador real de GPT-2 divide igual “lowest” escrito sin espacio delante.

Por eso los tokenizadores de subpalabra nunca se topan con una palabra totalmente desconocida: en el peor de los casos, como rider aquí, una palabra simplemente se queda en caracteres sueltos. Hay una trampa. Nuestro vocabulario de juguete solo tiene las diez letras que aparecieron en el corpus, así que una palabra con una k no se podría escribir de ninguna manera. Los tokenizadores reales lo resuelven con bytes, a lo que volveremos más adelante.

WordPiece: fusionar el par más sorprendente

WordPiece se desarrolló en Google y se conoce sobre todo como el tokenizador de BERT y de muchos modelos al estilo BERT, como DistilBERT. Su ciclo de entrenamiento se parece al de BPE: empieza con caracteres, fusiona pares, repite. La diferencia está en qué par fusiona.

BPE elige el par que aparece más seguido. WordPiece divide ese conteo entre cuántas veces aparece cada parte por su lado:

score = count(pair) / (count(first) × count(second))

Un par obtiene una puntuación alta cuando sus dos partes casi siempre aparecen juntas. Los pedazos muy comunes, como la letra e, salen penalizados, porque verlos junto a algo no tiene nada de sorprendente. (Formalmente, WordPiece elige la fusión que más aumenta la verosimilitud de los datos de entrenamiento. Google nunca publicó su código de entrenamiento, y esta proporción es la forma en que lo deciden las implementaciones abiertas como la de Hugging Face).

parBPE: conteoconteo ÷ (primero × segundo)puntuación WordPiece
e + s99 / (17 × 9)0.059
s + t99 / (9 × 9)0.111
w + e88 / (13 × 17)0.036
l + o77 / (7 × 7)0.143
w + i33 / (3 × 3)0.333
La primera fusión con el mismo corpus de juguete. BPE fusiona e + s porque es el par más frecuente. WordPiece prefiere w + i: solo aparece 3 veces, pero w e i nunca aparecen por separado. Los conteos se calculan a partir del corpus; en WordPiece, los pedazos dentro de una palabra llevan el prefijo ##, así que la w de “low” y la w al principio de “widest” se cuentan por separado.

WordPiece además escribe sus tokens de otra forma. Un pedazo que continúa una palabra empieza con ##, así que una palabra como hugs (“abrazos”) podría dividirse en hug + ##s. Así los límites entre palabras se ven en los propios tokens. Y al tokenizar texto nuevo, WordPiece no vuelve a aplicar fusiones. Recorre cada palabra desde la izquierda y toma una y otra vez el pedazo más largo de su vocabulario que coincida. Si alguna parte no coincide con nada, toda la palabra se convierte en [UNK].

Unigram: empezar en grande y podar

El método Unigram, presentado por Taku Kudo en 2018, va en la dirección contraria. En lugar de hacer crecer un vocabulario a partir de caracteres, empieza con un vocabulario muy grande, por ejemplo muchas de las subcadenas comunes del corpus, y lo va reduciendo.

  • Cada pedazo del vocabulario recibe una probabilidad, estimada a partir del corpus.
  • Una palabra casi siempre se puede dividir de muchas maneras (low+est, lo+west, l+owest…). El tokenizador elige la división cuyos pedazos tienen la mayor probabilidad combinada.
  • En cada ronda de entrenamiento, calcula cuánto empeoraría el ajuste al corpus si se quitara cada pedazo, y borra los que menos importan, normalmente entre un 10 y un 20% de ellos. Los caracteres sueltos se conservan siempre, para que cualquier palabra se pueda seguir escribiendo.
  • Esto se repite hasta que el vocabulario tiene el tamaño buscado.

Como Unigram es un modelo de probabilidad, también puede hacer muestreo de distintas divisiones de la misma palabra durante el entrenamiento, un truco llamado regularización de subpalabras que hace a los modelos más resistentes a las grafías poco comunes.

Unigram se usa casi siempre a través de SentencePiece, una biblioteca de Google que entrena directamente con texto en bruto y trata el espacio como un símbolo más (escrito ▁), así que funciona igual en idiomas con espacios o sin ellos. SentencePiece implementa tanto Unigram como BPE. T5, ALBERT y XLNet usan Unigram; los modelos LLaMA originales usaban el modo BPE de SentencePiece.

BPE a nivel de bytes: nada es desconocido

Volvamos a la trampa de antes: un vocabulario basado en caracteres no puede escribir un carácter que nunca vio. El BPE a nivel de bytes, que llegó con GPT-2 en 2019, lo resuelve aplicando BPE a los bytes del texto (su codificación UTF-8) en lugar de a los caracteres. Solo hay 256 bytes posibles, y todos están en el vocabulario desde el principio, así que cualquier cadena, en cualquier idioma y con emoji incluidos, se puede tokenizar. No existe el token [UNK].

Dos detalles más hacen que funcione en la práctica. Primero, el texto se pretokeniza: un patrón lo divide en trozos aproximados (palabras con su espacio delante, números, puntuación) antes de que corra BPE, así que las fusiones nunca pegan el final de una palabra con el principio de la siguiente. Segundo, el espacio se guarda como parte de la palabra que sigue, y por eso los tokens al estilo GPT se ven como ·the. Los tokenizadores de GPT-2, RoBERTa y la familia GPT-3/GPT-4 usan todos BPE a nivel de bytes.

Los tres lado a lado

BPEWordPieceUnigram
EntrenamientoCrecer: fusionar el par más frecuenteCrecer: fusionar el par con mejor puntuaciónReducir: podar los pedazos menos útiles
TokenizaciónVolver a aplicar las fusiones en ordenCoincidencia más larga, de izquierda a derechaLa división más probable
Texto desconocidoA nivel de bytes: nada es desconocido[UNK] para la palabraCaracteres sueltos; los caracteres nunca vistos se vuelven <unk> salvo que esté activado el respaldo de bytes
Lo usanGPT-2, RoBERTa, GPT-4 (a nivel de bytes); LLaMA (con SentencePiece)BERT, DistilBERTT5, ALBERT, XLNet (con SentencePiece)
Un resumen de los tres algoritmos. Los tokenizadores reales agregan detalles encima, como tokens especiales, normalización y reglas de pretokenización.

Eso último tiene consecuencias reales. Un tokenizador entrenado sobre todo con inglés divide otros idiomas en más pedazos y más pequeños, lo que los hace más lentos y más caros de procesar; mira Por qué los emoji y algunos idiomas cuestan más tokens. Una vez que el texto son tokens, cada ID de token se convierte en un vector, como se explica en ¿Qué son los embeddings?Puedes comparar cómo dividen tu propio texto varios tokenizadores BPE reales en el Tokenizador.

Preguntas frecuentes

¿Qué es byte-pair encoding (BPE)?

Byte-pair encoding es una forma de construir el vocabulario de un tokenizador a partir de datos. Empieza con caracteres o bytes sueltos, busca el par de vecinos que aparece más seguido en el texto de entrenamiento, fusiona ese par en un token nuevo y repite hasta que el vocabulario llega al tamaño buscado. Los modelos GPT usan una versión de BPE a nivel de bytes.

¿Cuál es la diferencia entre BPE, WordPiece y Unigram?

BPE fusiona el par de pedazos más frecuente. WordPiece, que usa BERT, fusiona el par que más mejora la verosimilitud del texto de entrenamiento, lo que favorece a los pares que aparecen juntos más de lo esperable. Unigram, que se usa con SentencePiece en modelos como T5, empieza con un vocabulario grande y quita los pedazos que menos importan.

¿Qué tokenizador usa GPT-4?

GPT-4 y GPT-3.5 usan cl100k_base, un tokenizador BPE a nivel de bytes con unos 100,000 tokens. GPT-4o usa o200k_base, con unos 200,000 tokens, que maneja con más eficiencia muchos idiomas distintos del inglés. Los dos están disponibles en tiktoken, la biblioteca de código abierto de OpenAI.

¿Puede fallar un tokenizador con un texto desconocido?

Un tokenizador a nivel de bytes no. Los 256 valores de byte están en su vocabulario, así que cualquier texto, incluidos los emoji y los sistemas de escritura raros, se puede escribir byte por byte si no coincide ningún pedazo más grande. Los tokenizadores por palabras, y algunos por caracteres, reemplazan en cambio lo que nunca vieron con un token desconocido.

Lecturas recomendadas