← Aprender · Fundamentos
Tokens5 min de lectura

Tokens más allá del texto: imágenes, audio y video

Cómo los modelos multimodales cortan las imágenes en parches y el sonido en tramas para poder leerlos como palabras.

A un transformer, el diseño detrás de los modelos de lenguaje modernos, en realidad no le importa qué son sus tokens. Lo único que recibe es una secuencia de vectores (listas de números), uno por token, y su trabajo es dejar que esos vectores se miren entre sí y se actualicen. En el texto, cada vector sale de un pedazo de palabra. Pero nada nos impide hacer vectores a partir de otras cosas.

Así funcionan los modelos que ven imágenes y oyen sonido. El truco es siempre el mismo: cortar la entrada en pedazos pequeños, convertir cada pedazo en un vector y poner los vectores en fila como una secuencia. Este artículo muestra cómo se hace con imágenes, audio y video, y cómo se mezcla el resultado con texto.

Imágenes: una imagen vale 16×16 palabras

Una imagen digital es una cuadrícula de píxeles, y cada píxel son tres números: cuánto rojo, verde y azul tiene. Un solo píxel es demasiado pequeño para significar algo, igual que una sola letra. Tratar cada píxel como un token también produciría secuencias enormes: una foto modesta de 224 × 224 tiene más de 50,000 píxeles.

El Vision Transformer (ViT), publicado por investigadores de Google en 2020 con el título “An Image is Worth 16x16 Words” (“Una imagen vale 16x16 palabras”), simplificó la idea. Se corta la imagen en una cuadrícula de cuadritos llamados parches, normalmente de 16 × 16 píxeles cada uno, y cada parche se trata como un token. Los parches se leen en orden, de izquierda a derecha y de arriba abajo, como las palabras en una página.

0 de 16 parches en la secuencia
imagen, cortada en una cuadrícula de 4 × 4
una sola secuencia de entrada para el modelo
  1. What
  2. ·is
  3. ·in
  4. ·this
  5. ·picture
  6. ?
  7. <image>
  8. 1
  9. 2
  10. 3
  11. 4
  12. 5
  13. 6
  14. 7
  15. 8
  16. 9
  17. 10
  18. 11
  19. 12
  20. 13
  21. 14
  22. 15
  23. 16
  24. </image>
Ilustrativo: una imagen cortada en una cuadrícula de 4 × 4 parches, que se suman a la misma secuencia que los tokens de texto de una pregunta (“What is in this picture?”, “¿Qué hay en esta imagen?”). Presiona Reproducir o avanza de parche en parche. Los modelos reales usan muchos más parches, y los tokens marcadores como <image> cambian de un modelo a otro.

De un parche a un vector

Un parche sigue siendo solo píxeles. Para convertirlo en un vector de token, el modelo hace dos cosas sencillas.

  • Aplanarlo. Un parche de 16 × 16 con tres valores de color por píxel son 16 × 16 × 3 = 768 números. Se ponen todos en una sola lista larga.
  • Proyectarlo. Se multiplica esa lista por una matriz aprendida para obtener un vector del tamaño que espera el transformer. Esto cumple el mismo papel que la tabla de búsqueda que convierte el ID de un token de texto en un embedding. (En el ViT de tamaño base, da la casualidad de que la salida también tiene 768 números).

Por último, se suma un embedding de posición a cada vector, para que el modelo sepa de qué parte de la imagen salió el parche; sin él, una imagen revuelta se vería igual. A partir de aquí, los vectores de los parches pasan por capas de atención normales, donde cada parche puede mirar a todos los demás.

El tamaño del parche es un equilibrio, igual que el tamaño del vocabulario en el texto. Los parches más pequeños conservan más detalle pero producen muchos más tokens, y el costo de la atención crece rápido con la longitud de secuencia.

tamaño de la imagen
tamaño del parche
parches por lado
224 ÷ 16 = 14
tokens de imagen
14 × 14 = 196
números en un parche
16 × 16 × 3 colores = 768
En cuántos tokens se convierte una imagen. Reducir el parche a la mitad, o duplicar el tamaño de la imagen, da cuatro veces más tokens. Las cuentas son exactas; 224 × 224 píxeles con parches de 16 × 16 (196 tokens) es la configuración estándar de ViT.

¿Parches continuos o códigos discretos?

Hay una diferencia real con el texto. Un token de texto es una entrada de un vocabulario fijo, así que el modelo puede predecirlo eligiendo de una lista. El vector de un parche es continuo: sus números pueden ser cualquier cosa, y no hay lista. Para entender imágenes eso no es problema; la mayoría de los codificadores de visión, incluido ViT, funcionan así.

Para generar imágenes un token a la vez, algunos modelos primero convierten las imágenes en tokens discretos. Una red entrenada por separado, como un VQ-VAE (autocodificador variacional con cuantización vectorial), aprende un libro de códigos (codebook): una lista fija de pedacitos de imagen típicos. Cada región de una imagen se reemplaza por el ID de la entrada del libro de códigos más parecida, así que una imagen se convierte en una cuadrícula de ID, exactamente como el texto. El DALL·E original, por ejemplo, convertía cada imagen de 256 × 256 en una cuadrícula de 32 × 32 con 1,024 tokens de imagen, cada uno elegido de un libro de códigos de 8,192 entradas, y los ponía después de hasta 256 tokens de texto en una sola secuencia.

Embeddings continuos de parchesTokens de imagen discretos
Un token esUn vector calculado a partir de los píxeles de un parcheUn ID de un libro de códigos aprendido
VocabularioNinguno: cualquier vector es posibleFijo, p. ej. 8,192 códigos en DALL·E
Sirve paraEntender: clasificar, describir, responder preguntasGenerar imágenes token por token, como el texto
EjemploViT: parches de 16 × 16 píxelesDALL·E: cuadrícula de 32 × 32 códigos
Las dos maneras de convertir una imagen en tokens. Los ejemplos salen de los artículos de ViT, VQ-VAE y DALL·E.

Audio: franjas de sonido

El sonido es una onda: una lista larga de mediciones de presión del aire, a menudo 16,000 o más por segundo. Son demasiadas para usar una por token, y una medición por sí sola no significa nada.

Por eso los modelos de voz suelen empezar calculando un espectrograma, una imagen de qué frecuencias suenan fuerte en cada momento. El tiempo va en un eje y el tono en el otro, y cada franja corta de tiempo se vuelve una columna de números. Whisper, el reconocedor de voz de OpenAI, por ejemplo, toma clips de 30 segundos, calcula un espectrograma de 80 canales con una franja nueva cada 10 milisegundos (3,000 franjas), y luego dos pequeñas capas de convolución lo reducen a la mitad, a 1,500 vectores, antes de que los lea el transformer.

onda de sonidoespectrograma: tono × tiempoun vector por franja… secuencia de tokens de audiouna franja cada pocos milisegundos
Ilustrativo: de una onda de sonido a un espectrograma y a una secuencia de vectores de audio. Una franja de tiempo resaltada se convierte en un token. Los colores del espectrograma están dibujados a mano, no calculados a partir de audio real.

El audio también tiene su versión discreta. Los códecs de audio neuronales, como EnCodec de Meta, comprimen el sonido en un flujo de ID de un libro de códigos, varios por cada franja de tiempo. Esos ID se pueden predecir uno tras otro como texto, y así es como algunos generadores de voz y música producen audio.

Video: parches en el espacio y en el tiempo

Un video es una pila de imágenes. El enfoque más simple tokeniza cada fotograma en parches, pero eso multiplica el número de tokens por el número de fotogramas. Los transformers de video como ViViT cortan en cambio el video en tubelets: cajitas que abarcan un parche de la imagen y unos cuantos fotogramas seguidos. Cada tubelet se aplana y se proyecta en un vector, así que un solo token captura un poco de movimiento además de la apariencia. Aun así, el video sale caro: unos pocos segundos pueden producir miles de tokens, y por eso los modelos de video a menudo toman solo algunos de los fotogramas.

Todo en una sola secuencia

Un modelo multimodal suele armarse con piezas. Una receta común, la que usa el modelo de código abierto LLaVA, es:

  • un codificador de visión preentrenado (en el caso de LLaVA, el ViT de CLIP) convierte la imagen en vectores de parches;
  • una pequeña proyección aprendida lleva cada uno de esos vectores al mismo espacio que los embeddings de palabras del modelo de lenguaje, para que tengan la longitud correcta y “hablen el mismo idioma”;
  • los tokens de imagen resultantes se ponen en la secuencia junto a los tokens de texto, y el modelo de lenguaje los lee todos juntos.

Dentro del transformer no hay ningún trato especial. Un token de texto puede prestarle atención a un parche de imagen igual que a otra palabra, y así es como una pregunta como “What colour is the sun?” (“¿De qué color es el sol?”) encuentra el parche que contiene el sol.

Los pedazos también cuestan lo mismo: espacio en la ventana de contexto. Una imagen o un minuto de audio pueden usar tantos tokens como varios párrafos de texto, y por eso aplican los mismos límites y precios. Para ver cómo se eligen los tokens de texto, consulta Por qué los modelos leen tokens; para ver qué les pasa a todos estos vectores una vez que están en la secuencia, consulta Cómo un modelo de lenguaje convierte tus palabras en una respuesta.

Preguntas frecuentes

¿Cómo ven las imágenes los modelos de IA?

Un vision transformer corta la imagen en una cuadrícula de pequeños parches cuadrados, a menudo de 16×16 píxeles, aplana cada parche en una lista de números y lo proyecta en un vector del mismo tamaño que el embedding de una palabra. Luego el modelo lee los vectores de los parches como una secuencia, igual que los tokens de un texto.

¿Cuántos tokens ocupa una imagen?

Depende del modelo y del tamaño de la imagen. Una imagen de 224×224 cortada en parches de 16×16 da 196 tokens de parche. Los modelos comerciales redimensionan o dividen en mosaicos las imágenes más grandes y cuentan los tokens por mosaico, así que una sola foto suele costar desde unos cientos hasta unos miles de tokens.

¿Cómo procesan el audio los modelos de lenguaje?

El audio se corta en tramas cortas, normalmente de 20 a 25 milisegundos cada una, y casi siempre se convierte en un espectrograma que muestra cuánta energía hay en cada frecuencia. Cada trama, o un grupito de tramas, se convierte en un vector, así que unos segundos de voz se vuelven una secuencia de cientos de tokens.

¿Qué es un modelo multimodal?

Un modelo multimodal puede recibir más de un tipo de datos, como texto, imágenes, audio o video, y a menudo también producir más de un tipo. Cada tipo de entrada se convierte en vectores del mismo tamaño, para que puedan estar en una sola secuencia y los procese el mismo transformer.

Lecturas recomendadas