La unidad con la que piensa una IA (tokens).
Imagina que la IA no sabe leer como un humano
Cuando nosotros leemos una frase como:
— "Hola, ¿cómo estás?"
Nuestro cerebro entiende las palabras completas. Una IA no. Antes de entender el texto, primero lo divide en pequeñas piezas llamadas tokens.
¿Qué es un token?
Un token es la unidad mínima que utiliza un modelo de IA para procesar información. Un token puede ser:
- una palabra completa
- parte de una palabra
- un número
- un signo de puntuación
- un espacio especial
La IA nunca recibe el texto completo.
Siempre recibe una secuencia de tokens.
Ejemplo sencillo
Texto:
— Hola mundo
Podría dividirse así:
— [Hola] [mundo]
En este caso serían 2 tokens.
Pero no siempre ocurre así
Texto: — Inteligencia
Podría dividirse como: — [Inteli] [gencia]
Ahora la misma palabra son 2 tokens.
Otro ejemplo: — TokenGate
Puede convertirse en: — [Token] [Gate]
Dos tokens.
Y una palabra más compleja: — Internacionalización
Puede dividirse en: — [Inter] [nacional] [ización]
Tres tokens.
Cada modelo decide cómo dividir las palabras.
Los números también son tokens
— 2026 Puede ser: — [2026] o — [20] [26]
Depende del modelo.
Los signos también cuentan
La frase: — Hola.
Puede convertirse en: — [Hola] [.]
El punto también es un token.
Lo mismo ocurre con:
- , — ! — ? — ; — ( — )
Una conversación realmente se ve así
Nosotros escribimos:
— Explícame qué es un token.
La IA realmente recibe algo parecido a:
— [Expl] [ícame] [qué] [es] [un] [token] [.]
Después procesa esos tokens y genera nuevos tokens como respuesta.
Analogía: las fichas de LEGO
Imagina una caja de Lego. Con las mismas piezas puedes construir:
- una casa
- un carro
- un avión
- un castillo
La IA hace exactamente lo mismo. Las piezas son los tokens. Con millones de tokens puede construir:
- respuestas
- código
- poemas
- historias
- correos
- documentos
No trabaja directamente con palabras.
Trabaja ensamblando tokens.
Ejemplo práctico
Texto:
— La inteligencia artificial está cambiando el mundo.
Nosotros vemos una oración. La IA podría verla así:
— [La]
— [inteligencia]
— [artificial]
— [está]
— [cambiando]
— [el]
— [mundo]
— [.]
Cada una de esas piezas se procesa por separado.
¿Por qué existen los tokens?
Porque a una computadora le resulta mucho más fácil trabajar con pequeñas piezas que con frases completas. Es parecido a un rompecabezas. En lugar de analizar la imagen completa, analiza pieza por pieza.
¿Qué debes recordar?
✅ Un token no siempre es una palabra.
✅ Una palabra puede tener varios tokens.
✅ Los signos de puntuación también son tokens.
✅ Toda conversación con una IA se convierte primero en tokens.
Resumen
Cada vez que escribes un mensaje en una IA, el modelo no lee palabras como lo hacemos las personas. Primero divide el texto en pequeñas unidades llamadas tokens, las procesa una por una y luego genera nuevos tokens para construir su respuesta. Los tokens son el lenguaje interno con el que trabajan los modelos de inteligencia artificial y son la base de todo lo que hacen.
