¿Por qué ChatGPT a veces olvida lo que le dijiste hace unos minutos?

Si alguna vez has usado ChatGPT o cualquier otra inteligencia artificial, probablemente te ha pasado esto: llevas varios mensajes conversando y, de repente, parece que la IA olvidó algo importante que habías explicado antes.

¿Es un error? ¿Tiene mala memoria?

En realidad, no. Lo que ocurre es que estás llegando al límite de algo llamado ventana de contexto.
Comprender este concepto es fundamental porque explica muchas de las situaciones en las que una IA parece "perder el hilo" de una conversación.

¿Qué es la ventana de contexto?

La ventana de contexto es la cantidad máxima de información que un modelo de inteligencia artificial puede tener presente al mismo tiempo mientras genera una respuesta.
Esa información incluye todo lo necesario para responder:

• Lo que escribiste anteriormente.
• Las respuestas de la IA.
• Instrucciones del sistema.
• Archivos o documentos que hayas compartido.
• La pregunta que acabas de hacer.

Si toda esa información cabe dentro de la ventana de contexto, el modelo puede utilizarla para responder. Si no cabe, parte de la información más antigua deja de estar disponible.

Es importante entender que la ventana de contexto no es memoria permanente. Es simplemente el espacio de trabajo que utiliza el modelo mientras conversa contigo.

Una analogía: la mesa de trabajo de un arquitecto

Imagina a un arquitecto diseñando una casa. Tiene una mesa donde coloca los planos, las reglas, los dibujos y las anotaciones. Mientras todo cabe sobre la mesa, puede verlo todo y trabajar cómodamente. Pero si siguen llegando nuevos planos, llegará un momento en que tendrá que retirar los primeros para hacer espacio a los nuevos.
No es que los haya olvidado. Simplemente ya no están sobre la mesa.

La ventana de contexto funciona exactamente igual: es la mesa de trabajo del modelo.

¿Cómo funciona realmente?

Cada vez que envías un mensaje, el modelo no recuerda la conversación como lo haría una persona. Lo que sucede es que recibe nuevamente toda la conversación que todavía cabe dentro de su ventana de contexto. Es decir, para responder al mensaje número 20, el modelo vuelve a leer el contexto disponible como si fuera la primera vez.
Si la conversación crece demasiado, el sistema debe eliminar parte del contenido antiguo para que el nuevo pueda entrar.

Por eso, después de muchas interacciones, pueden ocurrir situaciones como estas:

• Olvida instrucciones que diste al principio.
• Ya no recuerda un nombre mencionado hace mucho.
• Pierde detalles de una tarea larga.
• Comienza a responder de forma menos consistente.

No es porque el modelo tenga mala memoria.
Es porque esa información ya no está dentro de la ventana de contexto.
La capacidad de esa ventana depende del modelo que estés utilizando. Algunos pueden manejar unas pocas páginas de texto, mientras que otros son capaces de procesar cientos de páginas antes de alcanzar su límite.

Ejemplos

Ejemplo 1: Una conversación larga

Le dices al modelo:

"A partir de ahora responde siempre en español."

Después de una conversación muy extensa, vuelves a hacer una pregunta.
El modelo responde en inglés.
¿Por qué ocurrió? Porque aquella instrucción inicial ya salió de la ventana de contexto.

Ejemplo 2: Analizando un documento

Subes un documento de 150 páginas y comienzas a hacer preguntas.
Si el documento completo cabe dentro de la ventana de contexto del modelo, podrá responder utilizando cualquier parte del contenido.
Si el documento supera ese límite, será necesario dividirlo o utilizar técnicas que permitan recuperar únicamente las partes relevantes cuando sean necesarias.

Ejemplo 3: Desarrollo de software

Durante varias horas trabajas con una IA construyendo una aplicación.
Al principio le explicaste toda la arquitectura del proyecto.
Después de muchos intercambios comienzan a aparecer respuestas incoherentes.
No es que el modelo haya cambiado de opinión.
Simplemente la descripción inicial del proyecto ya no forma parte del contexto disponible.

Errores comunes

Muchas personas creen que la ventana de contexto es una memoria permanente. No lo es. También es común pensar que una conversación muy larga siempre produce mejores respuestas.

En realidad, cuando el contexto importante deja de caber dentro de la ventana, la calidad de las respuestas puede disminuir.

Idea clave

La ventana de contexto es el espacio de trabajo temporal de un modelo de IA. Mientras la información esté dentro de ella, el modelo puede utilizarla; cuando sale de ese espacio, deja de formar parte de la conversación para ese momento.