¿Qué es un gran modelo de lenguaje (LLM)?

Un gran modelo de lenguaje (LLM) es un programa que predice qué texto viene a continuación. Se construye en dos etapas. El preentrenamiento lee una cantidad enorme de texto hasta que esas predicciones son buenas. Eso por sí solo produce algo que continúa tu frase en lugar de responderla. Una segunda etapa le enseña a responder preguntas, y ambas terminan mucho antes de que tú escribas nada.

Todo lo que hace un LLM se apoya en una sola operación repetida sin parar: mirar el texto que hay hasta ahora y producir la continuación más probable. Escribe «la capital de Francia es» y responde París, porque ese patrón apareció constantemente en lo que leyó y no porque haya consultado ninguna fuente. Eso solo te da una máquina que sigue escribiendo desde donde tú lo dejaste. La segunda etapa, el aprendizaje por refuerzo con retroalimentación humana, hace que personas ordenen respuestas rivales hasta que aprende a contestar en vez de divagar. ¿Por qué no montar una base de datos de respuestas? Porque una base de datos solo devuelve lo que alguien metió en ella, y la predicción cubre las preguntas que nadie pensó en escribir. El coste es que sonar bien y acertar son habilidades distintas, así que puede describir sucesos que nunca ocurrieron. También parece acordarse de ti, por dos mecanismos distintos. Dentro de un chat, toda la conversación se le reenvía cada vez que pulsas enter y llena la ventana de contexto. Entre chats, productos como ChatGPT guardan notas sobre ti en almacenamiento normal y las pegan después. En ambos casos recibe un recordatorio en lugar de recordar algo.

El texto predictivo de tu móvil hace una versión diminuta de esto. Escribe «nos vemos» y te ofrece «mañana», porque es lo que solía seguir en los mensajes que ha visto. Un gran modelo de lenguaje es esa misma idea con muchísima más lectura detrás y una visión mucho más larga de lo anterior. Ese salto de escala es lo que convierte una predicción de la siguiente palabra en algo capaz de mantener una conversación.