¿Qué es la ingeniería de contexto?

La ingeniería de contexto es el trabajo de decidir todo lo que un modelo ve antes de responder. El equipo que construye el sistema fija la estrategia, y el código que rodea al modelo la aplica cada vez que llega una pregunta. Cuatro cosas llenan ese espacio: las instrucciones permanentes, los datos extraídos de tus documentos, la conversación hasta ahora y las herramientas que el modelo puede usar. La ingeniería de prompts es cómo formulas la pregunta. La ingeniería de contexto es lo que hay delante del modelo mientras la lee.

La ingeniería de contexto es el trabajo de ensamblar lo que un modelo lee antes de responder. Qué fuentes se consultan, cuánto sobrevive de la conversación anterior, qué se resume cuando se alarga demasiado, de qué herramientas se le informa siquiera: todo eso lo decide alguien. Pregúntale a un bot de soporte por tu política de devoluciones y se la inventa, porque nadie se ocupó de que esa política estuviera delante. Podrías pegar la política tú mismo, aunque nadie lo hace con cada cliente, así que el sistema tiene que ensamblarla. ¿Por qué importa esto más que un prompt más afinado? Un prompt da forma a una respuesta, mientras que un sistema que recorre veinte pasos necesita el material adecuado en cada uno de ellos. La restricción es que la ventana de contexto es finita, así que más no es mejor y meter todo lo que tienes entierra justo la parte que importaba. Cuando una función de IA va bien en pruebas y falla en producción, ese ensamblaje suele ser donde se rompió.

Un cirujano a punto de operar. Cómo se formuló la petición importa muy poco a estas alturas. Lo que importa es si las imágenes en pantalla son de este paciente, si la ficha recoge la alergia correcta y si el instrumental preparado es el que esta operación necesita. Dale a un cirujano brillante el expediente equivocado y la operación sale mal, por bueno que sea el cirujano.