O que é engenharia de contexto?

Engenharia de contexto é o trabalho de decidir tudo o que um modelo vê antes de responder. A equipe que constrói o sistema define a estratégia, e o código em volta do modelo a aplica cada vez que uma pergunta chega. Quatro coisas preenchem esse espaço: as instruções permanentes, fatos buscados dos seus documentos, a conversa até ali, e as ferramentas que o modelo pode usar. Engenharia de prompt é como você formula a pergunta. Engenharia de contexto é o que está diante do modelo enquanto ele lê essa pergunta.

Engenharia de contexto é o trabalho de montar o que um modelo lê antes de responder. Quais fontes são buscadas, quanto da conversa anterior sobrevive, o que é resumido quando cresce demais, quais ferramentas o modelo sequer fica sabendo que existem: tudo isso é decidido por alguém. Pergunte a um bot de suporte sobre a sua política de reembolso e ele inventa uma, porque ninguém providenciou que a política estivesse ali. Você poderia colar a política você mesmo, mas ninguém faz isso para cada cliente, então o sistema tem que montá-la em vez disso. Por que isso importa mais que um prompt mais afiado? Um prompt molda uma resposta, enquanto um sistema rodando vinte passos precisa do material certo em cada um deles. A restrição é que a janela de contexto é finita, então mais não é melhor, e adicionar tudo o que você tem enterra a parte que importava. Quando um recurso de IA funciona no teste e falha em produção, essa montagem costuma ser onde quebrou.

Uma cirurgiã prestes a operar. Como o pedido foi formulado importa muito pouco a essa altura. O que importa é se os exames na tela pertencem a este paciente, se o prontuário lista a alergia certa, e se os instrumentos dispostos são os que esta operação exige. Entregue a uma cirurgiã brilhante o arquivo errado e a operação vai mal, por melhor que a cirurgiã seja.