O que é inferência (em IA)?

Inferência é um modelo de IA fazendo o trabalho de verdade: a sua pergunta entra, uma resposta sai, usando o que o treinamento já ensinou. O treinamento é a construção única; a inferência é cada uso depois dela. Parece a metade barata, e por resposta é, mas roda bilhões de vezes por dia.

Inferência é tudo o que acontece entre a sua pergunta e a resposta, e é um trabalho completamente diferente do treinamento. O treinamento acontece uma vez, queimando poder computacional enorme por semanas para acertar os botões internos do modelo. A inferência roda esses botões assentados para a frente sobre uma entrada nova: números fluem e uma resposta sai, sem nada dentro do modelo mudar. É por isso que uma única resposta custa uma fração de centavo enquanto treinar o mesmo modelo custou milhões. O porém é o volume, porque um assistente popular responde bilhões de perguntas, e uma fração de centavo multiplicada por bilhões é o que de fato cai na conta de luz. Essa aritmética é por que a indústria trabalha tanto para encolher modelos com quantização e destilação, e por que fabricantes de chips agora projetam processadores voltados à inferência em vez do treinamento.

Estudar para uma prova versus fazer a prova. O estudo é exaustivo, caro e acontece uma vez; a prova é duas horas usando o que você já sabe, sem aprendizado novo algum. Um aluno fazendo uma prova é trivial perto do estudo. Mas rode essa prova para cinquenta mil alunos todos os dias e é o salão de provas, não o estudo, que quebra o orçamento.