O que é treinamento (em IA)?

Treinamento é como um modelo é construído. Ele recebe quantidades enormes de material, geralmente texto mas muitas vezes imagens e código também, e as suas configurações internas são ajustadas até as previsões pararem de melhorar. Etapas seguintes moldam então como ele responde, e não o que ele sabe. As configurações só são congeladas para o lançamento depois de tudo isso, e nada do que você digita numa conversa as altera.

Um modelo começa como milhões de números definidos ao acaso, produzindo absurdos. O treinamento esconde a próxima palavra de um trecho, compara o chute do modelo com a resposta real e empurra os números levemente na direção de errar menos, um método chamado gradiente descendente estocástico. Repita isso alguns trilhões de vezes e os números assentam em algo que prevê linguagem bem. Por que não programar as regras da linguagem diretamente? Porque ninguém consegue enunciá-las: explicar por que "chá forte" soa certo e "chá potente" não soa levaria uma vida — e essa é uma expressão entre milhões. Aprender com exemplos contorna a necessidade de escrever qualquer regra. Três etapas se seguem: o pré-treinamento sobre o grosso do material, o ajuste fino sobre um conjunto mais estreito de exemplos, e o aprendizado por reforço com feedback humano, em que pessoas ranqueiam respostas. As três ajustam os mesmos números. O pré-treinamento é a etapa cara e termina muito antes do lançamento, e é por isso que todo modelo tem uma data de corte de conhecimento. O ajuste fino é mais barato e pode acontecer depois — e, com modelos de pesos abertos, qualquer um pode fazê-lo.

Aprender a pegar uma bola. Ninguém lhe entrega as equações de uma parábola, e ler as equações não ajudaria muito de qualquer jeito. Você estica as mãos, erra, e algo se ajusta muito levemente. Alguns milhares de pegadas depois você é bom nisso — e continua sem conseguir escrever a regra que aprendeu.