O que é destilação de modelos?

Destilação de modelos é treinar um modelo de IA com as respostas de outro modelo em vez de com dados crus. Um modelo professor grande responde a números enormes de exemplos, e um modelo aluno aprende a reproduzir essas respostas, absorvendo a maior parte da habilidade. É usada para encolher modelos grandes em versões baratas e rápidas, e para turbinar um modelo usando as saídas de um rival mais forte.

As respostas prontas do professor viram o livro didático do aluno. Rode um modelo grande sobre números enormes de prompts, colete as saídas dele, às vezes incluindo o quão confiante ele estava entre as opções, e treine o aluno para reproduzi-las. Estudar julgamentos prontos acaba sendo uma lição muito mais concentrada do que estudar a internet crua. O propósito clássico é a compressão: o aluno costuma manter uma fatia grande da habilidade do professor com um décimo do tamanho, que é como IA de nível topo de linha acaba rodando em celulares. Isso difere da quantização, que espreme o mesmo modelo em números mais grosseiros em vez de treinar um novo. O segundo propósito é o que rende manchetes: melhorar o próprio modelo destilando o de um rival mais forte, já que o modelo de um concorrente pode ser destilado usando nada além das respostas públicas dele. É por isso que laboratórios de IA proíbem a prática nos seus termos de serviço e se acusam mutuamente de criar alunos com os professores alheios.

Uma aprendiz que aprende com as decisões prontas da chef mestre em vez de com anos de escola de gastronomia. Ela não reprova dez mil combinações de ingredientes; estuda o que a mestre de fato montou no prato ao longo de dez mil pedidos — o que levou sal, o que voltou, o que foi combinado. A mestre passou uma carreira aprendendo com ingredientes crus; a aprendiz aprende com as respostas da mestre. O resultado estranho é real: a maior parte da habilidade se transfere sem nada da jornada original.