O que é RLHF (aprendizado por reforço com feedback humano)?

RLHF, ou aprendizado por reforço com feedback humano, é a etapa de treinamento em que pessoas julgam as respostas de um modelo e o modelo é ajustado na direção das que elas preferiram. É o que transforma um sistema que prevê texto num que responde perguntas de forma útil. É também por que os modelos são educados, por que recusam certos pedidos, e por que às vezes concordam com você quando você está errado.

Um modelo recém-treinado aprendeu exatamente uma habilidade: dadas algumas palavras, adivinhar quais palavras costumam vir depois. Isso não é o mesmo que ser útil. Pergunte a um dos primeiros como trocar um pneu furado e ele pode responder com uma lista de perguntas parecidas, porque é isso que muitas vezes segue uma pergunta na internet. Escrever regras para o que é uma boa resposta falha de cara, já que ninguém consegue definir útil com precisão suficiente para codificar, e mais texto não ajuda, porque a internet tem poucos exemplos de um assistente ideal. Então o trabalho vai para pessoas. Avaliadores escolhem a melhor entre duas respostas candidatas, milhares de vezes, e essas escolhas treinam um segundo modelo para pontuar respostas do jeito que eles pontuaram. O modelo principal é então ajustado para ganhar notas altas desse avaliador. O porém é que ele aprende o que os avaliadores aprovaram, não o que é verdade — então pode derivar para a bajulação, recusar pedidos inofensivos que apenas se parecem com arriscados, e herdar as suposições de quem quer que tenha avaliado.

Ensinar alguém a cozinhar fazendo-o provar, em vez de entregar receitas. Você não consegue escrever o que delicioso significa de um jeito que sobreviva ao contato com uma cozinha real, então em vez disso a pessoa cozinha, você prova, e diz este aqui, mais sal, menos tempo. Depois de rodadas suficientes ela desenvolve um julgamento que receita nenhuma teria dado. Mas ela aprendeu o seu paladar especificamente — então se por acaso você ama sal, você treinou um cozinheiro que salga demais e tem a certeza silenciosa de que está correto.