O que é gradiente descendente estocástico (SGD)?

SGD é o método que a maioria dos modelos de IA usa para aprender: fazer uma previsão, medir o quanto errou, empurrar cada ajuste interno um passinho na direção que reduz o erro, e repetir milhões de vezes. A parte estocástica é que cada passo confere um pequeno lote aleatório de exemplos em vez do conjunto de dados inteiro.

Um modelo é uma máquina com milhões de botõezinhos, e o desempenho dela é uma única nota de erro chamada perda. Para cada botão, a matemática consegue calcular para que lado girá-lo para a nota diminuir, e essa direção se chama gradiente. Descendente significa girar cada botão um pouco nessa direção, medir a nota de novo e repetir milhões de vezes. A escolha que o SGD faz é quantos exemplos conferir antes de cada giro. Conferir todos, o que para um modelo grande pode significar milhões de imagens, aponta na direção mais precisa mas é tão lento que poucos giros acontecem por hora, enquanto um lote de 32 ou 64 exemplos aleatórios aponta numa direção ligeiramente errada e permite milhares de giros no mesmo tempo. Milhares de giros ligeiramente errados baixam a nota mais rápido do que um punhado de giros perfeitos. Como cada lote é diferente, a direção também balança, e esse balanço pode sacudir o modelo para fora de um ajuste que parecia bom mas não era o melhor disponível.

Descer uma montanha numa neblina espessa. Você não enxerga o vale, então sente a inclinação sob os pés e dá um passo morro abaixo, de novo e de novo — mapear a montanha inteira antes de cada passo daria a direção perfeita e levaria uma eternidade. SGD é ler só o chão debaixo das suas botas: leituras mais grosseiras, muito mais passos, e o tropeço ocasional que te tira de uma depressão pequena que não era o fundo de verdade.