Overfitting vs. underfitting: qual é a diferença?

Overfitting é um modelo aprender os dados de treinamento com especificidade demais, ruído incluído, então ele gabarita o treinamento e tropeça em qualquer coisa nova. Underfitting é o oposto: um modelo simples demais para aprender o padrão, então falha em todo lugar.

O sinal denunciador é a diferença entre dois números: a nota do modelo nos dados em que treinou e a nota em dados reservados que ele nunca viu. Underfitting pontua mal nos dois, porque o modelo nunca capturou o padrão. Overfitting pontua excelente nos dados de treinamento e claramente pior nos reservados, tendo decorado o material de estudo em vez de aprender a matéria. Overfitting vem de complexidade demais no modelo, dados de menos ou treinamento longo demais; underfitting, de um modelo simples demais ou alimentado com entradas fracas. As correções espelham as causas: mais dados, regularização ou um modelo mais simples contra o overfitting; um modelo mais rico ou entradas melhores contra o underfitting. Uma distinção para manter em ordem: esses são os sintomas nas notas, enquanto viés alto e variância alta são os diagnósticos por trás deles.

Aprender a dirigir só na garagem de casa: cada rachadura e lombada decoradas, cada manobra impecável, e aí a rodovia vira o caos, porque você aprendeu a garagem, não a dirigir. Isso é overfitting. Underfitting é ter tido uma única aula vaga — o carro anda quando o pedal é pressionado — que falha na garagem e na rodovia igualmente.