O que é o trade-off viés-variância?

O trade-off viés-variância é o equilíbrio entre um modelo simples demais para capturar o padrão real e um tão flexível que aprende também o ruído. Simples demais é viés alto: errado do mesmo jeito em todo lugar. Flexível demais é variância alta: os resultados oscilam conforme os dados que ele viu.

Viés é o erro que um modelo comete por ser rígido demais: as suposições dele são simples demais para o padrão real, como prever preços de imóveis só pelo tamanho quando a localização também importa. Um modelo enviesado erra sistematicamente, e mais dados não consertam isso, porque o limite está no modelo, não na informação. Variância é o erro que um modelo comete por ser flexível demais: ele se molda aos exemplos exatos em que treinou, ruído incluído, então uma amostra diferente produz um modelo diferente. A complexidade é o botão que liga os dois, já que aumentá-la baixa o viés e sobe a variância. Para diagnosticar qual dos dois você tem, compare as notas no treinamento com as notas em dados novos: fraco nos dois significa viés; forte no treinamento mas fraco no novo significa variância. As alavancas puxam em sentidos opostos, porque modelos mais ricos cortam o viés enquanto mais dados cortam a variância.

Alfaiataria. Viés alto é a camiseta de tamanho único: não veste ninguém direito, mas falha com todo mundo de forma consistente. Variância alta é um terno costurado colado na sua postura do dia da medição — impecável naquela tarde, impossível de usar depois de um almoço reforçado.