O que é uma alucinação de IA?

Uma alucinação de IA é quando um modelo de IA afirma informação falsa com confiança completa: fatos inventados, citações falsas, eventos que nunca aconteceram. Acontece porque o modelo gera texto que soa plausível em vez de checar fatos. Respostas erradas se leem exatamente como as certas.

Alucinações acontecem porque um modelo de linguagem prevê as próximas palavras mais plausíveis com base nos padrões dos dados de treinamento, e plausível não é o mesmo que verdadeiro. Quando o modelo conhece bem um assunto, o que soa certo geralmente está certo. Quando não conhece, as palavras continuam fluindo mesmo assim, igualmente fluentes e confiantes, agora recheadas de coisas que apenas soam certas: um processo judicial falso, uma estatística inventada, um livro que o autor nunca escreveu. O exemplo famoso dos primeiros tempos foi o dos advogados punidos por protocolar uma petição citando seis processos que a IA simplesmente inventou. Duas coisas a tornam perigosa: a confiança nunca cai, então você não consegue ouvir a diferença, e os erros caem com mais força exatamente onde checar é tedioso — citações, números e detalhes técnicos. As correções reduzem em vez de curar: ancorar o modelo em documentos recuperados para que ele cite em vez de lembrar, pedir fontes, baixar o quão criativamente ele sorteia, e manter um humano conferindo qualquer coisa que importe.

A cirurgiã brilhante no jantar de família. Em medicina ela é genuinamente soberba, e esse é exatamente o problema. A mesma voz de autoridade cobre motores de carro, direito tributário e Roma antiga, assuntos que ela conhece dez vezes menos, porque décadas de estar certa apagaram a noção de onde a expertise dela termina; ela não está mentindo, ela não consegue sentir a fronteira. Tudo o que passa dela sai na mesma voz confiante de cirurgiã, e os convidados só descobrem quais afirmações eram sólidas quando checam depois.