O que é um modelo multimodal?

Um modelo multimodal é uma IA que lida com mais de um tipo de entrada, como texto, imagens, áudio e vídeo, dentro de um único sistema. É por isso que você pode fotografar uma página e fazer uma pergunta sobre ela no mesmo fôlego. Os modelos anteriores só liam texto, então qualquer outra coisa tinha que ser descrita a eles primeiro.

Os modelos mais antigos só liam texto, então qualquer outra coisa tinha que ser descrita em palavras primeiro, e a maioria das coisas não sobrevive a essa tradução. Um modelo multimodal remove essa etapa transformando cada tipo de entrada no mesmo formato interno antes de processar qualquer coisa. Uma frase, uma fotografia e alguns segundos de fala viram, todos, longas listas de números. Uma vez que são números, o modelo os trata do mesmo jeito, e é isso que permite que uma pergunta sobre uma imagem viaje na mesma requisição que a própria imagem. Então uma foto de um recibo ou de uma tela de erro entra direto, e ele pode responder coisas que precisam dos dois ao mesmo tempo, como o que está errado neste gráfico. O custo é tamanho e velocidade, já que imagens e áudio viram muito mais números do que uma frase. Isso corrói a janela de contexto e deixa cada resposta mais lenta e mais cara. Conseguir receber uma entrada não é o mesmo que lidar bem com ela, então um modelo que lê uma página digitada com confiança ainda pode ler errado um diagrama desenhado à mão.

Guiar alguém por um problema de computador pelo telefone. Tudo o que você sabe chega pela descrição da pessoa, então se ela nunca menciona a luz vermelha piscando, a luz não existe no que lhe diz respeito. Fique ao lado da máquina e você mesmo lê o erro, nota o cabo desconectado e ouve o clique. Você não ficou mais inteligente — ganhou acesso a informação que estava lá o tempo todo.