O que é uma mistura de especialistas (MoE)?

Uma mistura de especialistas é um modelo construído como muitas seções especializadas menores, com só algumas delas ligadas para cada pergunta. O modelo pode ser enorme no total enquanto faz o trabalho de um muito menor toda vez que responde. É assim que vários dos maiores modelos continuam acessíveis de rodar.

O ponto de uma mistura de especialistas é que tamanho total e trabalho por resposta deixam de ser a mesma coisa. Num modelo comum toda pergunta acorda a rede inteira, então dobrar o modelo dobra o trabalho feito em cada resposta. Uma mistura de especialistas é construída como seções separadas, os especialistas, com um pequeno roteador na frente que escolhe quais consultar para cada pedaço da entrada. Faça uma pergunta de programação e ele pode acordar duas seções de sessenta e quatro, então a resposta é computada por uma fatia do modelo, não por ele inteiro. Cada seção ainda precisa ficar na memória esperando ser chamada, então a economia está no trabalho feito por resposta, não no custo de manter o modelo disponível. O treinamento também exige cuidado extra, porque um roteador que insiste nos mesmos favoritos deixa boa parte do modelo mal treinada. A recompensa explica por que o projeto continua aparecendo em modelos de fronteira: a capacidade pode crescer sem o trabalho de cada resposta crescer junto.

A caixa de ferramentas de um mecânico com duzentas ferramentas. Qualquer conserto usa quatro ou cinco delas, e ele vai direto nessas enquanto o resto fica na gaveta, então o serviço não pesa mais do que se a caixa fosse pequena. Ele ainda comprou as duzentas e ainda arrasta a caixa inteira para cada chamado, porque a graça de ter o conjunto é que qualquer coisa que aparecer já está coberta. Trabalho leve em cada conserto, custo permanente de manter esse alcance à mão.