O que é Sequential Attention?

Sequential Attention é um método do Google Research para decidir com quais colunas de um conjunto de dados um modelo deve ser treinado. Um conjunto de dados é uma tabela: cada linha é um exemplo, e cada coluna é uma informação registrada sobre ele. Num dos testes do Google, as linhas eram imagens de dígitos escritos à mão e as colunas eram os 784 pixels, cada um com o brilho daquele pixel. Treinar com os 784 funciona, mas muitos pixels dizem a mesma coisa, e um modelo treinado com menos colunas é menor e mais rápido. O Sequential Attention encontra as úteis com um treino de teste. O modelo aprende uma nota para cada uma das 784 colunas, a coluna com a nota mais alta fica, o treino continua, as notas mudam e a próxima coluna fica. Depois de 50 escolhas, o modelo de teste é descartado e um modelo limpo é treinado só com essas 50 colunas. Mesmo assim ele acertou o dígito 95,6% das vezes.

Sequential Attention é um método do Google Research para decidir com quais colunas de um conjunto de dados um modelo deve ser treinado. Um conjunto de dados é uma tabela. Cada linha é um exemplo, cada coluna é uma informação registrada sobre ele, e nessa área uma coluna se chama atributo (feature). Escolher com quais colunas treinar é a seleção de atributos, e isso importa porque um modelo treinado com menos colunas é menor, mais rápido, precisa coletar menos dados e mostra em quais colunas se apoia. Num dos testes do Google, as linhas eram imagens de dígitos escritos à mão e as colunas eram os 784 pixels, cada um com um brilho, e o objetivo era ficar com 50. A dificuldade é que o valor de uma coluna depende de quais outras estão dentro. Dois pixels que sempre acendem juntos são úteis sozinhos e inúteis juntos. Dar nota a cada coluna uma vez e ficar com as 50 melhores ignora isso e mantém pares. Testar cada coluna com um treino novo percebe isso, mas custa 784 treinos para a primeira escolha, 783 para a segunda, e assim até 735 para a quinquagésima, 37.975 no total. O Sequential Attention faz isso num único treino de teste. O modelo é treinado com uma nota extra por coluna, aprendida junto com todo o resto e ajustada para que as 784 notas somem 1. A coluna com a nota mais alta fica. O treino continua com essa escolha fixa, e as notas se acomodam de novo, mais baixas para qualquer coluna que agora só repete uma das escolhidas. Depois de 50 escolhas, o modelo de teste é descartado, e um modelo limpo, sem a parte das notas, é treinado só com as 50 colunas. Esse modelo acertou o dígito 95,6% das vezes, igualando ou superando os outros métodos de seleção testados. As notas são um tipo de atenção, a mesma ideia da atenção de um transformer, que pesa as palavras umas contra as outras, emprestada aqui para pesar colunas. Nada no método tem a ver com pixels: qualquer tabela de colunas pode ser enxugada assim. Nenhum método pode prometer as 50 melhores em geral, e para este só está provado que ele se comporta bem com o tipo mais simples de modelo. Não é destilação nem quantização, que encolhem um modelo depois do treinamento. Isto decide com o que o modelo é treinado desde o início.

Sequential Attention é um método para decidir com quais colunas de um conjunto de dados um modelo deve ser treinado, por meio de um treino de teste que fica com a coluna mais útil, dá nota de novo ao resto e fica com a próxima. Fazer uma mala dentro do limite de peso da companhia aérea funciona do mesmo jeito. Quem arruma a mala com cuidado põe primeiro a coisa mais útil e depois se pergunta o que acrescenta mais, dado o que já está dentro. Depois que entra um casaco quente, um segundo casaco quase não acrescenta nada, então fica em cima da cama. Quem arruma sem pensar classifica cada coisa por utilidade uma vez só e leva as 20 primeiras, e três casacos entram na lista, porque cada um teve nota alta sozinho. As coisas são as colunas, a pergunta sobre o que acrescenta mais dado o que já foi é a nova nota depois de cada escolha, e os três casacos são as colunas repetidas que uma classificação única mantém. A comparação vai até aqui: quem arruma a mala julga no olho, enquanto o Sequential Attention treina um modelo para julgar, e uma coluna que entra não sai mais.