¿Qué es Sequential Attention?

Sequential Attention es un método de Google Research para decidir con qué columnas de un conjunto de datos conviene entrenar un modelo. Un conjunto de datos es una tabla: cada fila es un ejemplo y cada columna es un dato registrado sobre él. En una de las pruebas de Google, las filas eran imágenes de dígitos escritos a mano y las columnas eran los 784 píxeles, cada uno con lo brillante que era ese píxel. Entrenar con los 784 funciona, pero muchos píxeles dicen lo mismo, y un modelo entrenado con menos columnas es más pequeño y más rápido. Sequential Attention encuentra las útiles con un entrenamiento de prueba. El modelo aprende una puntuación para cada una de las 784 columnas, se queda la columna con más puntuación, el entrenamiento sigue, las puntuaciones cambian y se queda la siguiente columna. Tras 50 elecciones, el modelo de prueba se tira y se entrena un modelo limpio solo con esas 50 columnas. Aun así acertó el dígito el 95,6 % de las veces.

Sequential Attention es un método de Google Research para decidir con qué columnas de un conjunto de datos conviene entrenar un modelo. Un conjunto de datos es una tabla. Cada fila es un ejemplo, cada columna es un dato registrado sobre él, y en este campo a una columna se le llama característica (feature). Elegir con qué columnas entrenar es la selección de características, y importa porque un modelo entrenado con menos columnas es más pequeño, más rápido, necesita recoger menos datos y deja ver en qué columnas se apoya. En una de las pruebas de Google, las filas eran imágenes de dígitos escritos a mano y las columnas eran los 784 píxeles, cada uno con un brillo, y el objetivo era quedarse con 50. La dificultad es que lo que vale una columna depende de cuáles más estén dentro. Dos píxeles que siempre se iluminan a la vez son útiles cada uno por separado y no valen nada juntos. Puntuar cada columna una vez y quedarse con las 50 mejores ignora eso y se queda con parejas. Probar cada columna con un entrenamiento nuevo lo detecta, pero cuesta 784 entrenamientos para la primera elección, 783 para la segunda, y así hasta 735 para la quincuagésima, 37.975 en total. Sequential Attention lo hace con un solo entrenamiento de prueba. El modelo se entrena con una puntuación extra por columna, aprendida junto con todo lo demás y ajustada para que las 784 puntuaciones sumen 1. La columna con la puntuación más alta se queda. El entrenamiento sigue con esa elección fija, y las puntuaciones vuelven a asentarse, más bajas para cualquier columna que ahora solo repite una de las elegidas. Tras 50 elecciones, el modelo de prueba se descarta y se entrena un modelo limpio, sin la parte de puntuación, solo con las 50 columnas. Ese modelo acertó el dígito el 95,6 % de las veces, igualando o superando a los otros métodos de selección probados. Las puntuaciones son un tipo de atención, la misma idea que la atención de un transformer, que sopesa unas palabras frente a otras, tomada aquí para sopesar columnas. Nada del método tiene que ver con píxeles: cualquier tabla de columnas se puede recortar así. Ningún método puede prometer las 50 mejores en general, y de este solo está demostrado que funciona bien con el tipo de modelo más simple. No es destilación ni cuantización, que encogen un modelo después de entrenarlo. Esto decide con qué se entrena el modelo desde el principio.

Sequential Attention es un método para decidir con qué columnas de un conjunto de datos conviene entrenar un modelo, mediante un entrenamiento de prueba que se queda con la columna más útil, vuelve a puntuar el resto y se queda con la siguiente. Hacer una maleta con el límite de peso de una aerolínea funciona igual. Quien hace la maleta con cuidado mete primero la cosa más útil y luego se pregunta qué aporta más dado lo que ya hay dentro. Cuando entra un abrigo, un segundo abrigo casi no aporta nada, así que se queda en la cama. Quien la hace sin pensar clasifica cada cosa por utilidad una sola vez y se lleva las 20 primeras, y tres abrigos entran en la lista porque cada uno puntuó alto por su cuenta. Las cosas son las columnas, la pregunta de qué aporta más dado lo que ya hay es la nueva puntuación tras cada elección, y los tres abrigos son las columnas repetidas que deja una clasificación única. Hasta aquí llega la comparación: quien hace la maleta juzga a ojo, mientras que Sequential Attention entrena un modelo para que juzgue, y una columna que entra ya no sale.