Was ist Sequential Attention?

Sequential Attention ist eine Methode von Google Research, um zu entscheiden, mit welchen Spalten eines Datensatzes ein Modell trainiert werden soll. Ein Datensatz ist eine Tabelle: Jede Zeile ist ein Beispiel, und jede Spalte ist eine Angabe, die darüber erfasst wurde. In einem von Googles Tests waren die Zeilen Bilder handgeschriebener Ziffern und die Spalten die 784 Pixel, jedes mit seiner Helligkeit. Mit allen 784 zu trainieren funktioniert, aber viele Pixel sagen dasselbe, und ein Modell, das mit weniger Spalten trainiert wird, ist kleiner und schneller. Sequential Attention findet die nützlichen mit einem Probe-Training. Das Modell lernt für jede der 784 Spalten eine Bewertung, die Spalte mit der höchsten Bewertung wird behalten, das Training geht weiter, die Bewertungen verschieben sich, und die nächste Spalte wird behalten. Nach 50 Auswahlen wird das Probemodell verworfen, und ein sauberes Modell wird nur mit diesen 50 Spalten trainiert. Es erkannte die Ziffer trotzdem in 95,6 % der Fälle richtig.

Sequential Attention ist eine Methode von Google Research, um zu entscheiden, mit welchen Spalten eines Datensatzes ein Modell trainiert werden soll. Ein Datensatz ist eine Tabelle. Jede Zeile ist ein Beispiel, jede Spalte eine Angabe, die darüber erfasst wurde, und in diesem Fachgebiet heißt eine Spalte Merkmal (Feature). Auszuwählen, mit welchen Spalten trainiert wird, heißt Merkmalsauswahl, und das ist wichtig, weil ein Modell, das mit weniger Spalten trainiert wird, kleiner und schneller ist, weniger gesammelte Daten braucht und zeigt, auf welche Spalten es sich stützt. In einem von Googles Tests waren die Zeilen Bilder handgeschriebener Ziffern und die Spalten die 784 Pixel, jedes mit einer Helligkeit, und das Ziel war, 50 zu behalten. Die Schwierigkeit ist, dass der Wert einer Spalte davon abhängt, welche anderen dabei sind. Zwei Pixel, die immer gemeinsam hell werden, sind einzeln nützlich und zusammen wertlos. Jede Spalte einmal zu bewerten und die besten 50 zu behalten, übersieht das und behält Paare. Jede Spalte mit einem neuen Training auszuprobieren, erkennt es, kostet aber 784 Trainingsläufe für die erste Auswahl, 783 für die zweite, bis hinunter zu 735 für die fünfzigste, insgesamt 37.975. Sequential Attention schafft es in einem einzigen Probelauf. Das Modell wird mit einer zusätzlichen Bewertung pro Spalte trainiert, die zusammen mit allem anderen gelernt und so gestaucht wird, dass die 784 Bewertungen zusammen 1 ergeben. Die Spalte mit der höchsten Bewertung wird behalten. Das Training läuft mit dieser festen Auswahl weiter, und die Bewertungen pendeln sich neu ein, niedriger für jede Spalte, die jetzt nur noch eine behaltene wiederholt. Nach 50 Auswahlen wird das Probemodell verworfen, und ein sauberes Modell ohne Bewertungsteil wird nur mit den 50 Spalten trainiert. Dieses Modell erkannte die Ziffer in 95,6 % der Fälle richtig und war damit so gut wie oder besser als die anderen getesteten Auswahlmethoden. Die Bewertungen sind eine Art Attention, dieselbe Idee wie die Attention in einem Transformer, die Wörter gegeneinander abwägt, hier übernommen, um Spalten abzuwägen. Nichts an der Methode hat mit Pixeln zu tun: Jede Tabelle aus Spalten lässt sich so ausdünnen. Keine Methode kann allgemein die besten 50 versprechen, und für diese ist nur bewiesen, dass sie sich bei der einfachsten Art von Modell gut verhält. Sie ist weder Destillation noch Quantisierung, die ein Modell nach dem Training verkleinern. Diese Methode entscheidet, womit das Modell überhaupt trainiert wird.

Sequential Attention ist eine Methode, um zu entscheiden, mit welchen Spalten eines Datensatzes ein Modell trainiert werden soll, gefunden durch einen Probelauf, der die nützlichste Spalte behält, den Rest neu bewertet und die nächste behält. Einen Koffer mit Gewichtslimit der Airline zu packen funktioniert genauso. Wer sorgfältig packt, legt zuerst das nützlichste Teil hinein und fragt dann, was angesichts dessen, was schon drin ist, am meisten bringt. Ist eine warme Jacke drin, bringt eine zweite Jacke fast nichts, also bleibt sie auf dem Bett. Wer schludrig packt, ordnet jedes Teil einmal nach Nützlichkeit und nimmt die ersten 20, und drei Jacken schaffen es in die Liste, weil jede für sich hoch bewertet wurde. Die Teile sind die Spalten, die Frage, was angesichts des schon Gepackten am meisten bringt, ist die neue Bewertung nach jeder Auswahl, und die drei Jacken sind die doppelten Spalten, die eine einmalige Rangliste behält. Hier endet der Vergleich: Wer packt, urteilt nach Augenmaß, während Sequential Attention ein Modell trainiert, das urteilt, und eine Spalte, die drin ist, bleibt drin.