Sequential Attentionとは？

Sequential Attentionとは、データセットのどの列でモデルを訓練すべきかを決める、Google Researchの手法だ。データセットとは表のことで、各行が1つの例、各列がその例について記録された1つの項目になる。Googleのテストの1つでは、行が手書き数字の画像で、列が784個のピクセルだった。各列には、そのピクセルの明るさが入っている。784列すべてで訓練することもできるが、多くのピクセルは同じことを言っている。そして少ない列で訓練したモデルのほうが小さく、速い。Sequential Attentionは、試しの訓練で役に立つ列を見つける。モデルは784列それぞれの点数を学び、いちばん点数の高い列が残され、訓練が続いて点数が変わり、次の列が残される。50列を選んだら試しのモデルは捨て、その50列だけできれいなモデルを訓練する。それでも数字を正しく当てた割合は95.6%だった。

Sequential Attentionとは、データセットのどの列でモデルを訓練すべきかを決める、Google Researchの手法だ。データセットとは表のことだ。各行が1つの例、各列がその例について記録された1つの項目で、この分野では列のことを特徴量（feature）と呼ぶ。どの列で訓練するかを選ぶことを特徴量選択といい、これが大事なのは、少ない列で訓練したモデルのほうが小さく、速く、集めるデータも少なくて済み、どの列に頼っているかも見えるからだ。Googleのテストの1つでは、行が手書き数字の画像、列が784個のピクセルで、各列に明るさが入っていた。目標は50列を残すことだった。難しいのは、ある列の価値が、ほかにどの列が入っているかで変わることだ。いつも一緒に明るくなる2つのピクセルは、それぞれ単独では役に立つが、両方そろうと片方は無意味になる。各列を一度だけ採点して上位50を残すと、この点を見落とし、ペアを残してしまう。列ごとに新しく訓練して試せばこれを見抜けるが、1つ目を選ぶのに784回、2つ目に783回、50個目の735回まで続き、合計37,975回の訓練がかかる。Sequential Attentionは、これを1回の試しの訓練で済ませる。モデルは列ごとに1つの追加の点数を持って訓練され、点数はほかのすべてと一緒に学ばれ、784個の合計が1になるように整えられる。いちばん点数の高い列が残される。その選択を固定したまま訓練が続き、点数がまた落ち着く。すでに残した列をくり返すだけの列は、点数が下がる。50列を選んだら試しのモデルは捨て、点数の部分を持たないきれいなモデルを、その50列だけで訓練する。そのモデルは数字を95.6%の割合で正しく当て、試されたほかの選択手法と同等か、それを上回った。この点数は一種のアテンションで、単語どうしを比べて重みをつけるトランスフォーマーのアテンションと同じ考え方を、列の重みづけに借りたものだ。この手法にピクセルならではの部分はなく、列からなる表ならどれでも同じように絞り込める。一般に最良の50列を約束できる手法はなく、この手法がうまく働くと証明されているのは、いちばん単純な種類のモデルだけだ。これは蒸留でも量子化でもない。それらは訓練後のモデルを縮めるものだが、こちらはそもそも何でモデルを訓練するかを決める。

Sequential Attentionとは、データセットのどの列でモデルを訓練すべきかを決める手法で、試しの訓練でいちばん役に立つ列を残し、残りを採点し直して、次の列を残していく。航空会社の重量制限内でスーツケースに荷物を詰めるのも同じしくみだ。丁寧に詰める人は、まずいちばん役に立つものを入れ、次にすでに入っているものを踏まえて何がいちばん役立つかを考える。暖かい上着を1枚入れたら、2枚目の上着はほとんど役に立たないので、ベッドの上に残る。雑に詰める人は、持ち物を一度だけ役立ち度で順位づけして上位20個を持っていき、3枚の上着がそろって入る。どれも単独では点数が高いからだ。持ち物が列、すでに入っているものを踏まえて何が役立つかという問いが選ぶたびの採点し直し、3枚の上着が一度きりの順位づけで残ってしまう重複した列だ。たとえが通じるのはここまでだ。荷物を詰める人は目で判断するが、Sequential Attentionはモデルを訓練して判断させ、一度入った列はもう出ない。