「トークン化」とは？

トークン化は、AIモデルがテキストを読む前に細かく刻む処理だ。刻まれた断片はトークンと呼ばれ、たいてい単語まるごとではなく単語の一部になる。モデルはトークン単位で見て、数えて、課金する。

トークナイザは5万〜20万項目ほどの固定語彙を持ち、訓練テキストで頻出する文字の組み合わせから作られる。よく使う語は1トークンのまま残り、珍しい語は分割される。英語では平均して1トークンが単語の約4分の3だが、同じ文でも日本語やヒンディー語では2〜3倍のトークンを消費することがある。語彙が主に英語のテキストから作られたためだ。APIは100万トークン単位で課金されるので、同じ質問が言語によって文字どおり割高になる。有名な失敗もこれで説明がつく。「strawberry」の文字数を数えられないモデルは、文字を見ておらず、2〜3個の塊を見ている。数字も変な場所で切られるため、計算でつまずく一因になっている。

レゴで作る城。ひとかたまりで成形されるのではなく、決まったカタログの標準ブロックから組み上げられ、作り手はブロック単位でしか考えない。ブロック内部のプラスチックの模様を尋ねてもぽかんとされるのは、彼らにとってブロックが存在する最小単位だからだ。