「コンテキストウィンドウ」とは？

コンテキストウィンドウは、AIモデルが一度に考慮できるテキスト量の上限で、入力と返答の両方を含む。この限界を超えた部分はモデルには見えない。単位はトークンで、単語まるごとではなく単語のかけらだ。

ウィンドウにはその場の全てが数えられる。これまでの会話、貼り付けた文書、そして生成中の返答だ。サイズはトークンで表され、英語では1トークンが単語の約4分の3にあたり、128,000が標準で、100万をうたうモデルもある。100万は長編小説数冊ぶんだ。会話がウィンドウからあふれると古いメッセージから順に落ちるため、長いセッションは冒頭の指示を忘れる。大きなウィンドウは料金も高くつく。モデルは各トークンを他の全トークンと照合するので、テキストが2倍になると計算はおよそ4倍になるからだ。さらに、モデルは非常に長い入力の中間部分に弱く、冒頭と末尾のほうをよく覚えている。これは lost in the middle と呼ばれる実測された現象だ。

会議室のホワイトボード。必要なことは全部そこに収め、埋まったら一番古い隅を消して新しいメモの場所を作る。1分目の計画が3時間目に消えているのは、忘れたからではなく板の面積が尽きたからだ。