コンテキストエンジニアリングとは？

コンテキストエンジニアリングとは、モデルが答える前に何を見るかをすべて決める仕事のことをいう。方針を決めるのはその仕組みを作るチームで、質問が届くたびにモデルの周りのコードがそれを実行する。その場所を埋めるものは四つある。常設の指示、自社の文書から取ってきた事実、ここまでの会話、そしてモデルが使ってよい道具だ。プロンプトエンジニアリングは質問の言い回しの話で、コンテキストエンジニアリングはモデルがその質問を読むときに目の前に置かれているものの話になる。

コンテキストエンジニアリングとは、モデルが答える前に読むものを組み立てる仕事をいう。どの情報源を検索するか、前の会話をどこまで残すか、長くなりすぎたら何を要約するか、そもそもどの道具の存在を伝えるか、そのすべてを誰かが決めている。サポート用のボットに返品規定を聞けば適当に作り上げてしまうが、それは規定を目の前に置く手配を誰もしなかったからだ。自分で規定を貼り付けても動くのだが、顧客ひとりひとりにそれをやる人はいないので、仕組みのほうが組み立てるしかない。ではなぜ、鋭いプロンプトを書くより重要なのか。プロンプトが形づくれるのは一回の答えだけで、二十段階を走る仕組みはその一段階ごとに適切な材料を必要とするからだ。制約はコンテキストウィンドウが有限であることで、多ければよいわけではなく、手持ちを全部入れれば肝心な部分が埋もれてしまう。AI機能が試験では動いて本番で失敗するとき、たいていこの組み立てが壊れている。

これから執刀する外科医を思えばいい。依頼の言い回しは、この段階ではほとんど関係がない。効いてくるのは、画面の画像がこの患者のものか、カルテのアレルギー欄が正しいか、並べられた器具がこの手術に要るものかどうかだ。優秀な外科医に違うカルテを渡せば、その腕がどれだけよくても手術は失敗する。