安い分類器でモデルを振り分ける前に：Google が示した「1 件あたりの費用」の測り方

質問ごとにモデルを替えて、費用を下げたい。Google の 11 月 3 日の解説は、このよくある考えを、数字で確かめています。

試したこと

例は、Gemini 3.5 Flash-Lite と、思考の深さ（thinking）を low にした Gemini 3.8 Flash の 2 つに、安い分類器で質問を振り分けるというものです。やさしい 25 問と難しい 25 問の、合わせて 50 問で比べました。

読みどころ

振り分けは全問正解でしたが、速いモデルを low で全部に使っても全問正解でした。つまり、この試験では、振り分けによる品質の利点は見えていません。Google の勧めは、まず Flash を low で試し、そのうえで振り分けが得かどうかを、1 件あたりの費用で決めることです。

もう 1 つの落とし穴は、出力の上限です。費用を抑えようと出力を 300 トークンに絞ると、難しい問題で答えが途中で切れました。

勧め

1. まず Flash を low で試す。
2. 振り分けには、正規表現ではなく分類器を使う。
3. 長い文脈の会話は、1 つのモデルに保つ（キャッシュを生かすため）。
4. セキュリティの質問を試験に入れる。Flash が答えたコードのセキュリティの質問 2 つを、Pro は断った。
5. タスクごとの費用を追い続ける。

作り手にとっての意味

GitHub の Copilot Fusion の Cascade、Cloudflare のレビューの費用 68% 減と、モデルの振り分けの話題は 10 月から続いています。共通するのは、「賢い振り分け」より先に「測る」ことです。

品質の試験と 1 件あたりの費用を同時に見る仕組みがあれば、振り分けるべきか、1 つのモデルで足りるかは、数字が決めてくれます。振り分けの仕組みを作る前に、まず 50 問の試験を作る。地味ですが、いちばん効く順番です。