私たちはLLMコストを抑えるためのダッシュボードを作った — そして、それが私たちの実践を変えた
ヨガのクラスには、ポーズを無理やり作ろうとするのをやめ、ただ身体が何をしているかに気づく瞬間があります。股関節が硬い。呼吸が浅い。肩が代償している。その気づきの瞬間 — 評価せず、正確に捉えること — から変化は始まります。力づくではなく、気づきから。
私たちがAI Model Pricing Dashboardを作った理由も、まったく同じでした。Large Language Modelsにもっとお金を使いたかったからではなく、私たちがすでに何にいくら使っているのかを — 正直に、正確に — 言えなかったからです。チームの誰も把握していませんでした。請求書は届くのに、だれも単純な問いに答えられなかったのです。私たちは実際にどのモデルを使っていて、プロバイダーごとのコストはいくらなのか？
裏側の混乱
複数のプロバイダーにまたがってAIワークロードを運用したことがあるなら、そのつらさはよく分かるはずです。OpenRouterはトークン単価で請求し、料金は1種類です。OpenAIは入力トークンと出力トークンを別価格に分けています。Anthropicには独自の体系があります。Kilo AI Gatewayは、超過料金の計算を伴うサブスクリプションプランを重ねています。各プロバイダーでトークンの数え方が異なり、各プロバイダーがリリースノートなしに価格表を変更します。
それは、5冊の異なる本を5つの異なる言語で読みながらヨガを練習し、そのどれもが「Downward Dog」の意味に同意していないようなものです。なんとかやり過ごすことはできます。でも、身体は代償します。そして代償にはコストがあります。インフラ面ではお金として、マットの上ではアライメントとして支払うのです。
ダッシュボードがすること
AI Model Pricing Dashboardはオープンソースのツールです。BSD 3-Clause、MITでも使いやすいライセンスで、FastAPIのバックエンドとNext.jsのフロントエンドで構築されています。10以上のLLMプロバイダーにわたる価格を集約し、すべてを100万トークンあたりのドルに正規化し、比較を容易にする単一の、絞り込み可能で並べ替え可能な表を提供します。
しかし、本当の価値は表そのものではありません。本当の価値は、その表が明らかにするものです。
入力トークンと出力トークンの計算。 多くのチームは「1回あたりのコスト」で考えがちです。しかし、現代のLLM利用では出力トークン — モデルの応答 — が大きな割合を占めます。入力トークン100万あたり2ドル、出力トークン100万あたり15ドルを請求するモデルは、それぞれ5ドルと6ドルのモデルとはまったく異なるコスト構造です。ダッシュボードはこれを即座に可視化します。
コンテキストウィンドウの文脈。 128Kのコンテキストウィンドウを持つモデルは、4Kのウィンドウを持つモデルよりトークン単価では高く見えるかもしれません。しかし、長いプロンプトを処理するために、より安いモデルへ複数回の呼び出しをつないでいるなら、大きなコンテキストウィンドウを持つ高価なモデルのほうが、実際には安く、しかもより良い結果を出します。
トレンド追跡。 価格は変わります。ダッシュボードは30日分の価格履歴を保存します。つまり、次の請求書に反映される前に、プロバイダーの価格変更を確認できるということです。
Kiloプランの試算。 Kilo AI Gatewayのユーザーなら、ダッシュボードは実際の利用状況を各ティアに照らし合わせ、超過料金を含めた総コストを最小にするプランを示します。
その下のアーキテクチャ
このシステムはPostgresとRedis上で動作し、本番展開用にKubernetesのマニフェストを備えています。FastAPIのバックエンドは900秒のRedisキャッシュで価格集約を処理します。リアルタイムのダッシュボード利用には十分高速で、プロバイダーAPIには十分やさしい設定です。CronJobは15分ごとに価格を更新し、毎日UTC 9時にメールレポートを送信します。
ローカル開発では、docker-compose.ymlでスタック全体が立ち上がります。Postgres、Redis、API、そしてNext.jsのフロントエンドが、2分以内です。
私たちがKubernetesを選んだのは、このダッシュボードに大規模なスケールが必要だからではありません。むしろ、デプロイのパターンは退屈であるべきだからです。Traefikをingressに、cert-managerをTLSに、APIとWebのレプリカには水平ポッドオートスケーリングを。退屈は信頼性です。信頼性は、これが予算判断に影響するツールであるときに求めるものです。
ヨガとダッシュボードが交わる場所
ここは、どんなアーキテクチャブログも教えてくれない部分です。コスト最適化とヨガは、同じ最初の一歩を共有しています。
ヨガでは、気づきが変化に先立つと言います。アライメントが崩れた股関節に気づいていなければ、修正することはできません。慢性的に緊張したあごに気づいたことがなければ、それをゆるめることはできません。気づくことが実践です。気づくことから主体性が始まります。
このダッシュボードがあるのは、私たちが気づいたからです。初めて、私たちはAIワークロードが実際にいくらかかっているのかを、正確かつ率直に把握できました。見積もりではなく、「なんだか高い気がする」という曖昧な感覚でもなく、数字として。そして、数字があれば意思決定ができます。このワークロードではプロバイダーを切り替えるべきか。重要でないタスクにはもっと安いモデルを使うべきか。もっと積極的にキャッシュすべきか。コンテキストウィンドウの大きいモデルを選び、呼び出しの連鎖をなくすべきか。
そうした判断は、以前は見えませんでした。データが存在しなかったからではなく、5つのプロバイダーダッシュボード、3つの請求ページ、そして誰も更新しないスプレッドシートに散らばっていたからです。
私たちはスクレイパーを作りました。正規化ツールを作りました。ダッシュボードを作りました。そして最初の週に使ったとき、4か月間続いていた月40ドルの非効率を見つけました。見ていなかっただけで、160ドルを使っていたのです。ダッシュボードの構築費は、夕方ひとつ分もかかりませんでした。
データから学んでいること
ダッシュボードを導入して以来、私たちの仕事の進め方は3つ変わりました。
タスクに応じた適正化。 私たちは今、ブランドの好みではなく、実際のタスクあたりコストに基づいて、特定のタスクに特定のモデルを割り当てています。繰り返しが多く複雑性の低いタスクは、より安く高速なモデルへ。複雑な推論タスクは、品質が価格に見合う場所へ。これは新しい考えではありません。身体がその日に実際に必要としているものに応じて、リストラティブな練習とパワーフローを選ぶのと同じ原理です。
プラーナヤーマとしてのキャッシング。 ヨガでは、プラーナヤーマ（呼吸の制御）は、ひと呼吸ごとを大切にする実践です。量は少なく、意図はより強く、酸素交換はより良く。LLMレスポンスをキャッシュすることも同じ概念です。同じプロンプトが同じ出力を生むなら、それを保存します。同じ計算に二度お金を払う必要はありません。Redisキャッシュと900秒のTTLにより、ダッシュボードは私たちの重複トークン支出をおよそ30%削減しました。呼吸は少なく、得るものは多く。
トレンドへの気づき。 30日間にわたる価格トレンドの追跡により、ブログ記事でそれを読むより先にプロバイダーの値下げに気づけます。あるプロバイダーが料金を20%下げたら、1時間以内に分かります。値上げがあれば、次の請求サイクルの前に見直せます。気づき。主体性。決断。
オープンソース、それは道具を囲い込むのが悪いヨガだから
このプロジェクトはGitHubでBSD 3-Clauseライセンスです: github.com/andreab67/ai-models-pricing。Kubernetesのマニフェストも含まれています。APIドキュメントはFUNCTIONAL.mdにあります。SBOM — すべての依存関係、そのライセンス、セキュリティメモ — はSBOM.mdにあります。
私たちがこれをオープンソースにしたのは、問題が私たちだけのものではないからです。複数プロバイダーのAIワークロードを運用しているチームなら、誰でもこの問題を抱えています。そして、役立つ道具を囲い込むのは、ヨガのたとえで言えば、その人の助けになるポーズを教えることを拒むようなものです。実践は共有で損なわれません。むしろ深まります。
今週の一歩
あなたのチームがLLMワークロードを運用していて、「プロバイダーごと、タスクごとにいくら使っているのか」にすぐ答えられないなら — あなたは代償しています。ひどくではなく、ただ高くついているだけです。
ダッシュボードをローカルで立ち上げてください。Dockerなら2分です。実行して、数字を見てください。数字に、あなたが気づいていなかったことを語らせてください。
それから決めてください。
それが、マットの上で私たちがしている実践と同じです。到着し、気づき、選ぶ。道具は変わっても、原理は変わりません。
AI Model Pricing Dashboard はgithub.com/andreab67/ai-models-pricingでオープンソース公開されています。本番インスタンスは私たちのKubernetesクラスタ上で稼働しています。デプロイや独自のコストアラートパイプラインへの統合を手伝ってほしい場合は、ご連絡ください。