AIの請求額は、多くの場合、誰にも気づかれないまま小規模チームの資金を静かに吸い取っていきます。朗報なのは、コスト削減の記事を読みに来た読者たちだけがこの問題を解決しているわけではないということです。彼らは自分たちの構成を送ってくれ、実際に十分共有できるだけの節約が実現していました。Colorado Springs でもその先でも、次の3つのパターンが何度も現れます。1つは、数ドルのAPI費用を捨てて、$0の限界コストで回るリサーチの仕組みに切り替えた個人創業者。1つは、クローゼットの中で埃をかぶっていたハードウェアでローカルモデルを動かしている教師。もう1つは、クラス運営のアシスタントをクラウドから完全に切り離したヨガスタジオのオーナーです。彼らは誰一人としてエンジニアではありません。全員が、毎月のAI支出を90%以上削減しています。
1つ目のパターンは、静かな置き換えです。個人創業者は、ホスト型チャットツールに送るたびに、ちょっとした質問でもサンドイッチ1個分くらいの費用がかかっていることに気づき、そうした質問が積み重なっていくことも理解しました。彼女は、真に高度な推論が必要な週2回の作業だけはクラウドモデルを使い続け、それ以外の日々の下書き、アウトライン、メールの書き換えは、ノートパソコン上で動く小さなローカルモデルに移しました。総支出は、月に約四十ドルから電気代、つまり1ドル未満まで下がりました。重要なのは、どの作業にクラウド予算を使う価値があるのかを実際に書き出して、利便性に流されて無駄が漏れ出さないようにすることです。
2つ目のパターンは、使われなくなったハードウェアの再生です。ある中学校の教師は、倉庫に入っていた古いデスクトップを取り出し、無料のローカルモデル実行環境をインストールして、今では閉じたネットワーク上で短い作文課題の採点や保護者向けメールの下書き作成に使っています。学校支給のChromebookはそのままで、生徒データが外に出ることはなく、継続的にかかる費用は箱を動かし続けるための電気代だけです。彼の試算では、学校は年間およそ千五百ドルのサブスクリプション費用を回避できました。クローゼットに動くタワー型PCがあるなら、ほぼ間違いなく十分な性能があります。
3つ目のパターンは、誰もあまり語らないハイブリッド型です。スタジオのオーナーは、スケジュールへの回答、クラスの説明、SNS用のキャプションなど、すべてをデフォルトでローカルに処理し、会員から繊細な健康上の質問が来て、より強い推論が必要なときだけホスト型モデルに回しています。トラフィックの95%がクラウドに触れないため、ホスト型の請求額は小さく、予測しやすいものになっています。考え方の転換点は、ローカルモデルを正面玄関、クラウドを呼び出し中の専門家として扱うことです。
共通するのは、各タスクに本当に何が必要なのかを正直に見極め、1日かけて支払いをする代わりに、1日かけて設定を整える覚悟があることです。90%の節約がマーケティング文句のように聞こえるなら、それは違います。より安い選択肢が、実際の作業にとってもより近い場所にあるときに起こることなのです。
すでにお持ちのハードウェアで、できるだけ安く実用的なローカル構成を始めるためのチェックリストが欲しいですか？ ニュースレターに登録すると、無料の1ページガイドに加え、読者の皆さんが今使っている正確なプロンプトと、小規模モデルのおすすめをお送りします。