多くの場合、AIの利用料は誰も気づかないうちに小規模チームの予算を静かに吸い取っていきます。朗報は、コスト削減に関する記事を読んだ読者たちだけがこの現実に気づいているわけではないということです。彼らは自分たちの構成を送ってくれましたし、その節約額は実際に共有する価値があります。コロラドスプリングスをはじめとする各地で、3つのパターンが繰り返し登場しています。APIへのわずかな出費を marginal cost ゼロの研究ループに置き換えたソロ起業家、押し入れのホコリの被ったハードウェアでローカルモデルを動かす教師、そしてクラス計画のアシスタントをクラウドから完全撤退させたヨガスタジオのオーナーです。技術者である人は一人もいません。いずれのケースも、月々のAI支出を90%以上削減しています。
最初のパターンは、静かな置き換えです。ソロ起業家は、ホスティング型チャットツールに送っている「ちょっとした質問」が毎回サンドイッチ1個分の値段くらいになることを実感し、質問が積み上がっていくことに気づきました。週に2回、本当にトップレベルの推論が必要な業務にはクラウドモデルを温存し、日々のドラフト作成やアウトライン、メールの書き換えにはノートパソコンで動く小型のローカルモデルに移行しました。支出総額は月40ドル程度から電気代以下の1ドル未満に低下しました。重要なのは、利便性のために予算が漏れ出さないようにしつつ、どの業務がクラウド予算に見合うのかをしっかり書き出しておくことです。
2つ目のパターンは、退役したハードウェアの復活です。中学校の教師が保管庫から古いデスクトップを引っ張り出し、 無料のローカルモデルランナーをインストールし、閉域ネットワーク上で短いライティング課題の採点と保護者向けメールの下書き生成に利用しています。 学校支給のChromebookには一切触れず、生徒データは教室から一切出ず、継続的なコストは機械の電源を入れる電気代だけです。 その教師は、学校が年間およそ1,500ドルのサブスクリプションを回避できたと見積もっています。 押入れに使えるタワー型PCがあるなら、ほぼ確実に十分な性能があります。
3つ目のパターンは、誰も語らないハイブリッド構成です。 スタジオのオーナーは、通常業務——スケジュール案内、クラス説明、SNSキャプション——をすべてローカルで処理し、会員から nuanced な健康に関する質問があった場合にのみ、より高い推論力が必要な場面でホスト型モデルにルーティングします。 トラフィックの95%がクラウドに到達しないため、ホスティング料金はおさまっていて予測可能です。 発想の転換は、ローカルモデルを表口（front door）として位置づけ、クラウドを待機 specialist とみなすことです。
共通している点は、各業務が本当に必要とするものへの誠実な向き合い方と、小切手を切る午後の代わりに、セットアップに1日の午後を費やす意欲です。 90%の節約がマーケティングのように聞こえたとしても、それは marketing ではありません。安い選択肢が同時に仕事に近い選択肢であるときに、必然的に起こる結果です。
すでに所有しているハードウェアで、最も安価かつ実用的なローカル構成を始めるためのチェックリストをご希望ですか？ニュースレターに登録していただくと、読者の方々が今まさに使っている正確なプロンプトや小型モデルの選定を含む、無料の1ページガイドをお送りします。