ワークフローに反復的で明確に定義されたタスクが含まれる場合、ローカルモデルを試す価値があるかもしれません。費用を節約できるかどうかは、ハードウェア、電気代、メンテナンス、ホスト型モデルの料金、必要な品質によって異なります。これは計画のための例であり、実測された90%の削減や特定のプロバイダーからの請求額を報告するものではありません。
代表的なタスクから始めましょう。整形、分類、検索、より難しい推論を分けます。モデルを比較する前に、必要な結果を記録してください。
限定した一部のタスクでローカルモデルを試し、結果が確認基準を満たさない場合に備えてホスト型の代替手段も用意します。タスクが簡単に見えるからといって、ローカルモデルの精度が自動的に十分になるわけではありません。トークン料金だけでなく、エラーと確認にかかる時間も測定しましょう。
反復作業を明示的でテスト可能なスキルにします。キャッシュは、入力とデータの新しさに関する要件が許す場合にのみ使ってください。ホスト型モデルへのリクエストに加え、セットアップ、ハードウェアの使用、メンテナンスも考慮しましょう。
タスクを1件正常に完了するための総コストと応答時間を、同じ基準と比較します。根拠がある場合にローカルへのルーティングを拡大し、より強力なモデルが有用な品質をもたらす場合はそれを使い続けましょう。
実験を計画する際に確認できるツールやコードについては、Green Yoga Incソフトウェアカタログをご覧ください。関連する記事はウェブサイトのニュースレターページで読めます。どちらも、メールで送るワークシートや、誰にでも当てはまる節約率を約束するものではありません。
