ローカルモデルは、あらゆる支出を一定の割合で削減できると約束できなくても、役立つ場合があります。ローカル推論とホスト型推論の適切な使い分けは、タスク、利用可能なハードウェア、コンテキストのサイズ、求められる品質、そして環境の維持にかける時間によって異なります。
以下の3つの例は、ワークフロー設計を説明するためのものです。読者の体験談や実測されたコスト削減の報告ではなく、どんな古いノートパソコンでもあらゆるモデルを快適に動かせるという主張でもありません。
1. 人が確認する文章の下書き
マシンとモデルがそのタスクを処理できる場合、ローカルモデルはアウトラインを試したり、メモを整理し直したりする場として利用できます。結果を依頼内容と照らし合わせ、公開前に事実に関する記述を検証しましょう。ホスト型モデルのほうが修正にかかる時間が短く、より役立つ下書きを生成できるなら、トークン数だけでなく、その時間も比較に含めてください。
2. 明示的な指示を用いたコーディング
コーディングのワークフローに必要なのは、迅速な応答だけではありません。エージェントに明確なタスクを与え、変更できる範囲を制限し、生成された差分とテストを確認しましょう。agent-skillsリポジトリには、内容を確認して自分用に調整できる再利用可能な指示が用意されています。特定のモデルが正しいコードを生成することや、請求額が減ることを保証するものではありません。
3. 生成前の文書検索
まず関連する資料を検索し、そのうえで質問にローカルモデルとホスト型モデルのどちらが必要かを判断します。検索された文章が実際に回答を裏付けているか確認してください。現在のプロバイダーの料金を比較するには、AI Models Pricingプロジェクトが出発点になります。実際のコストは、自分のリクエストの内訳とプロバイダーの利用条件によって決まります。
実際に使うワークフローを測定する
代表的なタスク群について、タスクの完了状況、応答の品質、レイテンシ、メンテナンス時間、実際の支出を記録しましょう。ハイブリッド構成は、あるタスクには適していても、別のタスクを複雑にするかもしれません。説明用の例をベンチマークとみなすのではなく、測定結果に根拠がある場合にルーティングを変更してください。
私たちが開発し、使用しているツールについての他の記事は、サイト内のニュースレターアーカイブをご覧ください。新しい号はウェブサイトで公開されています。この記事ではメールで送るガイドは提供していません。
