当工作流中包含重复且定义明确的任务时,本地模型可能值得一试。它能否节省成本取决于硬件、电力、维护、托管模型价格以及你需要的质量水平。这是一个规划示例,并非对实测成本降低 90% 或某家服务商账单的报告。
从具有代表性的任务开始。将格式化、分类、检索和更复杂的推理任务区分开来。在比较模型之前,先记录你需要的结果。
在范围较窄的一部分任务上试用本地模型,并在结果未通过检查时提供托管模型作为备选。任务看似简单,并不意味着本地模型的准确性就一定足够。除了 Token 费用,也要衡量错误和审核所需的时间。
将重复工作转化为明确、可测试的技能。仅在输入和数据新鲜度要求允许的情况下使用缓存。除了托管请求,还要计入部署、硬件使用和维护成本。
以同一基线比较每个成功完成任务的总成本和响应时间。在证据支持的情况下扩大本地路由的范围;在更强的模型能提供有价值的质量时,继续使用它。
在规划实验时,如需查看工具和代码,请浏览 Green Yoga Inc 软件目录。也可在网站通讯页面阅读相关文章。两者都不承诺通过电子邮件发送工作表,也不承诺普遍适用的节省百分比。
