2026年6月24日

结合本地与云端 AI 的三种示例方式

作者:Andrea Borghi
结合本地与云端 AI 的三种示例方式

本地模型可以很有用,但这并不意味着它能保证将每笔账单降低固定的百分比。本地推理与托管推理之间的合适分配取决于任务、可用硬件、上下文大小、质量要求,以及维护这套配置所花的时间。

下面三个例子是示意性的工作流设计,并非读者证言、实测成本降幅,也不意味着任何旧笔记本都能很好地运行所有模型。

1. 人工审核的写作草稿

当机器和模型有能力完成任务时,可以用本地模型尝试拟定大纲或重新整理笔记。将结果与任务要求对照,并在发布前核实事实性陈述。如果托管模型生成的草稿更有用、需要的修改更少,比较时也应计入这部分时间,而不是只计算 token。

2. 使用明确指令编程

编程工作流需要的不只是快速响应。给智能体明确的任务,限制它可以修改的内容,并检查生成的差异和测试结果。agent-skills 仓库提供可供检查和调整的可复用指令。它不能保证某个模型会生成正确代码或降低账单。

3. 生成前先搜索文档

先检索相关资料,再决定问题需要本地模型还是托管模型。检查检索到的段落是否确实支持答案。要比较当前各服务商的价格,可以从 AI Models Pricing 项目入手;实际成本取决于你自己的请求组合和服务商条款。

衡量你使用的工作流

在具有代表性的一组任务中,记录任务完成情况、响应质量、延迟、维护时间和实际支出。混合配置可能适合一项任务,却让另一项任务变得复杂。当测量结果支持调整时,再改变路由方式,而不要把示例当作基准。

想阅读更多关于我们构建和使用的工具的文章,请浏览网站上的通讯存档。新期刊登在网站上;本文不提供通过电子邮件发送的指南。