2026年10月31日

5 秒探测,7 分钟等待:我的本地 AI 现实检验

5 秒探测,7 分钟等待:我的本地 AI 现实检验

一次工具调用耗时 5.4 秒。处理所需的上下文却用了 7 分钟 29 秒。

这是我本地智能体工作流在一次有指标记录的运行中所呈现的差异。在针对我的运营服务器运行日志健康检查工作流时,仅远程探测本身就耗时 5.428 秒,并正常退出。在执行探测之前,同一轮对话用了大约 7 分钟 29 秒处理所需的 66,170 个输入词元。快的是工具。慢的是工具被调用之前工作流所需的一切准备。

一个实用的云端智能体所包含的不只是模型响应。其周围还有一整套工作流:规定任务执行方式的技能、公开工具和服务的 MCP 连接、决定哪些内容可以访问的权限,以及真正执行工作的浏览器或命令行环境。在本地复现它意味着复现整个系统,而不是简单地把一个聊天窗口指向模型 API。

工作流才是产品,而非端点

这套术语中有两个概念值得明确定义,因为大多数困难都出在这里,而不是出在模型上。

MCP,即模型上下文协议,是智能体宿主向模型公开工具和服务的机制。每个 MCP 服务器都会发布一份模型可以调用的工具目录,而这些工具背后才是真正的能力:文件、代码仓库、浏览器、数据库和远程服务。宿主会协调每一次调用,权限也正是在这里执行。

技能是工作流指令。一项技能会说明如何完成特定类型的任务:使用哪些工具、收集哪些信息、按照什么顺序处理,以及输出应包含哪些内容。它为模型提供了一套可遵循的流程,不过模型仍可能遗漏步骤,因此需要验证。

所以,真正重要的是宿主、模型、运行时、权限和工具连接共同构成的系统。宿主是你与之交互的应用程序,就我而言,是 Kilo Desktop、VS Code 中的 Kilo 和 AnythingLLM。运行时为模型提供服务,模型负责推理,而技能和 MCP 连接决定哪些工作甚至有可能完成。仅凭一个推理端点,无法为智能体宿主配置这些技能、连接或权限。

我的运行环境

我的服务栈是一个兼容 OpenAI API 的 llama.cpp 服务器(CUDA,版本 b11852),运行 Qwen 3 Coder Next(Q4_K_M)。模型元数据显示,其总参数量为 79.67 billion,分为 48 层,量化后的权重约占 48 GB。机器配备一块拥有 24 GB 显存的 RTX 4090、一颗拥有 12 个物理核心和 24 个线程的 Ryzen 9 3900X,以及 128 GB 系统内存。配置的上下文容量为 131,072 个词元,最大响应长度为 8,192 个词元。

Qwen 3 Coder Next 是一种混合专家模型。这意味着它会存储许多彼此独立的专家权重集,并且每个词元只激活其中一个子集。因此,即使每个词元所涉及的计算只触及其中一小部分权重,存储的权重仍然很大。对于这项硬件决策而言,权重存储大小很重要:即使经过量化仍约为 48 GB。

为什么模型无法装入 GPU

约 48 GB 的量化权重对 24 GB 显存而言,是一个算术问题,而不是调优问题。Q4_K_M 量化可以在精度与质量之间权衡的情况下减少权重存储,但无法让这个模型适配 24 GB,尤其是在上下文和运行时缓冲区也需要占用显存的情况下。

解决方案是采用拆分部署。48 层中前 32 层的专家权重被分配到 CPU/系统内存一侧;其他张量仍保留在 GPU 上,并设置有容量上限的 GPU 专家缓存。准确地说,这并不是只有前 32 个完整层在 CPU 上运行:在混合专家模型中,这些层容纳的是专家权重,实际存放在系统内存中的是前 32 层的专家权重。

除此之外还有:1,024 MiB 专家 GPU 缓存、Q8 KV 缓存和 Flash Attention。模型权重只是 GPU 内存使用的一部分。运行时还需要工作缓冲区和注意力状态,后者通常称为 KV 缓存。Q8 用于控制受支持缓存张量的存储精度。1 GiB 专家缓存和 Flash Attention 是进一步的内存/计算权衡;在本次运行中,并未单独隔离它们各自的贡献。

为什么采用这些组成部分

这些是针对一台机器和一种工作负载的实用选择,而不是经基准测试证明的最优方案。

选择 理由 限定条件
llama.cpp 运行时 提供明确的量化和层部署控制,并提供智能体宿主可使用的兼容 OpenAI API 这是运行时,不是模型;更换它不会让同一个模型变得更聪明
面向编程的 MoE 模型 旨在支持真实的任务和工具工作负载,而不是聊天演示 尚未证明能与前沿云端模型相当;早期本地运行仍需人工修正
Q4_K_M 量化 将权重存储减少到足以支持混合部署的程度 这是在精度与质量之间权衡,而非毫无代价的提升
CPU 与 GPU 拆分 显存容量有限,而权重超出其容量 48 层中前 32 层的专家权重位于系统内存中;其余部分在 GPU 上运行
128K 上下文上限 为指令、技能和工具定义、任务输入、工具结果及输出留出余量 这是配置的容量,而非每轮对话的要求
单并发请求、12 个 CPU 线程 将内存需求控制在可用 RAM 和物理核心数量之内 尚未证明适合其他工作负载时达到最优
原生 Windows 服务 避开 WSL 虚拟机的 32 GB RAM 上限,以及通过 Windows 挂载文件加载模型时的障碍 Kilo 自身的 Linux 操作命令仍需在 WSL 中运行

一次运行实际完成了什么

记录的各阶段耗时、内存限制和输入缓存复用情况

阶段 耗时 详情
处理输入和上下文 448.92 s (7 min 29 s) 初始输入为 66,170 个词元,有效速度约为 147 个输入词元/秒
远程日志健康探测 5.428 s 针对我的运营服务器运行,退出代码为 0
后续模型响应 20.1 s 复用 66,251 个输入词元,新增 763 个,输出 388 个词元,复用率约为 98.9%

这是同一次运行中的三个不同阶段,并非同类条件下的比较。448.92 秒是在一个工作流中一次性观察到的冷启动大上下文处理时间。5.428 秒是远程探测执行任务所用的时间。20.1 秒则是工具返回后模型的第二个步骤。将 449 秒与 20.1 秒解读为同一任务的速度提升是错误的,因为两者执行的工作不同,而且第二个步骤继承了一个已处于热状态的前缀。

复用从何而来

后续步骤复用了 66,251 个输入词元,并处理了 763 个新词元,复用率约为 98.9%。这里很容易混淆两种不同机制,因此有必要将其区分开来。KV 缓存会存储注意力状态,使之前的词元不必在每个生成步骤中以相同方式重新计算;Q8 是一种存储精度选择。前缀复用则是一种行为:引擎发现请求的开头与已处理过的内容相匹配,于是跳过了对这部分内容的重新处理。两者都不会缩小模型权重,也都不是云端计费折扣。云服务商的输入缓存核算属于另一种机制,有其自己的规则和费率。

可用性是另一个问题

2026 年 10 月 31 日,我的 Kilo Desktop 会话一直停留在加载动画中,因此我请求调查这个卡住的会话。原因并不是模型质量、上下文大小或工具错误。本地模型服务器处于关闭状态。Kilo 持续重试并收到 ECONNREFUSED,而加载动画始终无法让这一原因变得清晰可辨。

启动服务器后,原有会话得以恢复。不需要丢弃任何上下文,也不需要重做任何工作。持久的解决方案是使用按需启动器:启动服务器、等待其就绪,然后打开 Kilo。没有向 Windows 登录启动项添加任何内容,这是我更偏好的方式,因为这台机器也用于交互操作。llama.cpp 和 Qwen 的配置本身在此之前就已就绪;这次事件改变的是服务器的启动方式,而不是模型的提供方式。

这一点值得指出,因为它与上面的耗时结论正好相反。服务器不可用时,再快的模型也什么都无法产生。

坦诚看待提示词成本

本次运行的提示词很大,是因为工作流本身需要这些内容。指令、技能定义、工具定义、任务以及容纳工具结果的空间加在一起构成了规模,而我不打算为了让数字看起来更好而删减技能或 MCP 连接。一个建立在被掏空的工作流之上的基准测试,无法描述一个真正可用的智能体。

因此,应坦诚比较不同的成本类别,而不是将它们混为一谈。

云端套餐可能会对输入词元、输出词元和缓存输入采用不同的计费方式。未缓存输入的费用大致等于输入词元数除以一百万,再乘以服务商每百万输入词元的价格。输出计费及任何缓存折扣取决于服务商和套餐。因此,实际费用取决于具体的服务商和定价层级,我不会凭空编造一个美元数字。

对于该本地模型,本地推理免除了按词元收取的 API 费用。它并未免除付费工具或远程服务的费用,因此并不是免费的。成本包括硬件、内存和显存容量、耗电量、配置维护、你等待运行所花费的实际时间,以及对输出进行人工审核。这些成本都是真实存在的,并不会因为推理在本地进行而减少。

还有一点常被忽视:本地推理并不会让远程 MCP 调用变成本地调用或离线调用。我的工具仍会通过网络访问远程服务。离开本机的数据传输是工具流量,而模型决定调用什么只是其中一部分暴露风险。

另外,应将 128K 上下文容量与实际处理的 66,170 个词元区分开来。前者是设置,后者是本轮对话实际发送的数量。两者都不等同于计费词元,也都不等同于完成任务的成本。

这次运行说明了什么,又没有说明什么

观察到的结果既有限但也很真实:实时技能探测成功连接我的运营服务器并完成,Kilo 生成了一份报告,报告返回了可供人工审核的证据。探测和响应均已完成。但仅凭这一点,并不能证明每项技能指令都得到了遵循,也不能证明每项结论都正确无误。

这才是我真正关心的标准。完成度和正确性,而不是速度。当智能体遵循其技能、调用正确的工具并返回可供审核的内容时,等待七分半钟是可以接受的结果。未完成的答案对这个工作流毫无价值。

但这并不意味着这套配置总体可靠,也不意味着它能与前沿云端模型相媲美,更不意味着这里的耗时能够预测你自己的体验。一次运行就是一次运行。而提示词处理时间图表所衡量的是向模型输入内容的成本,而不是模型产出的质量。完成度、输出质量和审核成本决定了这个工作流是否值得运行。

如果你在本地运行智能体任务,你的提示词处理预算是多少?你如何判断一轮缓慢的对话是否值得等待?

证据说明: 这些数据来自一位用户在 2026 年 10 月 31 日的一次有指标记录的本地运行,基于一个真实工作流得出近似耗时。它们不是标准化基准测试,不是受控的 Ollama 与 llama.cpp 对比,也不是云端与本地的性能或成本对比。

技术参考