摘要

开发者用一台售价约25.6万美元的英特尔傲腾持久内存机器本地跑通 Kimi K3，CPU 推理速度达到 0.85 token/秒，模型加载约20秒。方案不依赖 GPU 显存堆叠，为超大 MoE 模型的单机常驻提供了新路径。

11月13日前后，有开发者在英特尔傲腾持久内存平台上完成 Kimi K3 的本地推理验证：模型常驻内存、由 CPU 直接计算，输出速度约每秒 0.85 个 token，冷启动加载时间约 20 秒。

关键细节

硬件路线：以傲腾持久内存的大容量与低延迟替代 GPU 显存，整机成本约25.6万美元。
性能表现：0.85 token/秒约等于人工阅读速度的两倍，适合做批量离线任务与长文档处理，不适合实时对话。
技术要点：带宽仍是瓶颈，内存中心架构解决的是"装得下"，不解决"算得快"；配合量化与稀疏激活优化才有实用价值。
成本对比：同等模型若用 GPU 集群常驻，硬件与电费支出显著更高；本地部署的价值在于数据不出内网。
口径提示：该结果为个人开发者实测，未经过厂商确认，也未公布完整模型版本与量化方案。

行业意义

超大规模 MoE 模型的部署成本正在分叉：一条路是云端 API 按 token 计费，另一条是单机大内存常驻、数据不出机房。0.85 token/秒的速度无法替代在线服务，但对合规要求高的金融、医疗与政企场景，够用即可。国产模型的开源权重与硬件厂商的大内存路线叠加，可能催生出一批"离线可用"的私有部署形态。

原文出处

量子位／智东西 11月13日报道与 AIBase 转述综合。

Kimi K3本地跑通：CPU推理0.85token/秒

摘要

标签

推荐文章