关闭

Tryaivo™技术

DeepSeek-V4 开源:1.6 万亿参数百万上下文

2026-11-07 14:41:56 浏览:

事件经过

11 月 6 日,DeepSeek 发布 V4 系列并同步开放权重,采用 MIT 许可,已在 Hugging Face 提供下载,同时上线 API。与此前版本最大的不同,是这一代把 100 万 token 上下文作为默认设计目标,而不是事后扩展。

关键能力与数据

  • 版本与规模:V4-Pro 总参数 1.6 万亿、激活 490 亿;V4-Flash 总参数 2840 亿、激活 130 亿;

  • 上下文:两个版本均支持 100 万 token,面向长程智能体与整库代码理解;

  • 效率:1M 上下文下,V4-Pro 单 token 推理 FLOPs 约为 V3.2 的 27%,KV cache 内存占用约为 10%;V4-Flash 分别约为 10% 与 7%;

  • 显存:相比 8 头 bf16 GQA 基线方案,V4 的缓存占用约为其 2%;

  • 许可与可得性:MIT 许可开放权重,Hugging Face 与官方 API 同时可用。

行业意义

长上下文的成本曲线被压下来,才是这一代最实质的变化。过去百万 token 意味着显存与算力双重爆炸,如今推理成本降到前代的十分之一量级,整库代码分析、长文档审阅、多轮长任务智能体才真正具备商业可行性;MIT 许可也给了企业改结构、做私有化调优的空间。

原文出处:The Agent Times