事件经过
11 月 6 日，文心 5.5 Flash Base 的技术细节公开并在 Hugging Face 提供 FP8 与 BF16 权重。与常见“发布即成品”不同，本次放出的是纯预训练基座，后训练对齐版本将另行推出，社区可在此基础上自行微调。
关键能力与数据
架构：稀疏 MoE，总参数 2800 亿，单 Token 仅激活 140 亿；混合稀疏注意力 + 多路由专家，Muon 优化器与 FP8 混合精度训练；
数据：33.5T tokens 预训练，原生 128K 上下文，经微调后推理阶段可扩展至 100 万 token；
配套技术：FlashMask-4 算子用于长上下文显存与算力优化；
基准：MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、MBPP+ 81.5。
行业意义
这一版的关键不在分数，而在“激活参数只有 140 亿”——意味着接近旗舰级的知识容量可以用远低的推理成本换取，长上下文的主要瓶颈从算力转向显存管理。开源基座加上 FP8 权重，实际是把后训练的门槛交给了行业用户：谁能用自有数据做出垂直版本，谁就能拿到差异化。
原文出处：网易科技（引自快科技等报道）