MoE 稀疏化
用大量专家提升模型容量,但每个 token 只激活少数专家。DeepSeek-V3 为 671B / 37B 激活;Kimi K3 将专家数拉到 896 个、每 token 只激活 16 个;Qwen3.8-Max 则达到 2.4T / 约 95B 激活。
国产大模型的版本演进,不只体现在模型编号变大,更体现在 MoE 稀疏化、强化学习后训练、百万 token 上下文、智能体编程与国产算力适配等一条条技术路线逐渐清晰。
先把版本迭代背后的变化压缩成三句话,再看时间线。
头部旗舰基本都选择 MoE:以更大的总参数换更强的容量,以更小的激活参数换更低的推理成本。
模型不再只“答得对”,还要“做得完”:推理链保留、工具调用、多步 Agent、长程软件工程成为竞争焦点。
MIT、Apache-2.0 等开源权重逐渐成为国产模型主流,并与昇腾等国产芯片的 Day 0 适配绑定。
按年份分组,选取影响国产模型格局的代表性发布。
版本编号背后,是这些可复用的技术选择在持续升级。
用大量专家提升模型容量,但每个 token 只激活少数专家。DeepSeek-V3 为 671B / 37B 激活;Kimi K3 将专家数拉到 896 个、每 token 只激活 16 个;Qwen3.8-Max 则达到 2.4T / 约 95B 激活。
MLA 把 KV 压成低秩潜变量;Kimi K3 采用固定大小递归状态的 Kimi Delta Attention 与 Attention Residuals;Qwen3.8-Max 把原生视觉与 1M 上下文合并进同一旗舰;DeepSeek-V4 进一步加入 KV Cache 滑窗与压缩算法。
从 DeepSeek-R1 的 GRPO、冷启动数据与多阶段 RL,到 Qwen3 的混合思考,再到 DeepSeek-V4 按任务难度选择思考强度,模型从“生成文本”转向“生成更长的解题过程”。
1M 上下文在 2026 年成为国产旗舰标配。DeepSeek-V4 在百万上下文下,每 token 算力约为 V3.2 的 27%,KV 缓存占用约 10%;Qwen3.8-Max、GLM-5.3、Kimi K3 与 MiniMax M3 均把 1M 作为旗舰能力。
模型开始面向代码仓库级、多步骤、可调用工具的任务优化。Qwen3.8-Max 用原生视觉闭环规划、执行与验证;DeepSeek-V4 在 SWE-bench Verified 达 80.6%;GLM-5.3 在 Terminal-Bench 3.0 与 DeepSWE v1.1 上大幅提升。
从“拼接多个模型”转向“一个模型统一理解与生成”。文心 5.1 延续原生全模态并压低训练成本;Qwen3.8-Max 把视觉理解与长程编程统一;MiniMax M3 把前沿 Coding、1M 上下文和原生多模态放进同一模型。
openPangu-2.0-Pro 以昇腾原生训练并开放 505B 权重;DeepSeek-V4 首次深度适配昇腾;GLM-5.3 延续 Day 0 适配国产算力平台;阶跃星辰的 Step 3.5 Flash 也获多家国产芯片适配。
稀疏架构和高吞吐推理把单位成本不断压低。Step 3.5 Flash 在代码任务上最高约 350 TPS;DeepSeek-V4 以远低于同类闭源模型的价格,逼近全球顶尖代码能力。