全球第三强「Fable级体感」 2.8万亿参数大模型发布，Kimi K3刷新开源记录

21CTO导读：月之暗面正式打响中国大模型新一轮「开源战」。

7月16日周四，月之暗面正式发布新一代开源基础模型Kimi K3，参数规模达2.8兆（万亿），并同步上线API服务及开发者文档。

据新华社等媒体报导称，评测中，Kimi K3综合智能水平接近全球前沿的闭源模型，并指出，这是目前全球首个参数最大的开源模型，标志着我国人工智慧（AI）模型发展迈出新的一步。

Kimi K3是月之暗面迄今最强旗舰大模型，专为长程智能体编程与自我演进工作流而打造。它引入了月之暗面自研的Kimi Delta Attention（KDA）混合线性注意力机制以及Attention Residuals（AttnRes）结构，通过优化长序列资讯处理和深层网路资讯传递能力，提高大规模模型的训练效率和推理表现。

Kimi K3 基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。

其中，KDA 为注意力扩展提供了高效基础，AttnRes 则不是简单地在各层均匀累积表示，而是有选择地跨深度检索表示。二者共同构成了 Kimi K3 的架构骨架，使模型能够扩展到万亿参数以上的规模。

同时进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。

Quantile Balancing 直接根据路由分数的分位数分配专家，避免启发式更新和敏感的平衡超参数；Per-Head Muon 则将 Muon 扩展到按注意力头独立优化，让大规模训练中的学习过程更自适应。Sigmoid Tanh Unit（SiTU）和 Gated MLA 分别增强激活控制和注意力选择性。

且 Kimi K3 从 SFT 阶段开始采用量化感知训练，使用 MXFP4 权重和 MXFP8 激活，以适配更广泛的硬件。为避免在大规模专家并行中因专家负载不均影响吞吐，团队引入了完全均衡的专家并行训练方法，使用静态形状，并且关键路径上不需要主机同步。

由于推理效率同样受益于更大的高带宽通信域，官方建议在 64 个或更多加速器组成的 supernode 配置上部署 Kimi K3。最后，由于 KDA 给传统 prefix caching 带来了新的挑战，其也已向 vLLM 社区贡献了对应实现，并将随模型一同发布。借助带 prefill cache 的 KDA，即使在大模型规模和长上下文条件下，也可以以很有竞争力的 token 价格提供 Kimi K3 服务。

根据官网介绍，Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下，它可以持续完成长时间工程任务，理解和处理大型代码库，并协调使用终端工具。

Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈，优化游戏开发、前端和 CAD 等场景。还推动了端到端知识工作的进展。