月之暗面开源 Kimi K3.1 Pro 多模态智能体模型，总参数 2.8T、支持 1M 上下文

发生了什么

月之暗面在 Hugging Face 上发布了开源权重模型 Kimi-K3.1-Pro，该模型目前位于 Hugging Face 热门模型第 6 名，获得 479 个赞，近期下载量为 797 次。模型标签显示为 image-text-to-text（图文到文本）类型，属于对话式文本生成模型。

官方介绍称，Kimi K3.1 Pro 是「open-weight, natively multimodal agentic model」，是其迄今最强的 3T 级模型。它由 Kimi K3 后训练而来，经过覆盖数百个下游领域的大规模联合强化学习，是 K3.1 系列的首个模型，提供 100 万 token 的上下文窗口。

关键细节

• 架构采用混合专家，总参数 2.8T，每 token 激活参数 104B。
• 共 93 层，其中 1 层为稠密层；注意力层由 69 层 KDA 和 24 层 Gated DSA 组成，注意力隐藏维度 7168，注意力头数为 96。
• DSA 索引部分：索引头维度 128、索引头数 32、Top-K 为 2048。
• MoE 相关参数：共 896 个专家，每 token 选中 16 个专家，另有 2 个共享专家；潜在 MoE 维度 3584，每个专家的 MoE 隐藏维度为 3072。
• 词表大小为 160K，上下文长度为 100 万 token（README 中该字段被截断，具体数值以介绍段落为准）。
• 发布形式上，模型以 transformers 库加载，使用 safetensors 与 compressed-tensors（压缩张量、8-bit 相关标签）分发，包含 custom_code，许可证为「kimi-k3.1-pro」专有名称的 other 类别。
• 官方同时提供了 Tech Blog 和 API Quickstart 链接，模型也可在 ModelScope 获取。

为什么重要

• 2.8T 总参数、896 专家、每 token 激活 104B 的规模，属于当前开源权重模型中体量最大的一档；压缩张量与 8-bit 标签说明官方提供了面向部署的压缩格式。
• 100 万 token 上下文与 KDA/DSA 的混合注意力设计（69+24 层）是长上下文能力的技术支撑，Top-K 为 2048 的稀疏索引机制值得关注。
• 官方称模型在编程、3D 创作、金融研究、事实准确性和其他智能体能力上有显著提升，定位为多模态智能体模型，即图文输入、文本输出，面向 agent 场景。

对谁有影响

• 需要长上下文、多模态输入和智能体能力的应用开发者与研究者，可通过 Hugging Face 或 ModelScope 获取模型权重，或直接使用其 API。
• 需注意许可证为「other」类型的专有条款，商用前应查阅具体 LICENSE 文件；模型包含 custom_code，部署时需评估相关安全与兼容性。
• 关注开源大模型竞争格局的从业者也值得留意：这是 K3.1 系列的首个模型，意味着后续系列迭代可能继续发布。

Hugging Face 热门模型第 6 名：moonshotai/Kimi-K3.1-Pro，479 赞，近期下载 797 次。 标签：transformers, safetensors, kimi_k31, text-generation, compressed-tensors, conversational, image-text-to-text, custom_code, license:other, eval-results, endpoints_compatible, 8-bit

README：

📰  Tech Blog |     🚀  API Quickstart

1. Model Introduction

Kimi K3.1 Pro 是一个开放权重的、原生多模态智能体模型，也是迄今为止我们最强大的 3T 级模型。在 Kimi K3 的基础上，通过在数百个下游领域进行大规模联合强化学习进行后训练，它是 K3.1 系列中的首款模型。凭借一百万 token 的上下文窗口，Kimi K3.1 Pro 在编码、3D 创作、金融研究、事实准确性以及其他智能体能力方面带来了显著提升。

2. Model Summary

架构 混合专家（MoE）

总参数量 2.8T

激活参数量 104B

层数 93

稠密层数 1

注意力层组成 69 KDA + 24 Gated DSA*

注意力隐藏维度 7168

注意力头数 96

DSA 索引头维度 128

DSA 索引头数 32

DSA 索引 Top-K 2048

潜在 MoE 维度 3584

MoE 隐藏维度（每个专家） 3072

专家总数 896

每 token 选择的专家数 16

共享专家数 2

词汇表大小 160K

上下文长度</s

查看原文

Hugging Face 热门模型第 6 名：moonshotai/Kimi-K3.1-Pro，479 赞，近期下载 797 次。 标签：transformers, safetensors, kimi_k31, text-generation, compressed-tensors, conversational, image-text-to-text, custom_code, license:other, eval-results, endpoints_compatible, 8-bit

README：

📰  Tech Blog |     🚀  API Quickstart

1. Model Introduction

Kimi K3.1 Pro is an open-weight, natively multimodal agentic model, and our most capable 3T-class model to date. Post-trained from Kimi K3 with large-scale joint reinforcement learning across hundreds of downstream domains, it is the first model in the K3.1 series. With a 1-million-token context window, Kimi K3.1 Pro delivers substantial improvements in coding, 3D creation, financial research, factual accuracy, and other agentic capabilities.

2. Model Summary

Architecture Mixture-of-Experts (MoE)

Total Parameters 2.8T

Activated Parameters 104B

Number of Layers 93

Number of Dense Layers 1

Attention-Layer Composition 69 KDA + 24 Gated DSA*

Attention Hidden Dimension 7168

Number of Attention Heads 96

DSA Index Head Dimension 128

DSA Index Number of Heads 32

DSA Index Top-K 2048

Latent MoE Dimension 3584

MoE Hidden Dimension (per Expert) 3072

Number of Experts 896

Selected Experts per Token 16

Number of Shared Experts 2

Vocabulary Size 160K

Context Length</s

原文版权归 Hugging Face 热门模型 及原作者所有，本站转载仅供阅读。如需删除，请联系 support@aisa.one。