AIsaAIsaStudio English 打开 AIsa Studio

Mistral Large 4 技术报告:压缩 KV-cache 会损害长上下文智能体能力

原标题:"Mistral Large 4"

Mistral 在 alphaXiv 独家发布 Mistral Large 4 技术报告,指出激进压缩 KV-cache 即便不影响语言建模表现,也会损害需要回溯早期上下文的长上下文智能体任务。团队曾将 KV-cache 内存压缩 16x 后发现此问题,修复方式是恢复更多层的全上下文注意力,并采用 DeepSeek Sparse Attention 在上下文中只选取 2,048 个最相关 token。最终 1T 参数 MoE 模型(52B 激活)在 Terminal-Bench 4.0 得分 41%、FrontierCode 2.0 得分 19.7%,NVFP4 量化权重可放入四张 GB300 GPU。

为什么值得看

技术报告给出了 KV-cache 压缩损害智能体能力的实测发现和具体修复方案,读者可据此权衡部署时的显存与长上下文取舍。

阅读原文 ↗11月4日 AI 日报

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

Mistral 发布开源万亿参数多模态模型 Mistral Large 4(Le Chonk)

2026 年 10 月 29 日,Mistral 发布开源权重多模态大模型 Mistral Large 4(昵称 Le Chonk),权重上线 Hugging Face。模型为总参数约 1 万亿(激活参数约 49B–52B)的 MoE 架构,支持 1M token 上下文、文本与图像输入及 160+ 种语言,在 Mistral 位于欧洲的自有数据中心用 3,800 块 NVIDIA Grace Blackwell GPU 训练,采用修改版 MIT 许可(Mistral Ecosystem Open-Weight License),商用需另行授权。定价为输入 $0.70/M、输出 $2.10/M token,支持 Low/Medium/High 三档推理模式,可通过 Hugging Face、Microsoft Foundry、OpenRouter、NVIDIA NIM 获取;Hugging Face 提供 transformers 和 llama.cpp 的 day-0 支持及量化版本。官方称其在 FrontierCode 开放模型中排名第一、Terminal-Bench 4.0 得分 41%(此前预览版为 28%)、Coding Agent Index 得分约 48–49.8%,与 GLM-5.3 基本持平且少用 47% token,但整体智能指数(26 分)仍低于 DeepSeek V4.1 Flash 和 GLM-5.3(均 32 分)。网络安全方向上,官方称恶意请求平均拒绝率 96.6%,并经 CrowdStrike、Cloudflare 等厂商测试;早先报道称 Artificial Analysis Cyber Index 得分 82%(该指数已报告最高分),Mistral 官方博客则称该指数得分为 51%,两者不一致。10 月 30 日,Mistral 宣布完成三周集中训练的更新版本,第三方评测称其编码能力位居开源模型第二。

其他来源的报道 2