AIsaAIsaStudio English 打开 AIsa Studio

腾讯发布开放权重模型 Hy4 flash,220B 总参数、1M 上下文

原标题:tencent/Hy4-flash · Hugging Face

腾讯以开放权重发布 Hy4 flash(含 Hy4 flash-FP8 与 Hy4 flash-base),总参数 220B(含 64B Engram),每 token 激活约 12B 参数,支持文本和图像输入、1M token 上下文。相比 Hy4 引入混合注意力(稀疏注意力与 SWA 按 1:3 交错)、LatentMoE(512 个路由专家每 token 激活 16 个)和 N-gram 嵌入(Engram)。内部 WorkIndex 得分 42.1,略高于 Hy4 preview 的 39.7,单任务平均成本为 Hy4 preview 的 1/13、DeepSeek-V4.1-Flash-1017 的 1/8;结合 megakernels、4-bit 量化与 DFly2 投机解码,推理速度超过 150 tokens/s。盲测中用户满意度 2.79/4,接近 Claude Haik…

为什么值得看

原文给出完整架构参数与实测成本数据,读者可以据此评估这款低成本多模态开源权重模型是否适配自己的部署需求。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

腾讯混元发布开放权重模型 Hy4 flash 并开源,社区推出量化版

2026-11-16,腾讯混元发布 Hy4 flash,定位为日常生产力场景最便宜的模型,官方称人类盲测中日常任务表现与 Claude Haiku 5.5 (high) 相当、任务成本降低 18 倍,API 定价为每 1M tokens $0.003 cached、$0.070 input、$0.281 output。11-18,腾讯以开放权重发布 Hy4 flash(含 Hy4 flash-FP8 与 Hy4 flash-base),并在 Hugging Face 上架:模型为多模态 MoE,总参数 220B(含 64B Engram)、每 token 激活约 12B,支持文本和图像输入与最长 1M token 上下文;相比 Hy4 引入混合注意力(稀疏注意力与 SWA 按 1:3 交错)、LatentMoE(512 个路由专家每 token 激活 16 个)和 N-gram 嵌入(Engram),内置 0.85B 的 DFly2 drafter 支持投机解码,支持 vLLM、SGLang 部署。关于成本,发布时称任务成本降低 18 倍,后续报道给出内部数据:WorkIndex 得分 42.1(高于 Hy4 preview 的 39.7),单任务平均成本为 Hy4 preview 的 1/13、DeepSeek-V4.1-Flash-1017 的 1/8;盲测用户满意度 2.79/4。11-18,AtomicChat 团队发布 49.1 GB GGUF 量化版,将专家层压至约 2.3 bits、其余 Q8_0,并把 Engram n-gram 表拆为独立文件放在 SSD,使模型可在 64 GB 显存机器上运行;在 4x A100 80 GB 上生成速度约 23-26 tokens/s,带视觉投影器和 32K 上下文时 llama-server 占用 51.4 GB 显存;需尚未合并的 llama.cpp PR #32517(在 0a054d0b 测试通过),现有正式版 llama.cpp、LM Studio 和 Ollama 均无法加载;相比腾讯官方最小量化 IQ2-AH(内存中 71.6 GB)省 22.5 GB 内存,代价是 top-token 一致率低 1.4 个百分点。11-20,腾讯 Hy 研究团队在 r/LocalLLaMA 就 Hy4 与 Hy4 flash 举办 AMA,回答模型构建、效率提升和日常工作流适配等问题,并列出九位参与者及博客与 Hugging Face 权重链接。

其他来源的报道 2