AIsaAIsaStudio English 打开 AIsa Studio

AtomicChat 发布 49 GB 量化版 Tencent Hy4-flash,可在 64 GB 显存上运行

原标题:Hy4-flash quants are down from 70 to 49 GB, run on a 64Gb vRAM

AtomicChat 团队发布了腾讯 220B MoE 模型 Hy4-flash 的 49.1 GB GGUF 量化版本,把专家层压到约 2.3 bits、其余 Q8_0,并将 Engram n-gram 表拆成独立文件留在 SSD,使模型可在 64 GB 显存机器上运行。在 4x A100 80 GB 上生成速度约 23-26 tokens/s;带视觉投影器和 32K 上下文时 llama-server 占用 51.4 GB 显存。文件需要尚未合并的 llama.cpp PR #32517(在 0a054d0b 测试通过),现有正式版 llama.cpp、LM Studio 和 Ollama 均无法加载。与腾讯官方最小文件 IQ2-AH(内存中 71.6 GB)相比省 22.5 GB 内存,代价是 top-token 一致率低 1.4 个百分点;该模型量化损失集中,作者判断是微小的舍入…

为什么值得看

原文给出与腾讯官方量化的内存和 KLD 对比数据,读者可据此判断这份 64 GB 实验版量化是否值得自己跑。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

腾讯混元发布开放权重模型 Hy4 flash 并开源,社区推出量化版

2026-11-16,腾讯混元发布 Hy4 flash,定位为日常生产力场景最便宜的模型,官方称人类盲测中日常任务表现与 Claude Haiku 5.5 (high) 相当、任务成本降低 18 倍,API 定价为每 1M tokens $0.003 cached、$0.070 input、$0.281 output。11-18,腾讯以开放权重发布 Hy4 flash(含 Hy4 flash-FP8 与 Hy4 flash-base),并在 Hugging Face 上架:模型为多模态 MoE,总参数 220B(含 64B Engram)、每 token 激活约 12B,支持文本和图像输入与最长 1M token 上下文;相比 Hy4 引入混合注意力(稀疏注意力与 SWA 按 1:3 交错)、LatentMoE(512 个路由专家每 token 激活 16 个)和 N-gram 嵌入(Engram),内置 0.85B 的 DFly2 drafter 支持投机解码,支持 vLLM、SGLang 部署。关于成本,发布时称任务成本降低 18 倍,后续报道给出内部数据:WorkIndex 得分 42.1(高于 Hy4 preview 的 39.7),单任务平均成本为 Hy4 preview 的 1/13、DeepSeek-V4.1-Flash-1017 的 1/8;盲测用户满意度 2.79/4。11-18,AtomicChat 团队发布 49.1 GB GGUF 量化版,将专家层压至约 2.3 bits、其余 Q8_0,并把 Engram n-gram 表拆为独立文件放在 SSD,使模型可在 64 GB 显存机器上运行;在 4x A100 80 GB 上生成速度约 23-26 tokens/s,带视觉投影器和 32K 上下文时 llama-server 占用 51.4 GB 显存;需尚未合并的 llama.cpp PR #32517(在 0a054d0b 测试通过),现有正式版 llama.cpp、LM Studio 和 Ollama 均无法加载;相比腾讯官方最小量化 IQ2-AH(内存中 71.6 GB)省 22.5 GB 内存,代价是 top-token 一致率低 1.4 个百分点。11-20,腾讯 Hy 研究团队在 r/LocalLLaMA 就 Hy4 与 Hy4 flash 举办 AMA,回答模型构建、效率提升和日常工作流适配等问题,并列出九位参与者及博客与 Hugging Face 权重链接。

其他来源的报道 1