Reddit 用户用 REAP 将 NVIDIA Nemotron 30B 语音模型剪枝至 10GB 且无需再训练

NVIDIA 开源语音模型 Nemotron 3.5 Transcribe 及 Granary v2 数据管线发布

2026年10月28日，NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe（Hugging Face 页面名为 Nemotron-3.5-Transcribe-30B-A4B）及配套 Granary v2 数据管线。据主报道与跟进报道：单检查点支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人分离、时间戳预测与音频问答，可处理最长 1 小时、最多 8 名说话人的录音，支持文本提示控制输出；为 MoE 架构，30B 总参数、激活约 4B，可运行在从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心芯片等设备。该模型在 Hugging Face Open ASR Leaderboard 英文榜以 5.33% 平均 WER 居开源模型首位。Granary v2 公开 48 种语言数据清单（HF 博客称 463,062 小时，后续报道称约 84.4 万小时）；医疗案例研究中微调将留置说话人 WER 相对降低约 45.8%（HF 博客称从 22.44% 降至 12.17%，后续报道称从 23.8% 降至 11.8%，约 14 GPU 小时）。各报道一致指出模型仅支持已录音频，不支持实时流处理。模型提供 BF16、FP8、NVFP4 三种精度，采用 OpenMDW-1.1 许可证可商用。10月29日，Reddit 用户用 REAP 方法对路由 MoE 专家剪枝，无需再训练将模型从 67.5GB 压缩至 10GB，96 专家版平均 WER 4.15%，10GB 的 4-bit 版平均 WER 5.16%，可在 12GB 消费级 GPU 上经 vLLM 运行，40 语言、说话人标注等能力保留；长音频行为尚未实测。