AIsaAIsaStudio English 打开 AIsa Studio

NVIDIA 发布开源语音模型 Nemotron-3.5-Transcribe-30B-A4B

原标题:nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B (automatic-speech-recognition)

NVIDIA 发布开源权重语音模型 Nemotron-3.5-Transcribe-30B-A4B,支持 40 种语言转写、语音翻译、说话人分离、时间戳预测和音频问答,录音最长 1 小时、上下文 65,536 token。模型基于 Mamba-2 与 Transformer 混合 MoE 架构,总参数 34B、激活约 4.3B(含音频编码器),提供 BF16、FP8 和 NVFP4 三种精度版本,基于 Nemotron-3.5-Lightning-30B-A3B-BF16 训练,采用 OpenMDW-1.1 许可证可用于商业用途。

为什么值得看

原文给出模型规模、精度版本和任务范围,读者可以据此评估它是否适配自己的语音转写需求。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

原文

Hugging Face 热门模型第 24 名:nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B,180 赞,近期下载 338 次。 标签:nemo, safetensors, nemo_speechlm, text2text-generation, nvidia, pytorch, nemotron-3.5, speech, asr, speech-translation, speaker-diarization, audio

README:

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

Nemotron 3.5 Transcribe overview: one speech LLM transcribes a recording in the style selected by the instruction

Nemotron 3.5 Transcribe is an open-weight, offline speech and audio model for transcription in 40 languages, with support for recordings up to one hour and a 65,536-token context. Its hybrid mixture-of-experts architecture activates approximately 4.3B parameters, including the audio encoder, and it is released in BF16, FP8, and NVFP4 precision.

Get started ↓ · Explore the tasks ↓ · See the evidence ↓ · NeMo Speech ↗

Table of contents

Model Overview

Description

NVIDIA Nemotron-3.5-Transcribe is an offline speech and audio model that processes recordings, together with text instructions and optional context, into text responses.

NVIDIA developed this Speech-Augmented Language Model (SALM) for multilingual transcription, speech translation, contextual transcription, speaker-attributed transcription, rich transcription, timestamp prediction, language identification, and audio question answering. The training mixture also includes a small amount of text instruction following and PII tagging/redaction tasks.

This model is ready for commercial or non-commercial use.

Model Summary

Total Parameters 34B (4.3B active), including the audio encoder
Architecture Mamba-2–Transformer hybrid Mixture of Experts language model with a Parallel Expert Encoder (Transformer ASR encoder and speaker encoder)
Precision BF16 (full-precision reference weights); FP8 and NVFP4 variants are available
Context Length 65,536 tokens; recordings up to 1 hour
Inputs / Outputs Audio and text / text, with optional word timestamps
Languages 40; see the language support matrix
Tasks Transcription in verbatim or written form, contextual transcription,

原文版权归 Hugging Face 热门模型 及原作者所有,本站转载仅供阅读。如需删除,请联系 support@aisa.one。

事件综述

NVIDIA 开源语音模型 Nemotron 3.5 Transcribe 及 Granary v2 数据管线发布

2026年10月28日,NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe(Hugging Face 页面名为 Nemotron-3.5-Transcribe-30B-A4B)及配套 Granary v2 数据管线。据主报道与跟进报道:单检查点支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人分离、时间戳预测与音频问答,可处理最长 1 小时、最多 8 名说话人的录音,支持文本提示控制输出;为 MoE 架构,30B 总参数、激活约 4B,可运行在从 Jetson AGX Thor、DGX Spark 到 Blackwell 数据中心芯片等设备。该模型在 Hugging Face Open ASR Leaderboard 英文榜以 5.33% 平均 WER 居开源模型首位。Granary v2 公开 48 种语言数据清单(HF 博客称 463,062 小时,后续报道称约 84.4 万小时);医疗案例研究中微调将留置说话人 WER 相对降低约 45.8%(HF 博客称从 22.44% 降至 12.17%,后续报道称从 23.8% 降至 11.8%,约 14 GPU 小时)。各报道一致指出模型仅支持已录音频,不支持实时流处理。模型提供 BF16、FP8、NVFP4 三种精度,采用 OpenMDW-1.1 许可证可商用。10月29日,Reddit 用户用 REAP 方法对路由 MoE 专家剪枝,无需再训练将模型从 67.5GB 压缩至 10GB,96 专家版平均 WER 4.15%,10GB 的 4-bit 版平均 WER 5.16%,可在 12GB 消费级 GPU 上经 vLLM 运行,40 语言、说话人标注等能力保留;长音频行为尚未实测。

其他来源的报道 5