AIsaAIsaStudio English 打开 AIsa Studio

Hugging Face 开源 0.5B 语音识别模型 Rumble-2-Flash,支持 40+ 语言

原标题:Rumble-2-Flash: an open 0.5B speech model for 40+ languages

Hugging Face 开源 Rumble-2-Flash,一个 0.5B 参数、支持 40+ 语言的语音识别模型,采用 Apache 2.0 许可,原生支持 Transformers 和 vLLM。该模型基于 Qwen3-ASR 架构,通过 on-policy 蒸馏和 GOLD 方法从更大的 Rumble-2 蒸馏而来,在 Open ASR Leaderboard 多语言赛道平均错误率 6.96%,满批次时超过 7,000 RTFx,在 302 小时呼叫中心基准上以 7.86% WER 与 NVIDIA Nemotron 3.5 Transcribe(30B)持平。权重位于 Hub 的 Reson8/Rumble-2-Flash。

为什么值得看

原文给出具体基准对比和蒸馏方法细节,读者可以据此评估这个 0.5B 语音模型在实际场景中的取舍。

阅读原文 ↗11月19日 AI 日报

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

深度解读

发生了什么

Hugging Face 宣布开源语音识别模型 Rumble-2-Flash,采用 Apache 2.0 许可证。这是一个 0.5B 参数的模型,支持 40+ 种语言,官方称其「competes with models 3-60x its size」(可与比它大 3–60 倍的模型竞争)。权重已发布在 Hub 的 Reson8/Rumble-2-Flash,也可通过 Hugging Face 的 API 使用。

该模型是从更大的生产级模型 Rumble-2 蒸馏而来,团队的出发点是探索「how small a model could get before accuracy dropped off」(模型能小到什么程度而准确率不下降)。

关键细节

  • 规模与许可:0.5B 参数,Apache 2.0 许可,托管在 Hub 的 Reson8/Rumble-2-Flash,也可通过 HF API 调用。
  • 语言:40+ 种语言,支持自动语言检测,也可强制指定语言。
  • 输出控制:数字可输出为数字或文字,可控制填充词、逐字重复等。
  • 速度:满批次下超过 7,000 RTFx——「an hour of audio in about half a second」(一小时音频约半秒处理完)。吞吐量取决于批次是否装满。
  • 生态兼容:采用 Qwen3-ASR 架构以获得 day-0 支持,原生运行在 Transformers 和 vLLM 中,无需自定义代码或 trust_remote_code。音频输入支持本地路径、URL、NumPy 数组或它们的列表。
  • 训练方法:通过 on-policy distillation 从 Rumble-2 蒸馏——学生模型自己转写音频,教师模型逐 token 评分,因此学生「在它实际犯错的地方得到纠正」。由于两个模型的 tokenizer 不同(选择了 Qwen3-ASR 就要接受它的词表),团队使用 GOLD 方法,在两个 tokenizer 切分不一致的地方合并 token,使两个模型在同一文本上进行比较。

为什么重要

基准测试结果表明,一个小型开源模型可以在真实场景音频上与更大的系统相当:

  • 在 Open ASR Leaderboard 多语言赛道上,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%,优于比它大 15 倍的 Meta omniASR-LLM 7B,也超过了 Whisper large-v3。英语赛道平均 WER 为 6.6%。
  • 在 AppTek 的呼叫中心基准(302 小时求助热线电话、14 种英语口音、用 AppTek 自己的脚本评分)上,它达到 7.86% WER,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)的 7.78% 相当,远优于同系列的 Qwen3-ASR 0.6B(8.7%),接近 Qwen3-ASR 1.7B(7.4%)——后者是对比中唯一表现更好的模型。

两个设计选择对从业者很有意义。其一,采用 Qwen3-ASR 架构意味着模型可在现有 Transformers/vLLM 技术栈中直接运行,无需 fork 的运行时,降低集成成本。其二,GOLD 将 on-policy distillation 扩展到 tokenizer 不同的师生模型对,而原文指出这通常要求共享词表。7,000+ RTFx 的数字依赖批次:它是在「HF's Open ASR Leaderboard 的较大数据集、批次保持满载」的条件下取得的,实际吞吐量会随批次组成变化。

对谁有影响

  • 为多语言产品开发转写功能的团队,可以使用这个许可宽松(Apache 2.0)、支持自动语言检测的小模型。
  • 处理呼叫中心录音等嘈杂真实音频的开发者,模型正是针对这类场景做了基准测试。
  • Transformers 或 vLLM 的用户,无需自定义代码即可获得原生支持。
  • 对吞吐量敏感的大规模 ASR 使用者,可以参考报告的 RTFx 数据,但需注意需要满批次才能达到官方数字。
  • 对蒸馏方法感兴趣的研究者,可以通过文中描述的 GOLD 跨 tokenizer on-policy 蒸馏方法了解相关技术。
全文翻译

今天,我们以 Apache 2.0 许可证开源了 Rumble-2-Flash。这是一个拥有 5 亿参数的语音识别模型,支持 40 多种语言,其性能可与体积为其 3 到 60 倍的模型相媲美。

  • 随处运行:在 🤗 Transformers 和 vLLM 中提供原生支持,无需自定义代码
  • 支持 40 多种语言:自动检测语言
  • 输出控制:数字以阿拉伯数字或单词形式输出、填充词、逐字重复、强制指定语言
  • 极速处理:约半秒即可处理一小时音频,全批量处理时 RTFx 超过 7,000
  • 真实电话通话表现优异:在 302 小时的呼叫中心基准测试中,与 NVIDIA 的 Nemotron 3.5 Transcribe (30B) 相当

快速开始

使用 🤗 Transformers 进行转录

uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # 省略此参数可自动检测
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # 如果检测语言,请使用 return_format="parsed"

audio 参数接受本地路径、URL、NumPy 数组或这些内容的列表。

构建原理

Rumble-2-Flash 采用 Qwen3-ASR 架构,以实现开箱即用的支持。如果您的技术栈运行的是 Transformers 或 vLLM,它就能运行 Rumble-2-Flash,无需分叉运行时环境或使用 trust_remote_code。

为了找出模型在精度下降前能缩小到什么程度,我们使用在线策略蒸馏(on-policy distillation)将我们的更大规模生产模型 Rumble-2 蒸馏到了该模型中。学生模型并不在教师模型编写的转录文本上进行训练。它自己转录音频,然后由教师模型对转录结果进行逐 token 评分:在每个位置,教师模型给出下一个 token 的概率,学生模型则学习匹配这种概率分布。由于学生模型是从自己的输出中学习,因此它能针对自己犯下的错误得到纠正,并且每个 token 都能获得反馈,而不是仅针对整个音频片段给出一个分数。

在线策略蒸馏通常要求教师和学生共享同一个分词器,而我们的模型并没有这样做:选择 Qwen3-ASR 意味着也采用了它的词汇表。GOLD 消除了这一限制。它将两个分词器对文本分割方式不同的 token 进行合并,从而使两个模型能够在相同的文本基础上进行比较。存在于两个词汇表中的 token 直接进行比较,其余 token 则按其排序后的概率进行比较。

使用 GOLD 进行在线策略蒸馏:学生进行转录,教师对每个 token 评分,GOLD 对齐两个分词器 使用 GOLD 进行在线策略蒸馏:学生进行转录,教师对每个 token 评分,GOLD 对齐两个分词器

使用 GOLD 进行在线策略蒸馏

结果

与其规模相当的精度

在 Open ASR Leaderboard 多语言赛道上,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这优于 Meta 的 omniASR-LLM 7B(一个体积为其 15 倍的模型),并领先于 Whisper large-v3。在 英语赛道上,其平均词错误率(WER)为 6.6%。

Open ASR Leaderboard 多语言赛道(包括英语)上开放权重模型的错误率与模型规模对比 Open ASR Leaderboard 多语言赛道(包括英语)上开放权重模型的错误率与模型规模对比

同规模下的最佳成绩

速度

Rumble-2-Flash 的速度也非常快。其吞吐量取决于批处理的填充程度:在 HF 的 Open ASR Leaderboard 中较大的数据集上,当批处理保持满负荷时,其吞吐量可达超过 7,000 RTFx。这意味着大约半秒即可处理一小时音频。

真实电话通话

干净音频的处理相对容易。电话通话经过压缩且伴有噪音,说话者往往带有非常不同的口音。在 AppTek 的呼叫中心基准测试(302 小时热线通话,14 种英语口音,使用 AppTek 自有脚本评分)中,Rumble-2-Flash 达到7.86% WER,与 NVIDIA 的 Nemotron 3.5 Transcribe (30B) 的 7.78% 相当。这明显优于来自同一模型家族的 Qwen3-ASR 0.6B(8.7%),并接近 Qwen3-ASR 1.7B(7.4%),后者是此次比较中唯一表现更好的模型。

AppTek 呼叫中心基准测试中的 WER AppTek 呼叫中心基准测试中的 WER

真实电话通话,14 种英语口音

试用

模型权重托管在 Hugging Face Hub 上的 Reson8/Rumble-2-Flash。您也可以通过我们的 API 使用它。

我们非常好奇您将用它构建什么。请在 Discussions 标签页告诉我们您的作品、喜欢之处以及希望在下一版本中看到哪些更改。

查看原文

Today we're open sourcing Rumble-2-Flash under the Apache 2.0 license. It's a 0.5B-parameter speech recognition model for 40+ languages that competes with models 3-60x its size.

  • Runs anywhere: native support in 🤗 Transformers and vLLM, no custom code
  • 40+ languages: automatic language detection
  • Output control: numbers as digits or words, fillers, verbatim repeats, forced language
  • Extremely fast: an hour of audio in about half a second, with over 7,000 RTFx on full batches
  • Holds up on real phone calls: on par with NVIDIA's Nemotron 3.5 Transcribe (30B) on a 302-hour call-centre benchmark

Quickstart

Transcribe with 🤗 Transformers

uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # omit to detect automatically
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # return_format="parsed" if detecting language

audio accepts a local path, a URL, a NumPy array, or a list of these.

How it's built

Rumble-2-Flash uses the Qwen3-ASR architecture for day-0 support. If your stack runs Transformers or vLLM, it runs Rumble-2-Flash, with no forked runtime or trust_remote_code.

To find out how small a model could get before accuracy dropped off, we distilled Rumble-2, our larger production model, into it with on-policy distillation. The student doesn't train on transcripts the teacher wrote. It transcribes the audio itself, and the teacher grades that transcript token by token: at every position, it gives its own probability for what should come next, and the student learns to match it. Because the student learns from its own outputs, it gets corrected on exactly the mistakes it makes, with feedback on every token instead of one score per clip.

On-policy distillation normally requires teacher and student to share a tokenizer, and ours don't: choosing Qwen3-ASR meant taking its vocabulary too. GOLD removes that restriction. It merges tokens where the two tokenizers split the text differently, so both models are compared over the same text. Tokens that exist in both vocabularies are compared directly, and the rest by their sorted probabilities.

On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers

On-policy distillation with GOLD

Results

Accuracy for its size

On the Open ASR Leaderboard multilingual track, Rumble-2-Flash averages a 6.96% error rate across Chinese, German, French, Italian, Spanish, Portuguese, Hindi, Dutch and English. That's better than Meta's omniASR-LLM 7B, a model 15x larger, and ahead of Whisper large-v3. On the English track it averages 6.6% WER.

Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English

The best score for its size

Speed

Rumble-2-Flash is also fast. Its throughput depends on how full the batches are: on the larger datasets in HF's Open ASR Leaderboard, where batches stay full, it reaches over 7,000 RTFx. That's an hour of audio in about half a second.

Real phone calls

Clean audio is easy. Phone calls are compressed and noisy, and often have speakers with very different accents. On AppTek's call-centre benchmark (302 hours of helpline calls, 14 English accents, scored with AppTek's own script), Rumble-2-Flash reaches 7.86% WER, on par with NVIDIA's Nemotron 3.5 Transcribe (30B) at 7.78%. That's well ahead of Qwen3-ASR 0.6B (8.7%), from the same model family, and close to Qwen3-ASR 1.7B (7.4%), the only model in the comparison that does better.

WER on the AppTek call-centre benchmark WER on the AppTek call-centre benchmark

Real phone calls, 14 English accents

Try it

The weights are on the Hub at Reson8/Rumble-2-Flash. It's also available through our API.

We're very curious what you'll build with it. Tell us in the Discussions tab what you've made, what you like, and what you'd like to see changed in a next version.

原文版权归 Hugging Face Blog 及原作者所有,本站转载仅供阅读。如需删除,请联系 support@aisa.one。

事件综述

Reson8/Hugging Face 开源 0.5B 语音识别模型 Rumble-2-Flash

2026年11月18日,Hugging Face Blog 报道开源语音识别模型 Rumble-2-Flash:0.5B 参数,基于 Qwen3-ASR 架构,通过 on-policy 蒸馏和 GOLD 方法从更大的 Rumble-2 蒸馏而来,采用 Apache 2.0 许可,原生支持 Transformers 和 vLLM,权重位于 Hub 的 Reson8/Rumble-2-Flash。该报道引述称其支持 40+ 语言,在 Open ASR Leaderboard 多语言赛道平均错误率 6.96%,满批次时超过 7,000 RTFx,并在 302 小时呼叫中心基准上以 7.86% WER 与 NVIDIA Nemotron 3.5 Transcribe(30B)持平。11月19日,Hugging Face 热门模型页面显示 Reson8 发布该模型,基于 Qwen/Qwen3-ASR-0.6B,Apache 2.0 许可,原生支持 Transformers 和 vLLM,README 提供强制语言、数字格式、语气词保留和逐字模式等转写选项;该页面称支持 45 种语言(早先报道称 40+ 语言),并给出 Open ASR Leaderboard(v1.16.1,H200 运行)英文赛道平均 WER 6.60、RTFx 6338。

其他来源的报道 1