AIsaAIsaStudio English 打开 AIsa Studio

LiquidAI 发布 LFM3-Omni-2B 全模态模型,支持文本、图像、视频和语音输入与语音输出

原标题:LiquidAI/LFM3-Omni-2B (any-to-any)

LiquidAI 发布 LFM3 家族首个全模态模型 LFM3-Omni-2B,单一端到端模型理解文本、图像、视频和音频,并以文本和语音输出。模型总参数量 2.17B,上下文长度 32K tokens,语音输出为 24 kHz;视频按 2 fps 采样,默认 4 到 384 帧。它面向端侧部署,可替代独立的 ASR、视觉语言、LLM 和 TTS 模型,支持带声音视频的视音频联合理解。

为什么值得看

README 给出参数量、输入输出规格和端侧定位,读者可以据此评估它替代多个独立模型的可行性。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

原文

Hugging Face 热门模型第 27 名:LiquidAI/LFM3-Omni-2B,162 赞,近期下载 714 次。 标签:transformers, safetensors, lfm3_omni, image-text-to-text, liquid, lfm3, lfm3-omni, omni, audio, vision, speech-to-speech, edge

README:

<img src="https://huggingface.co/LiquidAI/LFM3-1.7B/resolve/main/assets/liquid-ai-banner.webp" alt="Liquid AI" style="width: 100%; max-width: 100%; height: auto; display: block; margin: 0;" />

API
Try
Docs
Blog

LFM3-Omni-2B

LFM3-Omni-2B is Liquid AI's first omni-modal model in the LFM3 family: a single end-to-end model that understands text, images, video and audio, and answers in text and speech. It is built for on-device use: one model replaces a separate ASR model, vision-language model, LLM and TTS model.

  • Any input, text or speech output: ask about a photo by voice, transcribe or translate speech, chat out loud, or ask questions about a video and its soundtrack together.
  • Watches and listens together: for videos with sound, the model sees and hears them at the same time, so it can answer questions that need both.
  • Small enough for devices: at 2.2B parameters, it is designed to run efficiently on phones, laptops and other edge hardware.

Find more information about the LFM3 family in our release blog post.

Model details

The LFM3 family includes base, text, vision, audio, omni, and decision models.

Property Specification

Checkpoint Post-trained omni-modal model

Parameters 2.17B total

Architecture LFM3 backbone, LFM3 vision encoder, LFM3 causal audio encoder, LiquidCodec audio tokenizer.

Inputs Text, images, video with or without its soundtrack, and 16 kHz audio. Images and video are processed at native resolution; each 2×2 block of patches becomes one language token. Video is sampled at 2 fps, with 4 to 384 frames by default.

Outputs Text, 24 kHz speech, or interleaved text and speech

Context length 32K tokens (input + output)

Vocabulary <td style="border: 0; padding: 0.55em 0.7

原文版权归 Hugging Face 热门模型 及原作者所有,本站转载仅供阅读。如需删除,请联系 support@aisa.one。

事件综述

LiquidAI 发布 LFM3 系列端侧基础模型,覆盖文本、音频与全模态

2026 年 10 月 27 日,LiquidAI 发布新一代液态基础模型系列 LFM3。据 Hugging Face 博客,LFM3 采用新的三混合(tri-hybrid)架构,将文本、视觉、音频、全模态及决策模型集成到共享的 2B 参数级骨干,在参数量减少 35% 的情况下性能超越 LFM2 系列,系列包含六个专用模型,针对 GPU、CPU、NPU 等 14 种处理器类别优化,面向端侧部署。 具体模型陆续披露:LFM3-1.7B 为 1.73B 参数文本模型,支持 256K token 上下文窗口和 16 种语言,针对智能体框架做后训练,4-bit 精度下约 1 GB;作者说明其适合本地智能体、工具调用和结构化输出,但模型较小,不建议用于 agentic coding 或复杂多步推理。LFM3-Omni-2B 是家族首个全模态模型,总参数 2.17B,单一模型理解文本、图像、视频、音频并以文本和语音输出,上下文 32K tokens,语音输出 24 kHz,视频按 2 fps 采样(默认 4 至 384 帧),已有 GGUF 格式支持本地 CPU/GPU 推理。LFM3-Audio-2B 为 2B 音频模型,采用 LFM3 主干和 LiquidCodec 音频分词器,支持 18 种语言的语音转写、合成与翻译、音频理解、语音聊天和工具调用,上下文 32K token,语音质量较 LFM2.5-Audio 提升,纯文本回复仅支持英文。

其他来源的报道 5