AIsaAIsaStudio English 打开 AIsa Studio

Tandem-vLLM 0.2.0 发布:DeepSeek-V4.1-Flash 支持 3090/4090 级、A6000、Ada 和 H100/H200 及…

原标题:Tandem-vLLM 0.2.0: DeepSeek-V4.1-Flash now on 3090/4090-class, A6000, Ada and H100/H200 cards, and on two GPUs (a second card as an "expert helper")

Tandem-vLLM 0.2.0 发布,这是基于 vLLM 0.31 的 expert-offload 构建,让 DeepSeek-V4.1-Flash 跑上 Ampere、Ada、Hopper 和 Blackwell 各档 GPU,并支持双卡方案。路由专家以 2-bit 向量码存于主机内存,缓存未命中的专家由 CPU 或 helper GPU 并行计算,输出与包内权重完全一致;模型包 293 GB,需 128 GB+ 内存。2-bit 专家相对官方 FP4 checkpoint 有一定 GPQA 精度损失,FP4_TOP=52 可挽回约一半损失。

为什么值得看

原文给出明确硬件门槛、各档 GPU 的实测吞吐和精度对比,读者可据此判断自己的机器能否跑通 DeepSeek-V4.1-Flash。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。