Delta 推理引擎实现 DeepSeek-V4.1-Flash-1017 在 3090 GPU 上达到 41 tok/s
原标题:DeepSeek-V4.1-Flash-1017 at 41 tok/s on one 3090
Delta 推理引擎(基于 Xolotl 和 Strata)宣布可以在消费级 PC 上运行 552B 参数的 DeepSeek-V4.1-Flash-1017(2-bit experts)。该引擎在配备 128GB+ 内存的 NVIDIA RTX 3090 上实现了高达 41 tok/s 的写作速度和 610 tok/s 的长 Prompt 阅读速度。
为什么值得看
该引擎支持在消费级硬件上运行 552B 参数的 DeepSeek-V4.1-Flash 模型,并详细列出了硬件配置及性能数据。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。