Studio律师用 2 台 DGX Spark 加 3090 主机跑 DeepSeek-V4.1-Flash，prefill 达 2,600+ tok/s 并公开全栈与原…
原标题：Lawyer with too many GPUs, part 3: DeepSeek-V4.1-Flash on 2x DGX Spark + an old 3090 box. 2,600+ tok/s prefill to 256K, 322 tok/s structured output, full stack and raw data published
作者在 2 台 DGX Spark 上以 2.75 bpw EXL3 运行 DeepSeek-V4.1-Flash-1017，vLLM 张量并行，并由一台 EPYC 3090 主机通过 RDMA 提供 Engram 表和运行 DSpark 投机解码 drafter。256K prefill 达 2,618 tok/s，结构化输出 4 流 322 tok/s，单流 138 tok/s；KV cache 约 1.93M tokens，NVMe prefix cache 使 150K 提示词重启后首 token 从 58.6 s 降至 2.58 s。代码、启动脚本、基准工具和原始 JSON 全部公开（https://github.com/ProprietaryLegal/DeepSeek-V4.1-Flash-2xDGX-Spark-x86-offload），prefix-cache 代码待下…
为什么值得看
作者公开了双 DGX Spark 加 3090 offload 的完整部署栈与全部原始基准数据，可与其他同类配置逐项对比迁移。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。