Flint 在 RTX PRO 6000 上用 vLLM 跑 NVFP4 的实测结果
原标题:Ran Flint on RTX PRO 6000 at NVFP4 in vLLM
作者在 RTX PRO 6000 上通过 vLLM 跑通了 Flint 的 NVFP4 版本并做了编码基准测试。在 45 道题的 LiveCodeBench v6 子集上得 82.2 分(官方 80.8),50 道任务的 SWE-bench Verified 子集上得 80 分(官方 74.1),单流速度约 110-180 tok/s,64 并发时峰值约 2,500 tok/s。作者认为它是不错的日常模型,正在权衡是否用速度增益替代 qwen3.8 27b,并附上了 docker compose 配置和 chat_template.jinja 修复。
作者用自建环境实测了 Flint 在 vLLM 下的编码表现和吞吐,可作为官方数据之外的一手参考。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。