Pantheon 引擎在 2014 年 Tesla K80 上以纯 C 跑 35B MoE 模型，约 21 tok/s

原标题：Running 35B MoE models on a Tesla K80 (2014) at ~21 tok/s, in plain C

开发者发布纯 C、无外部依赖的推理引擎 Pantheon 和 ML 库 Foundry，CUDA 后端针对 Kepler 架构，可在廉价二手 Tesla K80（2014 年）上运行 35B MoE 模型。Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）在双芯 K80、2 核 8 GB 无 AVX 主机上解码约 21 tok/s，prompt 读取 8k 内约 110-120 tok/s；权重存于显卡故 8 GB 主机即可。内置前缀缓存，opencode 的 14k-token system prompt 第二轮从 170 秒降到 9 秒；短板是 prefill 慢，单次粘贴 30k-token 代码库需等数分钟。提供 OpenAI 兼容 API，另支持 Tenstorrent Blackhole 卡运行 Ornith 1.5。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。