本地 AI 应用实测：调整 GPU 功耗后持续推理从 100W 降到 25W

原标题：Hardware tuning when designing Local AI Experiences

作者用 2B 三元模型做了一个本地纪律追踪应用，摄像头拍照交由本地模型评估并生成行为报告。为解决持续推理时 GPU 满载 100W、风扇狂转的问题，他在 AMD Adrenaline 面板里降低功耗上限并固定风扇低速，整机功耗降到 25W，单次推理从平均 1.9 秒变为 2.8 秒。他质疑厂商为 NPU 投入大量硅片却没有为持续本地推理提供功耗调度接口，并询问有哪些 API 可让用户告知平台这是持续推理负载。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。