SenseNova-U1.5-8B-MoT 在 M5 Ultra 上跑 llama.cpp：Q4_K_M 达 125 tok/s 并能查收据错误

原标题：SenseNova-U1.5-8B-MoT in llama.cpp on an M5 Ultra (Q4_K_M): 125 tok/s, and it caught a $1 mistake on a receipt

SenseNova-U1.5-8B-MoT 的 llama.cpp 支持已于 10 月 21 日合并，作者自行转换官方权重后在 Mac Studio M5 Ultra 上实测，Q4_K_M 达 125 tok/s（Q8_0 为 88 tok/s，BF16 为 56 tok/s）。该模型仅支持理解（文本或图像输入、文本输出），图像生成需用 stable-diffusion.cpp。视觉测试中 Q4_K_M 通过 llama-mtmd-cli 在 16 秒内发现一张伪造收据小计多算了 $1.00，并注意到 7% 税额按错误数字计算；还无误读回菜单、白板和三张中英文标牌。作者提醒 mradermacher 的量化版缺少 mmproj 无视觉，转换报 KeyError: 'vision_config' 时可将 conversion/sensenova_u1.py 第 80 行改为 vision_…

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。