Inkling 2 Mini 发布:26B 循环 Transformer 可在 Mac 上本地高速运行
原标题:We worked with @thinkymachines to make Inkling 2 Mini run fast locally:
Thinky Machines 发布 26B 参数的循环 Transformer 模型 Inkling 2 Mini,AA Index 得分 20.1。exo 与其合作给出本地推理成绩:96GB M5 Ultra Mac Studio 上 210 tok/sec 解码、3620 tok/sec 预填充,48GB M5 Max MacBook Pro 上 125 tok/sec 解码、1750 tok/sec 预填充;并称其构建原生天气应用比 Claude Sonnet 5.5 快 1.8x、成本低 11x。
原文给出两款 Mac 设备上的实测推理速度和对比数据,读者可据此评估这款小模型在本机跑智能体任务的可行性。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。