AIsaAIsaStudio English 打开 AIsa Studio

Thinking Machines Lab 开源 looped transformer 模型 Inkling 2 Mini:26.4B 参数、1M 上下文、可…

原标题:thinkingmachines/Inkling-2-Mini (MoE: 26b, a3B)

Thinking Machines Lab 发布开源权重多模态模型 Inkling 2 Mini,采用 looped transformer 架构,总参数 26.4B、激活参数 3.4B(中间 12 层循环三次,等效激活约 5.4B),支持文本和图像输入、1M token 上下文窗口,Apache 2.0 许可。模型以约 20GB 混合 NVFP4/MXFP8 精度单检查点发布,可在 1x NVIDIA DGX Spark、32GB 以上内存的 Apple silicon 设备或 32GB 以上 VRAM 的 GPU 上本地推理,支持 vLLM、SGLang、llama.cpp、Ollama 等框架。基准测试显示其在编码和 Agent 任务上对比同规模模型表现突出;模型卡同时指出该模型可能陷入重复推理循环、Agent 工具使用可靠性较低、非英语(如中文)输出质量下降等局限。

为什么值得看

官方模型卡给出参数结构、本地硬件要求和基准对比,读者可以据此评估它是否适合本地部署和 Agent 用途。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

Thinking Machines Lab 发布开源循环 MoE 模型 Inkling 2 Mini

2026年11月20日,Thinking Machines Lab(Hugging Face 博客及 Clement Delangue 转发中亦称 Thinky Machines)发布 Apache 2.0 开源权重多模态模型 Inkling 2 Mini,为循环(looped)Transformer MoE 架构:24 层解码器中中间 12 层对每个 token 循环执行 3 次,通过跨 pass 消息机制等效 48 层逻辑层访问。报道对参数口径不一致:早期报道称总参数约 26B、每 token 激活 3B;后续报道称总参数 26.4B、激活 3.4B(计入循环后每 token 有效激活约 5.4B)。模型支持文本与图像输入、1M token 上下文,以 NVFP4/MXFP8 混合精度发布约 20GB 单检查点,附带 DSpark 投机解码草稿模型,可在 1x NVIDIA DGX Spark、32GB 以上内存的 Apple silicon 设备或 32GB 以上 VRAM 的 GPU 上本地推理,支持 transformers、llama.cpp、MLX、vLLM、SGLang、Ollama 等框架,并可通过 Tinker 平台微调。官方称其在 Artificial Analysis Intelligence Index v5 同级别领先(X 讨论称 AA Index 得分 20.1),与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 相比 48 项基准领先 32 项;The Decoder 报道其在 100B 以下开源模型中领先智能体编码测试,DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%。模型卡指出的局限包括可能陷入重复推理循环、Agent 工具使用可靠性较低、非英语输出质量下降。后续进展:exo 在 96GB M5 Ultra Mac Studio 上测得 210 tok/s 解码、48GB M5 Max MacBook Pro 上 125 tok/s 解码;OpenUncensored 发布通过定向消融移除拒答的 Inkling 2 Mini Uncensored,称 32 条有害提示拒答从 32 降至 0、MMLU 从 78.95% 升至 79.47%,仅改动 20 个 attention output projections,沿用 Apache 2.0;LexiSuite e2184ab 为其新增 Vulkan 运行时支持,可在单张 24GB AMD 显卡上以 262,144 token 上下文运行,RX 7900 XTX 上 261,632 token 提示词以 791 tok/s 处理、生成约 33 tok/s。

其他来源的报道 9