AIsaAIsaStudio English 打开 AIsa Studio

Thinking Machines 发布开源循环 Transformer 模型 Inkling 2 Mini,可在笔记本上运行

原标题:New open model Inkling 2 Mini thinks in loops to solve problems with fewer words and still runs on a laptop

Thinking Machines 发布开源循环 Transformer 模型 Inkling 2 Mini,将 24 层中的 12 层对每个 token 重复运行三次,使模型无需生成更多文本即可进行更长的内部推理,用更少 token 找到正确答案。该模型为 MoE 架构,总参数 26.4B、每 token 激活 5.4B,支持文本与图像,上下文窗口 100 万 token,采用 Apache 2.0 许可。它在 100B 参数以下开源模型中领先智能体编码测试,DeepSWE v1.1 得分 48.2%,Vals Index v2.2 得分 46.5%;Artificial Analysis 智能指数 20 分,与 Qwen3.8 27B 持平,成本约低六倍、速度快四倍。模型可在至少 32 GB 内存的 Mac 和 Nvidia DGX Spark 上本地运行,权重已在 Hugging …

为什么值得看

原文解释了循环 Transformer 如何用更少 token 实现更长内部推理,并给出基准成绩与本地部署门槛,便于评估其实用价值。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

原文

Thinking Machines has released Inkling 2 Mini, a so-called looped transformer. A looped transformer runs certain layers multiple times for each token. Inkling 2 Mini runs 12 of its 24 layers three times in a row. That lets the model reason internally for longer without generating more text, finding the right answer with fewer tokens, according to Thinking Machines. The open mixture-of-experts model has 26.4 billion parameters, with 5.4 billion active per token because of the loops, the company says. It processes text and images, has a 1-million-token context window, and is licensed under Apache 2.0.

Inkling 2 Mini leads all open models under 100 billion parameters on agentic coding tests, scoring 48.2 percent on DeepSWE v1.1 and 46.5 percent on the Vals Index v2.2. Artificial Analysis gives it 20 points on its Intelligence Index, tying it with Qwen3.8 27B at roughly six times lower cost and four times the speed.

Inkling 2 Mini scores 20 on Artificial Analysis's Intelligence Index, tying it with Qwen3.8 27B (xhigh) and Nanbeige4.3-33B. With far fewer active parameters, the model sits directly on the Pareto frontier. | Image: Artificial Analysis

Inkling 2 Mini runs locally on Macs with at least 32 GB of memory and on Nvidia's DGX Spark. You can download the weights and a research version with variable loops from Hugging Face. It is also available to try in the Tinker Playground.

原文版权归 The Decoder 及原作者所有,本站转载仅供阅读。如需删除,请联系 support@aisa.one。

事件综述

Thinking Machines Lab 发布开源循环 MoE 模型 Inkling 2 Mini

2026年11月20日,Thinking Machines Lab(Hugging Face 博客及 Clement Delangue 转发中亦称 Thinky Machines)发布 Apache 2.0 开源权重多模态模型 Inkling 2 Mini,为循环(looped)Transformer MoE 架构:24 层解码器中中间 12 层对每个 token 循环执行 3 次,通过跨 pass 消息机制等效 48 层逻辑层访问。报道对参数口径不一致:早期报道称总参数约 26B、每 token 激活 3B;后续报道称总参数 26.4B、激活 3.4B(计入循环后每 token 有效激活约 5.4B)。模型支持文本与图像输入、1M token 上下文,以 NVFP4/MXFP8 混合精度发布约 20GB 单检查点,附带 DSpark 投机解码草稿模型,可在 1x NVIDIA DGX Spark、32GB 以上内存的 Apple silicon 设备或 32GB 以上 VRAM 的 GPU 上本地推理,支持 transformers、llama.cpp、MLX、vLLM、SGLang、Ollama 等框架,并可通过 Tinker 平台微调。官方称其在 Artificial Analysis Intelligence Index v5 同级别领先(X 讨论称 AA Index 得分 20.1),与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 相比 48 项基准领先 32 项;The Decoder 报道其在 100B 以下开源模型中领先智能体编码测试,DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%。模型卡指出的局限包括可能陷入重复推理循环、Agent 工具使用可靠性较低、非英语输出质量下降。后续进展:exo 在 96GB M5 Ultra Mac Studio 上测得 210 tok/s 解码、48GB M5 Max MacBook Pro 上 125 tok/s 解码;OpenUncensored 发布通过定向消融移除拒答的 Inkling 2 Mini Uncensored,称 32 条有害提示拒答从 32 降至 0、MMLU 从 78.95% 升至 79.47%,仅改动 20 个 attention output projections,沿用 Apache 2.0;LexiSuite e2184ab 为其新增 Vulkan 运行时支持,可在单张 24GB AMD 显卡上以 262,144 token 上下文运行,RX 7900 XTX 上 261,632 token 提示词以 791 tok/s 处理、生成约 33 tok/s。

其他来源的报道 9