作者用 Claude 手改 Gemma 4 12B 的 8 个神经元调整意大利语时态翻译

GPT-6 Astra 直接读写神经网络权重实验引发复现热潮

2026年11月2日，r/LocalLLaMA 与 X 热门讨论报道了一项名为 Weight-Space Programming 的方法：研究人员（报道2称为 MIT 研究人员）让 GPT-6 Astra 直接读写神经网络权重，无梯度、无训练地修改模型。实验显示 Astra 能仅凭权重判断网络训练任务、从零写出胜过 PPO 训练 1 亿步网络的棋类网络；在修复 Qwen3.5-0.8B 时，Astra 通过 50 次练习题测试发现模型会循环重复直到触达长度上限，并将该习惯追溯到由 2 个层写入的单一内部信号，从权重中减去该信号后模型得以完成原本已能解出的答案。Astra 仅改动 0.016% 的权重，使该模型 MATH-500 从 7.9% 升至 48.1%、IFEval 从 21.0% 升至 62.3%。实验日志开源于 GitHub，编辑后模型发布在 Hugging Face。11月3日，Simon Willison 复现论文《Sparks of Weight-Space Programming》，在笔记本上用 LM Studio 运行 17GB 的 Qwen 3.8 27B，无需工具即从浮点权重正确识别出 Pac-Man（用时 46m12s、43,506 个 reasoning token）、Pong 和 Breakout，较冷门的 Freeway 失败；Kimi K3.1 Pro 也答对了 Breakout。他对部分网络评论的夸大解读持保留态度，认为尚不能宣告源代码时代终结。同日另有作者用 Claude Opus 5.5 无梯度改写 Gemma 4 12B 的 8 个 MLP 神经元（约 92k 参数、约 100 KB diff），调整意大利语未完成时翻译，在未见测试句上旧形式占比从 26%/32% 降到 5%/16%，200 条无关翻译中 182 条保持不变；三次运行两次成功，代码与日志开源。