如何摆弄模型神经元:针对 Qwen3.5-4B 的神经元 steering 简明指南
原标题:How to mess around with neurons... a short guide
作者分享了在 Qwen3.5-4B(32 层、每层 9,216 个神经元)上进行单神经元激活 steering 的方法:在指定层的 down_proj 上加 hook,给单个神经元叠加固定 dose(0.75 到 1 之间常用,超过 1-1.5 通常输出乱码),可通过 llama.cpp 的 --control-vector 保存使用。文中介绍三种寻找有趣神经元的方法:随机搜索中间层神经元、梯度筛选加 LLM 评审、激活挖掘找主题探测器,并建议在同层随机选 3-5 个其他神经元做对照验证,方法灵感来自 justinrhowell 的 neuron-steering 仓库,也可在 Neuronpedia 上直接查神经元。
为什么值得看
作者分享了在 Qwen3.5-4B 上做单神经元 steering 的具体方法和三种寻找有趣神经元的路径,可直接复现。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。