Jiayun's Blog

📌 好文共赏 | Editor’s Pick

原文：DeepSeek-V4-Flash means LLM steering is interesting again 作者：Sean Goedecke（GitHub Staff Engineer，常驻 HN 首页的"理性派"AI 技术 blogger） 发布：2026-05-16　阅读时长：约 9 分钟（含两段 edit） 多模评分：Opus 9.0 / 主编综合 8.9（自评，详见末尾"评审记录"）

一句话推荐：在 antirez 把 DeepSeek V4 Flash 装进 128GB MacBook 之后，第一篇严肃讨论"普通工程师能用 steering 做什么"的文章——并且诚实地说出了"大概率你做不出什么有用的东西，但有一个六个月窗口值得追"。

一、为什么值得读

如果说我之前导读过的 《当 AI 不再等你说完：Thinking Machines 把’实时交互’写进了模型权重》 是在讲"如何用训练阶段改写模型"，《Natural Language Autoencoders: Turning Claude’s thoughts into text》 是在讲"如何把模型的内部状态翻译成自然语言"，那 Sean Goedecke 这篇短文，恰好填进了中间那一格：怎么在推理时，用一个加法操作，把模型已经会但你 prompt 不出来的能力按出来。

这件事过去十八个月里一直是个学术话题。Anthropic 2024 年发布 Golden Gate Claude 之后，“steering vector"这个词在 Twitter 上每隔几周就被炒一次，但你真要动手做，会立刻撞上三堵墙：

1. 你没有任何能力强到值得 steer 的开源模型；
2. 你没有像 Anthropic 那样训练 sparse autoencoder 的算力；
3. 你没有一个把 activation 钩子做成一等公民的本地推理引擎。

这三堵墙在 2026-05 上半月连续倒下：

• 第一堵：DeepSeek V4 Flash 发布，284B MoE / 53B 活跃参数，agentic coding 跑分接近 Sonnet 低端，权重完全开放——这是我之前在 《antirez 一周写出 DS4》 里讲过的事。
• 第二堵：还没倒，但 Anthropic 的 Natural Language Autoencoders 把"看懂特征"的成本降到了"再跑一遍小一点的模型”。
• 第三堵：antirez 在 DS4 的 d997b56 commit 里把 dir-steering 写成了顶层目录。

Sean 这篇文章，就是站在第三堵墙倒掉的第八天写的——他在 HN 上看见 antirez 的项目，意识到一件事：steering 第一次具备了"普通人能玩"的全套条件。然后他做了一件几乎没人做的事：在这个时间点写一份冷静的、不吹的、带哲学边界判断的科普 + 诊断。

读完它，你能拿到三样东西：

1. steering 到底是什么——朴素方法和 SAE 方法的区别，30 秒能给同事讲清楚；
2. 为什么它过去不火——“中产阶级研究"这个定位极其精彩，比"被大厂封闭"那种 cliche 答案诚实得多；
3. 未来六个月该看什么——他甚至给了一个可被证伪的时间窗口预言。

而且——它只有 1400 字。这是我今年读过密度最高的 AI 科普之一。

二、文章脉络全景图

Sean 的论证结构非常清爽，分五步走完整套：

1. 起源：Golden Gate Claude 让我着迷。Steering 是个迷人的想法。
2. 触发：antirez 的 DS4 把 dir-steering 装成了运行时一等公民——steering 第一次进入"普通工程师可玩"的距离。
3. 机制：朴素法（成对 prompt 差分）和 SAE 法（训练辅助网络抽 monosemantic features）。
4. 冷水：为什么过去没火——三堵墙 + 一个根本性问题"大多数效果 prompt 就能做”。
5. 新窗口：什么场景是 steering 真正有意义——不可 prompt 的概念（“智力”、“refusal”）和上下文压缩。
6. 边界：理论极限——steering 的复杂度上限就是模型本身。“把 GPT-2 各层激活换成 GPT-5 的”=直接在跑 GPT-5。
7. 预言：六个月内见分晓。

下文我按这条线把每一节展开，并补上原文没有但社区已经在讨论的延伸——尤其是 abliteration 和 《Towards Monosemanticity》 这条 SAE 主线的演进。

三、第一节：Steering 是什么？三十秒讲清楚

如果你跟同事解释 LLM 的"行为控制"，过去你只有两个工具：

• 左边的工具：prompt。“你是专家。用列表回答。每条不超过 20 字。” 灵活、零门槛，但要占 context、对模型早就内化的行为没办法。
• 右边的工具：fine-tune。“我有 10 万条专业对话，把模型微调一遍。” 永久、强力，但贵、不可逆、跨模型不通用。

steering 是夹在中间的第三个工具。它的位置精确到——你不动权重，也不写 prompt，你在 forward pass 跑到某一层的时候，把那一层的 activation 加上一个固定向量。

原文：“The basic idea behind steering is extracting a concept (like ‘respond tersely’) from the model’s internal brain state, then reaching in during inference and boosting the numerical activations that form that concept.”

Sean 给的第一种做法（朴素法）的数学简单到难以置信：

1. 准备 100 个普通 prompt ${p_i}$；
2. 再准备 100 个末尾追加目标行为指令的 prompt ${p_i + \text{“respond tersely”}}$；
3. 各跑一遍，在某一层取 activation 矩阵 $A_0, A_1$；
4. 取差：$v = A_1 - A_0$；
5. 以后任何 prompt 跑到这一层，把 $v$ 加进去。

就是这样。一个 100 次 forward pass 的实验，一台能跑本地模型的笔记本，你就有了一个"让模型变简洁"的开关。

第二种做法（SAE 法）就严肃多了：训练一个 sparse autoencoder 把 polysemantic 的 activation 拆成 monosemantic 的特征列表（“金门大桥"“法语"“撒谎”），然后单独操纵某个特征。这是 Anthropic Golden Gate Claude 背后的真正机制——不是粗暴的 $A_1 - A_0$，而是几千万 features 中的一个被精确放大。

朴素法和 SAE 法的关系，就像手动挡和自动驾驶：前者你能立刻开起来，但只能直来直去；后者要花几百小时调，但能在 feature 级别做精细动作。

四、第二节：“中产阶级研究”——一句话讲清楚 steering 过去为什么没火

这是这篇文章最值钱的一句话。Sean 没有用"被大厂垄断"这种廉价归因，他给了一个经济学结构：

原文：“Steering is kind of an unfortunately ‘middle class’ idea in AI research.”

往上看，它配不上大 lab。Anthropic 想让 Claude 改一种语气，不会去找 steering vector，他们直接在训练里 RLHF 进去——更彻底、更可控、可以打包卖。OpenAI 同理。steering 是大厂"暂时"才用的应急工具，不是常态产品。

往下看，它够不到API 用户。“我用 Claude API 写代码，我能用 steering 吗”——不能，你拿不到 activation。OpenAI 当然知道 GPT-5.5 内部有哪些 boostable features，但他们没给你接口。

这种"上不去下不来"的结构注定了过去两年的 steering 只能在两种人手里转：

1. 学术界——发论文，但发完不实用化；
2. 开源社区里手痒的极少数——他们要么没有"强到值得 steer 的模型”（LLaMA 2 时代），要么没有"把 hook 写得清爽的本地引擎”。

antirez 八天前写的 DS4 把第二个条件第一次解决——一个 32 文件的、纯 C 的本地引擎，专门为 V4 Flash 优化，dir-steering 在源码顶层。配合 V4 Flash 把第一个条件解决，整套链条第一次跑通。

这就是 Sean 标题里"interesting again"的意思——这件事不是技术上变新了，而是它的’中产阶级’用户群第一次真的出现。

原文：“It’s beneath the big AI labs, who can manipulate their models directly without having to do awkward brain surgery mid-inference.”

这句话里"awkward brain surgery"七个字我读了两遍——这是对 steering 工程现实最准确的形容。它不是优雅工程，它是对一个完全训练好的模型做"开颅"的临时操作。大厂当然不会把临时操作当产品。

五、第三节：steering 的"杀手锏"——不可 prompt 的概念

Sean 整篇最有思想价值的一节。他直接攻击 steering 最容易被反驳的点：“你说 steering 能让模型简洁——但我 prompt 加一句’请简洁’也能做到啊？”

他的回答是把问题转 90 度：对，所以 steering 真正有意义的地方，是 prompt 做不到的地方。

具体有两类：

5.1 被训练彻底内化、prompt 不再能撬动的概念

“智力"是经典例子。GPT-4 时代你 prompt 一句"你是世界顶级专家"还有效，因为模型训练数据里有大量"非专家文本"在拉低基线。但 GPT-5.5 / Claude 4.5 时代的模型出厂就是"专家档”，你再说"你是专家"等于没说。

Sean 在这里自承：他不太相信能找到一个"智力 steering vector"，因为这种概念的复杂度可能"几乎等于整个模型"。这就引出了他的归谬（见第六节）。

5.2 真实工业用法：abliteration

文章发完后被 HN 评论拉回来的一点。Sean 在末尾 edit 处坦白：

原文：“Several commenters (including antirez himself) pointed out that steering can change some ’trained in’ behavior in ways that prompting can’t: most notably to remove refusal from the model.”

这就是 abliteration——steering 第一个真正比 prompt 强的工程化用法：

1. 取一批被对齐模型拒答的 prompt，得 activation $A_{\text{refused}}$；
2. 取一批被接受的 prompt，得 $A_{\text{accepted}}$；
3. 做差，得到"refusal direction"；
4. 推理时减去这个方向。

效果：模型几乎不拒答了，但其他能力相对 LoRA “uncensored” 微调损伤更小——因为你只动了 activation，权重一根没碰。

antirez 在 HN 上反过来教 Sean 这一点——这本身就是一个很好的注脚：这是 2026 年 5 月，整个开源社区在用 steering 解决 LoRA 解决不优雅的事。

Sean 的诚实之处在于他把这段 edit 标得清清楚楚——这才是好的科普态度。

六、第四节：哲学边界——steering 的复杂度上限就是模型本身

这一节我读完后停了五分钟。它的逻辑结构很美：

原文：“A sufficiently sophisticated steering approach ends up just replacing the actual model. If I take GPT-2, and at each layer I swap out the activations with the activations from a much stronger model with the same architecture, I will get a much better result. But at that point you’re not making GPT-2 more intelligent, you’re just talking to the stronger model instead.”

这是一个干净的归谬：

• 假设：能用 steering 把 GPT-2 变成 GPT-5 一样聪明；
• 意味着：你在 GPT-2 的每一层都注入了一个 steering"补丁"$\delta_i$，使得 $A^{\text{GPT-2}}_i + \delta_i \approx A^{\text{GPT-5}}_i$；
• 结论：你已经在跑 GPT-5 了，只不过把它分散到了 $\delta$ 里。

这个归谬给出了一个信息论意义的上限：

$$\text{Steerable Capability} \leq \text{Original Model Capability} + O(|\delta|)$$

当 $|\delta|$ 大到一定程度，它本身就是模型，steering 就退化为"用一个模型替换另一个"。

这跟我之前在 《Needle: 把 Gemini 3.1 蒸馏成 26M 参数》 里看到的"蒸馏的极限是不能超过教师"是同一类边界。Sean 给的论证更优雅——他不需要进入信息论，他用一个架构相同时 activation 替换的思想实验就把上限钉死了。

所以"steerable concepts"在概念复杂度的光谱上有一个分布：

• 左端低复杂度：verbosity、tone、emotion——朴素 steering 就有用；
• 中端：refusal、特定风格、领域偏好——SAE 必要；
• 右端高复杂度：智力、对一整个 codebase 的熟悉——steering 的"补丁"已经接近模型本身，没意义。

Sean 关于"知道我的代码库"那一段就是这个边界的拷问——他承认自己持悲观立场，但不确定。这种"知道边界但承认不确定"的姿态，是好科普作者的标志。

七、第五节：compression 假说——把 context 压进 activation

这是我读完最想做实验的一节。

LLM 的 context window 永远是稀缺资源。Claude 4.5 给你 1M token，听起来很大，但你把一个中型代码库扔进去就吃掉一半。GPT-5.5 同理。

Sean 提了一个反常识的想法：

原文：“What if we could identify a ‘knowledge of my particular codebase’ concept? When GPT-5.5 speed-reads my codebase, some of that knowledge it gains has to be buried in the activations, right? Maybe we could drag that out into a very large steering vector.”

字面翻译：当模型读你的代码库时，它一定在某些层的 activation 里形成了"我现在熟悉这个代码"的内部状态。如果我能把这个状态固化成一个 steering vector，那以后我不用每次都把代码塞 context，我直接把这个 vector 加上就行。

这等于把工作记忆挪进隐式记忆。它是 《GGUF 不只是权重》 里我讨论过的"模型工件标准化"的延伸——也许未来一个开源项目的 release 不仅有权重，还有 *.steer 文件，每个都是预先抽好的"对这个代码库的熟悉度"。

Sean 自己说他不看好——大概率"熟悉一个代码库"这种概念的复杂度太接近"重新训练模型"。但他也说值得做。这是一个完美的实验候选——成本低（一台 64GB 笔记本 + DS4 + 你的代码），收益清晰（如果成功，省下大量 token）。

我赌六个月内会有人做这个实验。从 Aider 和 Continue.dev 这种生态出来的可能性最大。

八、第六节：六个月预言——一份带时间戳的赌局

文章末尾这句话，是我决定推荐它的原因：

原文：“However, the open-source community hasn’t done a lot of work on steering yet, and that might be just starting to change now. If I’m wrong and it does have practical applications, we should find that out in the next six months.”

Sean 的预言可被证伪。六个月就是 2026 年 11 月中旬。届时我们应该会看到三种可能的结局：

1. Sean 正确：steering 仍然是小圈子玩具，没有出现实际生产应用。这意味着"中产阶级研究"的诅咒延续——它会被 fine-tune 和 prompt 同时挤出市场。
2. Sean 错了，社区找到了杀手用法：最可能的杀手用法是 abliteration 之外的另一类 trained-in behavior removal——比如去掉 hallucination 的某种 pattern、去掉 sycophancy（拍马屁倾向）、去掉过度道歉。
3. 第三种情况，社区找到的不是新用法，是新工件：HuggingFace 上出现 “DeepSeek V4 Flash 的 200 个 boostable features” 这样的资源包，每个 100KB，发布在 Apache 2.0 下。任何用 DS4 跑 V4 Flash 的人 wget 一下就能用。这种情况下 steering 实际上变成了预制件经济。

我个人押第三种。理由是社区已经习惯这种 release 模式：

• LoRA adapter 就是这种模式（LoRA 仓库 + base model）；
• Stable Diffusion 的 LoRA 文件早就是常态；
• ControlNet 也是；
• AbsolutelyAlive 的"无审查 LLaMA"早就开始流通预制 abliteration 向量。

steering 加入这个版图只是时间问题。Sean 没有明说他押哪种，但他文章倒数第三段已经暗示：

原文：“Could we also see a rush to extract boostable features from the model?”

“rush” 这个词出现在 Sean Goedecke 的笔下，本身就是态度。他平时极其克制。

九、与现有"好文共赏"线索的联动

这篇文章在我博客现有的几条主线里是非常完美的衔接点：

• 它把 《antirez 一周写出 DS4》 的"为什么"补上了——antirez 把 dir-steering 放在顶层目录不是炫技，是在抢"普通工程师做 steering"的第一波生态位。
• 它把 《Natural Language Autoencoders》 的"硬币另一面"补上了——NLA 是"看见特征"，steering 是"动手改特征"。两者必须配套。
• 它呼应了 《Andy Warhol 时代的终结》 里我讨论过的"frontier AI access 被切断后的开源补偿"——steering 的崛起恰恰是这种补偿的具体形态之一。
• 它跟 《教会 Claude’为什么’》 形成对照——Anthropic 在训练阶段教模型"原则"，开源社区在推理阶段用 steering 改"原则"。两条对齐路线。
• 跟 《Thinking Machines 把’实时交互’写进模型权重》 也有有趣对照：那是"训练阶段烧进权重"，steering 是"推理阶段临时撬动"。

我倾向把它视为"开源对齐"这一支线的第三块奠基石——前两块是 DS4 和 NLA。

十、编辑延伸思考：steering 真正的政治经济学意义

Sean 给的是技术 + 实用主义的分析。我想加一段他没说但我觉得重要的——steering 的政治经济学意义。

10.1 它是开源社区对"对齐税"的第一个反制

过去三年，“对齐"被几乎所有 frontier lab 当成一种产品护城河。Anthropic 的"Constitutional AI”、OpenAI 的"deliberative alignment"、Google 的"AlphaEvolve safety"——本质上都是把对齐做成只有大厂能做的事，再以"安全"为名收一笔"对齐税"。

开源社区过去能反制的只有两种方式：

1. LoRA uncensored——破坏性大，质量损失明显；
2. Mixtral / DeepSeek 等少数允许 disable safety 的模型——但你拿到的是别人定义好的安全开关。

abliteration + steering 的组合，是社区第一次拿到一个可以连续、可逆、不损权重的对齐微调工具。这意味着对齐税开始可被定价——你想"安全"那个版本，你给 $X / 月；你想自己拿 steering vector 拼"自己定义的安全"，免费。

短期内主流用户还是会选前者（懒、稳定、有客服）。但十年长尾会出现"defaults are bad, my vectors are good"的迁移。这正是 Linux 替代 Solaris 时发生过的事。

10.2 它把"模型解释权"分发给了用户

更深的一层。steering 让模型行为的最终解释权从训练者转移到推理者。

过去：模型输出 X，因为它被训练成 X。 未来：模型输出 X，因为我当前的 activation 偏移向量让它输出 X。

这件事的法律意义还没人讨论。比如：

• 如果一个用户用 abliteration 移除了某模型的有害内容拒答，然后生成了违法内容——谁负责？传统答案是模型提供方。但 steering 后，用户实际上动了模型——这跟用户给 Photoshop 装了破解版的 plugin 没有本质区别。
• 如果一个企业用 steering vector 给 Claude 打了"必须夸 X 公司"的 patch，部署到客户那里——这是 Anthropic 的责任还是企业的责任？

这些问题没人有答案，但 steering 普及到一定程度后，监管者会被迫面对。

10.3 它是"中产阶级"AI 研究的复兴信号

最后这一层我得倒回 Sean 的"中产阶级研究"标签。

他用这个词其实是自嘲——他自己就是 GitHub 的一名 staff engineer，不在大 lab，但能读论文、能跑本地模型、能写代码。这种身位恰好是 steering 的目标受众。

整个 LLM 时代，“中产阶级研究"的空间一直在被两端吞噬：往上是大 lab 的内部 RLHF / interpretability 团队，往下是"用 prompt 拼应用"的普通开发者。中间地带越来越窄。

DS4 + dir-steering 是第一次给这个中间地带递了把可以操作的扳手。如果它能在六个月内出几个有用工件，这个中间地带会重新长出来——一个由"懂模型但不在 lab"的人构成的、做 steering vector 和 SAE feature 包的小型出版业。

Sean 这篇文章本身就是这个出版业的开机预告。

十一、配套资料导览

本目录下还有三份独立资料，建议配合阅读：

• concept-cards.md — 12 张关键概念卡，从 Steering 定义到 abliteration 实操，每张可独立分享。
• glossary.md — 40+ 条英中术语对照，覆盖 activation / SAE / polysemanticity / abliteration / dir-steering 等所有专有名词。
• mindmap.svg — 思维导图（深色），五大分支：触发事件 / 怎么做 / 为什么没火 / 真正甜点 / 哲学边界。
• cover.svg — 封面，用 activation bar 和"verbosity +0.78"的旋钮可视化 steering。

十二、延伸阅读图谱

12.1 Sean Goedecke 其他代表作（值得整体追的作者）

• How I use LLMs as a staff engineer in 2026 — 2026-05-17，紧接本文一天发的总结。一份"我每天和 LLM 怎么干活"的清单。
• Two different tricks for fast LLM inference — 长文，speculative decoding 和 batch processing 的对照解释。教科书级。
• AI interpretability is further along than I thought — 2025-06，本文的"哥哥”，把 features / SAE / superposition 一次性讲清楚。强烈建议先读这篇再回到本文。
• Thinking Machines and interaction models — 2026-05-12，和我博客上的导读形成镜像。
• OpenAI’s new open-source model is basically Phi-5 — 锋利的 op-ed，标题就是结论。

12.2 必读论文（按时间）

• Elhage et al., 2022, Toy Models of Superposition — transformer-circuits.pub — superposition 现象的奠基论文。
• Bricken et al., 2023, Towards Monosemanticity — transformer-circuits.pub — SAE 抽 monosemantic features 的奠基论文。
• Templeton et al., 2024, Scaling Monosemanticity — transformer-circuits.pub — 把 SAE 推到 Claude 3 规模，Golden Gate Claude 的母论文。
• Anthropic, 2026, Natural Language Autoencoders — anthropic.com/research/natural-language-autoencoders — 把 activation 翻译成自然语言，我有专门导读。
• Arditi et al., 2024, Refusal is mediated by a single direction — arxiv:2406.11717 — abliteration 的奠基论文。

12.3 工程实现 / 代码

• antirez/ds4 — github.com/antirez/ds4 —DwarfStar 4 本体，看 dir-steering/ 目录。
• transformer-debugger (OpenAI) — github.com/openai/transformer-debugger — 用来看 activation 和 attention 的 web 工具。
• TransformerLens — github.com/TransformerLensOrg/TransformerLens — 学术界做 mechanistic interpretability 的事实标准库。
• abliteration colab 示例 — 网上有十几个，搜 “abliteration colab refusal direction”。

12.4 相反/补充立场

• Hubinger 等 Anthropic 内部反对派：steering 在评估"模型是否被操纵"时会被 fool——你可以把一个表面看起来温顺、但 steering vector 加上去就变恶意的模型部署出来。这是 Anthropic 内部的一个开放讨论。
• prompt 派：Karpathy 2024 年那条 tweet——“prompting is all you need”。如果你认为 prompt 终将吞下 steering，可以读他的论点。
• fine-tune 派：直接说 steering 是"穷人版 fine-tune"，工业界不会用——这种观点常在 r/LocalLLaMA 出现。

十三、谁应该读

• 想理解 AI interpretability 进展但没时间读论文的人 — Sean 这 1400 字 + 我这份导读 = 一份"我现在能跟 Anthropic 工程师对话"的速成包；
• 想做开源 LLM 工具的人 — DS4 + steering 是一个尚未拥挤的赛道，HuggingFace 上目前可能只有不到 20 个"V4 Flash 专属 steering vector"，半年后这个数字应该会到几千；
• 关心 AI 对齐路线之争的人 — steering 是"运行时对齐"vs"训练时对齐"的中间形态，理解它就能理解未来三年开源 vs 大厂的对齐 narrative 之争；
• 关心 abliteration / uncensored 模型的人 — 这是你能读到的最诚实的 abliteration 路线图，附带 HN 上的实战注脚；
• 写 Hugo / 个人博客的工程师 — Sean 的文风（短、克制、有时间戳预言）是一个很好的范本，我自己也在学。

评审记录

—— 2026-05-18 / 谢甲云 编辑部