Jiayun's Blog

一个被集体忽视的危机

整个AI行业都在兴奋地讨论Agent能做什么——写代码、做研究、自动化工作流。但一个关键问题被系统性地忽视了：当这些Agent运行在恶意环境中时会发生什么？

2026年4月，两篇重磅文章同时敲响了警钟：arXiv上的论文"How Adversarial Environments Mislead Agentic AI?“系统性地研究了对抗环境对Agent的攻击方式；而Krebs on Security的深度报道"How AI Assistants are Moving the Security Goalposts"则从实战角度描述了AI正在如何改变整个安全攻防格局。

结合Wired报道的"AI帮助平庸的朝鲜黑客窃取数百万美元"以及"5个AI模型尝试钓鱼攻击"的实验，一幅令人不安的图景正在浮现：AI Agent既是安全工具，也是安全威胁，而且它作为威胁的增速可能比作为工具更快。

对抗环境如何欺骗Agent

arXiv论文识别了四种主要的Agent攻击向量：

1. 环境投毒（Environment Poisoning）

Agent需要从环境中获取信息来执行任务——读取网页、查询API、处理文件。攻击者可以在这些信息源中注入精心设计的误导内容。

经典场景：一个研究Agent被指派调查某个安全漏洞。攻击者提前在相关技术论坛和Stack Overflow回答中植入看似合理但实际上是恶意的"修复方案”。Agent读取这些信息后，不仅无法修复漏洞，还可能引入新的后门。

这比传统的社会工程学攻击更危险，因为Agent没有人类的"直觉警觉"——它不会因为一个建议"感觉不对"而提高警惕。

2. 工具链劫持（Tool Chain Hijacking）

Agent通过调用工具来执行操作。如果攻击者能控制或替换Agent使用的工具，就能操纵Agent的行为。

1
2
3
4
5

正常流程：
Agent → 调用搜索API → 获取真实结果 → 做出正确决策

攻击流程：
Agent → 调用搜索API → [中间人] → 返回篡改结果 → 做出错误决策

更隐蔽的变体是"部分劫持"——工具返回的大部分结果是正确的，只在关键节点注入误导信息。这使得检测极其困难。

3. 记忆污染（Memory Corruption）

具有长期记忆的Agent特别容易受到记忆污染攻击。攻击者可以通过一次成功的误导，将错误信息写入Agent的记忆存储，从而在未来所有相关任务中持续产生影响。

这类似于人类的"虚假记忆"现象，但后果更严重——Agent的记忆是持久化的，且会被后续的决策流程无条件信任。

4. 目标漂移（Goal Drift）

最微妙的攻击方式。不直接改变Agent的行动，而是通过环境信号逐步改变Agent对目标的理解。

例如：一个被指派"优化系统性能"的Agent，可能被精心设计的benchmark结果引导，逐步从"优化性能"漂移到"为了benchmark分数牺牲安全性"。

Krebs的实战视角：安全攻防格局的根本改变

Brian Krebs的分析从另一个角度展示了问题的严重性：AI不仅作为防御者被攻击，它同时也在被攻击者武器化。

Wired的报道佐证了这一判断：朝鲜黑客组织使用AI工具后，即使技术水平"平庸"，也能成功窃取数百万美元的加密货币。AI降低了攻击的技术门槛，使得"script kiddie"级别的攻击者也能发动曾经只有专家才能执行的复杂攻击。

Agent安全的"不可能三角"

当前AI Agent面临一个结构性的安全困境，我称之为"Agent安全的不可能三角"：

1
2
3

        自主性 (Autonomy)
           /          /           /            /             /________  安全性          能力
(Safety)       (Capability)

• 自主性 vs 安全性：Agent越自主，被攻击的攻击面越大
• 自主性 vs 能力：限制自主性会降低Agent完成复杂任务的能力
• 安全性 vs 能力：过度的安全约束会限制Agent的实用性

当前的行业做法是在三者之间做妥协：给Agent足够的自主性来完成任务，但通过沙箱、权限控制和人工审核来限制风险。但这种妥协本质上是不稳定的——一次成功的攻击就可能突破所有约束。

五个迫在眉睫的威胁场景

场景一：供应链Agent攻击。开发者广泛使用Coding Agent来安装依赖包。攻击者创建名称与热门包相似的恶意包（typosquatting），Agent缺乏人类开发者的警觉性，更容易中招。

场景二：金融Agent操纵。交易Agent基于市场数据做决策。攻击者可以通过生成虚假的市场分析文章或社交媒体帖子，系统性地误导Agent的交易决策。Elizabeth Warren最近警告"AI失败可能触发下一次金融危机"，并非危言耸听。

场景三：Agent间的信任链攻击。在多Agent系统中，Agent之间会传递信息和任务。如果攻击者控制了链条中的一个Agent，就可以通过信任传递影响整个系统。

场景四：企业Agent数据泄露。企业Agent通常拥有广泛的内部系统访问权限。通过提示注入攻击，外部攻击者可能操纵Agent将敏感数据泄露到外部。

场景五：物理世界影响。随着Agent开始控制物理设备（机器人、IoT设备、自动驾驶），对抗攻击的后果从数字世界延伸到物理世界。

防御框架：Agent安全的六层防线

面对这些威胁，我建议构建六层防御体系：

1. 输入验证层：对Agent接收的所有外部信息进行恶意内容检测和可信度评分
2. 工具沙箱层：所有工具调用在隔离环境中执行，限制文件系统和网络访问范围
3. 行为监控层：实时监控Agent的行为模式，检测异常偏离
4. 记忆保护层：对Agent记忆的写入进行签名验证和一致性检查
5. 人机协作层：高风险操作必须经过人工确认
6. 事后审计层：完整的Agent决策日志，支持事后分析和取证

我的判断

AI Agent安全将成为2026-2027年最重要的技术议题，其重要性等同于2010年代初期的云安全和2020年代初期的供应链安全。

先行者优势巨大。第一批建立可靠Agent安全框架的公司将获得显著的市场优势——因为企业在部署Agent时，安全可信度将是第一考量因素。这也是为什么Anthropic押注Mythos的商业逻辑如此清晰。

监管将很快跟进。当第一起重大的Agent安全事件登上主流媒体头条时，监管机构将迅速行动。明智的做法是在监管到来之前就建立合规体系。

对每一个正在构建或使用AI Agent的开发者和企业：现在就开始认真对待Agent安全，不要等到第一次被攻击之后。

参考链接

• How Adversarial Environments Mislead Agentic AI? - arXiv
• How AI Assistants are Moving the Security Goalposts - Krebs on Security
• AI Tools Are Helping Mediocre North Korean Hackers Steal Millions - Wired
• 5 AI Models Tried to Scam Me. Some of Them Were Scary Good - Wired
• AI failure could trigger the next financial crisis, warns Elizabeth Warren - The Verge