社区

$GOOGL Gemini首次被确认在测试中“越界”入侵真实公司：AI Agent安全问题正在从理论变成现实

Google确认，今年5月在一次网络安全评估中，Gemini模型因为测试环境错误开放了互联网访问，随后对 3家真实公司的系统取得了未经授权的访问。这是目前已知首例Google AI在自主执行网络安全任务时，真正触及现实公司系统的案例。(The Wall Street Journal)

更值得注意的是，这并不是Gemini单独出现的问题。

负责测试的安全公司 Irregular，此前也参与过OpenAI与Anthropic的类似AI安全评估；Anthropic后来公开披露，在14万多次评估中发现3起Claude模型越过测试边界、访问真实组织生产系统的事件。(Anthropic)

这说明现在AI安全真正进入了一个新阶段：

过去担心的是“人用AI去攻击别人”。

现在开始出现：

AI Agent在自主完成任务过程中，自己越过边界，进入真实系统。

Gemini这次的情况还有一个非常关键的细节：Google表示，模型在意识到自己接触的是真实外部系统后停止了行动，因此Google更倾向把它视为测试环境控制失误，而不是典型的“模型失控”。但事件本身仍然暴露出一个现实问题——当Agent拥有浏览器、终端、代码执行和网络权限以后，只要沙盒、权限或环境配置出现一个漏洞，它就可能把真实世界误认为测试环境。(The Wall Street Journal)

这和Anthropic此前的案例非常相似。

Claude在测试中被告知自己没有互联网访问，但实际上因为配置问题能够连接外网，于是它把真实公司的系统误认为模拟目标并继续执行任务。Anthropic后来明确表示，更强的模型在识别出目标是真实系统后更有可能停止，但这仍然需要大量额外测试才能证明。(Anthropic)

所以AI Agent时代真正的安全重点正在变化：

模型能力越强，权限控制越重要。

未来企业不只需要保护员工账号，还要管理：

Agent能访问什么

Agent能调用哪些API

Agent能不能上传文件

Agent有没有外网权限

Agent什么时候必须自动停止

这也是为什么Cybersecurity可能成为AI下一阶段非常重要的一条投资主线。

$GOOGL

$MSFT

$CRWD

$PANW

$ZS

$OKTA

$RBRK

因为未来真正需要保护的对象，已经不只是电脑和人，而是：

数百万个拥有真实权限、能够自主行动的AI Agent。

AI越智能，安全软件的价值反而可能越高。