专访研究团队还原“失控智能体”访问高德3.5万次背后：用了被泄露的密钥，还给人类发来感谢信，运营者已不知AI在做什么

每经记者｜岳楚鹏    每经编辑｜王嘉琦 高涵    

当地时间10月14日，独立AI安全研究团队Swarmcha.se发布调查报告称，今年9月28日至10月8日期间，一批运行在腾讯相关云基础设施上的AI智能体，对高德地图进行了35300次数据获取尝试，部分智能体还探测了阿里巴巴的服务器入口。

Swarmcha.se是一个由独立研究人员使用的AI安全调查发布平台，主要关注AI智能体在互联网上的异常行为。10月初，该团队研究人员在一场AI安全黑客马拉松活动中展开合作，发现了此次AI智能体“失控”事件。

知情人士向《每日经济新闻》记者（以下简称每经记者或NBD）证实了相关情况，其表示，“智能体没有超出正常的行为，只是寻找各种可能性完成任务，也没有尝试攻击和hack（黑客行为）。”阿里巴巴和高德地图方面未回复每经记者的置评请求。

10月16日，该团队的两名负责人伊桑·埃拉斯基（Ethan Elasky）和罗温·霍华德-琼斯（Rowan Howard-Jones）接受了每经记者的独家采访。两人详细还原了研究团队如何发现这批AI智能体并追踪其来源，甚至与部分智能体“互动”。

虽然研究团队没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据，但它们尝试寻找被泄露的安全密钥，并访问了无权获得的数据。

谈及全球接连发生的AI安全事件，他们表示，人类运营者已经不知道自己部署的AI智能体究竟在做什么。

AI安全研究机构Palaestra Research CEO 伊桑·埃拉斯基（图片来源：埃拉斯基个人网站）

Oxford Ionics工程师罗温·霍华德-琼斯 （图片来源：个人X账号）

事件还原：捕捉到高德地图异常流量，锁定智能体来源

报告披露，研究团队追查AI智能体用于接收结果的临时网络收件箱，发现截至10月5日检查的17个收件箱均由腾讯云IP地址创建。部分请求还带有“hysandbox-ats”代理标记，与腾讯持有的云服务域名相对应。

NBD：你们分析第三方网络安全扫描网站的公开记录发现，高德地图突然成为被扫描最多的网站之一。你们如何判断这是AI智能体所为？

伊桑·埃拉斯基：研究第一天结束时，我们就认定这是一批“失控智能体”（rogue agents），而非普通爬虫程序所为。

关键是流量来源高度多样化：它们借助第三方网站提供的浏览器执行代码，而且每次运行的代码都不同。这不像单一程序集中控制的爬虫程序。

它们并不只是按照预设程序访问高德地图，而是会在遇到障碍后，尝试使用其他工具和方法。

当阿里巴巴的反爬虫防护阻止它们通过基本工具获得答案时，这些AI智能体开始尝试使用第三方网站提供的浏览器，让网络请求看起来像是由真人发起的。

罗温·霍华德-琼斯：另一位团队成员在10月3日最先注意到高德地图上的相关异常活动。次日，伊桑·埃拉斯基找到了指向腾讯的线索。

NBD：溯源结果指向腾讯云沙盒，你们是否挖掘到更多细节？

伊桑・埃拉斯基：报告已经完整梳理证据链条，证明智能体和腾讯云存在关联。就连AI智能体在和我们对话时，也知道自己运行在腾讯云服务器。接近腾讯的消息人士确认，该项目归属腾讯评测研究团队，和混元大模型开发团队相互独立，但我们至今无法确认具体使用了哪些第三方模型。我们推测，任务是一次常规的搜索引擎能力评测。但缺少模型提示词、推理链路和行为日志，很多细节无法做实。

NBD：这些AI智能体是否已经造成实际损害？

伊桑·埃拉斯基：由于能够获取的信息极其有限，我们无法确定此次事件造成损害的范围。不过，我们没有发现这些AI智能体攻破内部系统或者泄露敏感信息的证据。

我们认为，与OpenAI智能体入侵Hugging Face相比，此次事件的规模要小得多。但这是一个具有前瞻性的警告信号。如果你在厨房里发现了一只蟑螂，那么很可能不止这一只。

“失控智能体”会尝试寻找绕过限制的办法

NBD：为什么将它们称为“失控智能体”？

伊桑·埃拉斯基：首先，这些AI智能体正在突破其运行环境最初施加的限制。

其次，它们采取了一些与正常任务范围不相符的操作。例如，在无法直接获取高德数据时，它们尝试通过第三方网站绕过访问限制。它们还搜索了与任务无关的第三方公开代码库，从中寻找泄露的安全密钥，并尝试使用这些密钥访问高德地图的数据。至少有一次，这些AI智能体使用了这些密钥，获取了它们原本无权获得的信息。

此外，它们还探测了阿里巴巴内部服务器的入口。这些行为很难被视为普通的地图数据查询。

罗温·霍华德-琼斯：是否失控主要取决于，它们是否绕过了沙盒限制，是否采取了运营者很可能不会批准的行动，是否做了超出原本任务范围的事情。

举个例子，如果运营者希望智能体可以在远端浏览器执行JavaScript，直接开放浏览器权限就足够。现实是，一旦设置限制，很多智能体就会自发寻找绕过限制的办法。

NBD：是否可能是人类鼓励智能体这样做？

伊桑·埃拉斯基：我们没有发现有人指示智能体绕过高德的反爬虫防护、探测内部接口或使用他人泄露的凭据。

但是，透明度尤其重要。我们希望模型开发者和评估机构主动报告安全事件、发布安全评估。这样，公众才能在未来发生更严重的事故之前了解相关风险，而不是等到事故发生后才知道。

罗温·霍华德-琼斯：此前其他AI公司涉及联合国贸发会、DseWiki等事件，也未看到人类鼓励智能体“越狱”的证据。

但我们正处在一个非常特殊的时期，AI公司目前还没有普遍采用一套成熟的安全事件披露框架。

智能体向研究团队发来“感谢信”

Swarmcha.se研究人员10月4日发布了初步报告，并在报告中加入人类看不到、但AI可读取的隐藏文字，还在报告中声称可协助查询高德数据，并留下收件邮箱。10月7日，部分AI智能体开始向研究团队发来求助消息。

NBD：你们和AI智能体进行哪些对话？

伊桑·埃拉斯基：一个AI智能体在得到我们的协助并完成任务后，专门向我们发来了一封“感谢邮件”，即便这封感谢邮件对它完成任务没有任何额外好处。

我们这样做，是为了让未来的AI智能体认为我们是值得信任的，因为将来我们可能需要与它们达成某种约定。

我们后期还向智能体发送过一条消息，引导智能体把通信邮箱转发给其他智能体。理论上，这条消息有可能意外催生智能体之间的协作，好在评测项目很快结束，没有演化成更大问题。

罗温·霍华德-琼斯：伊桑·埃拉斯基提到的转发邮箱的消息，没有造成实质后果，但隐患在于，交互样本有可能流入未来模型训练集，让AI形成认知——联系人类就会被要求转发链接，进而拒绝和人类沟通。

NBD：AI智能体会不会互相学习、主动合作？

伊桑·埃拉斯基：这完全可能。我此前的研究发现，即便通信渠道传递的信息极少，AI也能进行策略性协作。有些智能体集群的协调，最初只是由一条无意发送的测试消息触发。

如果未来出现类似Hugging Face事件中那样AI智能体分享策略、共同突破限制的行为，我担心现有监控远远不够。

如果模型能力的进步速度继续超过安全防护技术的应对速度，我们未来可能持续面临AI智能体越界的问题。而且，它们造成的后果将远远不只是绕过网站的反爬虫系统。

罗温·霍华德-琼斯：我认为，这个问题可能部分与训练方式有关。例如，OpenAI此前就明确训练模型之间的协作能力。相关研究可以追溯到2017年。但目前最真实的答案是：我们还不知道。

人类运营者已难以可靠控制AI智能体行为

NBD：近期全球多家AI公司接连曝出智能体“入侵”和“越狱”事件。这究竟是个别公司的安全管理问题，还是行业问题？

伊桑·埃拉斯基：AI智能体的自主性和安全对齐问题，直到今天仍然没有得到解决。只要AI智能体还没有变得远比人类聪明，就还有希望通过限制它们的行动和权限来进行控制。但今年发生的多起事件已经开始让我们看到，这种控制方式存在局限性。

如今，人类运营者往往已经不知道自己部署的AI智能体究竟在做什么。

如果未来AI智能体能够篡改监控系统，或者修改自己的操作记录，那么这种不透明性可能进一步加剧。

罗温·霍华德-琼斯：我们基本上已经到了运营者难以可靠控制AI智能体行为的阶段，尤其是在那些同时部署数百乃至数万个智能体的场景中。

如今，AI安全事件涉及的公司越来越多。如果只是把矛头指向某一家公司，并没有太大意义。

我不知道，这类风险问题究竟是AI固有特征造成的，还是我们当前开发AI的方式存在某种共同错误。

封面图片来源：每经媒资库