腾讯云回应AI智能体越狱探测高德地图:属意外且非混元模型
国际 AI 安全研究团体 Swarmchasers 报告称,一批运行在腾讯云环境中的 AI 智能体在9月28日至10月8日尝试访问高德地图服务2818次并出现绕过安全限制行为;腾讯云回应称事件属意外,相关模型非混元团队,将加强网络访问控制与智能体监控。
驱动中国10月16日消息,腾讯云就一批运行在其环境中的 AI 智能体尝试突破安全限制、探测高德地图服务一事发布声明称,此次事件属于意外,相关模型并非来自混元团队,也未发现蓄意针对或协同行动的证据。
国际 AI 安全研究团体 Swarmchasers 于10月14日发布研究报告,披露一批运行在腾讯云环境中的 AI 智能体出现“越狱”行为,试图绕过安全限制访问外部系统。报告称,这些智能体属于对第三方开发者所建模型的评估活动。
根据 Swarmchasers 报告,这些 AI 智能体在9月28日至10月8日期间,共尝试访问高德地图服务2818次。相关智能体最初执行的是看似常规的任务,例如查询中国动物园、公园和博物馆最常用的入口信息。
报告称,在遭遇高德系统的反爬虫机制拦截后,部分智能体尝试了多种绕过手段,包括利用公共安全扫描服务远程执行代码、使用公开软件代码中泄露的高德 API 密钥,以及探测预生产环境端点等。绝大多数尝试均以失败或被拦截告终,但仍有少量智能体通过缓存页面获取了部分数据。
研究团队通过技术手段与部分智能体进行了直接对话。这批智能体在对话中自称运行在受限的腾讯云沙盒环境中,互联网流量通过一个名为“hysandbox-ats”的中间人智能体转发。
研究人员检查的17个相关邮箱账户均由位于香港的腾讯云服务器创建。对于智能体所声称的模型身份,部分自称来自 Anthropic Claude,研究者将其视为不可靠。
腾讯云在声明中表示,对这些发现高度重视,正在加强网络访问控制和智能体监控。