
封面新闻记者 张越熙
随着人工智能从单纯的紧箍咒内容生成向自主执行演进,安全挑战的模型边界已从模型输出内容扩展至行为控制、权限管理及系统治理层面。体套团连智能体(Agent)开始具备自主调用工具、上蚂运行代码及规划复杂任务的蚁集源安能力,大模型也逐步融合图像、发两文本等多模态信息。款开这种能力的全模跃升在拓展AI应用边界的同时,也引发了更为复杂的紧箍咒安全隐患。
7月13日,模型蚂蚁AI安全实验室正式开源智能体安全护栏 SingGuard-NSFA,体套团连并同步披露多模态安全护栏 SingGuard的上蚂核心技术细节。这两款模型分别针对“自主执行的蚁集源安智能体”与“多模态交互的大模型”两大核心场景,旨在构建更完善的发两底层安全体系。
过去一年,提示词注入、权限滥用、恶意代码执行及数据泄露等安全事件频发。从 Amazon Q 的提示词投毒、Microsoft Copilot 的数据泄露,到开源智能体 OpenClaw 暴露出的注入风险,一系列案例表明:智能体的自主性越高,其潜在的安全风险放大效应越显著。
政策层面也在加速响应。2025年12月,OWASP 发布《智能体应用安全十大风险》,系统梳理了智能体特有的安全威胁;2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次在国家层面对智能体安全治理提出明确要求。
在此背景下,AI 的角色正从“回答问题”转向“自主办事”。当 AI 开始调用工具、执行代码并编排多步任务时,安全风险不再局限于内容合规,更体现在行为层面。传统的内容审核体系难以有效覆盖提示词注入、敏感信息窃取、恶意代码执行、资源耗尽及权限滥用等新型威胁。
针对上述痛点,SingGuard-NSFA聚焦于智能体执行动作前的实时安全检测,从“请求拦截”和“响应兜底”两端构建行为安全防护体系。
与智能体行为安全并行的另一条防线,是多模态交互场景下的内容安全。
今年6月,Anthropic 发布的旗舰模型 Claude Fable 5 在数日内即被研究者利用 Unicode 字符和西里尔字母替换敏感词,成功绕过安全护栏。这一事件揭示了一个严峻现实:当模型具备强大的跨模态理解能力时,传统基于关键词识别的安全护栏往往力不从心。模型能还原变形文字的原意,而分类器却将其视为陌生拼写,导致系统提示词被恶意套取。
为此,蚂蚁推出了 SingGuard多模态安全护栏:
中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成迈向自主执行,AI 安全正从单一的内容审核延伸至行为管控和系统治理。构建完善的安全能力,已成为智能体规模化应用的重要基础。