
封面新闻记者 张越熙
随着人工智能从单纯的紧箍咒内容生成迈向自主执行阶段,安全挑战的模型边界已从模型输出内容扩展至行为控制、权限管理及系统治理。体套团连智能体(Agent)开始具备自主调用工具、上蚂运行代码及规划任务的蚁集源安能力,大模型也逐步融合图像、发两文本等多模态信息。款开AI系统能力的全模不断拓展,在提升效率的紧箍咒同时,也引发了更为复杂的模型安全隐患。
7月13日,体套团连蚂蚁AI安全实验室正式开源智能体安全护栏 SingGuard-NSFA,上蚂并同步披露多模态安全护栏 SingGuard的蚁集源安详细信息。这两款模型分别针对“自主执行的发两智能体”与“多模态交互的大模型”两大核心场景,旨在构建更完善的款开底层安全防线。
过去一年,提示词注入、权限滥用、恶意代码执行及数据泄露等安全事件频发。从 Amazon Q 的提示词投毒、Microsoft Copilot 的数据泄露,到开源智能体 OpenClaw 暴露出的提示词注入风险,一系列案例表明:智能体的自主性越强,其潜在的安全风险放大效应也越显著。
政策层面也在加速跟进:
* 2025年12月,OWASP 发布《智能体应用安全十大风险》,系统梳理了智能体特有的安全威胁图谱。
* 2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。
在此背景下,蚂蚁此次开源两款安全模型,旨在解决传统内容审核体系难以覆盖的行为层面风险。随着智能体从“回答问题”走向“自主办事”,安全风险不再局限于内容合规,更体现在提示词注入、敏感信息窃取、恶意代码执行、资源耗尽及权限滥用等行为维度。
针对智能体执行动作前的安全痛点,SingGuard-NSFA在请求拦截和响应兜底两端构建了实时行为安全防护体系。
与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。
今年6月,Anthropic 发布的旗舰模型 Claude Fable 5 在数日内即被研究者利用 Unicode 字符和西里尔字母替换敏感词,成功绕过安全护栏。这一事件揭示了一个严峻现实:当模型具备还原变形文字、图片及跨模态信息的能力时,传统的关键词识别式护栏已显得力不从心。
为此,蚂蚁推出了 SingGuard多模态安全护栏:
* 统一判断框架:面向文本、图片及跨模态内容建立统一的安全判断逻辑,有效识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击手段。
* 动态规则更新:支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则迭代,极大提升了在规则持续演进、业务流量较大的生产环境中的适应性。
中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成迈向自主执行,AI安全正从单一的内容审核延伸至行为管控和系统治理。这已成为智能体规模化应用的重要基础能力,而此类开源安全模型的发布,将为行业提供关键的底层支撑。