百科

为大模型与智能体套上“紧箍咒”蚂蚁集团连发两款开源安全模型

时间:2010-12-5 17:23:32  作者:热点   来源:娱乐  查看:  评论:0
内容摘要:封面新闻记者 张越熙随着人工智能从单纯的内容生成迈向自主执行阶段,安全挑战的边界已从模型输出内容扩展至行为控制、权限管理及系统治理。智能体Agent)开始具备自主调用工具、运行代码及规划任务的能力,大

封面新闻记者 张越熙

随着人工智能从单纯的紧箍咒内容生成迈向自主执行阶段,安全挑战的模型边界已从模型输出内容扩展至行为控制、权限管理及系统治理。体套团连智能体(Agent)开始具备自主调用工具、上蚂运行代码及规划任务的蚁集源安能力,大模型也逐步融合图像、发两文本等多模态信息。款开AI系统能力的全模不断拓展,在提升效率的紧箍咒同时,也引发了更为复杂的模型安全隐患。

7月13日,体套团连蚂蚁AI安全实验室正式开源智能体安全护栏 SingGuard-NSFA,上蚂并同步披露多模态安全护栏 SingGuard的蚁集源安详细信息。这两款模型分别针对“自主执行的发两智能体”与“多模态交互的大模型”两大核心场景,旨在构建更完善的款开底层安全防线。

智能体自主性越强,安全风险放大效应越明显

过去一年,提示词注入、权限滥用、恶意代码执行及数据泄露等安全事件频发。从 Amazon Q 的提示词投毒、Microsoft Copilot 的数据泄露,到开源智能体 OpenClaw 暴露出的提示词注入风险,一系列案例表明:智能体的自主性越强,其潜在的安全风险放大效应也越显著。

政策层面也在加速跟进:
* 2025年12月,OWASP 发布《智能体应用安全十大风险》,系统梳理了智能体特有的安全威胁图谱。
* 2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。

在此背景下,蚂蚁此次开源两款安全模型,旨在解决传统内容审核体系难以覆盖的行为层面风险。随着智能体从“回答问题”走向“自主办事”,安全风险不再局限于内容合规,更体现在提示词注入、敏感信息窃取、恶意代码执行、资源耗尽及权限滥用等行为维度。

SingGuard-NSFA:构建智能体行为防护体系

针对智能体执行动作前的安全痛点,SingGuard-NSFA在请求拦截和响应兜底两端构建了实时行为安全防护体系。

  • 标准化风险分类:基于 CIA(保密性、完整性、可用性)原则,结合 OWASP 等国际安全指南,SingGuard-NSFA 将智能体风险细分为 7大类、28个中类和185个具体场景
  • 大规模评测体系:建立了覆盖 133种语言、近10万条样本的智能体安全评测体系,确保检测的全面性与准确性。
  • 双模式技术实现
  • 审计模式:逐条生成详细的风险分析报告,适用于事后审查与合规记录。
  • 实时模式:单次风险判定耗时约 50毫秒,专为线上高并发场景设计,实现实时拦截。
  • 灵活部署:提供 0.8B、2B、4B、9B四种模型规模,满足不同算力与部署需求。

SingGuard:应对多模态交互的复杂攻击

与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。

今年6月,Anthropic 发布的旗舰模型 Claude Fable 5 在数日内即被研究者利用 Unicode 字符和西里尔字母替换敏感词,成功绕过安全护栏。这一事件揭示了一个严峻现实:当模型具备还原变形文字、图片及跨模态信息的能力时,传统的关键词识别式护栏已显得力不从心。

为此,蚂蚁推出了 SingGuard多模态安全护栏:
* 统一判断框架:面向文本、图片及跨模态内容建立统一的安全判断逻辑,有效识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击手段。
* 动态规则更新:支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则迭代,极大提升了在规则持续演进、业务流量较大的生产环境中的适应性。

行业观点

中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成迈向自主执行,AI安全正从单一的内容审核延伸至行为管控和系统治理。这已成为智能体规模化应用的重要基础能力,而此类开源安全模型的发布,将为行业提供关键的底层支撑。

copyright © 2026 powered by 优瑞优资讯网   sitemap