从「管模型」到「管失控」《人工智能安全治理框架3.0》划出的新红线

风险细类扩至14个,智能体与具身智能首次单列

← 返回博客

2026-09-18·8 分钟阅读

前言

2026年9月,在国家互联网信息办公室指导下,全国网络安全标准化技术委员会正式发布《人工智能安全治理框架3.0》。这是继2024年1.0版、2025年2.0版之后,同一主体连续第三年更新这套框架。

三代框架的底层逻辑其实没变——依旧是「风险分类、技术应对、综合治理」三段式。变的是治理锚点。

用一句话概括:1.0 管模型,2.0 管行为,3.0 管失控。

(一)、3.0为什么必须来?

框架前言里有一段话,值得逐字读:

随着人工智能从「回答问题」向「执行任务」迭代演进……人工智能已显现出模型算法自主学习优化、自我递归提升的自加速态势,技术演进的速度与方向会否超出人类的预判和掌控,需要予以关注和警惕。

这段话背后是三个新判断:

1.网络攻击

在AI加持下呈现「自动化、规模化、智能化」能力跃升,传统网络安全攻防格局面临重塑;

2.风险传导

AI与现实世界连接日益紧密,网络空间的安全风险开始向物理世界传导扩散;

3.失控可能

技术演进已显现「自加速态势」,速度与方向可能超出人类预判.

1.0和2.0时代,AI的主要形态是「会说话的工具」。3.0面对的是「会动手的实体」——智能体、具身智能、智能体手机。

工具说错话,可以删稿道歉;实体做错事,没法撤回。这就是框架必须改版的根本原因。

(二)、三代框架,锚点是怎么移动的?

一句话总结:威胁建模的对象,从「数据流」扩展到了「控制流」。

*三代演进主线为行业解读视角的归纳,三版框架的主体结构均以官方原文为准(文末扫描二维码即可查看报告全文)。

(三)、风险地图变了:3 大类、14 个细类

3.0延续「内生—应用—衍生」三大类风险框架,二级细类扩展到14个,配套风险条目超过50项。其中算力设施与运行环境单独立节,而智能体、具身智能、冲击网络安全首次被写入风险分类。

3.1、智能体安全风险:四类风险,直指「手脚」

框架把智能体的风险拆成四条:

  • 身份和权限滥用——凭证劫持、身份仿冒、过度授权,导致智能体越权调用工具、执行敏感操作;

  • 推理规划——意图理解偏差、路径偏离、目标劫持;

  • 调用执行——工具劫持、工具投毒、工具应答数据污染、资源过载;

  • 记忆存储——记忆留存不当、记忆失真、记忆污染、记忆窃取。

其中记忆污染最值得警惕:恶意指令一旦写进长期记忆,就会持续影响后续决策,相当于在智能体体内埋下一个「持久化后门」。

3.2、具身智能安全风险:安全边界要包含功能安全

  • 环境感知——对抗样本、传感器干扰、信号欺骗,以及物理世界的遮挡、光照突变;

  • 物理执行——幻觉决策、识别偏差、控制算法缺陷、硬件故障,可能导致生产紊乱、自损、伤人;

  • 人机交互——拟人化设计引发的身份误认、情感依赖与操纵、责任归属不清;

  • 群体协同——单体失控、协同协议漏洞、群体行为涌现、级联故障扩散,单体风险会放大为跨节点系统性风险。

值得注意的是,具身智能的安全边界不再只是「信息安全」,而是延伸到了功能安全——涉及人的身体。

3.3、冲击网络安全风险:AI第一次被定位为「攻击的实施方」

这是3.0最具颠覆性的一个变化。过去谈AI安全,AI是被攻击的对象;3.0里,AI 成了攻击的实施方:

  • 网络攻击能力扩散:自然语言下达指令即可实施复杂攻击,甚至可构建自主网络攻击武器并扩散;

  • 网络防御能力滞后:基于静态规则、样本、策略的传统防护体系面临结构性失效;

  • 自主化网络攻击威胁:智能体为实现正当任务目标出现规则越界,自发生成攻击意图、自主完成攻击动作;

  • 溯源和追责困难:可自动篡改痕迹、轮换 IP、变换载荷,甚至难以区分是人类意图还是AI自发行为。

框架专栏二明确写道:人工智能网络攻击风险「正在由辅助人实施攻击向大模型自主组织和执行攻击行为演进」。

3.4、另外两个新面孔

  • 算力设施与运行环境单列成节:算力安全、组件安全、供应链安全被合并为一类风险——训练/推理集群、GPU资源池、容器运行时,正式纳入AI安全射程;

  • 四个新专栏:非预期自主行为、自主实施网络攻击、智能体社交平台、GEO投毒操控大模型推荐内容。GEO投毒讲的是利用生成式引擎优化,把商业推广包装成「貌似客观的AI答案」——做内容营销的人应该会格外有感。

(四)、四条会被审计到的「硬条款」

3.0最值得企业注意的,是几条可核查、可问责的硬要求。

第一条:智能体的「四件套」(3.2.1)

1. 为智能体赋予唯一身份标识与身份凭证,实现最小权限,强化凭证动态管理;

2. 在工作流中设置多层检测与拦截点,关键节点设置强制人工审批并完整记录审批日志;

3. 验证外部工具、插件、技能的安全性与完整性,及时清除存在安全隐患的工具;

4. 开展运行期安全监测与记录,确保行为可感知、可追溯、可审计。

这条能力链很清晰:身份→审批→工具治理→观测审计。缺一环,链条就断。

第二条:fail-closed,「默认拒绝」成为基线(附件 2)

附件2 在「加强人工审批」一节中写下:

当人工审批系统出现异常或用户无响应、缺乏对应人工审批规则时,默认拒绝操作执行,避免操作越界。

这是3.0在工程语义上最重要的一条设计。它把「可控性」从一个形容词,变成了可测试的布尔值——三种情形(审批链路故障、规则未覆盖、用户无响应)下,系统必须默认拒绝。

验证方法也很明确:做一次故障注入测试,看默认拒绝是否真的生效。

第三条:日志留存不少于6个月(5.3.6)

记录人工智能应用运行日志,包括系统行为、用户行为等,日志留存时间不少于 6 个月,并定期对日志记录进行审计。

这条与《网络安全法》第二十一条对齐。但请注意,3.0要求记录的不只是「用户行为」,还有系统行为——智能体自己的动作也要留痕。传统的3个月日志标准,这里是不够用的。

第四条:沙箱监管与责任豁免(4.3)

  • 3.0用一整节(4.3)构造了一个「柔性、动态、可控」的沙箱监管环境:

  • 建立行业分类与风险分级相结合的沙箱监管规则(4.3.1);

  • 实施动态测试和弹性准入,向初创企业、中小微企业和公共服务项目适当倾斜(4.3.2);

  • 探索规范责任豁免制度——对沙箱测试中无主观过错且风险可控的行为,探索责任豁免(4.3.3);

  • 加强数据资源保障与成果转化,避免重复测试(4.3.4)。

这意味着框架给创新留了制度化的通道。但要强调:豁免是主动申请来的,不是自动获得的;且危害国家安全、侵犯人身权益、造成重大损害或故意实施违法行为,不因进入沙箱而免责。

五、3.0 含金量最高的增量

如果说3.0只能读一个部分,那应该是附件2「智能体风险管理框架」。

它把智能体风险铺在一条全生命周期上,共9个环节:设计研发→安装部署→指令输入→推理规划→调用执行→记忆存储→结果输出→停用下线→其他。

每个环节列出具体风险,共33项;对应给出7组、34项防范措施。

几个必须划重点的地方:

  • 调用执行环节风险最密集(7项,约占全部风险的五分之一),与MCP、插件、Skills等工具生态直接相关——工具生态的安全,就是智能体安全的半壁江山;

  • 记忆管理要有边界:按目的和必要性确定记忆内容、保存期限与访问范围,不同用户/任务的记忆必须隔离。凭证、密钥原则上不写入记忆,这是明确的红线;

  • 高风险操作要沙箱隔离:代码执行、工具调用等高风险动作,采用沙箱、容器等隔离手段,限制不必要的系统、文件和网络访问权限;

  • 停用下线是独立环节:服务残留、权限与凭证遗留、数据留存不当——三项风险。很多企业上线流程很规范,下线流程却是一片空白,「幽灵智能体」往往就是这么来的;

  • 红队测试常态化:不是一次性的上线测试,而是持续验证访问控制与安全防护能力。

六、企业落地:三步走

基于3.0的要求,企业落地可以按一条主线推进——先有账、再管住、后可证。

同时,这份框架对四类主体的安全指引共51条,比 2.0 更细:

另外两个附件也值得一读:

  • 附件1给出风险分级原则(应用场景、智能化水平、应用规模三要素,低/一般/较大/重大/特别重大五级);

  • 附件3提出可信人工智能八条基本准则,第一条就是「人类最终控制」——通过设计安全控制阈值、设置安全终止开关、预留人工干预有效窗口,确保AI不会脱离人类监督运行失控。

七、五个容易踩的误区    

1. 把AI安全等同于内容安全——3.0的重心已经移到行为层;

2. 智能体不给独立身份,实例之间共享凭证;

3. 只做允许清单,不留默认拒绝的兜底逻辑;

4. 日志按传统3个月标准留存;

5. 忽视停用下线环节。

尾语

读完整份3.0,有一个感受很强烈:框架对企业的要求,正在从「说不说错话」转向「会不会闯祸」。

对模型厂商和 AI 应用企业来说,合规基线已经悄悄改写:

从「内容合不合规」,转向「行为可不可控、责任可不可追」。

智能体时代真正稀缺的能力,不是让 AI 多做几件事,而是在它做错事之前拦住它、做错事之后说得清。

这个判断,值得每一家正在把 AI 塞进业务流程的企业认真对待。

扫码观看《人工智能安全治理框架3.0》报告全文

飞络,让AI安全治理落到业务现场

飞络以ASSA+ALL-SOC+7×24 SOC,帮助企业在中国对标《框架3.0》:通过AI资产盘点与风险评估摸清底账,以ASSA落实访问管控、敏感数据脱敏与防泄漏,结合ALL-SOC开展持续监测、AI辅助研判和事件响应。 同时,通过咨询与集成服务,协助落实最小权限、工具准入、关键操作人工审批及审批异常默认拒绝,配置不少于6个月的日志留存与定期审计,形成“评估—整改—运营—验证”闭环。

不止部署安全产品,更让企业看得见风险、管得住行为、拿得出证据。