9月上旬,一场围绕AI模型"蒸馏"的跨国隔空交锋刷屏科技圈。但很少有人注意到,同期一份境外头部AI企业发布的154页报告,悄悄揭开了更扎心的真相:所有调用过其模型的企业,谁在调用、调用了什么、几点几分调用,全被记录得一清二楚。你以为员工只是用AI写份方案、改段代码,殊不知企业的合同文本、经营数据、系统权限,可能正悄无声息地出境留存在境外服务器上。
一、154页报告背后:每一次AI调用,都可能留有痕迹
风波发酵几天后,一家境外AI企业发布了一份154页的滥用检测报告。据多家媒体报道,报告将数家企业的模型调用次数、账号规模乃至时间分布记录得清清楚楚——谁在调用、调用了什么、几点几分调用,全部留痕。
这份报告无意中展示了一种能力——模型服务商对每一次调用,都了如指掌。
将这件事换个角度审视,问题随之浮现:我们的企业员工在境外模型的对话框里输入的代码、合同、经营数据,是否也一分不差地留存在境外服务器上?
报告自身提供了部分答案。其在列举滥用案例时提到,有企业在使用AI服务的过程中,将内部资料、访问凭证等敏感信息传到了境外服务器;国家安全部门也公开提示过,使用境外AI产品处理敏感信息、向境外输出数据,有可能造成境内数据大规模外泄。
同时,智能体的普及,也正让数据外发从"人为疏忽"走向"系统行为"。过去员工发错一封邮件,最多是一次工作失误;现在智能体拿到错误指令,会顺着任务链自动改错文件、传错数据、调用错系统,错误像滚雪球一样越放越大。等你发现的时候,可能已经触发了合规红线,甚至造成了生产事故。
二、AI自主性升级:风险正沿任务链自动传导
研究机构Gartner预测,到2028年,33%的企业软件将内置智能体能力,15%的日常工作决策将由智能体自主完成。换句话说,三年后一家企业三分之一的软件里,都将内置能够自主执行任务的AI,每六七个工作决策中就有一个由它作出。这就引出以下几个问题:
1.链式传导:一个错误会被逐级放大
一封邮件发错,智能体会顺着这个错误继续执行——改错文件、传违规数据,错误效应随执行步骤指数级放大;待长周期任务跑完,结果可能已完全偏离最初目标。而它全天候运行、多步骤自主执行,不会在深夜停下来向人确认这样做是否正确。
2.攻防天平进一步倾斜
攻击一侧呈指数级提速,过去发起一次攻击需要懂技术、会写代码,如今借助AI工具,普通人也能生成高仿真的钓鱼邮件、自动扫描漏洞、批量产出恶意变种。攻防失衡进一步加剧,"以AI制AI"从口号变为行业共识。
3. 市场用数据投票
据第三方机构测算,全球AI网络安全市场规模2025年约309亿美元,预计2030年有望增至863亿美元,五年不止翻倍;聚焦国内,另一组测算显示,2025年中国AI Agent安全应用市场规模约94亿美元,增速高达633%。资本与需求同时涌向同一方向,这在安全行业并不多见。
三、需求与治理双重压力
1. 企业侧:想用,不敢用
全国一线业务调研的几个数字很能说明现状:87.76%的央企客户明确禁止通用智能体接入办公生产网络;超过80%的客户智能体应用渗透率不足10%;单项目安全预算大多集中在10万至20万元,四成以上客户预算不足10万元。一边是动辄翻倍的市场预测,一边是十万级的试探性投入,企业不缺部署意愿,缺的是让智能体放心上线的安全底座。
2. 政策侧:治理方案接连落地
《人工智能安全治理框架》在两年之间迭代至3.0,专门针对智能体、生成内容等新场景补充了安全要求。截至2025年8月,生成式AI服务备案已达439个、算法备案682个,仅今年7、8月就有124款新服务完成备案;"清朗·整治AI技术滥用"专项行动处置违规AI产品3500余款、清理违法信息96万余条;强制性国家标准《人工智能生成合成内容标识方法》落地实施,AI生成内容必须可识别、可追溯。
对政务、央国企客户,要求已经落到细节:政务大模型从选用、部署、运行到停用的全过程均有安全规范可循,日志留存不少于1年、定期审计成为硬性要求。叠加"人工智能+"行动总体要求——到2027年重点领域新一代智能终端、智能体应用普及率超过70%——留给企业观望的时间,已经不多。
3. 采购加速
研究机构IDC预测,86%的中国企业将在未来1至3年内采购安全大模型产品和服务。政策在推、需求在涨、风险在显,企业真正卡住的环节只有一个:如何让智能体安全地进入生产环境。
四、核心规律:安全需求跟着"权限"走
1. 采购意愿由行动权限决定
行业调研中有一条值得单独展开的规律:企业为智能体安全付费的意愿,与部署智能体的数量关联有限,真正起决定性作用的,是智能体手中的行动权限——它能读哪些数据、能碰哪些系统、能不经人工确认执行哪些操作。
2. 场景阶梯:权限越高,安全越重
按权限从低到高排开,这条规律一目了然。智能体只承担写邮件、记会议纪要等辅助工作,安全需求基本无从谈起;当它打通邮箱、客户库、工单系统、跨系统调度数据,企业便开始认真考虑管控;再往上,它能自主编排任务链、替人完成审批与处置,乃至直接面向客户和公众提供服务——权限每升一级,失控的代价便同步放大,安全也随之从"可选项"变为预算持续加码的"刚需"。
场景扩散的节奏同样印证这条曲线。眼下企业落地最集中的,是会议纪要、文档问答、知识检索这类低价值低自治场景;采购支持、代码辅助、审批辅助等中高价值高自治场景正处于快速增长期;再往前,工业调度、运维执行等高价值高自治深水区,智能体一出手就直接作用于生产系统,安全要求严苛、准入门槛极高。场景每向深水区推进一步,安全就跟着从加分项变成前置条件。
AI能力每向前一步,安全需求就相应扩展一圈。当智能体渗透进企业的每一个"毛孔","可追溯、可管控、可审计"成为AI落地的核心安全底线。因此,我们说,网络安全,正在成为AI的下一个主要战场。
本文转自:中国电信安全,转载此文目的在于传递更多信息,版权归原作者所有。如不支持转载,请联系小编demi@eetrend.com删除。