生成式AI在认知领域的安全考量

作者：任轲正
来源：人民中科研究院

---

以ChatGPT为代表的生成式AI的迅猛发展，打开了人类认知世界的新路径，认知域逐渐成为角逐的新战场。

当前世界主要国家纷纷布局认知技术前沿，开展认知技术竞赛，通过建模和分析，谋求渗透控制人脑网络、信息网络和社会网络；通过深算、精算、妙算等，旨在最大限度把握人们的认知世界和认知域的掌控权。

---

01、生成式AI作用认知战的内在机理

认知是人们获得、加工及应用信息和知识的过程。认知战是一场心理、社会和技术战，旨在瞄准、影响和塑造个人和群体对情境和事物的理解，诱导其产生认知偏离，引发无意识的危险行为，甚至操纵一个民族的价值观、情感、民族精神、文化传统和历史信仰，以达到“不战而屈人之兵”的效果。具体手段包括挖掘个人的情绪和心态、塑造他们对事件的看法、认知和心理模型以及分裂团体、联盟并削弱抵制对手意图的政治意愿等。

而所谓生成式AI，是指通过各种机器学习方法从数据中学习抽取对象的内核特征，进而生成全新的、完全原创的内容的AI。在认知战中，生成式AI具有以下关键能力：

认知速度提升。生成式AI能够快速处理和分析大量数据，为人类提供实时的信息和洞察。这有助于提高决策者的认知速度，使他们能够迅速应对复杂的战略环境。

有资料显示，支撑ChatGPT语言合成结果更自然流畅的是45TB的数据、近1万亿个单词的训练模型，其规模相当于1351万本牛津词典。GPT-4虽然其认知算法、算力和训练数据等尚未公开，但无疑是一个更加强大的超级天文数字，这是其强大认知速度和认知能力的关键支撑所在。

认知趋势预测。生成式AI能够基于强大的数据支撑、算法和事物生成发展规律，预测事物的发展趋势。帮助决策者预测未来可能的情景。这有助于及时调整战略部署，提前规避潜在风险。

认知偏向诱导。生成式AI具备强大的语言生成能力，能够根据目标受众制定有针对性的信息策略。通过传播特定信息，生成式AI可以影响公众的认知偏向，从而实现战略目的。

---

02、生成式AI作用认知战的主要方式

生成式AI的迅猛发展及其在认知攻防对抗领域中的广泛应用，是未来认知战发展的大趋势。生成式AI在认知战中的应用主要包括以下几个方面：

1、认知习惯塑造：增强优势科技产品使用的便利性，通过长期浸染形成对该产品使用的惯性思维，从而达成可信可亲可感、毫不设防的认知趋同。比如，生成式AI可以通过分析目标受众的认知习惯，制定有针对性的信息策略，从而改变其认知和行为。这可以通过散布定制化的信息、创作引人入胜的内容，以及推动话题讨论等方式实现。

2、认知信息渗透：利用生成式AI向目标传递特定信息，实现认知渗透。这可以通过构建社交媒体账户、发布具有影响力的文章或者视频，以及创建在线社群等方式进行。比如，通过媒体平台和文创产品输出价值观，影响其他国家百姓的价值取向。

3、认知思维构陷：生成式AI可以利用认知偏差，设计认知陷阱，以误导对手或操纵舆论。这包括制造虚假信息、编织引人注目的故事，或制造丑闻等，以便操控目标受众的认知。

比如，利用人性的弱点，通过激发追求安逸、新奇、刺激的认知感受等原始欲望，以“猎奇娱乐+意识渗透”的方式影响人的思维认知。ChatGPT等生成式AI针对现代人的社交、情感困境，以愉人悦性的聊天机器人面目出现，契合了许多人的情感诉求。这种专注于迎合利用人性特点的技术运用，极易将人的思维认知引入狭隘的、片面的、浅表的陷阱。

4、认知标准挟持：即以技术逻辑捆绑价值逻辑，利用科技优势在产品中强行贯注相应价值观。生成式AI可以通过影响认知标准，左右对手的决策过程。这可以通过塑造舆论导向、制定技术规范，或参与制定政策等方式实现。

---

03、应对认知战的制胜之法

在意识层面，要让人们意识到认知战的存在，将认知安全放在国家安全的高度，保障医疗、教育、银行、企业等所有领域的认知安全。

当前的认知战综合性、隐蔽性、欺骗性更强，因此，个人要增强思辨能力，通过表象看本质，多学习和了解认知战案例。平台要加大对平台内容的审核和管理，防范外界借助社交网络、短视频等平台投放“信息炸弹”。还要注意的是，认知战虽然发生在认知领域，但其也有影响现实空间的可能，因此政府等公共管理机构也要建立相关的监控和预警机制。

在实操层面，要建立各领域认知战监控和警报系统。这类系统可以通过识别提问、消息和新闻文章的来源位置（包括地理和虚拟位置）、正在讨论的主题、情绪、发布速度以及其他因素，及时监测到新出现的认知战活动，并跟踪其进展。系统中的机器学习算法也可以协助快速识别和分类新兴活动，而无需人工干预。此外，还要在系统中设计或嵌入威胁检测能力，开发经过认证的源代码以证明数据集的完整性和确定数据的来源，开发取证分析工具来评估数据集，开发自适应网络和认证标准以确保和维护数据集的完整性。

在发展方面，要时刻注意与国外技术的差距。目前，以ChatGPT为代表的人工智能聊天机器自OpenAI推出以来风靡全球，预计将对人类思维和工作方式产生极大影响。美国防信息系统局已将这类技术列入观察名单。因而，为了应对这些潜在威胁，必须加大相关科技研发和应用的投入，促进人工智能等新兴技术与脑科学等多学科研究的融合，以在未来的认知战中占得先机。

---

结语

在未来，随着人工智能技术的进一步突破，生成式AI在认知领域的应用将变得更加广泛。我们需要紧密关注这一领域的最新动态，深入研究生成式AI的应用策略，为应对未来认知领域的挑战做好充分准备。此外，我们还需努力提高公众对生成式AI在认知领域作用的认识，增强全社会的应对能力。只有在科技、人才和社会三方面共同努力的基础上，我们才能更好地应对生成式AI在认知领域带来的挑战，为构建和谐、安全的数字世界贡献力量。