作者：Christopher
来源：企业网D1Net
在实施AI的过程中，若企业不对其安全计划进行适应性调整，就可能面临各种新旧威胁。
机器学习安全运维(MLSecOps)通过将AI和机器学习(ML)开发与严格的安全准则相结合，解决了安全边界中的这一关键缺陷。根据开放软件安全基金会(Open Software Security Foundation)的一份白皮书，建立稳固的MLSecOps基础对于主动降低漏洞风险和简化先前未发现缺陷的修复流程至关重要。
AI/ML系统必须保持可信、稳健和安全。MLSecOps能够帮助安全团队在业务规模扩大的同时，嵌入保护措施。
MLSecOps实施挑战
随着企业开始建立更强大的ML和AI安全体系，他们将面临六大主要挑战。领导层和安全策略制定者必须了解如何识别这些问题，并在怀疑模型存在风险时采取相应措施。
1. 定义独特且不断变化的威胁态势
许多与MLSecOps相关的DevSecOps安全实践在应用于AI威胁态势时往往效果不佳。
DevSecOps主要围绕安全人员多年来已熟知的传统软件漏洞展开，如后门、漏洞、故障等。AI和ML系统对大多数企业来说尚属新兴技术，因此除了现有流程外，安全团队还需考虑一系列新的威胁向量，如数据投毒、对抗性输入、模型盗窃或篡改，甚至模型反转和成员推理等针对隐私的攻击。
防御这些新威胁意味着需要专门针对ML生命周期设计控制措施。安全专业人员必须为反复的、试探性的攻击做好准备，而非仅仅防范隐蔽的一次性黑客攻击。对模型进行压力测试至关重要。
2. 持续训练的隐藏复杂性
AI模型会不断进化，这为MLSecOps安全增加了另一层复杂性，每次模型基于数据进行训练和再训练时，都可能为ML生态系统引入新的漏洞，这意味着模型可能在某一天是安全的，而另一天则不然。
为了应对这一问题，每次模型再训练都应被视为一个全新的产品版本，IT和安全领导层甚至可以考虑为模型的最新版本创建配套材料——就像应用开发者在每次新版本发布时分享版本详情一样——概述模型训练所使用的数据，以及此版本与上一版本的不同之处。如果不对模型训练进行持续跟踪，MLSecOps计划的安全性将随时间推移而下降。
3. 管理ML模型的不透明性和可解释性
ML模型，即使是其创建者，也往往将其视为“黑箱”，因此对其如何得出答案知之甚少。对于安全专业人员来说，这意味着审计或验证行为的能力有限——而这传统上是网络安全的一个关键方面。
有办法可以绕过AI和ML系统的这种不透明性：使用可信执行环境(TEE)，这些是安全的飞地，企业可以在其中在受控的生态系统中反复测试模型，并创建证明数据。
TEE使企业能够利用证明数据为适当的模型行为建立预先设定的标准和指南，从而使模型研究人员能够决定AI系统是否值得信赖。虽然TEE并不能使模型变得透明，但它能确保不可预测或未知行为的风险不会进入生产环境。
4. 创建安全的训练数据管道
模型并非静态不变，而是由其摄入的数据所塑造，因此，数据投毒对于需要重新训练的ML模型来说是一个持续存在的威胁。
企业必须在训练过程中嵌入自动化检查，以确保数据管道的持续安全，利用TEE提供的信息以及模型应有的行为准则，可以在每次向AI和ML模型提供新信息时评估其完整性和准确性。
同样，对于用户向模型提供的数据也应如此，安全领导层应定期对其MLSecOps计划的稳健性进行检查。
5. 模型溯源与可复现性
更新的训练数据、配置漂移和不断演变的库使得跟踪模型的稳定性和性能变得困难，特别是当模型决策出现问题时，感觉无法追踪甚至复现先前版本的模型。
解决方案是为模型创建谱系，使安全团队能够了解模型的版本控制和随时间的变化，这可能包括数据集、训练配置的详细快照以及模型的依赖关系，当由于模型及其数据的不断变化而无法精确复现时，企业应追求近似复现，能够重新测试模型并获得可比结果将保持对模型进展的信任。
6. 风险评估的困难
适用于传统软件的风险评估框架并不适用于变化多端的AI和ML程序，传统评估未能考虑到ML特有的权衡，例如准确性与公平性、安全性与可解释性或透明度与效率之间的权衡。
为了应对这一难题，企业必须根据具体情况评估模型，考虑其使命、用例和背景以评估风险，这当然不是进行风险评估的常规方式，但模型的操作决策必须由优先级文化来指导，跨职能协作也是评估的关键，吸纳ML工程师、安全团队和政策领导者来监督模型将提高安全性。
应对不断变化的目标
如果企业希望利用AI和ML工作流程，那么他们也必须将MLSecOps视为该计划中不可或缺的一部分。
这六大挑战凸显了AI安全的复杂性，但它们也为企业构建真正严密、可信的MLSecOps提供了机遇。
实现安全的第一步是承认现有安全实践的局限性，并制定新规则以应对AI和ML的独特性。最终，企业将把MLSecOps视为负责任地部署AI的基石，但这需要安全领导者立即采取行动，为安全性和信任设定更高标准。
版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。
