作者：Anupam Datta
自动化决策工具在组织的应用中正变得越来越普遍。然而，其背后的一些机器学习(ML)模型(从面部识别系统到在线广告)都清楚地表明在种族和性别方面存在偏见。随着机器学习模型的广泛采用，需要专业知识来确保人工智能更加公平。
机器学习模型应该消除偏见，而不是加剧歧视。为了构建公平的人工智能模型，必须首先使用更好的方法来识别产生人工智能偏见的原因，因此必须了解人工智能模型如何学习其输入和输出之间的偏差关系。
研究人员已经确定了人工智能中具有的三种偏见：算法偏见、负面影响、低估。当受保护的特性和用于决策的信息之间存在统计的依赖性时，就会出现算法偏见。负面影响是指用于训练人工智能模型的数据中已经存在的偏差。当没有足够的数据使人工智能模型对人口的某些部分做出可靠的结论时，就会出现低估。
以下深入研究每一个问题：
1. 算法偏见
算法上的偏见源于受保护的特性与其他因素之间的相关性。当发生这种情况时，不能仅通过从分析中删除受保护的特性来减少偏差，因为其相关性可能导致基于非保护因素的有偏见的决策。
例如，美国早期的预测性警务算法在进行预测时并不能直接获取种族的数据，这些模型严重依赖于与种族相关的地理数据(如邮政编码)。这样，对性别和种族等人口统计数据“盲目”的模型仍然可以通过与受保护属性统计相关的其他特征对这些信息进行判断。
美国消费者金融保护局致力于确保贷款机构遵守其公平贷款法规，该局发现了一些统计方法将地理和姓氏信息结合起来，对于种族和族裔代理的判断提供了更高的准确率。这个发现驳斥了一种普遍存在的误解，即如果算法不能访问受保护的数据，将自动减少偏差。这种被称为代理歧视的现象，一旦查明了根本原因，就可以缓解这种称为代理歧视的现象。也就是说，可以通过在创建代理功能的模型中定位中间计算，并将其替换为与受保护属性相关性较小的值来纠正违规行为。
与人们的直觉相反，在某些情况下，从模型训练中删除受保护特性的解决方案实际上会伤害到已经处于不利地位的群体。例如，在美国司法系统中，美国惩教机构和假释委员会使用风险因素清单对监禁和释放做出公正的决定。当人类和人工智能模型处理具有诸如性别、年龄、当前指控以及先前成人和青少年犯罪数量等基本信息时，人类和人工智能模型的表现是相当的。
然而，通过给人类和人工智能模型10个额外的与教育和物质使用相关的风险因素，研究人员发现机器学习模型更准确，更不容易产生偏见。这强调了需要了解人工智能模型偏差的根本原因，而不是盲目地采用补救策略。
2. 负面影响
人工智能算法的偏见也有可能直接来自其训练数据中存在的类似偏差。例如，受过训练以执行语言翻译任务的机器学习模型倾向于将女性名字与“父母”和“婚礼”等属性相关联，而男性名字与诸如“专业”和“薪酬”之类的单词之间的关联性更强。该模型不太可能会自己建立关联。与其相反，它是在反映这些性别取向的文本素材库上进行训练的。这是产生负面影响的一个例子。
在自然语言处理中，性别偏见是一个令人困扰但经过充分研究的问题：对原因的清晰了解提供了纠正它的途径。在英语这样的名词和形容词倾向于性别的语言中，研究人员发现了强制词嵌入以保持性别中立的方法。而在其他语言具有固有性别词语的情况下，可以通过引入打破性别和中性词之间因果关系的示例来增强语言素材库，以防止出现偏见。
在其他应用领域中，负面影响可能是最难缓解的偏见之一，因为偏见固有地内置于机器学习模型从中学习的数据集中。因此，该模型可以将多年来对某一人群的系统性偏见进行编码。例如，或者根据人们居住的地方拒绝向他们提供贷款，可能会使贷款批准数据集更侧重于白人。数据中的这种偏差会导致人工智能模型的偏见。
尽管现有的缓解偏见策略可能会尝试提高黑人申请者的信用接受率，但这可能会掩盖该模型偏见的真正原因，并使其难以解决根本问题。FICO分数通常用作信贷决策的输入，已经显示出种族歧视。在这种情况下，事后偏差缓解策略的有效性将低于寻找与信用价值也存在因果关系的替代数据源。因此，通过寻找替代数据可以减轻负面影响。
3. 低估
正如数据可能存在偏差一样，也可能出现数据不足的情况。如果没有足够的数据，机器学习模型可能无法提供可靠的预测。这是被低估的问题。亚马逊公司最近训练了一种机器学习模型，以在招聘过程中筛选求职者，但与许多其他科技公司一样，亚马逊的劳动力队伍男性比例过高。这种数据失衡使得其人工智能模型在评估男性时更加侧重，亚马逊公司认识到这种模型的推荐人选存在偏差，因此在其招聘渠道中取消了这种模型。
如果寻找更多或更好的数据，亚马逊公司或许能够构建出一种无偏见的招聘工具，但是如果不能正确地理解出现这种偏见的原因，这是不可能实现的。而在低估的情况下，模型的预测确定性可以跨人群的子组进行分析，通过自动增加新实例，可以使基础数据集实现多样化。
衡量模型确定性和稳定性的方法对于了解模型是否准备好对所有人群做出可靠的预测至关重要。在低估的情况下，提供的数据集无法充分表现出数据的细微差别。但是，用于促进公平或事后偏向缓解策略的对抗性训练技术可能不会像将数据集扩展得更全面。
人工智能算法可以编码并保持偏见，这已经不是什么秘密，这可能会带来不良的后果。尽管这描绘了一种严峻的场景，但重要的是要记住，如果处理得当，算法偏差(与人类偏见不同)最终是可以量化和固定的。与盲目减少人工智能偏见不同，准确理解偏见背后的真正原因对部署安全可靠的人工智能至关重要。
尽管这些原因很复杂，但研究人员仍在继续开发更好的方法来衡量特定人群的不同结果，确定导致这些差异的特征，并为特定的偏见来源选择合理的缓解策略。随着越来越多的决策实现自动化，必须从根本上消除人工智能偏见，以创建公平和公正的模型。
版权声明：本文为企业网D1Net编译，转载需注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。
原文链接：http://www.d1net.com/ai/industry/569336.html
