019年12月6日，美国知名智库—布鲁金斯学会发布了《算法决策的公平性》的报告。该报告是“人工智能和偏见”系列研究的一部分，旨在探讨减轻算法偏见的方法，并为促进人工智能和新兴技术的公平性提供路径。

简介

算法或自动决策系统依靠数据和统计分析技术对个人进行评估。此类系统目前已广泛应用于就业筛选、保险资格评定和市场营销等领域。除此之外，还被政府公共部门用来提供政府服务，辅助刑事司法量刑和缓刑决定。

近年来，随着机器学习算法的使用，自动决策系统的准确性和公平性得到了很大提升。相较于传统的统计分析技术（例如回归分析），机器学习算法通过构建数据模型来输出结果，无需分析师预先指定相关的要素。此外，算法通常能够发现新的、意料之外的联系，而寻找这些联系对于分析师而言并不容易。但是，机器学习算法也面临一个重大新挑战：算法模型本身的技术特性可能会做出歧视性的决策。用于训练系统的输入数据可能不足以代表受保护群体的成员，或者被以往的歧视性做法所影响。因此，数据可能会无意间重现或放大现实社会已存在的偏见。若这些潜在的偏见未被发现和解决，可能会使自动决策系统的准确性和公平性受到很大影响，系统的开发者和使用者也可能因违反反歧视法律而承担相关法律责任。

法律规定及其发展

（一）受保护群体。美国一系列法律在多个方面（如就业、信贷、住房、公共教育、陪审团选择、医疗保健和健康保险等）禁止对受保护的群体进行歧视。受保护群体的决定因素包括：种族、民族、宗教和少数民族；妇女、老人以及具有遗传缺陷、残疾或患病的人。

（二）是否承担责任的判断。实践中，歧视的发生可能是故意的，企业可能考虑受保护群体的身份而做出对其不利的决定。例如，某公司明确将某个种族的成员排除在其招聘范围之外。但是，当自动决策系统做出损害受保护群体成员的决定时，歧视也可能是完全无意识的。对于机器学习算法，即使开发人员努力避免对受保护群体使用变量，但如果系统使用了与受保护群体相关的变量，则仍可能产生歧视。

根据反歧视相关法律，在确定是否需承担产生歧视性影响相关责任时，通常要经过三个环节。首先，原告需证明决策系统对受保护群体成员造成了不成比例的有害影响；其次，举证责任转移到被告，被告需证明决策系统具有合法的商业目的；最后，举证责任又回到原告，原告需出示存在可替代品的证据，该替代品能够实现同样的目的，且对受保护群体的危害较小。

（三）新的立法。最高法院审理的案件涉及现行法律是否禁止工作场所中对性取向或性别认同的歧视。此外，关于住房、公共教育、公共住宿、陪审团选择和信贷等其他领域的歧视问题，仍缺乏明确的法律规定。为此，众议院通过了《平等法案》（目前正在参议院审议中），该法案旨在扩大受保护的群体，以在更大范围内调整规范关于性取向和性别认同的歧视。尽管最高法院审理的案件和《平等法案》与基于人工智能的自动决策系统没有直接关系，但通过在反歧视法律框架下规定不得损害相关群体的利益，可以影响系统开发者和使用者应承担的法律责任，从而避免这些系统产生歧视性影响。此外，国会也在考虑制定《算法责任法案》，要求企业考虑算法公平性。该法案拟要求企业评估其自动决策系统是否存在“不正确、不公平、有偏见或歧视性决策”的风险，并“合理地处理”评估结果；拟授权联邦贸易委员会制定实施细则，以明确具体的要求。

对企业的相关建议

报告认为：对企业来说，其决策系统输出对受保护群体不利的结果不足为奇。但是，企业不应该让公众通过随机的个人经历来发现这些不利的影响。在使用自动决策系统时，企业应了解可能对受保护群体的成员产生的不利影响，并向社会公众告知。

（一）寻找可替代品。正如上面举证责任中所提到的，对替代品的调查是在减少歧视性影响方面取得进展的重要举措。例如，在招聘中，企业可能会评估其自动筛选算法是否符合常用的80％经验法则（即如果算法选择了10％的白人应聘者，则根据经验法则，可以选择不少于8％的非洲裔美国人）。如果该算法不符合此经验法则，则企业可以调查是否存在其他替代算法可以在满足此标准的同时有效筛选求职者。

（二）投入使用前发现、解决问题。独立研究机构通常使用公开可用的信息来进行歧视性影响评估。比如，相关研究机构发现用于辅助刑事判决和假释决策的COMPAS系统，其评估黑人犯罪的几率是白人的两倍。但是，企业不应在算法已广泛使用后依靠研究机构的检测评估来确定歧视性影响，而应当在使用算法或将其提供给他人使用之前，在其内部进行相关的分析。如果评估表明算法模型确实具有歧视性影响，企业应当研究歧视是如何产生的，并在投入使用前解决该问题。产生歧视的原因是多方面的，如使用了有偏见的、不具有代表性的训练数据或者数据的体量、精细度不够，都可能导致模型引入偏见。企业可逐一检查确定模型偏差产生的原因，并采取技术手段予以纠正。例如，通过过采样和数据溯源来校正训练数据存在的偏差，或者增加新的数据集（当受保护群体的成员由于过去受到的歧视而没有参加过相关活动，并且没有留下可用于统计分析的数据记录时）。

（三）引入外部力量参与评估。开展歧视性影响分析涉及大量的技术和法律问题，因此并非所有企业都有专业知识或资源来进行这些分析。出于同样的原因，该类企业也无法自行开发复杂的算法决策系统。因此，自动决策系统的开发人员应同步进行歧视性影响分析，并通过与验证系统准确性、可靠性相同的方式将其提供给客户。此外，对于该类系统的开发者和使用者而言，另一举措是将信息披露给外部各方，以利于第三方机构开展验证、评估。但是，考虑到重要信息通常会涉及企业的商业秘密，具有很大的商业价值，企业可以考虑引入外部研究人员一同参与评估。从长远来看，类似于评估上市公司的财务状况，市场可能会成立对算法开展歧视性影响评估的第三方审计机构。

（四）开展前瞻性研究评估。企业应考虑对现行反歧视相关法律未明确规定的其他活动进行评估，例如针对金融产品的营销活动、对个人姓名或职业的搜索，以及未受到现行法律明确保护的弱势群体（如性取向和性别认同）。

对政府的相关建议

（一）与业界合作，在管辖范围内开展歧视性影响研究。在这一过程中，政府主管部门可能缺乏对自动决策系统进行评估的技术手段。为此，早在奥巴马政府时期就曾指出：政府主管部门应升级技术手段，以便能够识别大数据分析技术对受保护群体所产生的歧视性影响，并制定调查和解决该违法行为的计划。特朗普政府通过鼓励联邦机构审查人工智能相关的监管和非监管方案，也朝着这一方向发展。除此之外，政府主管部门可采取的其他措施包括：利用政府资源和行业关系来促进企业开展相关评估，激发系统开发者对其产品进行评估的动力，鼓励开发者与外部测评人员互动，推动信息披露等。

（二）通过立法明确开展歧视性影响评估的相关要求。政府主管部门只能在其现有权限下采取行动，但是要取得实质性进展，国会应该考虑新的立法。虽然制定《算法责任法案》可以实现上述目的，但它将开展评估的重任转移到了联邦贸易委员会。另外一种思路是修改现行反歧视法律，在相关法律框架下要求对自动决策系统进行歧视性影响评估。一是评估应由具体负责执行相关反歧视法律的监管机构负责，并将评估结果向公众公开。立法中可以明确每个监管机构应承担对各自领域的歧视性影响进行评估的责任，并在必要时赋予更大的权限，如可以从开发商和企业获取数据。二是授权监管机构与外部研究人员合作进行评估，并批准某些研究人员为开展评估可以从开发商和企业获取数据的权限。三是在不损害隐私、商业秘密的前提下，为便于第三方机构独立开展评估，规定政府机构与系统开发者和使用者共同确定哪些数据可以向公众公开。

（三）通过改革促进社会和经济发展整体正义。算法系统准确性、公平性的提高依赖于创建更多适当的数据集。但是，更充分的数据收集意味着更多的成本支出，而这是企业所不愿意承担的。从长远来看，通过调整算法来解决长期存在的歧视现象是有限的。为减少普遍存在的不平等现象，需要政府对住房政策、刑事司法、信贷分配、保险以及职业招聘等进行实质性改革。良好、公平的算法只能在社会和经济发展整体正义的基础上得以实现。

总结

自动决策系统（尤其是新的机器学习算法）可以显著提高决策的准确性和公平性，具有广阔的的发展前景，但一个重大的风险是对于受保护群体的歧视性影响也变得更加隐秘。如果不对该类系统的歧视性影响进行研究评估，我们将无法采取措施纠正这些系统中存在的潜在偏见。因此，报告认为各相关主体应对消除歧视性影响的进展情况有清晰的了解，并且建议将披露和评估作为改善组织系统运作的基本路径。尽管对于评估发现出的相关问题，我们可能难以确定如何改进消除。但是，如果不直面这一问题，结果可能会变得更糟，并且因为其隐秘实施而变得更具破坏性。

             来源: 信通院互联网法律研究中心