在欠发达地区推动人工智能工具的公平发展

插图由iStock/ArtemisDiana提供

2021年，我和我的同事伊希塔·鲁斯塔吉（Ishita Rustagi）向社会正向变化领导者和机器学习开发人员提问——“如何才能推进‘性别平等的人工智能’”？。我们所说的“性别平等的人工智能”是指能够有目的且主动地促进更广泛的包容和性别平等的人工智能，不仅要避免歧视，还要将包容性置于核心地位，同时解决人工智能工具开发和管理中的历史性不平等问题。人工智能技术主要于北半球进行开发，并不一定能够充分考虑到发展中国家之间和内部的差异，因此，国际发展领域在支持和推进更公平的人工智能发展方面可以发挥重要作用。

本文为美国国际开发署的创新与技术部门规划其首个与国际发展领域人工智能相关的资助计划——“公平人工智能挑战”（Equitable AI Challenge）——提供了参考。该计划旨在投资能够识别和纠正人工智能系统中性别偏见的创新方法，特别是在全球发展的大背景下。

三年过后，五个子项目得以完成，一个公平人工智能实践社区被建立，那么我们从推动南半球性别平等人工智能有关的工作中学到了什么？国际发展实践者在其中的作用是什么？

1. 南半球边缘化社区的数据持续存在缺口。收集更具包容性和公平性的数据需要明确的目的。性别数据缺口源于互联网和智能手机获取和使用方式上的差异，这种差异在许多南半球国家更为明显，而数据缺口影响了机器学习工具的学习内容和学习对象。当拉各斯大学（University of Lagos）和Nivi合作以提升尼日利亚的保健聊天机器人的性别意识时，他们需要在当地收集更多的健康数据，以更好地理解健康问题咨询和挑战中的性别差异。起初，这些工作数据过多地代表了单身男性、已婚女性和在城市居住的人群，因此项目团队必须非常清醒地认识到应优先考虑哪些特征，同时努力迭代并有意识地覆盖不同群体。

2. 充分理解数据中体现的性别不平等是一项挑战。当Itad与墨西哥瓜纳华托州教育部（State of Guanajuato's Ministry of Education）合作以识别并减少当地新的人工智能早期预警系统中的性别偏见时，他们发现了算法可以从中学习的各种潜在性别变量。项目团队发现该工具存在4%的性别偏差，并试图确定性别差异如何不知不觉地被反映在某些变量中，例如，在将出勤率作为辍学风险的特征之一时，女孩可能会因每月一次的月经而缺课，并无意中受到惩罚。

3. 性别“盲视”的危险。美国加州大学伯克利分校和休斯顿大学的研究人员与墨西哥RappiCard公司合作开发了一种区分性别的信用评分模型（即区分女性专用和男性专用的信用评分模型）。该团队发现，与集合模型相比，女性专用信用评分模型提高了女性的贷款审批率，因为它消除了性别“盲视”集合模型中的一些偏差，同时并没有削弱预测能力。这个例子说明性别“盲视”算法是如何忽略或隐藏不平等现象，且无意中将其嵌入系统，同时也增加了评估是否存在歧视的难度。同样的情况也可能发生在其他人口统计数据上，如种族。

4. 当数据无法捕捉性别特征时，意在实现性别平等的人工智能工作会变得更加复杂。威廉玛丽学院的AidData与加纳民主发展中心（Ghana Center for Democratic Development，CDD-Ghana）合作，评估了人工智能工具中的性别偏差，这些工具用于估算家庭财富，并为福利分配提供参考。该团队需要识别户主的性别，以评估家庭财富估算中可能存在的性别偏见。然而，这些人工智能工具大多学习并使用现有的人口与健康调查（Demographic and Health Survey）数据，这些数据经过匿名和聚类处理，以保护单个家庭的隐私，且不包括性别信息。为了进行性别评估，团队不得不使用其他信息和不完善的性别假设来指定“家庭性别”。又如，Nivi通过用户的脸书账户进行直接提问，以识别其性别。但是，个人在脸书上自我认定的性别与人工智能工具上的不同，使得通过个人健康信息区分性别的的方法变得复杂（可能是因为跨性别或非二元性别个人在不同的地方或者家庭成员之间共享的账户和设备上提供了不同的回答）。

5. 缺乏透明度导致信任缺失。当人工智能工具提供建议或预测时，人们会决定是否以及如何采取行动。然而，由于人工智能系统内部运行的透明度极低，人们要么不信任这项技术，完全不会使用它，要么毫无疑问地使用其产出。例如，Itad联盟在实施过程中遇到了一些问题，教师们得到了人工智能生成的辍学风险预测结果，却不知道如何质疑人工智能模型生成的结果，也不知道如何恰当地使用这些结果。

▍何去何从？

首先我们要明白公平不是现状。因此，公平的工具需要提前规划并贯穿整个过程，以这一期待为出发点可以为各种需要被考虑的因素提供指引：谁需要被考虑到、谁还没有被考虑到、谁在数据中具有代表性或代表性不足，以及围绕数据输入、数据存档、算法开发和持续管理等更多的技术因素。

针对国际发展实践者，我们推荐五种实践方案：

1.以负责任的态度建立具有代表性的数据集合。虽然支持智能手机和互联网接入的数字包容性工作可以缩小数字鸿沟，并提供大量有助于弥合性别数据差距的数据，但隐私和安全问题也至关重要。可以考虑与当地组织合作，邀请其帮助收集和管理数据，并识别需要被考虑的安全因素。国际发展工作者应探索数据合作和其他机制，把数据集开发和所有权相关的权力纳入考虑范围，确保人们可以自主选择性别身份和其他人口信息。

2.让即将使用这些工具的人们有意义地（立即）参与进来。许多基础模型和人工智能工具都是在北半球开发的，往往缺乏代表全球不同社区的数据，也缺乏对可能部署这些工具的环境的深入了解。聘请来自人工智能工具部署地区的团队成员，并请他们在设计、验证和测试中作为共同创造者与目标用户合作。此外，团队中的社会科学家或性别问题专家也是帮助识别人工智能系统开发过程中与性别相关的差距并帮助跟踪影响力的关键。

3.对算法中的性别因素进行跟踪与控制。性别规范可能并不总是能很清楚地被反映在数据和算法中，因此必须对工具进行检查，以了解不同人群的表现。

4.优先考虑透明度和培训，以增强信任。使用概述数据集或模型的资源，如数据集营养标签（编者注：dataset nutrition labels，数据营养标签项目的灵感来自食品的营养标签，旨在通过构建标签突出数据集中的关键组成，如元数据和人群覆盖，以及关于分布、缺失数据和与其他“基本事实”数据集比较后的独特或异常特征。）或模型卡，为非技术利益相关者增加提升数据透明度的工具；可以包括对利益相关者进行培训，使其了解如何负责任地使用和管理人工智能工具、道德问题、性别平等的影响以及负责任的部署和管理策略。为了探索透明度对数字素养较低的全球各社区而言意味着什么，需要更多的努力和资金支持。

5.评估风险和随着时间推移而产生的影响力。风险评估可在开发工具之前或之后进行，以探讨其潜在的危害、偏见、隐私考虑和透明度问题。评估内容还可包括该工具在一段时间内的使用情况、使用对象、影响力，以及不同社区或利益相关者公平使用该工具时遇到的任何问题。部分评估可包括持续审查，如关注不同性别的表现情况。现有的技术工具可支持此类审查，但这些工具不足以了解潜在危害的范围，因为它们大多是在西方世界背景下开发的，而且更侧重于消除偏见或促进公平的技术呈现形式，而不是人工智能工具在其他方面实则可能促进歧视的方式。

对于资助者来说，需要开展更多的研究和项目，探索公平的人工智能模型和数据集，以及优先考虑公平、包容和服务对象代表的参与式工作流程。资助者可以通过支持优先考虑社区组织和社区拥有控制权的数据收集工作，帮助解决数据缺口问题。一个令人兴奋的新资助计划“数据赋能基金”（Data Empowerment Fund）旨在实现这一目标。在资助开发和实施人工智能模型和应用时，应优先考虑以公平为中心、整合风险评估的申请者，并为跟踪影响力和吸取经验教训提供资金支持。但资助者还必须投资于公平的流程，而非特定的工具，优先考虑全球边缘化社区的机构，真正将他们的需求、价值观和观点置于中心位置。资助者还可以支持从业人员、研究人员和政策制定者之间的社区建设，如美国国际开发署的公平人工智能实践社区（Equitable AI Community of Practice）。

▍展望未来

随着人工智能应用的不断增加，我们有很多机会来确保这些工具的开发和实施能够促进性别平等。我们不能被动地认为人工智能“向善”就一定会带来我们所期望的公平结果。这样做将意味着重复发展领域过去的失败，而且风险更大。鉴于人工智能工具的不透明性和规模，特别是在这个新的生成式人工智能时代，我们将面临比发展领域历史上那些最终被闲置的、过时的技术更大的灾难性结果。作为国际发展领域的从业者和资助者，我们必须以更高的标准要求自己，不仅要追求比现状“更少偏见”的工具，还要追求具有解放性和公平性的工具。

我们绝不能陷入“技术解决主义”的诱惑陷阱，幻想仅靠技术就能解决社会问题。投资于数字技术（包括某种特定的人工智能技术）的开发或扩展可能极具诱惑。在某些情况下，在实施这些建议和严格评估的同时，这也是一项重要举措。然而，通过投资于公平的共同创造过程，优先考虑不同人群和社区的能动性，并对技术和非技术解决方案持开放态度，我们可以更负责任地实现我们期望的目标。