人工智能歧视的法律治理.docx
《人工智能歧视的法律治理.docx》由会员分享，可在线阅读，更多相关《人工智能歧视的法律治理.docx（20页珍藏版）》请在冰豆网上搜索。
人工智能歧视的法律治理
内容提要
人工智能在我国的大规模部署带来了歧视数字化的法律风险。
个体层面由内隐偏见驱动的无意识歧视和社会层面由结构性不平等驱动的系统性歧视，或影响人工智能的开发设计，或干预数据生成、采集和利用，在问题建构、数据理解、特征选择等环节将偏见和结构性不平等嵌入人工智能，诱导其输出歧视性结果。
面对数字时代更加隐蔽且广泛的歧视，我国基于责任规则、信息约束和平权行动构建的既有禁止歧视法律体系陷入归责不能、约束失效等困境。
治理人工智能的歧视需要实现反歧视法律数字化转型，以算法解释化解信息单向透明趋势，以算法审核抑制代码歧视风险，以非歧视准则规范人工智能开发、利用行为。
此外，还需借助数字平权行动，推动社会权力结构变迁，消除滋长歧视的结构性不平等。
关键词
人工智能 歧视 结构性不平等 算法 数字平权
目 录
引 言
一、嵌入人工智能的歧视
（一）内隐偏见驱动的无意识歧视
（二）结构性不平等驱动的系统性歧视
二、歧视嵌入人工智能的路径
（一）问题建构维度的歧视
（二）数据理解维度的歧视
（三）特征选择维度的歧视
（四）个人信息维度的歧视
三、禁止歧视法律体系的制度余量
（一）基于责任规则的禁止歧视机制
（二）基于信息约束的禁止歧视机制
（三）基于平权行动的禁止歧视机制
四、治理人工智能歧视法律框架的构造
（一）数据主体赋权：
基于算法解释权穿透算法黑盒
（二）代码规则监督：
基于算法审核抑制歧视风险
（三）开发行为规范：
非歧视作为人工智能合规标准
（四）社会环境重塑：
基于数字平权行动变革权力结构
结 语
引 言
得益于数据、算法和算力三大要素的全面突破，人工智能在医疗、交通、金融、司法等场景中业已显现出媲美甚至超越人类的实力，成为数字时代世界各国竞相追逐的技术高地。
然而，在享受技术红利的同时，社会公众对智能社会的憧憬开始夹杂起对人工智能潜在弊端的担忧。
作为数字时代具有广泛渗透性的底层技术，人工智能具备颠覆性重构人类社会的潜能。
如果说对“技术奇点”迫近的莫名恐慌尚属杞人忧天，那么当人工智能屡屡在再犯风险评估中涉嫌种族歧视，在遴选雇员中恣意表达性别偏好，关于科技失范击穿社会公平正义底线的忧虑不应再被等闲视之。
在人工智能带来的诸多法律挑战中，“非歧视”是各国政府部门、科技公司、科研机构、政府间或超国家组织高度关注的议题。
我国目前虽少有人工智能歧视事例见诸公共媒体，但舆论场的集体静默更像是无声的警报——嵌入人工智能的歧视不再像过去一般露骨，而是隐匿到数字世界的角落悄无声息地侵蚀社会公平正义。
考虑到人工智能技术逻辑的共通性、歧视发生的规律性和我国智慧产业发展的规模性，端倪已现的歧视风险是我国开发、部署人工智能中无法回避的法律挑战。
近年来，科技界已经在不同场合呼吁重视人工智能歧视和偏见之于我国社会秩序的挑战。
国务院《新一代人工智能发展规划》（国发〔2017〕35号）以及中国电子技术标准化研究院《人工智能标准化白皮书》、国家人工智能标准化总体组《人工智能伦理风险分析报告》、国家新一代人工智能治理专业委员会《新一代人工智能治理原则》、全国信息安全标准化技术委员会秘书处《网络安全标准实践指南——人工智能伦理安全风险防范指引》等政策文件正在积极规划、倡导和推进多维治理人工智能的歧视问题。
学界通常以“算法歧视”统摄人工智能公正性论题。
综观相关研究，“算法歧视”概念框架实际纳入了两类构形相近但性质迥异的歧视。
其中一类是反垄断语境下的价格歧视。
“千人千价”式的大数据“杀熟”是数字时代价格歧视的突出样态。
其本质乃是经营者滥用市场支配地位，借助人工智能技术实施差别待遇，排除、限制市场竞争的垄断行为。
另一类是平等权语境下的身份歧视。
这类歧视根源于个人内心偏见，呈现为基于性别、残障、种族、传染病病原携带等特定集体身份实施的区别对待或造成的区别影响。
诸如性别歧视、残障歧视等即属此类。
尽管都被冠之以“歧视”之名且在特定情境中有所重合，但两者在发生机制、与人工智能的交互路径、侵害的具体法益和法律规制策略等方面存在明显差异。
限于篇幅，本文仅讨论平等权语境下人工智能的歧视问题。
人工智能的歧视并非技术创新的产物，而是数字时代前沿科技“赋能”前数字时代传统社会矛盾的结果。
易言之，人工智能遵循的技术逻辑耦合了发生歧视的社会规律。
数字技术成为歧视表达的新载体。
就此而言，从根本上预防和治理人工智能的歧视需要解析歧视发生的社会动力机制并厘清其嵌入人工智能的技术路径。
更加重要的是，有必要回归到我国场域内，审慎检视我国现有禁止歧视法律体系因应“人工智能+歧视”的制度余量，做好人工智能歧视法律治理的规则体系储备。
一、嵌入人工智能的歧视
歧视是人类认知世界的副产品，其产生和发展遵循独特的社会逻辑。
早在人工智能诞生之前，歧视已经在人类社会普遍存在。
个体层面的内隐偏见和社会层面的结构性不平等是当代社会持续生成歧视的主要动力。
（一）内隐偏见驱动的无意识歧视歧视发端于个人认知层面。
人类依赖分类认知客观世界。
分类将无限多样的外在刺激组织成几个在数目上更易管理的不同类型，并通过在同一类型内强调事物间的相似性，夸大类型间事物的异质性，将模糊的世界明晰化。
对社会成员的分类就是从性别、种族、残障、宗教信仰等不同维度赋予个人集体身份并建立身份刻板印象的过程。
具备相同集体身份的个人被认为具备相同的特质，以区别于其他人群。
出于维持积极的自我认同以及提高自尊的需要，群体总是倾向于将贬义刻板印象赋予外群，将褒义刻板印象赋予内群。
内群在没有足够证据的情况下恶意揣度他人，建立起对外群的偏见。
这不仅意味着针对目标群体的消极习得态度，也意味着支持这一态度的消极信念以及回避、控制与支配目标群体内个体的行为意向。
个人将认知层面的偏见表达到社会生活场景中，即具象化为法律所禁止的歧视行为。
社会生活中，偏见沿着两条截然不同的通道表达。
人类的决策和推理过程受双系统的支配——依赖直觉的启发式系统和依赖理性的分析系统。
前者并行加工且加工速度较快，不占用或占用很少的心理资源，反应自动化，通常只能意识到其加工结果而意识不到加工过程；后者串行加工且加工速度慢，占用较多的心理资源，主要基于规则进行，其加工过程和结果都可以被意识到。
相应地，偏见的表达通道包括了经由分析系统表达的外显偏见和经由启发式系统表达的内隐偏见。
因为存在分析加工过程，个体能在外显偏见的表达中意识到偏见对自己行为的影响，所以可以用法律责任等来抑制个体在推理和决策中表达偏见。
但启发式系统对内隐偏见的表达则大相径庭。
因为缺少加工过程，个体在决策和推理中往往表达出内隐偏见而不自知。
换言之，个体的无意识成分参与了其有意识的社会认知加工过程。
人们总是情不自禁地青睐翩翩少年而非耄耋老人、健全人而非残障者、异性恋而非同性恋；总是自然而然地将男性与自然科学、工作等等同，将女性与人文科学、家庭等关联。
即使是在崇尚公正的司法场域亦潜藏着不易察觉且难以消除的偏见。
年龄、种族、性别等因素都会以微妙且隐蔽的方式影响法官决策。
内隐偏见近乎自发的表达机制危害更甚。
内心笃信平等并不能必然抑制内隐偏见的表达，因为对平等的虔诚信仰通常依赖分析系统发挥作用。
一旦启发式系统与分析系统作用方向不同，往往启发式系统会获胜，亦即内隐偏见在表达顺序上更占优势。
这足以使人表里不一，作出的行为与其秉持的信念南辕北辙。
（二）结构性不平等驱动的系统性歧视歧视不仅受到内在偏见态度的影响，而且也是权力关系和资源配置情况的反映。
宏观层面上，歧视影响资源在不同人群间的分配格局，重塑社会权力结构。
从歧视中获利的群体将其占有的资源兑换成政治、经济、文化等领域的优势地位，构建对其有利的社会权力结构。
个案中的不平等累积形成结构性不平等。
歧视或明或暗地被嵌入政治、经济、教育、公共服务等各个领域，成为组织规范乃至国家层面的制度安排。
与制度的结合意味着歧视完成从零散到系统性歧视的质变。
在歧视与禁止歧视此消彼长的法律较量中，结构性不平等驱动的系统性歧视是颇为难缠的对手。
它善于把自身包装成集体意志，模糊了责任主体；它攀附制度体系，狐假虎威地绑架制度为其张目；它脱离特定个体的偏见表达，形成独立的运作方式。
最重要的，它指皂为白，不遗余力地巩固、加剧结构性不平等。
一方面，系统性歧视借助制度体系强化歧视的发生密度和执行力度，偶发的歧视行为常态化，碎片化的歧视做法制度化。
其结果是女性、残障者、传染病病原携带者等特定人群遭受到更加严密且有效率的社会排斥。
伴随着歧视的系统化，歧视造成的损害后果随之扩大。
单次歧视的即时危害虽不明显，亦足以在大时间尺度上造成深远影响。
例如，义务教育阶段强制有条件随班跟读的残障儿童进入特殊教育学校必然影响其未来获得高等教育的机会乃至职业选择和发展。
在系统性歧视的推波助澜下，“学校、商业部门和政府部门等社会机构不合比例地将积极社会价值（如高社会地位、良好的医疗保健、优质的住房）分配给支配者，而将消极社会价值（低社会地位、劣质的住房、长期的监禁、拷打和行刑）分配给从属者”。
以性别、残障、户籍等集体身份为边界的歧视性资源分配格局日益明晰。
受歧视群体缺乏发展所需的必要资源，社会竞争力遭到系统阉割，很难依靠个人努力赢得向上社会流动的机会。
更重要的是，结构性不平等可能以政治、教育、职业、财产等为中介实现代际转移。
子代在继承父代占有资源的同时，也一并继承了父代所处的社会权力地位。
一个人的初始资源禀赋越高，终其一生的资源平均收益率也就越高。
即便回归没有歧视的理想状态，不同群体间资源禀赋天冠地屦的客观差距也只会让“公平竞争”徒有其表。
另一方面，系统性歧视制造“自我实现预言”规训受歧视群体，将处于支配地位群体的偏见植入受歧视群体的自我认知。
自我实现预言指的是，一个虚假的初始情境定义诱发了后续行为，该后续行为转而让原本虚假的初始情境成为现实。
例如，系统性歧视将女性排斥在信息技术行业外，并构建出女性不擅长学习理科、不擅长从事此类工作的虚假情境定义。
如果女性受此影响，调整个人职业方向和人力资本投资策略，回避进入相关领域，由此导致自身职业准备不足、从业热情缺乏，无法在劳动力市场上同男性竞争，则会让前述虚假定义戏剧性地由假变真。
自我实现预言的真正作用在于降低受歧视群体的自我评价，进而自愿认同、接受结构性不平等及其制度安排。
在自我实现预言的催眠下，受歧视群体对自身不利处境的归因不再与外部的系统性社会排斥有关，而是视为自我选择的结果。
结构性不平等借此剥离违法性，在认知层面完成对受歧视群体的思想驯化。
二、歧视嵌入人工智能的路径
内隐偏见驱动的无意识歧视和结构性不平等驱动的系统性歧视是我国人工智能开发、部署中面临的主要歧视风险。
遗憾的是，人工智能的技术发展阶段和发展路径决定了其在歧视面前近乎不设防的虚弱状态。
一方面，人工智能仍处在弱人工智能阶段，只能按照人设定的逻辑，判断、决策、执行各个任务环节，并无能力自主识别、拒绝、修正开发者或者其他利益相关方将自身偏见写入其代码。
另一方面，就人工智能的技术发展路径而言，处于基础与核心地位的是以深度学习（DeepLearning）等算法为代表的机器学习技术谱系。
其底层逻辑是从结构化和非结构化的数据中实现特征提取、模式识别，亦即从具体样例中抽象出普遍规则指引实践。
算法基于“大数据集”而通过自我训练、自我学习以形成“规则集”的过程，实质上是对于过往人类社会模式特征的总结并将其用于对未来社会的感知与决策，不可避免地复制并延续当前社会的既有格局与特征。
经由人和数据，偏见与结构性不平等得以代码化、数据化，成为人工智能的决策基础。
（一）问题建构维度的歧视问题建构是人工智能执行一切任务的起点。
其目的在于将抽象的目标需求借由可观察、可测量的特征转译为机器能够处理的计算问题。
如，银行希望借助人工智能从海量贷款申请人中筛选出潜在的“优质”客户，首先就需要将作为目标需求的“优质”转译为诸如收入状况、职业类型、年龄等可测量的特征。
筛选优质客户由此被转译为筛选具备稳定收入、良好信用等特征的客户。
问题建构是人类思考、判断、选择的思维产物，因其开放性特质常被称作数据发掘的“艺术”。
有关数据是否可得的判断、数据是否相关的理解和数据处理方法的选择等诸多主观因素共同决定着问题建构。
平台和算法设计者往往将效率与利益作为首要考虑因素，因为公平是模糊的，难以量化的概念。
计算机完全不能理解公平的概念，程序员亦不知道该如何为公平编码。
转译者为偏见所累会将抽象的目标需求转译为歧视性的测量标准进而输出歧视性结果。
正如银行若偏颇地把残障状况视为客户“优质”与否的测量标准，输出的贷款审批结果必将使残障人群遭受普遍的歧视。
问题建构维度的歧视是内隐偏见和结构性不平等共谋的结果。
能够接触多元观点的个人会审慎对待新信息并根据对其的评估调整态度，而被隔绝了外部声音的个人则不会。
结构性不平等假系统性歧视之手，有针对性地排斥特定群体，加剧某个领域或组织人员构成的同质化程度，为达成虚假共识培育外部环境。
“异质性被同质性所吞没，无意识的品质占了上风。
”缺少多元视角的抑制，内隐偏见恣意表达，资源配置更紧密地与集体身份捆绑，又催动系统性歧视蔓延。
正因为如此，引领人工智能开发、应用走向的互联网企业在员工结构方面愈演愈烈的同质化趋势已经引发广泛担忧。
我国互联网综合实力排名前十企业披露的信息显示，健全年轻男性是这些企业员工的基础画像。
在性别构成方面，男性员工的总体数量是女性员工的1.3倍至3.4倍。
不仅如此，女性占比与岗位层级之间呈现明显的逆相关关系。
企业管理层中男多女少的情况更为突出。
在年龄构成方面，相关企业普遍钟情年轻员工，40岁以下中青年员工占比最高达到97.9%。
员工平均年龄大多在30岁左右。
残障员工在相关企业中更属凤毛麟角，几乎难觅踪影。
严格来说，上述企业员工构成情况不过是互联网全行业从业人员同质化的缩影。
男性化、青年化和健全化是互联网企业对员工的共同期待。
信息技术工作者中女性占比较低的问题长期困扰着我国。
第四次全国经济普查数据显示，软件业从业人员约426万，其中女性约147万，占比仅为34.6%。
整个互联网行业从业人员的平均年龄约为28.3岁。
互联网企业普遍偏好以年轻的员工队伍彰显自身“活力”，对员工青年化的追捧甚至引发我国互联网行业独有的“35岁危机”现象。
其他国家和地区的互联网行业同样存在不容忽视的从业人员同质化问题。
截至2018年，美国计算机和数学行业五百余万名从业者中，女性占比为25.6%；白人从业者占比67%，亚裔22%，非裔和拉丁裔的比例为8.4%和7.5%。
欧盟82.8%的信息和通信技术从业者是男性。
除法国、比利时、荷兰等国稍有增长外，女性从业者的比例在过去十年间年均下滑5%。
互联网企业员工结构同质化程度越高，问题建构的视野越狭窄，也就越倾向于盲目地为同类人群设计和编程并漠视如此行为的责任。
不平等、无意识和不宽容也就越容易滋长。
近年来，老年人群在健康码、移动支付、交通出行等智慧场景中频繁遭遇数字鸿沟，很大程度上正是问题建构中年龄视角缺失所致。
（二）数据理解维度的歧视数据是歧视嵌入人工智能的另一条重要通道。
数据的价值在于从中提取知识或作出推断。
如果作为基础的数据中充斥着偏见和结构性不平等，那么人工智能只能从中得出歧视性的结果。
1.数据代表性不足女性、老年人、残障群体等的数据在数据集中分布过于稀疏而代表性不足时即产生数据暗点。
截至2019年末，我国60岁及以上的老年人口数已达2.54亿，但同期老年网民人数仅为0.97亿。
这意味着约1.57亿老年人几乎从未在互联网上留下些许数字痕迹。
在大数据时代，数据通过被动、主动和自动三种途径产生，即依赖人工的被动记录、依赖用户的自主创造和依赖感知系统的自动生成。
诚然，数字时代的任一个体都是潜在的数据生产者，但只有当个体数据被感知和采集，聚合为巨大体量的数据集方能产出与之匹配的巨大价值。
受结构性不平等制约，特定群体或者缺乏涉足某些领域的必要条件，或者不能负担互联网终端等数据生产工具，或者难以掌握微信、微博、短视频等数据生产技能，或者受基础设施等外部条件限制，相关数据被不成比例地放弃、遗漏、错记。
结果就是特定群体的数据在数据集中异常稀疏甚至完全缺失，造成数据暗点乃至盲点。
当数据代表性不足时，人工智能只能从数据集中提取到零星的群体特征，算法模型不能精确匹配，在应用层面产生厚此薄彼的排斥效果。
以较为成熟的计算机视觉领域为例，基于开源数据集训练的图像识别系统能够识别身披西式婚纱的新娘，却无法分辨印度婚礼中身着南亚传统服饰“莎丽”（Sari）的新娘，原因即在于世界范围内广泛用于训练人工智能的数据集收录的多是反映西方文明风土人情的图片。
不同群体记录、创造和生成数据方面存在差异的根源是结构性不平等。
现阶段的人工智能既不会质疑数据分布的均衡性，也意识不到深藏在数据背后的结构性不平等。
对数据的盲目依赖可能错把偏见和结构性不平等当作决策的事实基础和逻辑前提，陷入数据营造的虚假情景而不自知。
2.数据代表性过度流动人口、少数族裔等群体的数据，也会在偏见、结构性不平等的作用下被不成比例地负面生成，从代表性不足走向代表性过度。
在代表性过度的数据集中，特定群体的数据异常稠密，形成数据亮斑。
人工智能从中提取到夸张甚至变形的群体特征。
建立在这些“真实”谎言之上的决策也将继承数据本身的全部缺陷。
预测警务是数据代表性过度导致人工智能决策失准和极化的高危场景。
预测警务的基本原理在于，使用统计方法处理犯罪违法率的大型数据集，确定与一个或多个群体特征相关的犯罪水平，并基于前述相关性预测特定个人过去、现在或将来的犯罪行为，管理其刑事司法结果。
用于预测犯罪的数据通常源自记录犯罪违法率的历史警务数据等。
而警务数据看似客观，但其背后可能隐藏着极其深刻、复杂的权衡与妥协。
以刑事诉讼为例，司法实践中，流动人口的逮捕率通常高于本地户籍人口，取保候审率则低于本地户籍人口。
造成这种局面的原因在于流动人口的强流动性、逮捕适用标准的模糊和司法机关错用、误用、滥用逮捕措施等。
更高的逮捕率数据并不能支撑流动人口更具社会危险性的结论。
至于执法机构被性别、种族偏见等牵引，任意解读同质事件，或者有意无意地将性别、族裔等集体身份奉为甄别违法犯罪嫌疑人的特异性指标，刻意针对相关群体的歧视性执法则会进一步加剧数据的扭曲程度。
如，印度执法机构将丈夫对妻子的殴打定性为家庭暴力，但却轻描淡写地将妻子对丈夫的殴打以夫妻拌嘴一笔带过。
美国的非裔、拉美裔司机在道路上被执法机关拦截检查的几率是白人的3倍和7倍。
法国的非裔、阿拉伯裔青年被执法部门查验身份证件的几率是其他人群的20倍。
机器能解决处理效率的问题，却不能避免“过往数据”本身造成的缺陷。
人为制造的失真信息充斥在数据集中，现实世界中的假象被机器当作虚拟世界中的现实。
笃信数据的人工智能从代表性过度的数据集中习得偏见后，再度把偏见复现为现实世界中的歧视性做法，造成歧视的恶性循环。
（三）特征选择维度的歧视人工智能的目标需求需要被转译为具备相关性的特征，但模型性能与特征数量之间并无线性关系。
当候选特征数量超过阈值时，反而可能引发维度灾难、过拟合和噪声侵入等问题，降低模型性能。
特征选择即从一组特征中去除冗余或不相关的特征，在模型效率、精度和成本之间寻求最优解。
特征选择可以由算法自动完成，也可能借助人类积累的经验法则。
特征集合中公然纳入种族、性别、残障等受到法律保护的集体身份可能“教唆”人工智能输出歧视性结果。
多数情况下，对违法成本敏感的开发者或使用者会在特征集合中剥离受到法律保护的集体身份，主动拉开与歧视的安全距离。
问题在于，表面上回避了歧视风险的人工智能却可能转头跌入特征选择的伪中立陷阱。
集体身份与候选特征之间可能存在着千丝万缕的联系，形式上的脱钩难以阻止集体身份将自身嵌套入看似中立的特征当中，透过这些“中立”特征继续影响、操纵人工智能的输出结果。
如，美国医疗系统近年来引入人工智能系统，尝试基于对患者医疗支出的预测提高稀缺医疗资源配置效率。
将支出作为与资源配置这一目标需求具备高度相关性特征的逻辑在于患者病情越严重越依赖医疗服务，产生的支出相应越高。
表面上看，医疗支出与集体身份并无干系。
但美国不同族裔获取、利用医疗资源的能力受到结构性不平等的制约。
交流障碍、不信任抑或偏见等让非裔群体在面临健康问题时更少诉诸医疗系统。
在病情严重程度相似的情况下，非裔患者的医疗支出显著低于白人患者。
人工智能基于“中立”的医疗支出预测个人未来医疗需求异化为变相基于种族配置医疗资源。
避免伪中立陷阱需要追问中立特征项下相关数据的社会生成机制，尤其是集体身份在何种程度上干涉了数据生成。
与中立特征关联的数据可能是身份化了的。
基于集体身份的资源配置格局无形中限定了个人决策的空间。
具备相同集体身份的个体占有相似的资源，即使彼此没有意思联络，亦会自发呈现近似的决策偏好。
集体身份在资源配置中的作用愈明显，个体决策的身份色彩也就愈浓厚。
在这种情况下，表面中立的特征可能扮演性别、残障等集体身份中介者的角色，诱导人工智能输出歧视性结果。
（四）个人信息维度的歧视个人信息具备可识别性，能够精准定位到特定个体。
个人信息泄露不仅会出现侵害自然人隐私权等人格利益以及财产权的恶果，也会对歧视的发生起到催化作用。
因为识别个人集体身份，完成“我们”抑或“你们”的归类，是歧视发生的基本前提。
种族、性别、残障等是生理层面的自然身份，也是文化意义上社会建构的想象结果。
原本仅具生理功能的自然身份经由人为建构获得额外的社会意义。
特定种族、性别等被期待扮演特定的社会角色，遵守对应的行为规范。
离经叛道者则由社会舆论等外部压力机制予以惩罚。
由此，种族、性别等不再止步于静态描述个人某一特征，也成为影响个人在社会参与中定义自我、作出决策的动态因素。
在这个互动过程中，集体身份或显式或隐式地被冗余编码在足够丰富的特征空间中。
即使没有确切的直接信息，仍然可以通过其他维度的线索标识出特定人群。
一个典型的例子是姓名之于性别的联动关系。
不同性别差异化的社会角色左右了社会成员起名规则，名字因而能够表征个人的性别身份。
在大数据时代，只要有足够的数据，无论如何都做不到完全的匿名化。
凭借爆炸式增长的算力，个人信息的获取成本随之下降。
人工智能可以从人脸图像中估算个人年龄，从微博上的情绪词和相关语言风格推测用户性别，从汽车品牌偏好等蛛丝马迹中揣度个人种族、政治倾向等敏感个人信息。
此类信息的泄露将个人集体身份暴露在外，显著提升歧视发生的风险。
尤其是传染病病原携带者、残障者等长期被严重污名化的群体，其病原携带、残障状况等敏感个人信息一旦泄露即意味着歧视的开始。
三、禁止歧视法律体系的制度余量
从问题建构到个人信息，内隐偏见和结构性不平等轻而易举地穿透人工智能看似固若金汤的技术屏障，影响人工智能持续不断输出歧视性结果。
在科技界尚无法提供完美的技术修复方案时，我国禁止歧视法律体系必须直面“人工智能+歧视”组合带来的冲击。
问题在于，现有法律体系的制度余量是否充足，可以波澜不惊地化解挑战。
我国目前尚无专门法律规制歧视。
相关禁止歧视的规定散见于《劳动法》《就业促进法》《妇女权益保障法》《残疾人保障法》《电子商务法》等法律。
虽然适用领域不同、针对对象各异，我国禁止歧视的法律制度设计实际沿着基于责任规则、信息约束和平权行动的逻辑分别展开。
（一）基于责任规则的禁止歧视机制责任规则是我国禁止歧视法律体系中最基本的规制工具。
《就业促进法》《妇女权益保障法》和《残疾人保障法》有关劳动者、女性、残障者等得就遭受歧视向法院提起诉讼的规定是责任规则的直观体现。
脱胎于传统的侵权法，责任规则通过责任的运用，将那些由于高交易成本造成的外部性内部化。
具体而言，一方面，法律向遭受歧视的受害人提供可以获得公平赔偿的允诺，激励其向法院积极主张不受歧视的权利；另一方面，实施歧视的施害人被课予赔偿责任，确保歧视预期净收益为负，进而抑制施害人的歧视冲动。
两者之间依赖锚定装置保证连接强度，将歧视行为受惩罚的概率维系在合理区间。
我国既有禁止歧视司法实践主要针对区别对待形态的歧视。
区别对待是直接基于集体身份实施的克减、限制或剥夺特定人群法律权利的歧视行为。
按照法院在审理区别对待案件中发展出的成熟审查框架，锚定责任需受害人证明三个要素：
第一，受害人具备特定性别、残障、
升级会员 