1. 引言
在数字社会的演进过程中,算法歧视从技术伦理问题逐步演化为社会风险[1]-[3],通过价格歧视、身份性歧视、就业歧视等多元形态嵌入社会运行机制,如美国COMPAS算法在刑事司法中导致的歧视偏差、外卖平台算法对骑手劳动权益的算法压榨等,形成数据偏见、算法黑箱与权力异化的权利侵害链条,凸显传统反歧视法失灵与技术治理碎片化困境[4]-[6]。其本质是对传统歧视的数字化复刻,也是技术权力与资本逻辑合谋下的新型权利压迫机制,加剧社会阶层固化并消解数字正义的根基。在此背景下,构建数字公平系统既是破解算法治理“科林格里奇困境”的必然选择,更是实现全过程法治的数字社会基础设施重构命题。
欧美学界围绕算法歧视的法律应对形成两大路径:一是技术合规导向的规制创新,如欧盟GDPR通过“设计保护数据”(Data Protection by Design)条款推动法律代码化实践,将公平性要求嵌入算法架构,RegTech工具包在金融监管中的成熟应用为算法治理提供可迁移的技术监管范式;二是司法审查强化,如美国Loomis案引发的算法解释权争论,尽管威斯康星州最高法院以“商业秘密豁免”驳回公开COMPAS算法源代码的诉求,但该案确立算法决策需接受比例原则审查的司法先例[7] [8]。国内近年来对算法歧视研究增多,主要围绕法律规制和数字公平实现展开,如最高检对外卖骑手算法压榨的调查揭示算法权力异化与劳动权益保障的张力;网信办等部门发布规范算法安全与合规的规定[9] [10]。然而,现有研究多停留于部门法修补层面,尚未形成统摄技术、法律与社会系统的治理框架。当前算法歧视研究存在规制范式失灵、治理结构断层与救济机制滞后的局限。本文以算法歧视法律规制为核心,结合多学科知识剖析其生成机理,揭示数据偏见、算法黑箱、权力异化的权利侵害本质,提出技术合规、法律嵌入与社会共治的治理路径,设计整合法律代码化、RegTech工具包与合规标准的治理平台,利用监管科技实现智能监管,以技术、法律、伦理三元标准确保算法公平合法,推动算法治理向全过程法治转变。
2. 权利侵害链条的解构
2.1. 对抗与规制
算法歧视作为智能社会的治理难题,指算法系统在设计、应用及迭代过程中,因数据偏见、模型偏差或决策逻辑不透明,导致特定群体在就业、金融、司法等领域遭受系统性不公的现象,其本质是传统社会歧视在算法架构中的技术性重构,既承袭传统歧视的社会结构性特征,又借助算法的隐蔽与自动运行机制、复杂技术链条和权力异化特性形成新型压迫范式[11] [12]。数字公平则致力于构建技术赋能的正义框架,强调通过权利保障、程序正义与结果均衡等维度,实现算法社会的包容性发展。其核心价值体现为在权利层面保障数字公民的隐私权、知情权与算法拒绝权;在程序层面确立算法透明原则与决策可解释要求;在结果层面抑制技术放大的群体差异;要求突破传统反歧视法的滞后性,转向技术治理与法律规制的创新融合[13] [14]。算法歧视与数字公平呈现对抗与规制辩证关系,即算法歧视通过数据殖民与模型霸权侵蚀数字社会的公平根基,而数字公平体系通过法律代码化、技术民主化与治理协同化等路径实现制度反制。
2.2. 算法歧视的异化逻辑
算法歧视的形成并非单纯技术缺陷的产物,而是通过数据、算法与权力的传导链条形成,即数据偏见为算法歧视提供原料,算法黑箱为权利侵害制造屏障,权力共谋则为系统性歧视构建制度堡垒。如美国Loomis案中COMPAS系统利用历史犯罪数据(数据层),通过专有算法掩盖歧视路径(技术层),最终公私主体的合谋下获得司法正当性背书(权力层)。数据偏见、算法黑箱与权力异化三重机制协同作用使得歧视现象在数字化进程中呈现出自我强化与制度固化的特征。
2.2.1. 数据偏见
算法歧视的根源性异化首先表现为数据偏见,以训练数据的结构性缺陷与反馈循环效应,将现实社会的权力关系编码为数字系统的运行规则,并通过算法决策的权威性外衣获得技术中立的合法性庇护,将社会结构性歧视转化为可量化的技术参数。数据偏见可分解为因训练数据集不完整或代表性缺失而形成的构建性偏见、因人工标注过程中的主观倾向而导致的标签性偏见和通过相关变量间接实施歧视的代理性偏见[15] [16]。如美国COMPAS再犯评估算法的训练数据中被告的逮捕率与司法系统的结构性偏见形成正相关,导致算法将“被捕记录”作为核心变量时,特定群体被误判为高风险比率,该偏差本质是将司法实践中“拦截盘查”(stop-and-frisk)等歧视性执法行为转化为统计学意义上的客观规律,使算法成为制度性歧视的技术代理人。
2.2.2. 算法黑箱
算法的不可解释性不仅构成技术障碍,更演变为权利救济的法律屏障,通过解释权缺失与举证困境双重机制消解被歧视者的维权可能性[17] [18]。如Loomis诉威斯康星州案揭示算法黑箱对程序正义的冲击。法院以COMPAS算法的商业秘密属性为由拒绝披露计算逻辑,导致被告无法质疑评估结果的正当性。“算法即证据”的司法实践,实质上将技术黑箱转化为法律免责事由,违背了正当程序原则中“反驳不利证据”的基本权利。外卖骑手被平台算法压榨则暴露算法权力与个体权利的结构性失衡,虽可证明配送时间压缩与事故率的正相关性,却因算法模型参数、实时路径优化逻辑等核心数据被平台垄断,难以证明算法设计具有故意性,技术鸿沟使得算法解释权在司法实践中沦为纸面权利。
2.2.3. 权力异化
算法权力的扩张催生出新型权力拓扑结构,即平台凭借数据垄断与算法控制权,实质获得准立法权(制定平台规则)、准行政权(实施算法监管)与准司法权(处理算法纠纷)。私权力通过与公权力形成共谋关系,即政府通过数据共享协议将公共治理职能外包给平台企业,而平台则利用算法黑箱规避公法约束。如美国PredPol警务算法将警方含偏见的历史执勤数据作为训练集,导致特定社区巡逻密度提升,从而逮捕率增加,算法进一步强化该区域风险评级,形成权利侵害链条,而平台以技术中立为由推卸歧视责任,警方则以算法建议为由规避执法过当指控,造成“以技术之名行治理之实”的模式。该异化机制包含两个相互强化的维度,即在权力生产端,平台算法通过用户画像、信用评分等工具重构社会资源配置规则,形成独立于国家法的“算法法典”;在责任分配端,公私合作框架下的权责模糊地带助长“规制套利”,政府既可借助平台算法提升治理效率,又能以技术中立为由推诿监管失职,最终导致“算法利维坦”的诞生——资本驱动的算法权力与公权力深度融合,形成超越传统宪制约束的超级权力体[19]-[21]。
2.3. 规制失灵的现实困境
2.3.1. 传统反歧视法的范式失灵
算法歧视的法律规制面临法律与技术双重失灵的结构性困境。传统反歧视法的核心逻辑建立于“故意歧视”的归责范式与“因果关系”的证明框架之上,但在算法场景中遭遇解构。其一,算法决策的“自动化偏见”(Automation Bias)颠覆了歧视故意的认定逻辑。例如,信用评分算法通过代理变量(如邮政编码、消费轨迹等)实现间接歧视时,技术中立的表象使得“歧视意图”被完全消解于数据模型的黑箱之中,导致直接歧视的构成要件难以满足。其二,算法系统的自主迭代机制引发因果关系链条的断裂。以就业歧视场景为例,招聘算法通过强化学习形成的性别偏好,既非开发者主观设计,亦无法通过传统的输入与输出的线性逻辑回溯,造成司法审查中因果推定的技术障碍。其三,反歧视法的领域化特征与算法风险的跨域性产生规范冲突,如医疗算法基于性别差异优化诊疗方案时,可能同时构成医疗专业判断的合法行为与资源分配中的歧视性决策,传统法律对敏感特征“一刀切”的禁止性规定已无法应对场景化、动态化的算法决策需求。
2.3.2. 技术治理的碎片化
当前算法治理呈现“技术标准先行,法律规则滞后”的割裂格局,导致规制效力层级混乱与执行协同不足。技术层面,ISO/IEC等组织发布的算法可解释性标准(如LIME、SHAP)侧重模型透明度的技术实现,但缺乏对法律归责要件的衔接,如未界定可解释性程度与侵权责任认定的对应关系;法律层面,欧盟《人工智能法案》虽要求高风险系统提供“逻辑可理解的决策信息”,但未明确解释深度与司法审查标准,致使技术合规与法律问责之间存在真空[22] [23]。此外,全球监管框架呈现中心与边缘的分化,即欧盟以统一立法强化算法透明度,而美国依赖联邦贸易委员会(FTC)的个案执法与行业自律,加剧跨国公司监管套利行为[24]。我国《个人信息保护法》第24条原则性规定自动化决策的透明与公平义务,具体实施细则依赖部门规章,体现基础法律与执行规范间的效力断层。技术规则与法律规则的制度性错配,削弱了算法歧视治理的整体效能;数字经济领域的多部门监管模式则加剧碎片化,形成“数据烟囱”与“治理竞合”现象。
2.3.3. 科林格里奇困境
算法技术的迭代速度与法律规制的响应能力之间的鸿沟体现出科林格里奇困境悖论,即早期规制面临技术风险不可知性与规制对象模糊性,而事后规制则受制于技术锁入效应,导致制度调整成本剧增[25]。在算法开发阶段,监管者因缺乏专业技术能力难以预判歧视风险;在部署应用阶段,算法系统已深度嵌入社会基础设施,其歧视性影响往往通过负反馈循环持续强化,迫使法律被迫接受技术现状而非主动形塑技术伦理。资本驱动的技术迭代速度远超法律修订周期,使得治理者始终陷于规制不足与过度干预的循环困境,形成线性立法思维与非线性技术发展的时序错位,揭示数字公平系统构建的核心矛盾,法律规范试图通过确定性规则约束算法权力,而技术系统却以不确定性逻辑解构法律权威。突破这一困局,需在承认算法社会中技术与法律的共生关系的基础上,构建动态适配的、包含技术、法律、社会标准的综合性规制平台。
3. 平台构建:数字公平治理
合规标准体系突破传统合规的单一法律维度,建立技术、法律、社会合规的协同标准。通过数字公平系统的动态评级机制,推动平台企业从合规免责转向价值共创理念。(图1)
Figure 1. Diagram of the practical teaching system of automation major
图1. 合规标准体系与平台运行机制图
3.1. 技术合规层:算法透明化的实现路径
技术合规层的核心在于通过动态透明机制消解算法黑箱效应。首先,需构建全周期可追溯的算法运行框架,从数据采集、模型训练到决策输出均嵌入可审计的技术接口,确保算法决策过程具备可解释性与可验证性。其次,建立分级透明度披露制度,即在保护商业秘密与技术创新空间的前提下,根据算法应用场景的风险等级差异化,通过“算法说明书”对算法的核心逻辑、数据来源及决策边界进行必要性披露,如金融征信等高风险领域需强制披露核心参数与偏差修正机制,而低风险场景可采用结果导向的简化披露模式。最后,引入第三方伦理审查机制,通过跨学科专家委员会对算法模型进行公平性评估,重点审查数据代表性、特征权重分配及决策边界合理性,防止隐性歧视的结构化嵌入。
3.2. 法律嵌入层:规范代码化的转换机制
法律嵌入层的实质是将抽象法律规则转化为可执行的技术参数。首先,需构建法律与代码的双向映射体系。一方面通过自然语言处理技术提取法律文本中的义务性规范,运用法律本体论(Legal Ontology)将抽象规范分解为可计算的元规则[26],如将《电子商务法》第35条“不得滥用技术手段实施不公平的交易行为”转化为算法中的特征相似度阈值约束,将“禁止歧视”、“公平对待”转化为算法约束条件;另一方面将算法运行中的异常决策反向映射至法律条款,形成法律条文动态索引,使技术偏差可被精准定位至特定法律要件,建立动态合规预警。其次,推行模块化立法适配机制,针对数据偏见、模型偏差、场景误用等不同类型的算法歧视,设计独立法律模块,支持快速组合与迭代更新。如对数据偏见问题可嵌入《个人信息保护法》的最小必要原则代码化校验模块,而对模型偏差则引入动态公平阈值校准机制。最后,可建立跨境法律兼容框架,突破属地管辖局限,通过国际规范的本土化改造构建多层互认体系,在技术标准层面建立法律参数转换协议,在监管层面设计等效性评估机制,在司法层面探索算法决策的跨国可诉性规则,最终形成标准互认、监管协同、司法互助的立体兼容网络。
3.3. 社会共治层:治理主体的角色重构
数字社会的权力分散性要求突破国家与市场的治理框架,构建伞形协同治理网络,包括垂直分权、水平赋权、斜向参与的运作逻辑。垂直分权层面,政府转型为“元规制者”,通过制定算法备案标准与合规激励政策实施间接调控,建立算法审计认证体系;水平赋权层面,平台企业建立内部算法伦理委员会,引入员工举报人制度,如微软等企业已通过该机制主动叫停人脸识别系统的偏见模型;斜向参与层面,推动公众数字素养培育计划,通过算法教育普及、模拟决策实验与公众听证会等形式提升社会公众对算法权力的认知与制衡能力;同时,建立“算法影响代理人”制度,公民可委托专业人士对公共算法发起集体诉讼。此外,可借鉴参与式设计(Participatory Design)理论,在算法开发阶段引入利益相关者协商,使边缘群体需求直接嵌入技术设计过程[27]。社会多层治理结构可为算法权力的民主控制提供制度载体。
4. 全过程法治的平台运行机制创新
4.1. 事前预防机制的法律效力
在算法歧视的源头防控层面,法律效力的核心在于构建具有强制约束力的规范性框架。首先,需通过立法明确平台算法设计的平等权保障义务,将非歧视性原则嵌入算法开发全生命周期,如通过数据脱敏义务的法定化,要求算法设计者排除涉及性别、健康状况等敏感数据的输入,从特征选择阶段消除歧视风险。其次,需建立算法分级备案与合规性审查制度,根据算法应用场景的风险等级分类制定差异化治理标准。高风险算法需强制提交算法逻辑说明及公平性评估报告,接受监管部门备案审查。此外,法律应赋予第三方技术伦理委员会对算法模型的审查权,要求开发者开放算法决策的关键参数权重,确保技术黑箱不成为规避法律责任的工具。
4.2. 事中监控机制的技术赋权
平台运行中的实时监控需实现技术能力与法律规制的动态平衡。技术赋权的关键在于构建可穿透算法黑箱的透明化监管体系,一是要求平台部署反偏见检测算法,对运行中的决策结果进行持续偏差度监测,当系统识别到特定群体权益受损比例超过阈值时自动触发预警;二是建立算法决策日志的法定留存机制,要求平台完整记录数据输入、特征权重调整及输出结果的全流程信息,为事后追溯提供技术锚点。但技术赋权需受法律边界制约,如用户行为数据的采集范围必须遵循最小必要原则,监控系统的部署需通过个人信息保护影响评估。同时,法律应明确平台“准执法权”的行使限度,禁止以技术优势实施过度监控或算法滥用,防止技术赋权异化为数字权力扩张的工具。技术与法律的双向嵌入机制能够强化事中监管效能并维护数字空间的权力制衡结构。
4.3. 事后救济机制的范式突破
传统救济机制在算法歧视场景下面临责任主体模糊、损害结果隐蔽等困境,需转向公私协同的治理范式。私法层面,应突破过错责任原则的适用限制,建立算法侵权的举证责任倒置规则,由平台自证算法决策不存在系统性歧视。公法层面,可借鉴欧盟《数字市场法案》的“守门人”制度,对具有市场支配地位的平台施加算法审计义务,要求其定期公开歧视性决策的纠正情况;引入算法公益诉讼机制,允许消费者保护组织、反歧视机构等对群体性权益损害发起诉讼,通过司法判例形成歧视认定的类型化标准[28] [29]。此外,需构建动态救济工具箱,如设立算法歧视赔偿基金、开发算法决策结果修正插件等,形成涵盖补偿、修复与预防的救济体系。
5. 结语
算法歧视作为数字社会权利侵害的症结,其法律规制亟需突破传统反歧视法的路径依赖与技术治理的碎片化困境。通过解构数据偏见、算法黑箱与权力异化的权利侵害链条,揭示算法歧视的本质是以技术中立为表象、以结构性不公为内核的权利分配失衡,提出技术合规、法律嵌入、社会共治的治理路径,实现从单一技术纠偏向多维治理的范式跃迁,通过法律代码化将伦理准则转化为具有规范效力的技术参数,使数字正义的价值内核嵌入算法运行的底层架构。合规标准体系的构建,既是对算法全生命周期风险的前瞻性规制,亦是对科林格里奇困境的回应,在技术创新与权利保障之间确立可操作的平衡支点。数字公平平台的制度设计,本质上是通过法律与技术的深度融合重构数字社会的权力配置格局,其以过程性控制替代事后救济的治理逻辑,推动算法治理从被动应对转向主动形塑,催生出以多方协同为核心的新型数字治理生态。面向数字法学的发展趋势,未来研究需进一步探索算法透明度与商业秘密保护的平衡机制,完善算法影响评估的量化指标体系,并在全球数字治理竞争中构建具有算法治理话语体系。唯有将技术正义转化为制度正义,方能在数字文明演进中实现人的主体性回归与社会的可持续发展。
基金项目
云南省教育厅科学研究基金项目一般项目(2024J1071)阶段性成果;2024年度云南省本科高校基础研究联合专项–青年项目(202401BA070001-008);2025年度昭通市“兴昭人才支持计划”优秀青年人才项目;云财教〔2024〕104号中央资金高层次人才科研启动经费(S106240004)。
NOTES
*第一作者。
#通讯作者。