1. 引言
以海量数据为依托的算法成为典型科技深入工商业领域，其在推动社会发展的同时也带来了危机和隐患，平台经济背景下算法歧视尤为典型。其本质是利用算法决策再把人的行为变成一个数据模型呈现出来，从而形成一幅数字画像，为用户贴上精致标签，从而进行区别对待，以便于经营者挖掘其经济价值。
算法歧视机制下，算法控制者和用户之间平等博弈关系名存实亡，由于算法控制者掌握着对资源分配的控制，用户没有退出博弈以及讨价还价的自由，只能对算法控制者的规制概括接受，算法歧视已然产生。用户被迫承受了差别对待的结果。
如今学界对算法歧视的社会公平的损害性事实已形成共识，但对算法歧视的定义仍未形成统一定论。由此，即使已经对算法歧视已得丰富的治理方案，由于未触及算法歧视定义这类基础性问题，实践意义仍十分有限。加之算法技术的隐蔽性，使得算法演算的过程难以为外界所知悉，无论采取怎样的公开标准，算法黑箱必然存在，在算法黑箱下，传统的反歧视规制下的因果论证责任追究、侵权责任追究的救济手段都因此失灵。
因此，我国现阶段对算法歧视的研究重点，其一是解决算法歧视定义的泛化问题，其二是解决算法黑箱问题所产生的治理困境。对算法歧视的合理规制，应先厘清算法歧视的定义，明确算法歧视认定规则，以填补算法歧视规制的逻辑前提，转变因果论证思维，打破算法歧视黑箱困局的核心，最终促进算法规制方案的真正落地。
2. 算法歧视的认定
现如今算法歧视之危机已成不可避免的社会问题，学界对算法歧视现象对社会公平的损害从而需要严格规制的事实已形成共识，但目前学界对算法歧视的定义仍未形成统一定论。在实践中不免存在算法歧视泛化的现象，若只对算法歧视治理手段展开研究而未触及算法歧视定义这类基础性问题，实践意义仍十分有限，应先厘清算法歧视的定义，填补算法歧视规制的逻辑前提。
(一) 算法歧视之前提：权力关系
从歧视的发生机制上来看，算法歧视以权力关系的存在为前提。所谓权力关系，指一方将自己的意志覆盖于他人意志之上而不顾他人之反对，歧视则是在该关系中产生。以往，大部分权力关系多出现于公法领域中，在强调意识自治，平等的私法领域则鲜为少见。因此对反算法歧视进入私领域使，则时刻不望保持谦抑色彩。
然而，算法技术的出现，算法控制者取得了事实上的资源分配权力，其和用户之间的平等关系也因此异化为横向权力关系。此时，歧视性分配的发生风险大大增加，算法歧视由此成为私法关系中亟待解决的新问题[1]。
权力关系下，常伴随一方自由被剥夺的现象。从博弈视角观之，算法歧视场景中，数据控制者由于拥有算法权力，迫使用户只能被动接受数据控制者所制定的规则、结果，丧失了自由意志的地位。算法控制者和用户之间的横向权力关系由此形成。因此，本文认为，剥夺用户博弈自由是横向权力形成的实质标准，其以博弈锁定为具体的实现机制，须同时满足博弈退出封锁、博弈规则锁定和区分事由锁定三个条件。
1) 博弈退出封锁，即网络用户一旦选择进入算法系统则无法退出。其判断标准为是否存在可代替的算法控制者。包括需求可替代，即是否有供用户选择的相似产品、服务的算法控制者。相似的算法控制者越少，退出的成本就越高。
2) 博弈规则的锁定，即博弈规则制定的单方性，网络用户只能被动接受数据掌控的规则。
3) 区分事由锁定，即用来区分用户的标准对于用户来说具有特定性、固定性，从而提高用户退出博弈的自由成本。区分事由的判定需从是否具有人身依附性角度出发，例如将用户的性别、种族等作为区分标签，由于这些标签的不可更改性则可完全锁住用户，相反，若将用户的喜好等亦更改的特性作为标签，则用户可以通过更改标签来摆脱算法的锁定。同时考虑到用户提供信息时可以对信息进行虚拟化处理，达到与自身不符合的信息，因此，区分事由的锁定还需要满足不可虚拟化的条件。
当博弈退出封锁、博弈规则锁定、区分事由锁定这些条件满足时，数据控制者则对用户进行了“博弈锁定”，在不平等的权力关系下，由于数据控制者掌握了算法权力，则用户的自由意志在此机制下完全被剥夺。
(二) 算法歧视认定的具体条件
1) 算法区分决策之于算法歧视
算法歧视同样以区分对待为要件，常见的为“区分–决策”型差别对待，此种模式下，算法控制者利用数据先对用户进行区分，再分别决策，是直接的差别对待，其造成的歧视为直接歧视。而“决策–区分”型差别对待模式下，算法规则表面上平等地适用于每个用户，但其结果上造成了对不同群体之间的差别对待。“决策–区分”型差别对待属于间接差别对待，其所造成的歧视属于间接歧视。
关于区分事由，传统反歧视规则将法定区分事由作为判断是否构成歧视的标准，若控制者使用法定事由外的事由将会排除在歧视范围之外。结合现实实际来看，如今区分事由过于僵硬将会不利于算法歧视的规则，扩宽区分事由以响应社会的需求是发展的趋势。
2) 差别性不利后果之于算法歧视。算法歧视的具体认定，还以用户遭受差别不利对待为结果要件：一方面，算法区分决策的结果须同时具有不利性和差别性；另一方面，此种差别不利后果无须达到社会排斥程度。
(三) 算法歧视的例外
在博弈锁定的机制下，数据控制者剥夺用户的自由意志即构成算法歧视，但需要强调的是，如若算法控制者能够举证说明其差别对待的合理性的，应当认定为算法歧视的例外。其一，算法技术是商家为挖掘消费者，谋取利益的工具。算法控制者追求经济效益若在合理范围内，此时差别对待的目的具有合理性，不构成算法歧视。其二，为达目的必须对用户设置区分事由，只要区分事由在差别对待之间存在合理关联，则不构成算法歧视。其三，区分事由与不利后果之间的合比例性，此一证明义务，要求算法控制者阐明特定区分事由在决策目的实现中的具体作用和所占权重，并证明二者具有合比例性。
(四) 常见算法歧视认定
平台经济时代，平台主体和电商利用算法技术对消费者进行分类，生成最接近他们最佳支付意愿的方式，最终呈现出对不同消费者区别对待，“千人千价”的结果。
目前大数据杀熟成为平台经济不容忽视的问题，但其本身具有复杂性，一方面破坏交易市场，侵害私人信息，另一方面，作为一级价格歧视的大数据杀熟，可以使市场资源得到优化分配。大数据杀熟行为应当结合实际进行分析，而不能一概冠以歧视的污名。
杀熟行为在传统市场上并不罕见，可在当今平台经济背景下，杀熟行为却能成为社会热点问题，其症结在于，传统市场交易的模式种，商家并未对用户自由意志进行剥夺，交易中的讨价还价，毋宁说是双方意识自治的结果，而杀熟是在此机制下出现的偶然“结果”。而在算法歧视中，由于出现了前文所述的博弈锁定的机制，导致用户的自由意志完全被剥夺，对博弈结果只能产生概括接受。以国内几个大型购物平台为例。由于用户可以利用购物平台提供的信息自由参与和退出博弈，选取符合自己心理预期的商品进行消费，因此入住购物平台的普通商家无法对用户进行博弈锁定。即使此时出现杀熟结果，也与传统市场下的杀熟无太大差异，应归为双方自治结果范围，不易用反歧视规则进行规制。然而，如果同一行业的商家进行价格合谋，使用同样的决策方式而提高了用户退出博弈的成本或使其丧失博弈自由，这种情况下是算法控制者联合对用户进行默许供某封锁。其次，购物平台利用海量数据对消费者进行分层，其利用的是“区分–决策”这一典型区分模型。实践中不乏出现对于同样的商品或者服务，平台却向老客服和新客服提供不同的价格。在“‘大数据杀熟’第一案”中，原告作为平台会员，在预订房间时反被要求支付远高于挂牌价的“会员价”。在此基础上，还要讨论是否构成价格歧视的例外。不能将一切区别对待的结果都归于算法歧视。为算法控制者施加太多的责任不利于算法技术的发展。通常而言商家会为了谋取经济利益，挖掘消费者，采取差别对待在所难免，但差别对待的若能对企业形成激励，增加社会福利，则具有一定的正当性。
3. 算法歧视治理存在的困境
(一) 算法黑箱导致算法不透明性
算法乃人工智能实现之基本路径，算法作为人类用于采集、处理信息的手段，其最终输出结果自然受到算法控制者主观偏差以及算法技术偏差的影响。作为一种输入–处理–输出结果的方法，其运作依靠数据汇集和机器深度学习。这种运作过程虽来自于人类的编写，但其自身的深度学习呈现出的却是常人无法参与的未知地带。这种未知，即是算法黑箱的体现[2]。所谓算法黑箱，就是指其内部状态不对外公开，而他人又无法通过外部特征获取其内部信息的无法使人所知的系统。当今社会算法被广泛运用至工商业领域，随之而来的便是算法黑箱问题。如前文所述，在算法黑箱下，算法信息的不透明性与不可解释性会导致算法控制者与用户之间的博弈平等性不复存在。在抓取数据后，对数据的处理过程中，由于算法设计者是具有社会性的人，由其编写的算法程序极易带有一定偏见，不仅如此，还会存在数据偏见和机器自主的偏见。这些先行存在偏见在黑箱环境下，极易引发算法歧视危机。
(二) 因果关系论证及举证困境
算法歧视黑箱困局的核心诱因在于技术层面因果关系的“认知断裂”，学者们大多试图通过因果关系的发现去论证有关方面的责任，但并未得以释明数据输入与算法输出之间的因果链条。由于算法技术的隐秘性和高壁垒性造成算法输入与输出之间的因果关系链条难以论证，从而导致归责问题上的“基础缺失”。
首先，在因果关系的论证上，一是算法歧视意图难以识别。在整个算法技术实施的环节中，算法设计与算法应用属于“法律上的原因”。算法虽属于中立技术，但仍会受到数据收集者或者算法设计者意识的影响，而这些因素都在算法黑箱下被掩埋了，使得人们难以识别歧视意识。在算法黑箱下，人们能识别的只有输入端和输出端，对于算法的演算程序、规则，都因为算法技术自身的隐蔽性和高壁垒性而难以被外界悉知。其次，由于算法权力者的自身因素，因果关系论证会有差异。差别结果的合理性由算法控制者证明，其就要求算法控制者公开自己的算法决策为前提，作为公公领域的主体的政府机构，则承担着公共责任，其算法可能成为一种公共决策机制，公权力部门应用算法自动化决策辅助行政决定或司法裁判、预测调配资源，算法技术与公权力由此紧密结合在一起[3]。此时算法透明度统一标准则有益于促进机构间的协同治理，确保制度实施的统一性。但对于私领域中的企业，其算法技术的目的是在市场中抢占商业资源，为自身谋取利益。此时算法技术成为企业的竞争工具，甚至有可能成为商业秘密。因此在不同领域中适用统一标准的透明标准，无法达到真正意义上的平等。
其次，算法技术其自身就有一定的专业壁垒，在算法歧视的机制方面，内部专业人士都难以严谨地释明与论证。又何况是在算法歧视下作为受害者的普通民众。以《电子商务法》中规定的电子商务经营者的义务为例。若经营者违背了该义务，则需要由用户举证。然而在算法歧视机制下，算法控制者与用户的平等关系形同虚设，两者其实构成了“由于算法控制者掌握了算法资源的分配，两者实则构成了横向的权力关系，若在此时仍将举证义务施加至用户，则增加了举证成本，亦使用户的请求权落空。其次，无法期望用户面对算法歧视的理性和专业人士达到同样的标准，实践中，用户常常为了便捷而对经营者提供的类似隐私协议，免责条款等格式条款时不进行仔细阅读，更不用说了解详尽的法律义务责任。看似双发自由博弈的结果，实则用户只能对算法控制者的规制进行概括的接受。当用户寻求法律救济时，这些条款将成为极大的阻碍。在我国大型购物平台提供的《隐私权政策》为例，其隐私权政策条款中，会根据提供的各类服务，收集用户的设备信息、设备所在位置相关信息、日志信息、所在位置信息、身份信息、生物识别特征信息以及其他个人信息，信息收集的内容广泛而精细。如用户拒绝提供相应信息，将无法正常使用平台的服务甚至“一键退出”。
(三) 算法歧视下责任主体难以确定
在责任划分上，意识主体难以定位。由于算法设计的高壁垒性，其无法仅由一人编写、设计、算法程序的完成往往是集体智慧的成果，且这个群体不是固定不变的，人员的流动、设备的升级、数据的优化，这些因素都会个体责任的规则陷入困境。况且现代科技的发展，人工智能的学习能力已经不再仅限于简单的机械重复，其可以更具自己的程序处理、呈现已有的海量大数据。在此情景下按照传统理论去追究造成歧视结果的直接因素的可行性和必要性值得商榷。
4. 算法歧视治理的具体优化路径
(一) 推动数据公开与算法透明
规制算法歧视，首先对其源头进行治理。若从源头上公开数据以及算法模型，则可打破算法壁垒。计算机协会(ACM)发布算法透明和问责性七项原则，致力于解决算法歧视，开出的药方是救济和解释：对算法决策提出质疑并获得救济。鼓励使用算法决策的组织和机构对算法所遵循的程序和所做出的具体决策进行解释[4]。首先，数据要开源。无论是政府还是企业要在运作范围内合理公开数据。达到用户可以自由访问以消除数字鸿沟。其次，公开算法。如前文所述，若算法控制者企图证明差别对待的合理性，至少应该公开算法。公开算法不仅让算法技术更加透明，也会减轻举证成本。也能促市场对其监管，从输入端减少算法偏见的植入。同时要兼顾考虑不同主体数据公开的义务限度。对于公权力机关，要主动公开，对于企业来说，还应该兼顾其合理目的、商业秘密等私权方面的考虑算法透明的实现有两种技术方式：一是主动公开，即开发者将算法所涉及的数据和步骤进行全面具体的公开；二是被动公开，即采取反向工程破解算法。但无论何种方式，都不可能完全打开“算法黑箱”，公开算法运行细节。
(二) 算法歧视的归责原则与因果关系证成
归责原则是确定侵权方承担民事责任的基础。有学者认为，在算法黑箱的不透明以及歧视的隐蔽性下，应适用无过错责任原则。但在实践中此类归责原则对算法歧视现象的适用性还有待讨论。由于无过错原则的侵权类型对侵害方要求更严格的特点，所以侵权法律体系对其采取列举穷尽的方式，而无过错责任原则目前的适用类型也并未囊括算法歧视。无过错责任原则下，数据控制者被苛以与其不匹配的义务。现代科技的发展需要一定的空间，如果对算法歧视侵权行为直接适用无过错责任原则，必将加重算法运营人的成本与负担，抑制科学技术发展的活力。
在过错责任原则下，由于一般过错原则采用“谁主张，谁举证”，在算法黑箱的不透明性和隐蔽性下，被侵权人可能陷入举证不能的困境。反观过错推定责任，由于其采取的是举证责任倒置方式，数据掌控者和受害人之间的不平等博弈关系可以得到缓和。
在侵权责任关系下，因果关系证成与否会影响责任的归结。目前侵权规制因果关系的适用多体现出“原因和结果之间总是呈线性关系，体现着行为与结果之间的必然性”[5]然而在算法歧视场景下，如前文所述，由于算法运行的复杂性以及算法黑箱的不透明性使其因果关系的适用有别于传统理论。在算法歧视视角下的因果关系论证需要分两步进行。首先证明算法控制者利用算法隐蔽性导致算法歧视。若算法控制者故意利用算法的隐蔽性达至差别结果使承受方陷入有损害平等的风险境况，可以认定结果与行为存在因果关系。其次，若算法控制者主张其没有利用算法隐蔽性，则需要对算法黑箱导致的非直观性进行说明。此时的因果关系表现为各要素对算法歧视产生的贡献度大小。在改变后的因果关系视角下，相关关系是算法因果关系的定量表达方式。
(三) 算法歧视下侵权责任承担
问责制度的落实意味着必须要有人承担算法歧视的危害。算法运作过程的掌握主体划分为前端运营人与后端运营人以此确定责任的承担。根据运营人对歧视因素的控制与防控能力可将责任情形划分为以下三种：一是后端运营人在算法运行中已尽可能排除歧视意识，而前端运营人在运营中为特定目的植入歧视因素，此时责任由前端运营者承担。二是双方对于歧视意识的防控都没有履行相应的注意义务，最终导致歧视结果的发生，应承担连带责任。三是前端运营人履行了忠实义务和防控义务，且对歧视因素不知情，即使后端运营人已尽可能排除歧视因素的条件下，仍由其承担侵权责任。若前端经营者存在过失，则承担补充责任。此外，在各运营人之间无法证实存在共同过错，或者各技术主体之间不适用法人责任时，可将数据生产链上的所有行为主体或者将因使用算法而获取商业利益的主体视为一个整体，创立新的集合责任形式，由其承担集合式责任[6]。
5. 结语
面对数据时代的挑战以及对于可预见未来的算法风险规制问题，正确认识算法歧视之定义乃算法歧视规制逻辑之前提。在此基础上，一方面，不应该一味地将所有差别对待结果都归结为算法歧视。过分加重算法控制者的责任忽略比例原则有悖于自由市场对自治平等的追求，如此反而不利于算法技术的推进。另一方面，我们要看到如今算法技术的风险，减轻其负面影响，在实践中不断完善对其的规制手段，以实现技术与社会公平的平衡。