1. 问题之缘起
随着算法时代的推进,新型数字化生活促使信息获取与消费交易转向线上,人工智能训练的算法正迈向智能化、便利化的决策领域。2024年党的二十届三中全会强调将“数智”融合作为发展新质生产力的引擎,这标志着我国正式迈入了数据驱动、智能运营的全新发展阶段。算法带来便利的同时,也易引发突出的社会问题,诸如算法歧视、算法操控、算法黑箱等一系列算法危机层出不穷。在电子商务领域,身份性别歧视、大数据杀熟等算法歧视介入资本与消费之间,日益减损算法的公共信任。因此,需深入分析电商领域算法歧视现象,审视现行法律问题,借鉴域外治理经验,探讨我国电商领域算法歧视法律规制的完善路径,从而实现对于消费者权益的有效保护。
2. 算法歧视法律规制的基本理论
2.1. 算法歧视的概念
算法在社会学与计算机科学领域中扮演着核心角色,一般指在特定规则下,为实现特定目的而强制给定的有限、抽象、有效、复合的数字控制结构。随着社会信息化进程的加速,算法技术得益于可训练数据量的激增与机器学习能力的飞跃式发展,已全面渗透至社会的各个层面,催生了所谓的“算法社会”。在此背景下,信息碎片化与低效化现象日益加剧,进一步加剧了信息过载的问题;同时,个体与群体间信息技术能力的差异也显著扩大了信息鸿沟。电商领域内,算法被广泛应用于构建数字画像,以此为基础提供个性化推送服务并辅助决策制定。但因算法本身存在瑕疵或突发性错误,会在运算过程中出现偏差,导致不公平、不合理的结果的系统性可重复出现的错误,即算法歧视[1]。
2.2. 电商领域算法歧视的分类
以损害主体及对应权力范畴为标准,算法歧视可分类为损害群体基本权利的歧视与损害特定个体权益的歧视。在电商领域,两者通过对消费者信息进行采集并特定推送、个性定价,进而损害了消费者的平等权益。
2.2.1. 损害群体基本权利的算法歧视
损害群体基本权利的算法歧视指在算法自动化决策过程中,基于群体特征(如性别、身份、社会经济地位等)而对整个群体进行系统性、可重复的不公正对待,损害不定主体的基本权利,本文以性别歧视为例进行分析。
算法性别歧视则指在算法开发、训练等过程中基于性别特征的差别化对待。以电商领域的“粉红税”为典型代表,女性消费者被迫为针对女性的商品支付溢价。通过数据收集,商家刻画出消费者画像,精准找到女性消费者群体,并将带有性别歧视的商品不断推送给目标群体。一方面,品牌刻画出不同的消费者画像,并且针对不同的消费者进行宣传,培养稳定的目标客户。以完美日记为例,其以年轻女性群体作为最核心的目标群体,将营销策略定位为“时尚潮流”、“性价比”,通过多渠道多平台对该目标群体进行推送宣传[2]。积累用户为稳定客源后,附加“粉红税”的商品则更易被接受。另一方面,算法大数据的不透明性利用信息不对等为女性消费者打造“信息茧房”,是加剧“粉红税”问题的重要推力。“信息茧房”使得女性消费者无法将推送给自己的商品与其他商品进行比较,从而使得“粉红税”商品具有更高的隐蔽性。当平台采用针对性别的差别化定价,并不断将标签深化应用时,女性将被困于算法性别歧视的困境中,难以逃离。
2.2.2. 损害特定个体权益的算法歧视
损害特定个体权益的算法歧视指在算法自动化决策过程中,针对特定个体因其个人特征及偏好而遭受的不公正对待。这种歧视是具体的、个别的,直接影响了被歧视个体的特定民事权利和机会。以近年来争议不断的大数据“杀熟”策略为例,指同等或近似情况下,老客户的消费价格比新客户高的现象,是一种典型的算法价格歧视,由此引发的信贷职业歧视、大数据杀熟动态定价算法歧视侵权事件层出不穷。
大数据杀熟是商家搜集分类熟客的用户信息,分析熟客的消费习惯、消费心理等因素,针对其制定相较新顾客更高昂的价格,从而达到一个近乎“千人千面”的效果。2020年发生的胡某诉上海携程商务有限公司侵权纠纷一案1中,原告胡女士作为携程的钻石VIP,在携程网上支付的房价却比实际价格翻了一倍。由此可见,价格敏感度低且消费意愿强烈的消费者,成为了大数据杀熟现象的主要受害群体,此现象严重侵犯了用户的知情权、选择权、公平交易权以及个人信息保护的合法权益。
3. 算法歧视法律规制的域外经验比较考察
3.1. 以算法透明与问责机制为核心的美国治理模式
美国在实践算法治理上表现突出,强调算法透明与问责,以此构建算法歧视规制。美国计算机协会的《算法透明性与可责性声明》提倡公众质疑算法决策并寻求救济,鼓励算法设计者和运营机构解释算法过程及决策。这为解决算法歧视提供了有效途径。立法方面,2018年的《云法案》允许联邦执法机构凭法院令状或传票,要求美国境内技术公司提供服务器数据,包括境外服务器[3]。2019年,美国众议院和参议院提出《算法问责法案》,要求制定“高风险自动决策系统”评估标准,由人工智能公司据此自评算法歧视[4]。这些法律法规的颁布,均彰显了美国对算法治理的高度重视,希望通过立法手段有效规制算法歧视现象。
3.2. 以数据保护为核心的欧盟治理模式
欧盟采用风险预防模式,注重保护以数据为核心的个人权利。欧盟在2018年实施了作为算法治理里程碑式的《通用数据保护条例》,其充分保障个人知情权,对经营者收集使用个人数据施加了系统性限制,并尝试通过赋予个人要求解释权来提高透明度,规制算法歧视。英国在欧盟期间发布的《数据保护法案》增强了个人对信息的控制,允许人们要求持有个人资料的企业删除数据,并加强了数据监管部门权限。近年来欧盟关于算法歧视引发的相关治理救济问题已经取得较好成效,通过各项立法保护个人数据安全,并要求开发者采用合适算法进行信息收集、数据画像等活动,在数据阶段遏制算法风险,逐步建立以个人数据保护为中心的权益救济模式。
3.3. 国内外治理模式对比
欧盟国家倾向个人赋权的规制路径,试图通过新型数据权利的赋予,使个人获得对自动化决策施加影响的能力。而美国则选择了以外部问责为核心的规制路径,成立专业性的行政机构或监管主体,并赋予控制者解释算法合理性与设置避害措施的义务。综上,可将欧美国家对算法歧视的规制手段总结为:一是创建公平透明的治理环境,增加公众对数据和算法的控制力;二是通过外部监管和内部合作,加强算法技术正义导向的制度激励。
反观我国,自2019年起开始正式对算法歧视进行法律规制,主要集中于对电商平台的单方面规范类要求与对个人信息的保护,而对于算法歧视本质的技术性原则规范与结果可责性设置仍缺少具体明确的规范性文件与法律。因此,截至目前已出现的各类算法歧视案件,法院普遍面临缺乏权威裁决依据的困境,且难以实施系统性的审查手段。
4. 电商领域算法歧视的规制难题
4.1. 法律规制缺陷
法律缺失是算法歧视的首要根源。在我国,虽然现已适用的《电子商务法》《网络安全法》以及《App违法违规收集适用人信息行为认定方法》等法律法规已包含明确禁止算法歧视行为的条款,能够对一般歧视行为起到警示作用。但上述法律的相关条款仍以公民数据保护为主,在规制算法歧视、加强算法监管等领域则存在实际立法空白。
2021年11月1日,《个人信息保护法》正式实施,此法一经出台便倍受赞许,更是被赋予“专治大数据杀熟”的功能。而在司法实践中,此法却依旧难以真正对算法歧视起到规制的作用。例如对于“个人信息”中包含的易产生争议的数据类型,如消费历史记录和趋势、浏览记录以及用户在网站或应用程序留下的网络活动信息等,《个人信息保护法》都并未予以明确的范围界定,而人工智能算法往往可以通过加工整合此类数据而间接地收集和利用个人敏感性信息。
其次,《民法典》中只是把“个人信息”定义为“权益”,而并未上升到“权利”的层次。从权益角度来看,民法典也仅限于“发现信息有错误时,有权提出异议并请求及时采取更正等必要措施”以及“违法或违约时,有权请求信息处理者及时删除”等,可见公民对于过往已提供的个人信息数据是有条件的控制,而非依据自我意愿的绝对控制。
以“大数据杀熟”情况为例,《价格法》仅适用于经营者间的价格歧视,对消费者遭遇的差异化定价无明确规定。此外,对于“交易条件”等规定也较为笼统,事实上并未列明身份、性别、地域等显著歧视因素,存在立法模糊的重大漏洞,显然难以解决实际的法律问题。
4.2. 司法保护薄弱
算法歧视在立法上的不足进一步导致了司法层面的矛盾和混乱,体现在定性困难、责任模糊、举证困难三方面。
首先是对于算法歧视的定性较为困难。国内外法院已然持截然不同的观点。与国外法院相比,国内法院对于“算法歧视”的定性总是持保守态度,算法的中立性使得算法歧视难以被问责。以搜索引擎侵权案件为例,“任甲玉诉百度公司侵犯名誉权”一案2中,经营者便主张技术中立原则,不承认算法歧视;“魏则西事件”的曝光[5]则进一步说明我国对于搜索排名竞标误导事件也迟迟未有定论。相比之下,德国法院倾向于在案件中认定算法歧视存在价值偏见和立场误导,确定了算法歧视行为的存在。从中德两国对类似案件的不同判决和观点中可见,在司法实践的过程中对算法歧视的认识存在理解偏差和定性困境,对于算法乃至算法实施主体侵害与否的行为性质难以定论。
其次是责任模糊问题。算法作为新时代的技术性产物,如非专业性人员的深入探究,单凭常人,其行为的操作与责任的认定也同样是迷雾重重。对于算法开发者而言,其工作仅单纯围绕着算法模型的构建展开,模型搭建完毕后便将使用权与其完全剥离;而真正掌握着数据来源、训练算法模型,乃至形成最终算法应用系统的,则是算法的实际使用者。从定义上来看,开发权与使用权泾渭分明。在二者同属一体的情况下,该主体必当难逃其咎;但在算法开发者与算法使用者相分离的场景中,第三方难以破除算法的黑箱进而明晰二者之间的过错程度,即无法判断侵权行为是来源于算法源代码还是算法数据。始作俑者究竟源于工具还是用者?在此基础上,雇佣大批专业人员对该责任进行深究定责无疑将耗费巨大的司法资源。在立法模糊不清的情况下,大批类似案件的涌入必将延长诉讼周期,最终影响裁判进程。
最后,即便法院能准确地为算法歧视的行为与主体定性,消费者在举证问题上也仍是困难重重。同上文所言,人工智能算法的训练和发展离不开庞大数据的堆叠与支撑,因此用户隐私信息的侵害问题必然始终处于纷争不断的灰色地带。在立法尚未明了、公开义务缺失的大背景下,市场主体的逐利性将在此片区域得到最大限度的释放:为进一步达成投放精准推送、抢占市场份额的目的,许多互联网公司剑走偏锋,借助算法的黑箱性质秘密获取公民个人信息来分析用户偏好,并在幕后通过多渠道的“地下市场”滋养贩卖用户信息的灰色产业链[6]。
不可置否,基于算法的隐蔽性和公开的有限性,被侵害个人隐私的公民在举证能力上势必难以与电商领域各大互联网公司相抗衡。在地域歧视方面,身处算法所划定地域的消费者个体,往往难以摆脱其地域标签,从而获得与其他地区相同的待遇;在性别歧视方面,女性群体难以穿透算法背后的不透明性,以获取关于“粉红税”的实际数据证据,加之公开义务的局限性,这种歧视往往被条款说明的字句所掩盖甚至美化。
5. 电商领域算法歧视法律规制的完善路径
5.1. 优化算法设计规制途径
5.1.1. 完善健全算法备案制度
算法备案制度一般是指算法设计主体向行政主管机关就要求事项提供书面材料,相应主管机关接受该材料,并予以登记和存档备查的制度[7]。通过算法备案制度可以在算法设计者层面获得算法设计阶段的算法系统相关信息,便于监督部门追责,同时也有利于及时保障国家、社会和个人的权利。目前,根据国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布的,并于2022年3月1日起正式施行的《互联网信息服务算法推荐管理规定》,我国已经将一套算法备案系统上线并予以运行。但由于当下算法种类繁多、算法形式多种多样,该新出台的规定一时间还难以适应纷繁复杂的算法环境,因此应该夯实该规定实行的基础,进一步通过判例来完善备案程序[8],细化备案主体义务,从而稳步推进算法备案工作。
以“粉红税”为例,该《规定》所秉持的伦理与法治相结合的原则就遇到了挑战。“粉红税”问题形成源于社会中存在的两性偏见与将消费者物化的商业逻辑之间的结合。两者均非法律直接规制的范畴,因此在规制过程中必将遭遇挑战。其次,该《规定》秉持的算法分级分类治理原则,也无法在“粉红税”问题中立竿见影。男女两性虽然作为网络用户固然是平等的主体,但两性之间存在的消费偏好与习惯上的差异是无法避免的客观事实。若单纯采取一刀切的方式将两性消费市场融合,而不考虑将两者有机结合所必需经过的复杂运算,则有可能在对立面上形成新的算法歧视,因此亟需完善健全相关算法备案制度。
5.1.2. 明确限定起始数据库容量
由于算法歧视问题很大程度上归咎于算法设计者无意中将其主观偏见通过算法起始数据库融入到算法当中,并通过算法本身的客观性而得到放大[9],立法应规制算法设计初始数据库的选择。而目前,《互联网信息服务算法推荐管理规定》并未明确规定算法设计者选取初始数据库容量的具体要求。美国国会议员2019年4月10日提出的《算法问责法(草案)》对算法进行了列举式界定:一是对消费者个人信息、隐私和安全带来高风险的算法;二是对个体带来严重不利后果的算法;三是基于个人的工作表现、经济状况、行为轨迹等做出的影响个人权利的算法;四是涉及政治立场、观点等的算法;五是系统性监督大型公共场所的算法[10]。该法案已较为完善地对算法设计者在选取设计算法所需的起始数据库时可能会接触到的敏感数据类型进行了完整的划分,因此,可以参照该法案所列出的多种类型,对算法设计所采用的初始数据库容量制定强制性规定,设立专门的审查部门,完善审查程序,从而在设计初期有效排除设计者偏见对算法的影响。
5.2. 构建算法审查监管机制
为保障消费者权益,我国可引入第三方强制解释机制,即依法设立算法自律组织,构建算法审查监管机制。该机制旨在不侵犯平台商业保密权的前提下,强制解释互联网平台算法,保护消费者知情权。类似于产品质量检测中的第三方机构,算法歧视问题的第三方解释机构也独立于算法经营者与用户,以公正、权威身份依据法律、标准或合同进行算法解释与审查。
第三方解释机构作为一个全新的监管机构,仍处于发展的萌芽阶段。其在初期应聚焦于拢合用户数据资源,从而精准地定位算法用户通过解释权所需要的了解到的具体算法内容,高效地消除用户与经营者之间的“知识鸿沟”。同时,作为政府互联网监管的重要组成部分,应发挥政府公信力、执行力和社会威望优势。此外,在行使解释权时,需平衡算法运营者商业机密保护与行业发展,注重规制与发展的平衡。
该机构设立具有其独特的优势:一是对于难以以人类可理解的形式表达的机器逻辑的困境,通过专门化算法解释机构,强化其主要职责,加大力度进行更加精准细化的算法技术研究,能够进一步解决该项技术难题;二是在法律规制下,避免企业因保护商业秘密或隐私而拒绝公开算法数据,明确各方权责,提高问题解决效率;三是将运行主体与监管主体进行更为明确的部门划分,能够更加精准地细化各个部门之前相互存在的权利与义务关系,避免因权责重叠而产生的效率低下问题,同时对于消费者而言,也能够为其提供更加明确的维权思路与具体途径[11]。
6. 结语
在互联网时代,数据运用推动了发展,但算法歧视成为阻碍互联网经济持续增长的难点。但与此同时,规制算法歧视面临着现实难题,包括立法缺失、司法定性困难、责任模糊及举证难。为解决这些问题,需通过法律手段规制算法歧视,减少弊端。从算法设计者与消费者双重视角出发,考虑立法、司法、执法等各方面,提出法律规制建议。算法设计者应完善管理制度,健全算法备案,并明确限定起始数据库容量,避免主观偏见影响算法。从消费者的角度出发,应当构建一个全面的保障体系,设立独立的第三方机构进行算法解释,实现消费者的知情权的充分保障。在电商领域,根除算法歧视问题仍有赖各主体全方面的探索努力,以更好消弭数字鸿沟,实现法律与科技、变革与秩序的平衡发展。
NOTES
1参见浙江省绍兴市中级人民法院民事判决书,(2021)浙06民终3129号。
2参见北京市第一中级人民法院民事判决书,(2015)一中民终字第9558号。