1. 问题的提出
随着大数据的广泛应用,算法的概念越来越重要。算法程序存在于计算机的各个领域,与人们的关系也越来越密切,它既能给人们带来便利,也会给人们带来烦恼。正如互联网经济领域专家尼格庞洛蒂所言“每一种技术或科学的馈赠都有其黑暗面”,算法促进互联网经济的飞速发展是其馈赠,而算法造成的侵害则是算法技术产生的黑暗面,如大数据杀熟、算法偏见、信息茧房等。以算法歧视消费者为例,在线上酒店预定领域,携程APP用户察觉出针对同一酒店、同一房型在同一的时间点预定时(在都没有优惠券的情况下),该APP常用用户也发现就同一车型、同一路线而言,使用该APP频率高的用户所支付的价格也不同。又如的某电子商务平台购买国美牌冰箱,其用“国美冰箱”在该平台网页及APP进行检索,几次检索结果的综合排名前十位中,均未将国美牌冰箱列于检索结果的前列。网页版的上述排序列表的标题中均含有“国美”“冰箱”字样。APP版的上述排序列表中除“国美冰箱”外,另外命中的均为其他品牌冰箱或“国美”“冰箱”。赵某某另提供以“奥克斯冰箱”“西门子冰箱”等为关键词在涉案平在赵某某与浙江某网络公司网络服务合同纠纷案中,1赵某某欲通过浙江某网络公司经营台进行商品检索,综合排名前十的商品除广告位外均为相应品牌冰箱。该平台检索结果有综合排序、销量排序、信用排序、价格排序等多种选择。检索结果旁有“搜索结果满意度调查”入口,可以对搜索结果的总体满意度、单项满意度,搜索目的,优化建议等提出看法。双方签订的网络服务协议仅约定平台向用户提供关键词检索服务,而未就服务标准做具体约定。通过“京东”检索“国美冰箱”的检索结果,排名前十的商品中国美牌冰箱亦未全部置于前列,其中除“国美冰箱”外,命中的均为其他品牌冰箱,但上述商品的卖家均为“国美官方旗舰店”。赵某某认为浙江某网络公司利用平台竞争优势,对特定商家或者特定品牌产品设置了算法歧视,导致其无法检索到想要的产品,因而该公司未能按合同约定提供检索服务,属于瑕疵履行,构成违约。请求判令该公司停止违约行为,重新提供符合合同目的的服务,并支付违约金1元。
可见算法蕴含的技术风险也可能给个人与社会带来广泛的负面影响甚至侵害。一方面,算法决策可能因数据偏见、设计缺陷等原因导致歧视性或错误的决策结论,损害决策者或决策对象的利益,造成算法侵害。另一方面,算法技术的高度专业性、不透明性及决策数据的庞杂性等妨碍决策者及决策对象理解算法决策机制,大大增加了寻找损害原因及追究责任的难度 [1] 。算法在应用过程中出现的算法侵害行为开始对合法权益的保护产生威胁,而依靠我们传统的侵权救济方式,已经不能应对这日渐复杂的算法侵权现象。当侵权行为发生后,固然可以采用现行侵权法进行救济,但也存在一定的局限性。
2. 算法概述
人工智能在经历了两次热潮与低谷后,于2016年开始又进入人们的视野,掀起了第三次人工智能热潮。这次热潮的掀起是源于2016年3月阿尔法机器人与韩国著名九段围棋棋手李世石的围棋对弈,李世石1:4不敌阿尔法狗,这五局人机大战以人工智能获胜告终。2人工智能算法被应用于各个主流领域,快速实现了人工智能技术与产业链条的有机结合。
2.1. 算法的定义
研究算法如何侵害人们的权益以及如何去规制算法产生的侵害之前,有必要先厘清人工智能下算法的概念。算法并非近几年才出现的。在古代中国,算法被称为“术”。在公元825年,阿拉伯著名数学家阿科瓦里茨米在《波斯教科书》中概括了进行算法运算的法则,而“算法”一词就源于这位数学家的名字 [2] 。这是对这位伟大的数学家的一种致敬,将他的名字的音译作为算法的名称。但随着人类科技的发展,人类生产数据、收集数据和处理数据的能力达到了前所未有的高度。在当今这个时代,每个人的衣食住行中都留下的数字的痕迹,每个人的生活与“算法”越来越密切,无论是闲时刷抖音,饭点时美团点外卖,外出时携程上购票订酒店,都在算法的决策之下。
算法本质上属于解决问题的一种方式,根据复杂程度,可将算法分为“白盒子”、“灰盒子”、“黑盒子”、“感知者”、“奇点”,目前人工智能算法的技术发展水平仍处于“黑盒子阶段”。有的将算法定义为一系列的计算步骤,用来将数据转化成输出结果。有的将算法定义为:一个关于计算的有限长度的具体步骤,常用于计算、数据处理和自动推理,算法应包含清晰的指令用于计算函数。但这些定义都包含了算法的一些共同特征:即输入、输出、明确性、有限性、有效性。
2.2. 算法的类型
2.2.1. 机器学习算法
机器学习这个概念是由IBM的Arthur Samuel提出的,他认为该程序可以通过不断的训练与学习提高胜率。如今,世界各国都在挖掘机器学习背后所具有的巨大潜力。包括我国也十分重视机器算法,体现在:我国于1981年成立了中国人工智能学会,这是我国重视智能科学技术领域的一个重要开端;又在2006年,我国成立了该学会的分支机构——机器学习专业委员会。目前利用算法处理数据最主流的一种方式就是机器学习,它可以从数据中学习并作出预测和决策。机器学习发展至今由多种可以解决问题的学习方法,学界将其分为:监督式学习、非监督式学习、强化学习、强化学习以及深度学习几种方式。
2.2.2. 人工智能
人工智能被专业领域定义为“智能主体的研究与设计”,其中智能主体是指为了达到目标而因环境做出不同行动的系统。因而人工智能的含义并不单指机器学习,机器学习是由人工智能中一个子集发展而来,它也是目前实现人工智能的最主要方式。
2.3. 算法的特征
1) 复杂性
在算法内部,世界的复杂性转变为五彩缤纷的内部活动模式。“现在的模型有数百万个人造神经元,深度达到了几十层 [3] 。”并且算法的过程是动态性的,其具有的规则在不同的时间点处于动态的发展中,如在不同的时间点输入相同内容,但却出现不同的输出结果。
2) 类人性
算法的出现是模仿人脑复杂思维过程的结果,利用算法处理数据的目标是以算法替代人类行为,如已经应用在我们生活中的自动驾驶、医疗手术机器或其他智能机器人领域则是模仿和替代人类行为的过程。
3) 危险性
人工智能被应用到我们实际生活中,给我们带来一些便利的同时,也伴随着一些危害。第一种情况是算法出错,如自动驾驶领域的算法错误会导致交通事故,医疗领域出现的算法错误导致医疗事故等等。第二种情况是算法在运行过程种没有受到法律规制而导致的偏差,如算法的利用过程中可能侵害人们的隐私权、知情权等,长此以往会导致人类所构建的法律秩序崩塌,法律价值遭到侵蚀。因此算法要受到规制。
3. 算法侵害的类型化分析
3.1. 算法侵害的特征
算法侵害,顾名思义就是算法在运用过程中可能造成的危害。算法侵害具有以下特征。首先,算法行为实施者难以明确。算法的数据来源十分广泛,因此算法并不具有单一的意志,并且具有独立的意志。虽然在设计之初设计者会给算法的运行搭建一个框架,让算法在拟定的框架下运行,但最终具有的结果仍然有偏差,最终导致的结果算法的设计者或者平台可能并不知悉,最终让责任落到平台存在一定争议。
其次,算法侵害具有虚拟性。算法具有虚拟性,因此算法最后引发的损害不一定是现实中的有形的物理侵害,也可能为精神损害。如近日杭州互联网法院审理了一起因“AI换脸”APP利用深度合成算法侵害他人肖像权的案件,最终判决APP开发者赔礼道歉并赔偿损失共计5000元。3原告楼某某系国内古风汉服模特,经常发布古风汉服照片和视频。今年3月,楼某某在某短视频平台发布一段短视频。在该视频中,楼某某带有清晰的面部古风妆容,并着汉服半身出镜,视频包括多段造型形象片段。被告上海某公司是一款“AI换脸”APP的运营主体。该APP宣传“仅需一张照片,立即变成视频主角”“只需一张自拍,马上改头换面”。用户通过支付68元至198元不等的会员费,即可使用全部“换脸”视频模板。楼某某发现,被告公司运营的“AI换脸”APP中有楼某某拍摄的古风造型视频模板。用户可通过上传个人照片,将视频模板中的人脸替换成用户上传的人脸,除五官发生实质性变化之外,其余内容都与原视频保持一致。软件生成换脸后的古风造型视频,用户可以将其保存并分享到其他平台。楼某某认为,该公司的行为侵害其肖像权,请求法院判令该公司停止侵权、赔礼道歉并赔偿损失。
最后,算法侵害主要是由算法造成的损害。仍以自动驾驶为例,当自动驾驶的汽车造成损害之后,认定责任要分情况讨论:当事故是由汽车的硬件问题导致的,则该次事件为传统侵害类型;但如果事故的发生是算法的设计错误等软件问题导致的,则可认定该次侵害为算法侵害。
3.2. 算法侵害的类型
算法的出现可以让用户在纷繁的信息中获得解放,但也带来诸如个人信息过度获取、推荐内容同质化、信息传媒公共性内容缺失、用户自主性遭受侵犯、信息低俗等问题。由于算法造成的侵害多种多样、各有不同,必须对其进行类型化分析。以其侵害的对象的严重性不同可能会造成较为轻微的精神性一般人格权侵害;物理世界较为严重的人身和财产损害;物理世界严重的人身财产损害。
较为轻微的精神性一般人格权侵害,如上文所提到的杭州互联网法院的因“AI换脸”APP利用深度合成算法侵害他人肖像权的案件,本案中,被告未经原告同意,通过技术手段提取涉案古风肖像视频,并擅自上传至其运营的换脸APP中供用户选择使用,该行为本身已侵害楼某某肖像权。该行为不属于传统的物理损害,而是在算法广泛运用之后才出现的精神性一般性人格权侵害。对于该类侵害,还可以细分为:“信息茧房”、对人自由表达的限制。物理世界较为严重的人身和财产伤害,如算法歧视、大数据杀熟、算法瑕疵决策侵害。物理世界严重的人身财产损害,比较常见的还是人工智能自动驾驶。
3.2.1. 信息茧房
“信息茧房”一词最早由哈佛大学法学院桑斯坦教授所提出,意指个人在海量信息传播面前并非对信息具有全面获取的需求,其只关注到让自己愉悦或自己选择的信息,长此以往,将自身束缚在了如蚕织般封闭的信息“茧房”现象 [4] 。也就是说算法获取并精准理解用户浏览信息及内容,建立用户标签,针对性地推送用户所感兴趣的内容,使用户接受单一化、自我中心化的知识信息,最终封闭于信息茧房之中 [5] 。比如我们日常生活中刷抖音,会根据以往观看内容的频率来有针对性地推送,这也是导致用户会上瘾的原因。包括其他软件,在第一次下载登录时会让用户根据自己的喜好选择一个或者更多的板块,最后系统就根据选择的板块有针对地推送。这都属于“信息茧房”。
在“信息茧房”下,微观上侵害了用户自我决定的权利,加大个人对世界的偏颇认识及纠偏难度。同时,信息茧房也在宏观上使个人认识走向极化,造成社群沟通鸿沟,而社群也可能陷入茧房,造成社会撕裂,阻碍团体及社会共识达成。信息茧房不仅操纵了用户的个人信息接收,还会影响民众个人的价值观与政治观 [6] 。不仅如此还使用户陷入同质化的信息,并加大了自己跳出这个已经被同质化了的圈子的难度。
3.2.2. 对人自由表达的限制
有一句话这样说“网络不是法外之地”。一方面,这句话表达的是并不是现实社会才受到法律的管控,在网络上冲浪同现实社会一样,都要遵守法律法规,一旦违反,亦将受到法律制裁。另一方面,网络上也不能畅所欲言,要在法律、公序良俗的限制之下。而且这不属于对公民基本权利的限制。
但算法使人陷入同质化的漩涡之后,就会导致人不能自由表达,这不同于法律对公民权利的合理规定。在算法的同质化漩涡下,在网络平台上的发言于评论都会受到算法的流量控制。平台会设置标准性程序语句,一旦用户发布的作品或发布的评论不符合平台的程序设置,就会受到平台的限流或删除。这对用户的权益也是一种侵害。
3.2.3. 算法歧视
随着算法程序被互联网企业广泛应用,互联网企业经营者凭借在市场以及算法技术上的优势地位,能够轻易第在算法信息采集、算法特定推送、算法个性化定价等阶段进行算法歧视行为。算法歧视其实在本质上与现实歧视差别不大,它是以算法为媒介在作出自动化的决策过程中产生的区别对待,且这种差别不具有一定的合理性,两者不同的地方在于算法歧视的结果具有系统性的特点。社会本身就存在的歧视通过数据和信息渗入算法这个数字结构当中,经过算法运行最终体现在算法结果中,即形成了算法歧视。
因为人工智能算法结果的偏见或歧视给相对人造成不利益,则会中不利益可分为:一是具有骗你按或歧视的算法决策对决策相对人的损害。如女性在应聘规程中因算法决策对性别进行区别对待而失去可能获得的工作;二是具有偏见或歧视的算法排序对后位顺序者的损害;三是算法排序受众主体因主体信赖具有偏见或歧视的排序而产生的损害,如某算法应用平台致力于各行业的评分、排序和推荐,因算法歧视而靠后的经营者在该平台中名誉受损,因而信赖该平台选择排序靠前商家的消费者被加害给付。
3.2.4. 大数据杀熟
大数据杀熟,是指同样的商品或服务,老客户看到的价格反而比新客户要贵出许多的现象。它是特定算法程序批量分析和执行的结果,只要符合设定特征的用户群体就会被程序筛选出来并受到类似对待,因此具有平台化、数据化、批量化等特征 [7] 。大数据杀熟现象出现得很早。在2000年亚马逊就曾被曝出利用用户数据杀熟的现象。亚马逊在,某次新碟上市时,选择了68钟DVD碟片,根据潜在客户的人口信息、上网记录、交易记录等,给同一张DVD报出了不同价格:对新客户报价22.74美元,而对老客户则报价26.24美元。人们很快发现这一现象,亚马逊首席执行官贝索斯却解释说是在进行价格测试。而在国内,普遍受到人们关注的是在2017年底,当时有人曝出其在某一旅游网站预定酒店时用自己的账号和朋友账号登录时显示的价格不同,从而引起网友们的广泛共鸣。另外也有网友暴露出,在某外卖平台上订外卖,会员要求的配送费高于非会员。
在上海携程商务有限公司与胡某侵权责任纠纷上诉案中,4胡红芳作为多年使用携程APP的忠实客户,对携程APP预订酒店房价享有价格优惠有充分信任,所以当携程APP展示案涉订单酒店价格为2889元时,其亦未有对价格表示任何怀疑,当然无从发觉携程APP上存在第三方代理商利用信息不对称趁机加价的情况。而实际上,这也是大数据杀熟所利用的方式之一。
大数据杀熟还有其他类型的“杀熟”方式。如在某购物软件上购买商品时,平台会根据用户购物的频率、根据平时购买商品的价格来给用户定价或推荐商品,针对同一件商品,购物频率高的用户或平时购买昂贵品的用户价格更高,因为算法根据程序设计认定这类用户的接受度更高,因此给他们定价亦高。
3.2.5. 算法瑕疵决策侵害
算法依赖于可以符号化且具有确定含义的概念,现实世界的复杂性在符号中被高度简化,算法也忽略概念的模糊性,生活经过逻辑和符号处理后,与真实的场景可能相去甚远 [8] 。与传统的静态自动化理论不同,算法决策系统并不是机械地执行任务,而是在运行过程中会被外部的数据影响,因内部的自适应学习调节而变动。这就导致算法决策系统无法对真实世界作出完整反应,由于难以避免的内在与外在的系统缺陷,造成算法决策损害。算法决策系统的瑕疵会导致该系统脱离法律的有效监管,以不易察觉的方式对用户等相关人造成损害并最终反噬算法控制者,进一步影响社会运行。但是算法瑕疵所导致的损害不同于算法技术错误导致的严重的人身损害,而是较为轻微的普通人身和财产损害。
3.3. 算法错误
算法错误是技术层面发生错误,最后导致的较为严重的人身和财产损害。算法发生错误,可能会引起严重的交通事故。在2016年发生在美国佛罗里达州的特斯拉案中,自主驾驶系统感知到到前方有卡车,但是未能识别卡车数据,然后将卡车误认为交通指示牌,最终导致事故的发生,驾驶员在本次事故中身亡。5
算法这种侵害权利的方式与机制不同于传统的侵权行为与侵权方式,因此面对此类侵权处理起来有一定的复杂性。这体现在以下方面:第一,侵权行为发生后,对于因果关系以及主观过错的认定并不容易;第二,以特斯拉案为例,由于算法技术层面发生事故,按照传统方式,由车主对事故的发生承担责任,但在本案中,是算法未能成功识别前方卡车类型而继续保持原来的速度行驶而与卡车相撞,如果按照传统归责方式,可能会导致不公平,因此可见导致了规则难题与人机责任的界限混淆。第三,人工智能自动决策系统对传统权益的侵害往往很难为侵权法上的侵权责任构成要件或者刑罚上的犯罪构成要件所涵射,形成了权利救济与保护的裂缝。
4. 算法侵害的法律规制
4.1. 域外算法规制借鉴
就目前而言,数字经济发展比较先进的国家和地区主要有美国和欧盟,算法的法律规制可以借鉴美国和欧盟的经验。但是也要结合我们我国自身情况。
4.1.1. 美国的规制路径
1) 追求算法透明与公平理念。
在学理研究方面,美国学者认为算法这一技术应当是中立的,但是算法在实际应用中很难做到不歧视,算法偏见是固有的问题,这一问题的解决需要应对来自技术、法律和政治的多方考验。在数字环境下要重新审视公平与歧视的含义。第一,要避免算法产生就业歧视。第二,反思算法对行政私法的影响。第三,审视算法的透明度。
2) 多轨制算法规制路径。
美国算法规制制度受到国家体制影响而体现出以下特点:第一是以联邦委员会为主,其他联邦职能部门为辅。第二,算法在判例中发挥重要作用;第三,非政府组织的监督和自律机制较为先进。所以美国的规制路径为:联邦委员会起主导作用;法院在算法问责过程中起重要作用;非政府组织的监管和自律发挥重要作用。
这里需要再提及一下美国的非政府组织的监督和自律机制。智能算法行业自律模式在美国首先推行,由行业协会制定行业标准或行为指引,为行业的网络安全和智能算法规制提供标准模式。对于自律机制难以自我约束的部分,由立法、司法、行政机关进行规制。美国法律都对个人信息实行分级保护,这也对智能算法使用数据起到良好的规制作用,如美国《数据安全法》对政府标识符、金融信息、健康信息、保险记录、账户凭证、数字签名、生物识别信息等,实行敏感信息分级保护 [9] 。
4.1.2. 欧盟的规制路径
1) 个人权利制衡算法权力理念
欧洲对算法规制的核心理念是保障私人权利,总体来看不同于美国算法的直接问责体系,欧洲将算法规制嵌套于数据治理中,通过对个人赋权对抗算法权力。欧盟的立法者认为信息数据在被智能算法处理的过程中,不光要考虑其带来的价值,更要保护个人权利对算法进行制约。在理念上,欧洲算法规制呈现出保障个人权利、注重风险和数据立法算法立法并重三个特点。
总结以下就是:首先要警惕算法自动化决策侵犯人的人格尊严和自治权;其次,进行算法风险分级,注意算法风险的预防;最后,除了数据立法外,逐步出台规制算法的法律,数据保护和算法规制并重。
2)“嵌入式”算法规制路径
在规制主体上,欧洲的算法规制主体并不像美国那样呈现多元化,而是以官方为主。由于算法规制的专业性,且呈现专业化、扩大化趋势,专业人才队伍建设成为新的特点。根据GDPR的规定,欧盟成员国需要为数据保护监管机构提供充足的资金支持,监管机构应该保持独立且专门进行数据监管工作。
算法规制启动程序上。欧洲对于算法规制的启动包括分级和敏感性评测,对于具有敏感性、级别高的算法才能予以规制。
算法的规制手段上,算法规制程序启动以后,部门应当依法任命监管员,保证算法规制程序的正常进行,具体操作主要包括提升算法透明度的手段和日常监管机制。
4.2. 我国算法规制的构建
通过对美国和欧盟的规制方式进行分析,可知美国是基于实用主义立法模式构建算法的规制体系。在个人信息保护方面追求的是个人自由和信息自治。欧盟则是基于一种本体主义的模式对人工智能算法规制进行立法活动,指在顶层设计上以人权保护作为智能算法规制的立法导向,认为个人对自身信息的控制事关人格独立,其价值高于智能算法的发展等其他利益。
两者有区别,也有共通之处。第一是对算法的规制趋紧。以往算法作为一种单纯的技术多以行业伦理进行规制,但是现实中算法对个人、社会乃至国家政治的影响让世界重新审视算法的角色定位。以美国《算法问责法案》为先导,世界范围内专门针对算法的法律逐渐从无到有。第二是从统一监管到细化监管。商业领域的算法风险较低,而司法行政领域的算法敏感度较高。因此可以松紧不同的监管方式。第三,政府引进专业技术人才的实现治理。人工智能时代下,专业门槛逐渐提高,政府对于专业领域的管理需要专业技术人才的纳入。同时政府积极与第三方合作。
另外,算法规制方案的本土化构建,当然要立足本土,实现对症下药。
1) 算法侵权的集体管理机构代行职权
可借鉴欧美,加强行业内部监管与自律。对于轻微的的算法损害,如算法歧视、信息茧房等,建立类似于著作权集体管理的算法侵权集体管理制度,以威慑平台为主,代用户主张侵权赔偿。这属于公私法共同参与的法律规制。
2) 物理世界的人身财产损害实行危险责任
在算法侵权领域,如果实行过错责任,则存在很大的困难,用户处于弱势地位,无法举证证明,而平台也只会将算法错误归为技术本身属性,自身并不存在过错。因此实行无过错责任更为合适。
3) 明确算法侵害的集合式责任
机器学习算法的自主性特征征令人类对算法决策过程的控制减弱,找到风险控制方本身就面临技术可行性难题。这启发我们改变将损害追溯至某个特定行为人的思路。在各行为人之间不存在或无法证明侵害意思沟通而无法适用共同侵权或共同犯罪责任时,以及各技术参与主体之间不具有组织一体性而无法追求法人责任时,有必要创立新的集合责任形式,将数据生产链上的所有行为主体视为具有技术上的一体性,或者将提供某种算法应用而获取商业利益的人视为具有商业上的一体性,从而要求他们承担集合式的责任。
5. 结语
算法侵害包含信息茧房、对人自由表达的限制、算法歧视、大数据杀熟、算法瑕疵决策侵害、算法错误等类型。不同于传统侵权,算法侵害可能造成无形的精神层面的损害,也可能造成物理层面的损害。算法造成的侵害日渐复杂,侵权行为发生后,固然可以采用现行侵权法进行救济,但也存在一定的局限性,利用传统的侵权救济方式已经不能很好起到保护人们的合法权益。由于欧美对人工智能算法起步较早,因此我们在规制算法造成的侵害使可以借鉴他们的做法,同时要使之本土化、对症下药,有针对地对我国的算法侵害进行规制。
NOTES
1参见杭州互联网法院(2020)浙0192民初2295号判决书。
2参见《人机大战:李世石1-4“阿尔法围棋”》,载新华网2016年3月15日,http://www.xinhuanet.com/sports/rjdz/index.htm。
3参见北大法宝司法案例:《AI换脸:好玩,也好惹官司!》。【法宝引证码】CLI.CR.501724753。
4参见浙江省绍兴市中级人民法院(2021)浙06民终3129号民事判决书。
5参见《特斯拉发生首起自动驾驶致死车祸》,载新浪网2016年7月1日, https://news.sina.com.cn/w/zx/2016-07-01/doc-ifxtsatm1168871.shtml。