1. 网络爬虫行为不正当竞争问题概述
数据作为市场主体的重要生产要素，是大数据背景下奠定其市场竞争力的基础。网络爬虫行为是一种规模化、便捷化地获取数据的技术手段，也是众多企业抓取数据的重要方式( [1] , p. 57)，即通过一段程序或脚本，依据一定的规则，对使用者需求的网络中的相关数据实现高效便捷地批量抓取。然而，网络爬虫行为并未经过被爬取数据所有者的许可，相关数据是否适于被自由抓取也存在疑虑。反对网络爬虫的一方认为，其为获得的数据付出了一定的成本，其他企业利用网络爬虫技术却可轻易获取，这一行为等于变相攫取了被爬取企业原始积累的竞争优势。因此，网络爬虫行为一方面为企业带来了巨大的经济效益，另一方面也存在侵害被抓取数据企业权益的可能性。这便落入了《反不正当竞争法》的规制范围。
在实践中，竞争法领域中网络爬虫行为规制呈现司法定性宽泛化的特点，原因在于理论供给不足，忽略“市场竞争”核心标准的问题。滥用“不正当竞争”行为评价网络爬虫行为司法现状的出现直接会导致《反不正当竞争法》原则空心化、阻碍数据流通、扼杀新型商业模式的后果，因此有必要限缩数据爬取行为“不正当行为”的适用。
因此，有必要合理规范数据的抓取行为，从《反不正当竞争法》第2条的具体适用规则入手，明确“不正当竞争行为”的实质定性标准，才能真正实现信息开放共享促进市场活力和保护数据的合理使用两者的动态平衡。
2. 限缩“不正当竞争”网络爬虫行为的必要性
不正当“搭便车”获取数据的行为值得谴责，甚至会触及商业秘密罪、侵犯公民个人信息罪等刑事犯罪。但在企业行为并未触及刑事犯罪时，在竞争法领域内认定“不正当竞争”网络爬虫行为应更加慎重。原因在于以下两点：其一，维护市场的公平竞争是《反不正当竞争法》设立的根本目的，被爬取数据企业权益受损只是结果表现之一而非决定性因素；其二，不正当竞争行为的滥用会导致数据壁垒的产生，会造成中小型互联网企业的处境愈加艰难，不利于创新和社会进步。
2.1. 是反不正当竞争法核心要义的价值所在
从《反不正当竞争法》的设立目的来看，《反不正当竞争法》的设立目的和法律地位不同于民商法和刑法。其目的是制止不正当竞争行为，保护消费者和经营者的合法权益，鼓励和保护公平竞争，促进社会主义市场经济的良好发展。虽然制止不正当竞争行为，反对企业不正当“搭便车”的不劳而获的行为，是保护企业权益的重要方法，但其根本目的还是尊重保护市场竞争的有效性和长效性，而非保护某一个企业的利益。从某种程度来说，《反不正当法》制止不正当竞争行为实际是国家宏观调控的一种手段，而不是像民法对某一私权的救济或者刑法作为最后保障法保护某一法益的行为手段。
《反不正当竞争法》保护的是市场竞争，而非某一企业的市场竞争优势。《反不正当竞争法》作为市场规制法，尊重市场竞争的动态性规律，即竞争必然产生经营者利益间的此消彼长，竞争优势并非独属于某一方。虽然《反不正当竞争法》在制止不正当竞争行为的过程中，间接维护了一部分的竞争优势，但并不意味着竞争优势是法律直接保护的对象。我国的数据纠纷双方通常是实力雄厚的大平台企业起诉新兴的互联网企业，相较后者，大平台企业在数据控制和诉讼能力方面具有巨大优势，如果法院不能根据审慎原则，而沿用以往的权利侵害式判断，对平台控制的数据进行过度保护，将导致竞争失衡，并最终损害消费者利益( [2] , p. 45)。
2.2. 是促进数据流通和市场创新的必然要求
数据作为一种新兴资源，获取数据和使用数据都能为企业创造竞争优势和经济来源，对数据的高规格保护也可能扼杀了一些新技术和商业模式的发展，对数据流动造成阻碍( [3] , p. 97)。虽然企业会以此更加方便地“搭便车”，但是这种行为不同于直接窃取商业秘密，即使是盗取公开的商业模式(如开发外卖平台，开发共享单车等与其他商业竞争主体类似的商业行为)，也仅具有道德谴责性而非法律意义上的不正当竞争评价。使用网络爬虫行为爬取数据的行为，大部分爬取的都是已经公开的数据，即使是用户的信息和发表的评论，也不能被认定为是某一家企业单独所有。在大数据时代背景下，数据已经成为了创新的关键因素，如果过于限制小型互联网公司的网络爬虫行为，则会导致市场创新的滞后性。
企业社会责任也要求拥有巨大优势的企业对其他市场主体让渡一部分的优势，尽可能避免出现一家独大的格局。企业利用滚雪球的方式积累优势，形成市场垄断地位，在制定行业规则时具有更大的话语权，这本身也是一种不正当竞争的体现。如果法律一味保护大型互联网企业的数据资源，甚至是已经公开的数据，则会导致同类市场很难又后起之秀，甚至造成市场垄断的局面。如在设置反对网络爬虫的robots协议之时，大型企业也会依靠自身优势对可爬取内容的范围不断限制( [4] , p. 52)。
因此，为了维护数字时代的竞争秩序，司法机关应当在充分认识数据流通价值的基础上，对有利于数据利用和服务方式创新的中小型企业持开放态度，看到数据抓取行为蕴含的效率价值、行业价值与社会价值。在制止不正当竞争行为的同时，为新兴的中小型互联网企业发展留下空间。
3. 竞争法领域中网络爬虫行为的规制现状
司法实践中通过网络爬虫获取信息的行为具有门槛低、司法定性泛化的特征。竞争法领域内尚未对网络爬虫行为有统一的定性，这不利于司法实践中的类案类判，增加了裁判难度；在认定数据行为为不正当竞争案件之时也缺少“市场竞争”这一核心概念，更加依托行为的“权利侵害”属性，直接忽略了《反不正当竞争法》设立的初心与本质。
3.1. 网络爬虫行为规制的理论供给不足，观点尚未统一
3.1.1. 网络爬虫行为规制的理论供给不足
网络爬虫行为规制的理论供给不足，甚至业内并未形成统一的看法。首先，现阶段数据确权的条件还不成熟、数据本身又不属于知识产权，因此难以通过《物权法》《著作权法》规制数据抓取行为。其次，2022年市场监管总局起草了《中华人民共和国反不正当竞争法(修订草案征求意见稿)》(以下简称“《意见稿》”)，新增了经营者不正当获取或使用其他经营者的商业数据的专条规定；而同年3月最高人民法院发布的《关于适用〈中华人民共和国反不正当竞争法〉若干问题的解释》完全删去了此前征求意见稿中关于网络爬虫纠纷审理规定乃至“互联网专条”的进一步解释。所以就市场主体通过网络爬虫抓取数据的行为定性最高法依然持审慎态度，并未设立统一的定性标准，赋予了司法实务者更多的自由裁量权。
3.1.2. 《反不正当竞争法》第2条的具体适用存在难度
在处理实务案件时，法官往往根据《反不正当竞争法》第2条和第12条对此类行为予以限制，但如何具体解释还未有明确规定。《反不正当竞争法》第12条是专门根据互联网企业不正当竞争而制定的规制措施，其采用明确列举和兜底条款的立法方式，其前三项明确列举的内容并不能有效涵盖数据抓取行为，因此只能考虑兜底条款的解释适用。但又因为数据抓取行为本身并未具备与前三项条款相当的危害性，则更加难以采用“其他妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为”对其定性。故若对网络爬虫破坏市场秩序的不正当性行为规制，则需要依据《反不正当竞争法》第2条这一一般条款予以规制。但是第2条作为《反不正当竞争法》的原则性规定，具有抽象性和概括性，需要对其内涵进行解释，才能在实务中予以适用。
3.2. 网络爬虫行为的不正当行为的认定忽略“市场竞争”核心概念
根据相关研究，近十年来数据爬虫抓取相关反不正当竞争案件司法判决呈现网络爬虫竞争关系认定宽松化，有学者针对近些年网络爬虫不正当竞争纠纷裁判展开研究，发现网络爬虫方胜诉的仅4例，而爬取方败诉为20例，只要确认了被爬取方的交易机会、经济利益和竞争优势受损，爬取方的行为几乎都被认定为不正当竞争，法院采用的是“权利侵害式”司法分析范式( [5] , pp. 85-86)。实务案件中以“权利侵害式”为标准的不正当竞争认定模式，直接模糊了其与传统民商法保护私权的界限，降低甚至误判市场竞争的认定门槛，与《反不正当竞争法》的设立初衷相悖。
网络爬虫竞争关系认定忽略“市场竞争”这一核心概念。在号称第一起反不正当竞争的网络爬虫案件“新浪微博诉脉脉不正当竞争案”中，法官回避了对数据权属争议，创设了三重授权规则并重新诠释了适用《反不正当竞争法》第二条的条件。一是行为层面，脉脉公司并未获得抓取新浪微博用户的职业教育信息的权限，未基于协议获得用户授权，抓取的内容超过程序运用、功能实现目的而必要的数据，违反了《开发者协议》(以下简称《协议》)；二是主观层面，脉脉公司基于《协议》通过OpenAPI模式抓取数据，但是放任自己的技术越过约定的范围抓取，主观上具有一定过错；三是结果层面，脉脉公司抓取超过一般权限的信息，未基于《协议》获得用户授权，损害了用户知情权和选择权，损害了其他遵守《协议》的经营者的利益，损害了以用户数据为经营活动基础和商业资源的竞争者微博公司的利益，并且容易引发数据霸权主义损害OpenAPI的商业合作模式和竞争秩序。1在上述案例中，即使提及行为层面和主观层面，但法院也是基于经营者利益出发，直接得出网络爬虫行为破坏正当竞争秩序的结论，法院并未真正从行为层面和主观层面分析脉脉公司行为的不正当性。
4. 网络爬虫“不正当竞争”行为定性的限制解释证成
4.1. 网络爬虫《反不正当竞争法》第2条的解释路径
根据《反不正当竞争法》第2条第2款的规定，反不正当行为是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。因此，在适用兜底条款认定不正当竞争行为时，要符合以下几点，即两者具有竞争关系，一方实施了扰乱市场竞争秩序的行为，损害了其他经营者、消费者的合法权益。
4.1.1. 确定竞争关系
首先，需确定两者具有竞争关系。判断网络爬虫主体所实施是否为竞争行为，根据目前的通说，可参考世界知识产权组织《反不正当竞争示范条款》总则a：除第2~6条提及的行为和做法之外，凡在工商业活动中违反诚实的习惯做法的行为或做法，亦应构成不正当竞争的行为。由于网络大数据背景下的主体多元性、行业交织性，因此在理解《反不正当竞争法》中竞争对象之时要采取多元化的保护倾向，不能只将同行竞争者作为规范目标。作为互联网主体，只要以数据作为生产资料的主体均有可能构成数据竞争行为。但值得注意的是，数据的聚合本身并不产生价值，企业数据抓取行为的目的或产生交易价值的渠道在于数据的后续运用。所以，数据抓取竞争关系的判定，应更多聚焦在数据抓取之后对于数据的具体运用模式和运用效果。
4.1.2. 确定扰乱市场竞争秩序行为
其次，需从主观客观两个方面认定扰乱市场竞争秩序行为的发生。法院在论述数据抓取方构成不正当竞争行为的客观要件层面时，应当主要落脚于抓取方是否实施了竞争行为而非聚焦于是否违反了双方之间的协议。数据抓取方违背被抓取方所设置的协议并不能直接认定抓取方实施了扰乱市场竞争秩序的行为。如果抓取行为与用户访问行为无异，仅访问平台的表层数据，则其不正当程度较弱；如果绕过技术保护措施、造成平台数据负载过大、采用法律所禁止的具有系统破坏性的技术等方式、数据抓取的后续应用并不产生任何产品或服务上的创新，则不正当程度较强。数据抓取方抓取数据的行为应实现的创新目的，而并非创建“等同于竞争对手所享有的数据规模”，其通过数据抓取这一技术手段积累高度相关、更新及时的数据，形成自身独有的竞争特色和优势，并不能认定这是扰乱市场竞争秩序的行为。
4.1.3. 确定合法权益受到损害
最后，需确认其他经营者或消费者的合法权益受到损害。一般来说，单纯的数据抓取并不能直接作为权益受损的证明。并不是所有的数据抓取行为都必然导致原网站的流量损失，关键在于该行为是否会产生实质上的市场替代效果( [6] , p. 180)。互联网数据抓取行为在很大程度上的确具有搭便车行为的典型特征，但是抓取行为所产生的具体竞争效果或损害，不可一概认为就与传统搭便车一样“损害竞争”。对于数据抓取行为可能造成的具体损害应充分考虑数据竞争行为是否产生实质性的替代效果。
4.2. 应当排除“不正当竞争”的网络爬虫行为
4.2.1. 排除对有损市场公平竞争协议的保护
违反公共利益、有损市场公平竞争的协议内容，不应当被认定为《反不正当竞争法》的保护对象。若以“数据垄断”对不正当抓取行为进行抗辩，在无法达到垄断的市场判定标准情况下，限制抓取行为也将构成数据不正当竞争行为( [6] , p. 182)。在认定不正当竞争行为时，具有市场优势地位的企业不仅握有大部分优质数据资源，而且具有较大的规则制定话语权，因此，就如同民法中的格式合同一样，其会在设置robots协议的可抓取数据范围之时尽可能保护自身利益，因此，法院有权限判断设置robots协议的一方是都违背了市场公平竞争的内容，是否过于限制了他人的权利，其设置的内容是否已经阻碍了市场经济的发展，当这种违反公共利益、有损市场公平竞争的协议内容出现时，应当被认定为无效，而网络爬虫实施方也不必承担相应的责任。
4.2.2. 限制对具有完全公开数据的保护
具有公开性和权属不确定性的数据应审慎作为《反不正当竞争法》的保护目标。我国目前并没有建立完整的数据保护法律体系，数据的权属和抓取数据的权限范围也并未有明确的规定。本文认为，当数据的保密性级别较低，如对已经公开的网络爬虫行为认定不正当竞争要更加小心谨慎。比如，APP上公开的用户信息和用户评价，可以成为网络爬虫爬取的范围，即使造成了一定的引流，也应当结合网络爬虫方的使用目的综合判断其不正当竞争行为。对爬取商家已经加密的数据，则需考虑侵犯商业秘密条款或者《反不正当竞争法》第12条的适用。
4.2.3. 对符合市场竞争利益的行为附条件宽容
符合“市场竞争秩序”核心利益衡量下的网络爬虫行为，可被附条件宽容。正如刑诉中企业合规政策的引入就是为了解决企业牵涉刑事犯罪后双罚制背景下对单位的影响问题，给犯错的单位一个机会，也是保护企业保护员工维护市场稳定的重要举措( [7] , pp. 76-77)。网络爬虫行为获取数据的行为牵涉多层利益，在数据抓取纠纷中，当事人利益是指数据抓取双方企业的利益；群体利益是指认定抓取行为性质对于与抓取方和控制方具有相同立场的企业的利益；制度利益是通过对数据抓取不正当竞争行为的规制所维护的竞争秩序；公共利益是指通过对数据抓取行为规制后所能实现的社会福祉，消费者利益是社会福祉的重要指标。法官可以通过价值判断和利益衡量，综合判断网络爬虫爬取方的行为是否真正触及应以“保护市场竞争”为核心的公共利益，而后做出行为是否为不正当竞争行为的决断。在爬取行为带来了更大的公共利益之时，即使当事人的行为已经涉及不正当竞争，但也应设置相应的前置处罚措施，督促其改正，而非给与其致命一击，最终与保护市场竞争的目标背道而驰。
5. 结论
网络爬虫行为被定性为不正当竞争行为的情况日益频发，应当结合《反不正当竞争法》的保护目的和适用价值限制不正当行为定性。在现有的规范背景下，仅有《反不正当竞争法》第2条兜底条款对网络爬虫行为的不正当行为予以规制，但应严格明确网络爬虫爬取方和被爬取方之间的竞争关系、不正当竞争行为的发生和经营者或消费者利益的受损程度，并且排除部分实质并不符合“不正当行为”的行为。
值得注意的是，为更好地保护和利用数据，有必要解决当今数据权属不明的问题，探索数据分级路径，根据数据类别以及公开程度，划定可以抓取的范围，完善竞争法关于网络数据抓取的相关规定，最终实现数字经济的长远发展。
NOTES
1参见北京市知识产权法院〔2016〕京73民终588号判决书。