1. 引言
在大数据时代，个性化推荐算法是一种利用用户行为数据、兴趣爱好、社交关系等信息，为用户提供个性化推荐的常见算法。个性化推荐算法在交通、电子商务乃至政务管理等领域中都具有重要作用，甚至可以说，各类算法共同构成了现代数字化城市建设的底层逻辑[1]。
个性化推荐算法的初衷是在积极有益的轨道上服务于人，然而，个性化推荐算法在便利用户日常生活的同时，存在着几个方面的潜在问题。首先，个性化推荐算法作为人工智能的一部分，虽然其智能程度仍停留在自动的“IA”层面并基本不可能跃升为真正具有自主意识的“AI”，但其风险仍不可小觑。1其次，由于算法的“黑箱”效应2，个性化推荐算法对数据的采集和分析隐蔽、难以为人所察觉，算法的不透明性给用户的知情权带来风险。再次，个性化推荐算法虽然以技术中立为其原则，但用户个人对其创造者的价值利益导向难以识别。最后，运营商收集大量个人数据用以满足用户个性化推荐需要，然而这与用户对隐私保护及个人信息控制等方面的需求相悖。
正是因为电子商务领域个性化推荐算法存在这些问题，因此，明确个性化推荐算法的本质，从中推导出该技术应用潜在的法律风险，分析现存规制困境从而基于此提供有效法律规制具有重要意义。
2. 电子商务领域个性化推荐算法的本质及法律风险
个性化推荐算法是大数据时代中普遍应用的一种算法，其本质是通过分析用户的历史行为数据和偏好，为用户提供个性化的商品或服务推荐。这种算法的目的是提高用户体验，增加用户满意度，促进消费和增加电子商务平台收入。然而，个性化推荐算法也存在一些法律风险。
2.1. 个性化推荐算法的本质
个性化推荐算法不具备自主决策能力，其本身技术具有中立性，同时，其所运用的数据承载着大量个人信息，对于个性化推荐算法本质的把握有助于发掘其法律风险。
1. 算法“自动”而非“自主”的运行机制
个性化推荐算法在运行过程中通常会遵循“自动”而非“自主”的运行机制，这意味着算法会自动地根据预先设定的规则和模型来进行具体推荐，而不具备像人类一样的自主决策能力。算法为解决某一类问题提供明确规范，是一系列解决问题的清晰指令，代表着用系统的方法描述解决问题的策略机制[2]。个性化推荐算法直接针对用户的不同特点进行推荐，虽然算法并不具备人类的自主决策能力，但这一个性化推荐的过程通常也难以被察觉到，如生活中的“大数据杀熟”、各手机软件间出现的联动等情形，都是如“幽灵”般悄然出现。
2. 算法本身的技术中立性
所谓的算法技术中立性，指的是算法在设计和应用过程中不偏袒任何特定群体或个体，不引入主观偏见或歧视性因素，对所有用户或数据一视同仁，并且不会对结果产生不公平或有偏见的影响。也就是说算法不具有“个人好恶”，仅仅根据设定程序作出反应，因此技术中立论者支持对算法尽量少地设置限制。在实际应用中，确保算法的技术中立性可以避免算法歧视，保障用户权益和数据隐私。然而，“技术从来就是有好有坏”，“技术既赋予人类创造性，也赋予人类毁灭性”[3]。
3. 数据承载大量信息
个性化推荐算法所运用的数据承载着大量的信息，成为了用户获取个性化推荐和定制化服务的重要基础。这些算法通过分析用户的历史行为、兴趣爱好、社交关系等多维数据，可以为用户推荐符合其个性化需求的产品、服务或信息。在实际应用中，个性化推荐算法所运用的数据涵盖了用户的点击记录、购买行为、浏览历史、评分喜好等多方面信息，这些数据承载了用户的偏好、兴趣和行为特征，可以为算法提供更准确的推荐结果[4]。
2.2. 个性化推荐算法的法律属性缺陷
根据个性化推荐算法的本质特征，结合法律对个性化推荐看法的调整和分配情况来看，个性化推荐算法具有其在法律属性上的缺陷。
1. 算法欠缺自主意识：责任主体不明
个性化推荐算法具有有限能动性，指算法只能按照事先设定的规则和指令执行，缺乏自主意识和判断能力。由于算法是由人类设计和编写的，它们无法自主地思考和做出决策，只能根据输入数据和预设的逻辑进行计算和处理。这种固有的局限性导致了责任主体不明的问题。在使用算法的过程中，如果算法出现错误或产生不良后果，责任主体也就往往不明确。因为算法本身并没有自主意识，无法对自己的行为负责，而设计、编写和使用算法的人类主体之间可能存在多重责任分歧。
2. 算法“黑箱”效应：法律责任空洞
个性化推荐算法与所有的算法一样，具有“黑箱”效应，也即在系统的外部根本无法察觉到系统内对个人数据加工评估的量化过程。这也就给了算法创造者推诿责任的空间。总之，个性化推荐算法的运用由于人工智能技术的复杂性、自由量化权的独立性和算法实施的自动性，出现无法归责的空洞区域[5]。当个人因个性化推荐算法而个人权利遭受入侵或不公正对待时，往往很难追究责任。
2.3. 个性化推荐算法对个人权利的入侵体现
个性化推荐算法在当今社会中得到广泛应用，但其对个人权利的入侵也日益显现，这种入侵主要体现在几个方面。
1. 算法不当运用个人信息侵害隐私权
个性化推荐算法往往不当运用个人信息，侵犯了用户的隐私权。其一，个性化推荐算法需要大数据提供信息支持，如果不当运用个人信息，就可能侵犯个人的隐私权。其二，用户往往无法掌握自己的信息被如何使用，也缺乏对其进行有效监督的能力。在个性化推荐过程中，用户的个人信息往往被收集、存储和分析，可能被滥用或泄露，进而侵犯用户的隐私权。
2. 算法环境构架影响个人自治
个性化推荐算法的环境构架也会影响个人的自治权。这些算法通过不断分析用户的行为和偏好，逐渐建立起用户的信息档案，从而影响用户获取信息的方式和范围。用户可能会被推荐过多相似的内容，限制了用户接触多样化的信息，影响了用户的思想多元性和自主选择权。
基于助推理论提出的“Nudge (轻推)”概念[6]和“超轻推”概念[7]是行为经济学领域的重要概念，Nudge的关键在于保留个体的自由选择权，只是通过调整选择环境来促使人们做出更符合自身利益的决策。例如，在食品摆放上，将健康食品放置在更显眼的位置，而将不健康食品放置在较隐蔽的位置，可以促使人们更倾向于选择健康食品。
在大数据时代，算法创造者借助技术有针对性地精准推送，诱导用户做出选择。可见，个性化推荐算法在引诱用户做出选择方面与“轻推”相比，能获得更好的效果，因而也被学者称为“Hypernudge (超轻推)”[8]。
3. “算法歧视”侵害平等权
个性化推荐算法可能存在“算法歧视”[9]，侵犯了用户的平等权。这种歧视可能源于算法对用户的个人信息或行为进行不当分类或偏见，导致某些群体或个人受到不公平对待。例如，在招聘、贷款、保险等领域，个性化推荐算法可能会基于种族、性别、年龄等因素做出不公平的决策，进而侵犯了用户的平等权利。
展开来说，在传统的物理社会，人们更容易识别歧视，而在大数据时代，存在于算法中的歧视具有较强的隐蔽性，甚至有时是无意识的。“传统民商法下视域下的个人本位理念与私法进路，变得难以满足算法时代下对于个人信息保护的现实需要，数据使用者对所有者信息一旦产生滥用，就不再是简单的信息本身问题了，而是对算法时代中主体身份构建、平等权和自主性的严重侵蚀”[10]。
4. 算法重塑权力话语体系导致“信息茧房”现象
这些算法通过过滤用户接触的信息，塑造用户的信息获取环境，从而影响用户的认知和价值观。用户可能被推荐与自身观点相符合的信息，而排斥与之相悖的信息，导致信息茧房效应[11]，使得用户陷入信息闭环，难以接触到多元化的观点和信息，进而影响了用户的思想多样性和自由表达权。
个性化推荐算法正在消融传统的信息分发的方式，通过算法赋权重塑了平台和用户之间的权力话语体系[12]，使得信息茧房问题变得愈发严重，让用户深陷令其愉悦的信息茧房中。当信息茧房一旦形成，便使用户禁锢在闭环的信息视野里，极易造成认知偏差、刻板印象、群体极化[13]。
3. 个性化推荐算法法律风险规制的现状与困境
当下法律作为个性化推荐算法主要的规制工具，对其现状的阐述从技术应用范围、技术行为依据及追责机制三方面展开。相应的，在分配人算法应用风险时存在诸多困境，这包括法无授权不可为原则的技术应用范围限制困境、个人意思自治的技术行为依据困境、行为与责任相对应的归责困境。
3.1. 个性化推荐算法技术应用法律规制的现行制度
个性化推荐算法技术在当前社会中得到广泛应用，但其应用也面临着法律规制的挑战。法律作为算法技术应用的主要规制手段，我国相继出台了多部规制人工智能技术应用的相关法律，如《新一代人工智能伦理规范》中提出人工智能的各项活动要保护隐私安全、确保可控可信等要求，《网络安全法》《数据安全法》等也对数据收集做出了一定限制。现行制度对个性化推荐算法技术应用的法律规制主要体现在以下几个方面。
1. 技术应用范围：法无授权不可为
算法技术应用的范围目前在我国体现为“法无授权不可为”[14]，根据“法无授权即可为”的原则，个性化推荐算法技术的应用范围受到法律的限制。这意味着在没有明确法律授权的情况下，个性化推荐算法技术的应用可能受到限制或禁止。例如，在一些国家或地区，个人信息保护法可能规定了个性化推荐算法技术在处理用户个人信息时需要获得用户的明确授权，否则将受到法律制裁。
自人工智能的发展日新月异以来，人工智能相关立法日渐完善，依托于人工智能的个性化推荐算法也有了可以采用的法律条文。例如，《数据安全法》第六条第二款规定了多个部门要承担各自行业领域内的数据安全。第三十五条，规定无论是公安机关，还是国家安全机关，都需要按照国家相关规定，并且经过严格层层审批程序才能调取数据[15]。
2. 技术行为依据：意思自治
意思自治也称为私法自治，指人们在私法领域得以依据自己的意图决定自己的事务、确定彼此间关系。法律行为则指发生一定私法效果的意思表示。算法辅助决策较人类决策具有特殊的技术优势，所以得到很多人的自主、自愿选择[16]。当下在私法领域法律分配对个性化推荐算法技术应用风险的规制，依托的法律制度就是意思自治的法律行为制度，即允许风险行为主体在法律范围内通过与个性化推荐算法达成合意的方式，以达成分配该风险中应有的权利和义务。
对于使用算法的个人而言，法律并不禁止算法的提供也不禁止个人对其使用，所以每个个体都可以与其他个体达成合意并签订契约，让双方在契约履行过程中权利获益的同时，也要做好承担履约过程中算法可能给自己带来的义务。例如，根据欧盟的《通用数据保护条例》(GDPR)，个性化推荐算法在欧盟境内应当遵循用户的同意原则，用户应当被告知其数据被用于个性化推荐的情况并且有权选择是否同意。
3. 追责机制：行为与责任相对应
针对个性化推荐算法技术的应用，应建立行为与责任相对应的追责机制。例如，如果个性化推荐算法技术的应用侵犯了用户的隐私权或其他权益，相关主体应当承担相应的法律责任。我国《个人信息保护法》规定了对于滥用个人信息造成侵害的违法行为，相关主体将面临行政处罚或民事赔偿责任。
在典型的“行为–责任”机制中，责任的分配通常是基于行为产生的风险。这种机制在很多领域都有应用，比如在交通事故中，造成事故的一方通常需要承担相应的责任。在这种机制下，法律会根据具体情况来判断责任的承担方，以确保公平和合理的追责。个性化推荐算法也运用类似的“行为–责任”机制来进行风险追责。举例来说，假设一个电商平台使用个性化推荐算法向用户推荐商品，如果因为推荐的商品质量有问题导致用户投诉或退货，那么责任可能会落在平台运营方身上。这是因为平台在推荐商品时扮演了关键角色，影响了用户的购买决策，因此需要对推荐的商品质量承担相应的责任。
3.2. 个性化推荐算法现行法律规制的多重困境
个性化推荐算法现行法律规制的面临着技术应用的法律规范内涵狭窄困境，意思自治困境和追责机制困境。
1. 技术应用的法律规范内涵狭窄
在智能算法技术风险中，由于这项新兴的技术涉及众多新兴利益，既然要做到“法无授权不可为”，那么权力清单就是必须的。自我国《关于推行地方各级政府工作部门权力清单制度的指导意见》发布以来，这项权力清单制度就在各领域中广泛推行[17]。但是在算法技术方面，清单单一和形式化的问题频频出现，这甚至影响算法技术的积极发展。
“法无授权不可为”原则使得个性化推荐算法的技术应用规范边界变得狭窄。由于法律对于个性化推荐算法的具体规范并不明确，导致了在算法使用和数据处理过程中存在较大的不确定性。这种情况下，企业和机构可能会在法律的“灰色地带”内运作，难以确定何种行为是合法的，何种行为是违法的。现在更是存在着部分下位法在制定时只是沿用上位法原则性表述，而完全不对其内涵进行进一步展开和说明的情形，在其内涵被限缩的同时，也具有形式化的特征。
2. 意思自治困境：算法与个人的合意难以确定
一方面，由于个性化推荐算法的运作涉及到个人数据的收集、分析和利用，个人往往难以了解算法是如何运作的，也难以确定自己的数据被如何使用。这种信息不对称导致了个人在与算法之间的交互中缺乏真正的意思自治，难以保障个人数据的隐私和安全。
另一方面，即便当下在私法领域法律分配对个性化推荐算法技术应用风险的规制，允许风险行为主体在法律范围内通过与个性化推荐算法达成合意的方式，以达成分配该风险中应有的权利和义务。然而，算法参与人类意思表示的程度往往并不一致，甚至可以由高到低区分为家长式算法、偏好模拟算法、排序精选算法和检索过滤算法。
3. 追责机制困境：责任主体选择难题
在使用个性化推荐算法过程中，可能涉及到多个环节和多个参与方，包括数据收集方、算法开发者、平台运营商、用户等，因此在算法出现问题时，确定责任主体并不是一件简单的事情。
责任主体的选择可能受到算法的复杂性和不确定性的影响。个性化推荐算法通常涉及大量的数据处理、机器学习和算法优化等技术，这些技术本身就具有一定的复杂性，使得算法的运作过程难以被完全理解和控制。责任主体的选择也受到法律规定和监管机制的限制，对于个性化推荐算法的法律规定可能并不明确或者不完善，缺乏明确的追责机制。责任主体的选择还可能受到利益相关者的影响，不同利益相关者可能会对责任的承担有不同的诉求和利益考量，这也会给责任主体的选择带来困难。
4. 个性化推荐算法法律规制困境的具体解决路径
基于个性化推荐算法法律规制的现状及困境分析，分别可以就监管者、开发者、使用者三个不同视角提出具体的解决路径。在监管者层面，要求推进对各种伴随数据时代而产生的新兴权益，并且建立算法风险评估制度，同时加大对现有法律规范的法律解释；在开发者层面，其技术活动要始终遵循四大原则，同时在设置算法时强调对于其用户的告知义务，并且引导行业自律和科技向善；在使用者层面，倡导树立明晰的权利观念，注意对“信息茧房”现象的甄别。
4.1. 监管者视角：提供可问责性基础
监管者视角一是通过国家立法机关的立法，把新兴权益及时添加到现有的法律规制体系当中，从而减少法律的滞后性带来的弊端；二是建立对算法的风险评估制度，明确对算法的风险评估标准，从而提高算法的可问责性；三是重视对现有的与之相关的法律规范的解释，明确算法技术应用的边界。这三项举措都是对算法的可问责性提供基础。
1. 推进新兴权益立法释法：减少规范的滞后性
随着科技的快速发展，新兴技术如人工智能和大数据已经广泛应用于各个领域，包括个性化推荐算法。然而，现有的法律法规可能无法及时跟上技术的变革，导致规范的滞后性。因此，推进新兴权益立法释法是至关重要的。立法者应当审慎制定相关法律，以保护用户的隐私权、数据安全和消费权益，明确个性化推荐算法的合法合规要求。同时，及时释法可以帮助企业和开发者更好地理解法律规定，规避法律风险，促进行业的健康发展。
将数字人权理念3融入算法开发，同时通过对隐私权、用户拒绝权、知情权与救济权等权利保护的制度和实践创新，提升算法的合法性与合理性。
2. 建立算法风险评估制度：提升算法可问责性
为了提升个性化推荐算法的可问责性，建立算法风险评估制度至关重要。这一制度可以帮助企业评估和管理个性化推荐算法的风险，包括隐私泄露、歧视性推荐等方面。通过明晰的算法风险评估标准，企业可以及时发现和解决算法存在的问题，提升算法的透明度和公正性，增强用户信任。此外，建立算法风险评估制度还可以促进企业间的竞争，推动行业的规范化和标准化发展。
3. 加强现有规范法律解释：明晰算法应用边界
为了明晰个性化推荐算法的应用边界，加强现有规范法律解释至关重要。法律解释可以帮助个性化推荐算法开发者更好地理解法律规定，避免违法行为，确保算法应用在合法合规的范围内。同时，明晰的法律解释也可以帮助用户了解自己的权益和责任，提高法律意识和保护意识。通过加强法律解释，可以有效规范个性化推荐算法的使用，维护用户和企业的合法权益，促进行业的可持续发展。
4.2. 开发者视角
开发者(如技术公司、数据科学家)在设计和开发个性化推荐算法时，应当注重用户隐私保护和数据安全，遵守相关法律法规。他们应当设计透明的算法，向用户解释推荐结果的生成原理，提高算法的可解释性。此外，开发者还应当注重算法的公平性和中立性，避免歧视性推荐，确保算法决策的公正性。
1. 遵循四大原则
个性化推荐算法是当今互联网平台中至关重要的一环，它通过分析用户的行为和偏好，为用户提供个性化的推荐内容，以提升用户体验和增加平台的粘性。然而，随着个性化推荐算法的广泛应用，一些隐私和公平性问题也逐渐浮出水面。因此，作为个性化推荐算法开发者，应遵循以下四大原则：
一是诚信原则：商业利益与个人权利之权衡在开发个性化推荐算法时，开发者应该平衡商业利益与个人权利之间的关系。即在追求盈利的同时，也要尊重用户的隐私权和个人信息保护。开发者应该遵循透明原则，向用户明确说明他们的数据将如何被使用，确保用户在知情的情况下做出决策。
二是公正原则：算法技术的实质正义之弥合个性化推荐算法的设计应该追求算法技术的实质正义，弥合信息不对称和数据歧视的问题。开发者应该确保算法的公正性和透明度，避免因种族、性别、年龄等因素而对用户进行歧视性推荐。算法应该基于客观数据和用户行为，而非主观偏见。
三是比例原则：用户信息的收集限度之规制。在收集用户信息时，个性化推荐算法开发者应该遵循用户信息的收集限度之规制。只收集必要的信息，并且要对用户数据进行保护，避免数据泄露和滥用。开发者应该遵循数据最小化原则，只收集对提供个性化推荐有必要的信息，同时采取安全措施保护用户数据。
四是自主原则：信息多样与自主决策之调和。个性化推荐算法应该平衡信息多样性和用户自主决策之间的关系。推荐系统不应该过度依赖用户过去的行为和偏好，而是应该为用户提供多样性的选择，让用户能够自主决定自己的信息获取路径。开发者应该尊重用户的选择权，避免将用户推向信息茧房，保持信息的开放性和多样性。
个性化推荐算法开发者应该遵循诚信、公正、比例和自主四大原则，以确保算法的合法性、公正性和透明度，提升用户体验，维护用户权益，推动个性化推荐算法的健康发展。
2. 强化算法告知义务
个性化推荐算法的算法告知义务是指算法开发者应当向用户清晰明确地披露算法的工作原理、数据来源、推荐逻辑等信息，以增强用户对算法推荐结果的理解和信任。
强化个性化推荐算法的算法告知义务，具体措施包括：一是建立标准化的算法告知模板。制定统一的算法告知模板，明确包含算法的基本信息、工作原理、数据采集方式、推荐逻辑等内容，以便开发者能够便捷地向用户提供相关信息。
二是加强用户教育和意识提升。通过举办相关的讲座、研讨会或发布宣传资料等形式，向用户普及个性化推荐算法的基本知识，让用户了解算法推荐的意义和作用，提高用户对算法告知的重视程度，增强用户对算法推荐结果的认可度。三是采用可视化展示方式。开发者可以通过可视化的方式展示算法的工作流程和推荐结果，让用户直观地了解算法是如何分析用户数据并生成推荐结果的。最后，建立用户反馈机制。为用户提供反馈渠道，让用户可以针对个性化推荐结果提出意见和建议，开发者及时回应用户反馈并作出改进，增强用户参与感和信任度。同时，开发者也可以通过用户反馈了解用户对算法推荐的感受和需求，不断优化算法。
3. 行业自律与科技向善
个性化推荐算法开发者作为科技行业的一员，自觉遵守行业规范，积极参与自律和科技向善的举措。个性化推荐算法的发展已经深刻影响着人们的生活和工作，因此开发者有责任确保算法的公正性和透明性。
首先，个性化推荐算法开发者应当遵守行业准则，积极参与行业自律组织的活动，共同制定和遵守行业规范。通过加强自律，可以有效防止算法滥用和不当行为的发生，维护用户权益和社会公平。其次，个性化推荐算法开发者应当关注科技向善的举措，积极参与公益活动和社会责任项目。在算法设计和优化过程中，要考虑用户隐私和数据安全，避免对用户造成负面影响。同时，开发者还应当关注算法对社会的影响，努力打造更加人性化和社会友好的推荐系统。
4.3. 使用者视角
使用者(如普通用户、消费者)在接受个性化推荐服务时，应当关注自己的隐私权和数据安全，了解个性化推荐算法的运行机制和数据收集方式。使用者可以选择是否分享个人数据，控制个性化推荐的范围和频率。同时，使用者也应当学习如何识别和应对歧视性推荐，保护自己的权益。
1. 倡导树立明晰的权利观念
个性化推荐算法通过分析用户的行为数据和偏好，为用户提供个性化的推荐服务。在这个过程中，用户的隐私数据可能会被收集和使用。因此，用户应该意识到自己的数据价值，并且要求平台明确告知数据的收集和使用目的，以及如何保护用户数据的安全性。用户应该拥有对自己数据的控制权，可以选择是否分享数据，以及如何分享数据，明晰如“用户拒绝”权利、“隐私权”等等权利范畴。
2. 注意甄别信息茧房
个性化推荐算法会根据用户的历史行为和偏好，过滤掉用户不感兴趣的信息，从而提供更加符合用户口味的内容。然而，这也容易导致信息茧房的问题，即用户只会接触到与自己兴趣相关的信息，而忽略了其他有价值的信息。为了避免信息茧房，用户应该多样化自己获取信息的渠道，不仅局限于个性化推荐算法推荐的内容，还要主动寻找其他来源的信息，保持对多样信息的开放性和包容性。
5. 结语
个性化推荐算法作为与社会生活息息相关的新兴信息科技核心，是传统媒介发展的必然产物，个性化推荐算法的出现改变了电子商务平台的运作模式，也改变了我们的生活样态和生活习惯。技术的发展始终是一柄“双刃剑”，个性化算法的本质和法律属性致使其产生诸多法律风险，由于法律的滞后性等因素，对于这些法律风险的规制是必要的。也正是由于其本质属性，导致对于个性化推荐算法的可问责性仍然较弱，这就需要进一步从各个视角展开系列的规制困境举措分析。
也必须承认，具体措施的提出虽然能够为个性化推荐算法的法律困境提供解决的一些方案，从而为电子商务的进一步发展提供改善路径。然而，要想从根本上解决问题，确立正确的方向远比迅速提供具体措施来得更加重要，那依赖于实践者和立法者共同的长久努力。
NOTES
1人工智能AI (Artificial Intelligence)是指通过模拟人脑思维，由机器或软件所表现出来的具有推理、记忆、理解、学习和计划的类人化智能，它能够思考自己的目标并进行适时调整，甚至将拥有足以匹敌人类的智慧和自我意识的能力。而IA (Intelligence Augmentation)则是一种智能增强，尽管它也会有自主学习、自然进化等功能，但仍是按照人类输入的代码指令和数据算法，来复制、模仿、模拟人类的行动，以帮助人类挖掘和拓展自身潜能。因此，从一定意义上说，AI可能会取代人类，但IA则不会动摇人类的主体地位。参见马长山：《人工智能的社会风险及其法律规制》，载《法律科学(西北政法大学学报)》2018年第6期。
2算法“黑箱”效应是指由于技术本身的复杂性以及媒体机构、技术公司的排他性商业政策，算法犹如一个未知的“黑箱”——用户并不清楚算法的目标和意图，也无从获悉算法设计者、实际控制者以及机器生成内容的责任归属等信息，更谈不上对其进行评判和监督。
3人权观念已经不能再仅仅建立在传统自然人的基础上，它在很大程度上也要建立在数字化的“信息人”基础上；人权属性已经不再仅仅依赖于人的生物属性和物理空间，它在很大程度上也要依赖于人的信息属性和虚拟空间。至此，智慧社会中的人权便增赋了全新的数字化信息属性，实现了巨大拓展和深刻重塑。参见马长山：《智慧社会背景下的“第四代人权”及其保障》，载《中国法学》2019年第5期。