摘 要：算法决策应用的外部风险具有聚合性和累积性特征,侧重算法行为端,在技术运用过程中向多数不特定群体扩散,将其类型化后包括社会公共利益和实质正义受损、人的主体性地位和合法权益受挑战两方面。外部风险不同于一般侵权行为的损害后果,无法适用传统归责原则。为了有效促进算法技术和监管的良性互动,以公共治理路径为视角,将算法决策嵌入网络社会架构中分析当下治理的局限性,并提出较完善的治理方案。在思路上,应遵循分类分级的精准化治理方法,选择“软”“硬”法为协同治理工具,坚持安全和发展并重的治理理念。在路径上,应着眼于算法决策应用的生命全周期,用算法解释机制解决算法备案制失灵的问题,以风险比例确立算法决策系统的分类与规制方向,并以平台为主体多途径构建算法综合性问责体系,形成治理合力。
关键词:算法决策;风险规制;公共治理;分级分类;路径完善;
Research on the External Risks of Algorithm Decision-making Application and its
Public Governance Path
SUN Yue-yuan
School of Civil and Commercial Economic Law,China University of Political science and Law
Abstract：The external risks of algorithmic decision-making and application have the characteristics of aggregation and accumulation, focusing on the behavior of algorithms, spreading to most unspecified groups in the process of technology application, and including the damage to social public interests and substantive justice, and the challenge of people's subjectivity and legitimate rights and interests. External risks are different from the damage consequences of general torts, and the traditional principle of attribution cannot be applied. In order to effectively promote the benign interaction between algorithm technology and supervision, this paper embeds algorithmic decision-making into the network social architecture from the perspective of public governance path, analyzes the limitations of current governance, and proposes a more complete governance scheme. In terms of thinking, we should follow the precise governance method of classification and grading, choose the “soft” and “hard” methods as collaborative governance tools, and adhere to the governance concept of paying equal attention to security and development. On the path, we should focus on the whole life cycle of algorithm decision-making application, use the algorithm interpretation mechanism to solve the problem of algorithm filing system failure, establish the classification and regulation direction of the algorithm decision-making system with risk ratio, and build a comprehensive accountability system for algorithms with the platform as the main body and multiple channels to form a governance synergy.
Keyword：algorithmic decision-making; risk regulation; public governance; classification and grading; path improvement;
引言
算法决策是包含特定意涵的建构性统称,其指涉对象是多元的。我国《个人信息保护法》将算法决策定义为“利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,通过计算机程序自动分析、评估并进行决策的活动”。 1算法决策由三个基本因素组成:训练系统的基础数据、运算逻辑以及人类与之交互的方式。2000年之后,互联网成为点对点的互动平台,网络行为摆脱了单纯的虚拟性,被赋予更多社会和法律意义。在此背景下,算法决策由最初的基于数据库编码而进行简单的决策进化到基于机器学习的决策,并正逐渐向基于神经网络的超级算法决策演进。 2大数据和机器学习模型结合,使得算法决策主动探索规律和识别模式,自主学习规则并建立决策模型。例如,谷歌和斯坦福大学的一个深度学习系统在尚未被人为定义图像中物体的情况下,学会自主地对图像中的物体分类。 3但因数学逻辑带有机械性,若缺乏对人性和社会环境的综合考虑,盲目追求经济效率,可能会损害社会公共利益和实质正义,造成决策相对人经济利益损失或人格利益受损。如何促进算法决策合理利用是保障数字社会平稳运行的题中之义。
算法治理路径主要有公共治理和私人治理两大类,两者区别是治理主体、治理方式及治理效率的不同。 4公共治理主要强调国家公权力机关采取立法或具体行政行为对算法决策进行规范和纠正。 5本文主要以公共治理路径为视角,以实现公平公正、维护社会公共利益为目的,将算法决策嵌入网络社会架构中分析其运行所涉的外部风险,并以此针对性的提供治理方案。
一、 算法决策应用的外部风险分析
随着对社会系统和个人生活的全方位渗透,算法决策转变为社会建构力量,重塑社会结构,算法社会已然来临。 6在享受算法带来的高效率治理、社会数字化转型加速等成果时,也需要对应用风险及异化保持警觉。根据应用风险的形成条件、危害后果和归责机制的不同,本文突破传统部门法的界限,将算法决策应用的风险分为内部风险和外部风险,并从法与技术融合的视角针对性地对外部风险作类型化探讨。
(一)算法决策应用的外部风险概念辨析
为了更清晰地判断算法决策外部风险的概念范围,需要与内部风险从形成条件、危害后果和归责机制三方面作区分。首先在形成条件方面,外部风险主要在算法系统技术过程中向外扩散,内部风险主要指该风险在具体场景下的实现,即具体侵害结果。其次在危害后果方面,内部风险即一般侵权行为,有具体的损害结果。例如私人主体利用大数据技术超范围获取人脸等生物识别信息而精准营销,侵害公民个人信息权益和隐私权;搜索引擎服务商竞价排名,刊登虚假误导信息,侵害公民生命健康权。 7而外部风险是算法大规模应用后给个人和社会带来累积性消极影响,尚未侵害某种既定法益和权利,具有模糊性、累积性和抽象性,典型如算法操纵、算法歧视和算法黑箱等。最后在归责机制方面,内部风险带来的损害结果尽管赋有新技术特性,仍可落入侵权责任、信义义务乃至刑事责任范畴,多数可依照合同法对合同相对方,即算法服务提供者进行直接问责。 8如因样本偏见、程序错误等原因致使算法系统输出错误结果等,可直接落入传统部门法既定的权益框架。 9然而穿透至合同关系之外,容易被忽视的是算法决策应用的外部风险,无法根据传统部门法责任框架追责。但外部风险会对整个社会带来“群体危害”,尽管个案较轻微,但具有聚合性和累积性,其影响更为广泛和深远。有学者将其与英美法系中的“公共妨害”相类比,认为其不同于一般侵权行为且受害人范围更广、数量更多。 10例如,社交媒体利用推荐算法造成受众“信息茧房”,征信评分体系用算法决策进行贷款、投资等金融方面的信用状况评估,这都体现出了算法决策对公众群体的危害。 11综上,算法决策应用的外部风险是指侧重算法行为端的,在技术运用过程中向多数不特定群体扩散的,无法适用传统归责原则的具有聚合性和累积性的风险。以此内外部二分法为基础,有助于进一步针对外部风险作类型化分析。
(二)外部风险类型化分析
1.损害社会公共利益:加剧不公
“公共利益”的内涵和外延是抽象和模糊的,中国法项下尚不能给出精确的定义或界定清晰的范围。尽管没有形成通说的认识,但算法决策对公共平等、福利、安宁等的侵扰,无疑减损不确定多数人的利益。例如,美国2007年DeHoyos诉Allstate Crop公司一案中,原告指控该公司违法地使用特定决策系统使得少数种族的保险评分受到影响。 12算法黑箱隐藏社会偏见和歧视的程度可见一斑。算法决策固化社会不公的根源在于其本质是对未来的预测。从方法论角度,算法决策的逻辑内核是用归纳的方法,对过往经历的分析概括,并以此预测未来。这种逻辑模型并非从规范到事实的推理,隐含了对现有社会的肯定和承认。有学者认为,“算法系统的运作机制是从大量行为主体的历史实然行为向应然规范转变”。 132018年英国发布的《人工智能发展的计划、能力与志向》认为由于人类历史产生的固有歧视,数据库越精准地刻画社会现实,其产生歧视性结果的可能性就越大。 14一个先天具有性别歧视的社会,其决策预测系统产生的运算结果也一定是具有性别歧视的。法律规制算法的目的就是让算法服务提供者尽可能承担部分社会成本,减轻算法决策对社会福祉的影响,最终形成算法和社会的良性互动。
2.个体尊严和价值被挑战
当算法决策开始重新勾勒个体的品质、状况、行为举止时,人的尊严将受到技术的挑战。个体无法和海量数据相抗衡,独立的个体变为了符号和代码。大型互联网平台持续、单向地对用户个人监视,并且以难以察觉的方法,例如针对行为评分、设定奖惩制度等,精准刻画后建立起完整的评价体系,预测和调整个体的行为轨迹,以期获取收益并控制市场。用户成为决策演算的对象。行政系统同样凭借自动化决策实现对个体日常行为的评价和约束。 15对社会个体的评价系统已广泛而深刻地嵌入民众生活,并重塑着现有的权力体系。技术的发展不是最终目的,人是目的而非手段,人的发展才是技术发展的最终目的。 16作为来源于宪法的最高价值,人的尊严是衡量社会规范和人与人平等关系的尺度。无处不在的算法决策将个体视为决策工具和信息源,对社会的公平、正义以及尊严等人权提出了严峻而广泛的挑战,社会的根本价值取向随着技术的扩张而弱化。 17
综上,技术权力和资本力量相结合而产生的新经济样态以不可逆转的巨大力量,将个体卷入其中。如何通过算法治理来保护个体的合法权益,是大数据时代需要解决的棘手问题。算法决策应用的外部风险无法适用侵权责任请求权,个体难以通过民事诉讼等私人治理途径维护自身权益。侵权主体、损害后果及因果关系均难以证明,受害人面临难以确定自身利益受损和虽确定利益受损但难以举证的前后双重困境。 18以法经济学的评价性分析方法考察公私治理的效率,公共治理的成本显然更低,效率更高。故而本文聚焦于算法决策的公共治理路径的完善。
二、 法律介入算法决策外部风险的正当性基础
算法决策的公共治理路径必然要求对其地位、本位及其权力化趋势予以深入理解,以应对其风险外部弥散化后带来的冲击。实践中关于法律是否应介入算法决策的外部风险的争论此消彼长,技术中立论、企业自主经营权等便是私营部门逃避监管的抗辩理由。本文拟从对技术中立论的批判、算法决策权力的演进和算法决策的公共属性出发,论证规制算法决策外部风险的正当性基础。
(一)技术中立论的理论罅隙
技术工具论认为技术是价值中立的,技术本身与其可能的使用情况是相分离的。 19鉴于此,该观点认为算法决策本质在于其功能性,并无义务承担后续公平和正义的问题。只有当其产生危害后果,使决策相对人的人格利益或经济利益受损,或对公共利益产生危害时,法律才能介入并对危害后果进行评价。本文认为,技术中立论忽视了算法技术本身特殊的责任能力,且算法决策的特征及属性决定其不再是纯粹的技术工具。算法决策在合同相对性之外具有侵害不特定多数人的利益之虞,引发非正义的外部风险,因而法律介入具有正当性基础。
对技术中立论的抗辩最早起源于美国的版权侵权抗辩领域,如2005年著名的“Grokster案”。Grokster案涉及网络环境下个人用户未经许可对于版权作品的传播和利用,被告为这种行为提供帮助的技术中立的抗辩并不成立。 20当下,基于机器学习的算法决策正逐渐向基于神经网络的超级决策演进,算法决策进化到更复杂的阶段。 人类的介入使算法决策有了人机交互的本质。因此,很难认定算法决策具有完全的中立性。
算法决策的概念包括技术意义和社会意义两大特定意涵。技术意义是指算法决策基于数学原理而具有的技术理性,而社会意义则受制于技术水平和社会语境。 21算法属于社会价值判断的一部分。 22在相关性推荐的场景下,商业主体坚持算法技术中立的根本目的在于追求最大化的经济效益。“算法隐藏着设计者的立场”,即实现最大点击量和推送量,追求利益的最大化。 23蒋舸教授认为,算法设计中体现了设计者大量的选择、安排与价值观,并非完全中立的产物。技术的市场化运用是精准的利益计算和取舍的结果。 24美国《大数据报告:算法系统、机会和公民权利》中分析了商业领域(如信贷求职等)中自动化决策系统的主观性问题:尽管算法的底层逻辑依靠数据,但由于输入的数据和算法系统,结果并非绝对客观和正确。若认为商业算法决策是价值无涉的领域,将关注点置于危害后果而非算法应用的生命全周期,仅依靠单薄的事后救济手段可能会进一步加剧市场乱象。由此,对算法决策外部风险的控制需要在法律实践中落实。
(二)算法决策的权力化趋势
哈贝马斯认为,凡是特定主体拥有的足以支配他人或影响他人的资源均可称之为权力。 25技术依靠自身的客观结构和发展逻辑,是服务于人类社会的工具,并不具有权力的属性。但若技术对社会资源具有直接的调配能力,直接输出行为规范,影响个体的重要权益,便产生权力化趋势。算法决策这种新型技术权力通过大型互联网公司等网络服务提供者的渗透扩展为社会建构力量,重塑社会结构。算法权力追求效率优先的技术理性,而传统权力追求道德理性和正当性,两者必然会产生失衡关系。 26
有学者将此新型权力称为“准公权力”,意味着算法决策突破了“权力—权利”的模式,使掌握技术力量的第三方加入到原有公民私权与公权的对抗中,权力不平衡加剧。 27具体而言,算法决策主要通过三个层次发挥其调配资源的技术权力:第一层是设计层,指决策代码编写者通过编写、测试,生成决策模型;第二层是应用层,企业在平台上部署应用自动化决策;第三层是自主学习生层,自动化决策自动生成决策模型并直接输出决策结果。技术壁垒和决策黑箱使人类无法得知其决策流程,而技术的不可知性和自主性将会导致少数科技精英对于人类的全面控制。 28技术权力的迭代更新促使社会进入监控资本主义时代(Surveillance Capitalism)。 29电商平台、社交媒体等作为第三主体以浸入型的架构特点重塑社会关系。用户进入架构系统,其产生的数据在系统内共享、延伸,无时无刻不在被监控。纵然算法决策可以高效率地改善用户的生活,但其仍以利益最大化为最终导向。如若不加以约束和监管,个体终将沦为商业自动化决策统治下的工具,行为、意识、认知和情感被无形操纵。为了将算法权力异化的风险控制在合理范围内,需要法律从制度意义上规范算法决策,使其在程序和价值的约束中发挥功用。
(三)算法决策及平台的公共属性
算法决策及平台的公共属性可以分两个层次理解。首先,数据作为数字社会运行的基础,具有公共属性,不仅是决策处理的对象,也是公民和社会的利益所在。算法决策的输出结果直接影响个人的财产或人格利益,具有公共属性。 30其次,通过已搭建的网络平台,大型互联网服务提供者已然不仅有纯粹的商业属性,而且兼具一定的公共性特征。有学者认为,应当以公法的视角看待大型互联网平台的公共性属性。并且将公法的原理及价值要求嵌入平台治理路径中,适度介入平台行使私权力的行为。 31
平台通过制定大量的规则和协议,事实上承担起了维护市场秩序的角色。用户进入平台就意味着需要遵守相关的制度和协议,违反就会被平台制裁。例如在格兰仕诉天猫一案中,格兰仕认为天猫的搜索系统严重异常,使其销量严重受影响。 32尽管本案格兰仕最终撤诉,但平台追求经济效益而肆意用算法决策系统损害决策相对人利益的情形可见一斑。算法决策作为平台架构的核心技术系统,起到维持和加强平台运营规则的作用,并且借助算法决策单方面强制性的运行规则和权力架构,直接输出行为规范。由此,法律需要回应诸如算法决策等新兴科技的挑战,削弱算法外部风险对法律价值世界的冲击。
三、算法决策外部风险的公共治理路径局限性分析
2021年9月国家网信办联合九部委印发的《关于加强互联网信息服务算法综合治理的指导意见》(以下称《指导意见》)中提出了算法安全治理的总体目标是在三年内逐步建立“治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局”。算法安全机制构建离不开政府、企业、行业组织和网民等各方主体的协同治理。算法公共治理随着算法新规 33的出台日渐成型,并结合既有监管经验,可以对相关主体形成明确指引。以国家网信办为治理主体,以算法服务为规制对象的公共治理结构正在形成,但实践中脉络尚未梳理清晰。 34现有的公共治理路径的局限性具体可梳理如下:
(一)前置监督:算法备案制的现实失灵
算法决策相对人和部署者之间的技术障碍日趋显著,计算机语言的独特编写使得非专业人士无法理解其运行机理。作为算法透明度原则的延伸,算法备案制度被认为打破算法黑箱的重要事前监督工具。《互联网信息服务算法推荐管理规定》(下称《算法推荐规定》)第24至26条详细规定了算法备案制度,与我国《个人信息保护法》第24条关于自动化决策透明度的要求一脉相承。 35此外在国家网信办《区块链信息服务管理规定》等法律文件中也对诸如区块链等创新型技术提出的备案要求。根据《算法推荐规定》,算法备案是义务人向监管机构备案算法信息的行政事实行为,不对备案人的权利义务产生直接影响,主要为了发挥防范和管控的职能。 36若义务人未履行备案义务,若通过隐瞒有关情况、提供虚假材料等不正当手段取得备案的,需要承担相应的法律责任。 37
尽管《算法推荐规定》将算法备案义务主体范围限缩为“具有舆论属性或者社会动员能力的算法推荐服务提供者”,并非全部算法决策部署者,但具体实践中仍面临现实困境。其一,算法发展速度极快,基于机器学习的算法决策正逐渐向基于神经网络的超级决策演进,不断进化到更复杂的阶段。将处在时刻更新状态下的算法依法备案对义务人来说无疑具有巨大的现实难度。其二,我国算法备案制度以算法分类分级为基础,包括生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等五类算法。算法种类繁多、形式多样,给推进算法备案工作带来了诸多困难。有学者认为这种拘泥于特定算法类型的分类分级会进一步增加无效的算法备案成本,难以适用现有的算法技术。 38例如欧盟仅是在人工智能领域设定算法备案义务。其三,算法备案制度是否有流于形式的风险有待实践考证。神经网络算法和机器学习使得开发者有时也无法充分解释算法。即使进行依法备案和说明,监管机构若不具有专业技术能力可能无法理解其具体含义,事前监督更无从谈起。如何构建切实有效的算法应用事前监管制度,需要进一步优化算法备案思路。
(二)事中监管:检查监督制度空泛化
作为算法事中监管的重要一环,算法检查工作是指网信、电信、公安、市场监管等有关部门“主动出击”,发现算法部署和使用等应用环节的缺陷和漏洞,研判安全风险后,及时提出整改意见并限期整改。 39监管机构对算法推荐服务依法开展算法监督检查工作,也是《指导意见》要求的算法安全监管体系中四项举措之一。具体而言,监督检查工作可分为现场检查和线上监测,两者互为补充。《算法推荐规定》和《指导意见》对相关部门设定了很高的监管职责,有助于正向激励监管部门提高技术治网的能力和水平。但同时,较高的监管要求也对各项监管措施的落地带来挑战。且不论算法技术的复杂性和风险的隐蔽性,监管部门需要有强大的技术能力和资金支撑,投入巨大的成本,以保障监督检查工作的开展。薛军教授认为应对算法技术的飞速迭代就要有持续的技术创新来动态监管,但一般的监管主体很难独自承受技术更迭的成本。 40除了一线经济发达城市外,多数地方部门可能并没有与其相匹配的监管能力。在监管压力下,地方政府部门希望通过与相关互联网平台企业合作推进监管,但一旦平台介入,监管效果或许会大打折扣。另一方面,目前尚未有常态化的监督检查机制,算法监督检查工作的启动往往从社会媒体反映强烈的某些算法乱象入手,检查互联网信息服务提供者是否存在涉算法违法违规行为。这导致多数企业在日常部署算法过程中存有侥幸心理,意图规避监管。
(三)事后问责:责任边界模糊
算法决策应用的外部风险的背后,有着复杂的法律关系和数个潜在责任主体,难以认定算法运营商或研发者具有主观过错。在司法实践中,我国法院惯常做法是将算法决策认定为商业秘密,并定义为“产品”。 41例如,云脉技术有限公司诉厦门市图睿信息科技有限公司一案中,一审法院和二审法院均认定该案属于侵害商业秘密纠纷,而云脉公司主张二代身份证识别软件核心参数特征的算法公式的系数是商业秘密,其技术的具体确定及侵权行为能否成立还需实体审理。 42但算法和其产生的决策结果性质并非一致,司法实践中尚未厘清算法、算法服务和决策结果之间的联系与区别,导致法律适用的混乱。 43
深度学习使输出的结果有一定的自主性,甚至可以自我改良到完全偏离其开发者预设但尚未获得独立法律地位的地步。这在某种程度上造成了传统“行为—责任”的逻辑链条的割裂,导致行为人和责任人相分离的认定困境。过往的平台等商业主体的注意义务仅是简单的“知道或应当知道”,使得法律规制的对象十分有限。 442021年1月1日实施的《最高人民法院关于审理利用信息网络侵害人身权益民事纠纷案件适用法律若干问题的规定》第6条规定,如果侵权网络信息是以自动化决策方式推荐,则企业可以认定为不知道或不应当知道。 45这无疑加大了在新闻等相关性推荐领域算法决策的问责难度。企业可以此避免承担法律责任,逃脱监管。
四、算法决策外部风险的公共治理逻辑
算法决策提高了效率,也带来了成本外部化。在算法外部风险的治理领域,首先要厘清治理逻辑,从观念和方法层面提出治理活动应当遵循的基本要求,能有效弥补法律滞后性的缺陷。外部风险的治理逻辑已发生深刻变革,有普遍性的治理需求(如保证算法决策安全可控、提高透明度和科学性等),也有个性化、场景化的适配要求。本文以欧盟为代表性立法样本,在对比挖掘域外制度核心优劣后,认为在思路上需要遵循分类分级的精准化治理方法,选择“软”“硬”法为协同治理工具,坚持安全和发展并重的治理理念。
(一)以分类分级为精准化治理方法
2021年9月国家互联网信息办公室印发的《关于加强互联网信息服务算法综合治理的指导意见》中明确提出了风险防控和算法分级分类安全管理的要求,强调了对高风险类算法的有效识别。 46此为国内首次提出“算法分级分类”这一治理方法,与国际算法治理潮流相呼应。欧盟《通用数据保护条例》(GDPR)第22条首先将算法决策分类,即完全自动化决策和自动化辅助决策,以此构建了整个立法环节的支点。完全的自动化决策采取的是一般性禁止,仅在第22条规定的例外条件下可以实施。 47欧盟进一步将完全自动化决策解释为完全基于自动化的处理,决策制定过程中没有人为干预,并产生法律上的或近似重大的影响,以此为一般性禁止适用的条件。 48在算法分级方面,欧盟基于风险比例的方法,将人工智能系统分为不可接受、高风险、有限风险、最小风险四个风险等级,提高了监管的精准度和灵活性。 49尽管欧洲数据保护委员会(EDPB)和欧洲数据保护专员公署(EDPS)随后质疑了该分类的合理性,认为高风险清单遗漏了健康医疗研究领域。 50但其提出的分级方法对我国算法决策外部风险治理仍具有借鉴意义。正如学者所论,治理活动需要某种特定的场景被建构起来。 51以分级分类为规制方向可以精细衡量算法监管的经济后果,有效平衡安全与发展的问题。算法决策的外部风险治理需要根据相关风险强度分别制定不同的规则和合规要求,力图构建可信的人工智能框架。于我国而言,尚未有明确的法律规范对算法决策进行源头分类,《算法推荐规定》也仅从算法的功能效用出发概括性地提出分级分类的要求。未来不妨借鉴欧盟的算法分类方法,通过出台规范性文件、行业标准等明确细化算法分级分类的可操作标准。
(二)以“软”“硬”法为协同治理工具
针对算法决策应用的外部风险,其公共治理逻辑的另一重要支点是建立“软法”“硬法”兼具的协同治理体系。单独依靠以国家为中心、强调命令和控制的“硬法”模式无法有效地应对算法嵌入式风险。并且当立法决策缺乏可参考点,立法活动带来的预期法律成本过高时,应当以标准作为更有效率的规制方式。以算法技术标准为代表的“软法”治理有助于在技术开发阶段、事后追责阶段建立完整的可通约性路径规划。 52
我国自2018年以来,由政府、行业推动形成了一些初步的算法治理标准。2018年中国电子技术标准化研究院编写的《人工智能标准化白皮书》,再到2020年《国家新一代人工智能标准体系建设指南》的出台,旨在引领人工智能产业全面规范发展的新格局。此外针对具体信息技术,中国区块链技术和产业发展论坛发布的隐私偏好平台(Platform for Privacy Preferences)以其缩写为名制定的P3P 标准、因特网内容选择平台(Platform for Internet Content Selection)以其缩写为名制定的PICS 标准等。 53《数据安全法》《个人信息保护法》亦多次提出建立和完善数据安全标准体系以及与人脸识别、人工智能等新技术、新应用相关的标准体系。算法标准作为软法治理工具可以有效结合价值与技术层面的要求,为算法设计提供具有一定综合性和清晰度的规范框架,为我国率先建立有广泛共识的国际标准规范起到重要作用。
技术标准是典型的“软法”,其重要程度不亚于“硬法”。法律规则与技术标准如同机之两翼,两者需共同协调作用于算法治理。我国目前算法治理的框架结构制定现状不甚合理,主要表现为协调性不足。两者在效力等级、涵摄范围有显著区别,这决定了两者良性衔接的重要性。法律规则是显性的强制性规则,直接输出行为规范;而技术标准一般不具有强制力,对算法进行隐形约束。法律规范与算法标准应对于基本的术语定义和概念解释有效衔接融合,未来应探索多方参与的标准制定机制,推动算法治理标准化和法治化的良性衔接与融合。
(三)坚持安全与发展并重的治理理念
随着我国移动互联基础设施的大力建设,算法决策技术的应用场景和频次不断拓宽加深。算法决策是加速海量的用户数据开发利用的技术保障,给数字经济高质量发展注入强大动能。是故,在外部风险的治理过程中,始终应坚持利益平衡原则,平衡安全与发展的辩证关系。域外相关立法样本均局囿于技术的安全可控与行业发展的矛盾关系,监管的负外部效应愈加明显。 54例如欧盟希冀为中小企业和初创企业减轻合规成本,在《人工智能法案》中采取多种措施,如为其提供监管沙盒数据优先访问权,建立咨询指导渠道,降低合格评定费用等,以鼓励并刺激欧盟数字经济发展与转型。 55尽管如此,有研究表明欧盟的人工智能法案的实施成本将吞噬欧洲人工智能投资的17%,严重制约欧盟的数字化进程。 562020 年6 月欧盟进展报告显示《通用数据保护条例》严格的实践标准导致初创企业和小型人工智能开发企业遭受打击,过多的上游治理不利于欧洲数字经济的创新和增长。 57当然,这也与欧盟过于依赖严格的数据保护模式有关。
我国基于数字经济方兴未艾的特殊国情,可以在欧盟经验的基础上积极探索算法风险分级为基础的安全治理规范体系的研究,采取平衡、适当的监管理念,促使算法服务健康有序发展。在强调人工智能系统安全性的基础上,避免过度限制或妨碍技术发展。就治理措施而言,需要通过精准治理,以最低限度、必要手段介入算法决策的风险问题,平衡发展和安全治理之间的内在冲突。
五、我国算法决策外部风险的公共治理路径完善
包括加剧社会不公和减损个体价值在内的外部风险已成为各国算法治理的重要考量和监管趋势。随着《数据安全法》《国家新一代人工智能标准体系建设指南》等重要法律及政策出台,我国也正在针对算法形成全面覆盖“硬法”和“软法”的治理体系。算法决策外部风险的公共治理是一项面向整个技术生命周期的系统性工程,需要在各个阶段精细化部署。
(一)前置措施更新:以算法解释机制替代算法备案制
虽然《算法推荐规定》是针对算法推荐应用场景的治理尝试,但其中实体规则和程序体系具有一定的普适性。《规定》提出的算法备案制意味着巨大的监管成本,局囿于现实经济发展状况,恐无法发挥其理想功效。是故,结合域外相关经验,本文建议以算法解释机制,替代原有的备案制度,作为算法治理的前置监督程序。
算法的可解释性被认为对建立算法问责制、促进技术伦理向善和追溯责任主体方面具有重大的制度价值。面向监管机构的算法解释机制指以精确的方式和人类可理解的方式作出的算法决策理由解释,用以监管部门验证其遵守了法规与政策的要求。以算法解释机制代替备案制有以下几点制度优势:其一,可以节约大量不必要的监管成本和企业合规成本,便于监管部门集中力量打击反映强烈的涉算法违法违规行为;其二,算法解释程序的启动由监管部门自行决定,或由民众投诉、举报而开启。此种灵活机动的监管措施不仅不会遗漏违法行为,又能激励和督促大型互联网企业共担算法决策监管责任;其三,算法解释机制以结果为导向,不同于以干预为导向的备案制,两者解释的内容和深度截然不同。以干预为导向的备案制仅需要企业提供名称、服务形式、应用领域、算法类型、拟公示内容等信息, 58并不具有针对性,无法为后续的事件调查提供实质性帮助。而以结果为导向的算法解释机制意味着要深入解释决策的内部运作机制,即要说明数据“输入”和结果“输出”的对应关系。如此使即使没有技术背景的监管部门得以追溯算法决策。
在具体程序设计上,算法解释机制作为备案制的替代,同样应是一种要式行为,并以书面形式作出。算法服务提供者应监管部门要求作出算法解释时需要满足程序性标准和实质理性的要求,包括解释的客体完整——不仅需要包含其内在逻辑、标的权重和输入数据等,还需要算法价值取向等信息。 59在具体实践操作中,可以由主管部门提供统一的格式解释文本,企业应按要求如实填写。此外,平台提供的算法解释还有固定证据的作用,可以帮助监管部门获取并固定具有潜在风险的算法系统的相关信息,为日后执法活动提供资料。
(二)以风险比例确立算法决策系统的分类与规制方向
《算法推荐规定》将算法推荐技术横向分为五大类,纵向分为两级,具有舆论属性和社会动员能力的算法推荐服务提供者应依法进行安全评估和备案。 60《算法推荐规定》的纵向两级分类不但延续了《个人信息保护法》第24条的分级思路,即对“个人权益有重大影响决定”的算法才是个人算法解释权的权利客体, 61同时也与我国《数据安全法》中“重要数据”和“核心数据”的数据分级分类制度相吻合,即以数据或算法所引发的外部风险,而非其自身风险为判断基础。 62五类两级的算法分级分类思路在维持法秩序统一和提高治理敏捷性上具有合理性,但立法颗粒度过大,无法为实践提供明确的指引。例如纵向两级的主体划分仅在算法备案义务上有所区隔,其他义务均无差异地一体适用,不免增加监管部门的监督成本和私人主体的合规压力。
本文认为,监管部门应进一步精细化算法分类分级制度,以风险比例为基础设置与之相应的保护水平和规则。具体而言,首先可以借鉴欧盟GDPR第22条的规定,根据算法自主性程度不同,将其分为完全的自动化决策和辅助型决策,并配置不同的监管重点。其次,在法益均衡原则下,根据算法决策引发的外部风险程度分为低、中、高三个层级,并重点关注高风险算法决策的治理防范。关于风险范围的界定,国内外尚未有定论, 63本文建议可以行业属性和影响属性为界定标准,借鉴2021年9月施行的《关键信息基础设施安全保护条例》中以列举方式划定重要行业和领域,辅之以“可能严重危害国家安全、国计民生、公共利益”的影响属性的认定规则。 64欧盟《人工智能法案》重点对包括关键基础设施、教育、就业、公共服务、出入境问题等具有高风险的人工智能产品和服务实施上游治理防范,规定了严格的前置审查程序。综合上述思路,算法风险分级的首要工作是将较易引发风险的行业和领域分级,如涉及个人信用评分、公民福利和教育就业等属于高风险领域,此类算法决策会对个人权益产生显著影响。接着辅之以影响属性判断,如可能对公民人格权或财产权产生重大影响的属于高风险算法决策系统。低、中风险的算法决策系统如垃圾邮件识别系统等,若对社会公共利益和用户权益的影响并不显著,应尽量避免过多干预,并鼓励算法服务提供者自愿作出承诺,应用高风险算法的监管要求。综上,本文建议相关部门应加快出台实施细则和相关国家标准,采取以风险比例为基础的规制方向和分级制度,依次确定算法监督审查的介入程度。
(三)精细化设计算法决策系统的影响评估机制
影响评估是基于风险的治理模式(risk-based approach)中的关键环节,也是预防原则在算法决策中的具体表现。无论是算法运营商还是决策相对人,都无法全面预料算法决策的外部风险,由此,算法系统需要既得利益者等多方主体参与评估。 65有学者认为风险评估不限于某一阶段,而是全流程覆盖,且随着风险类型和强弱进行动态调整。 66对比提炼域外制度构建的核心机理,本文认为对算法决策应用的外部风险评估,应着眼于算法产品研发和应用过程中,检验算法设计的科学性和合理性,从而有效控制算法决策应用的外部风险。在系统运行前就全面预估所涉影响及风险有助于后续跟踪算法系统的潜在偏误。欧盟《人工智能法案》要求人工智能系统的供应商应在系统上市前进行合格评估(conformity assessment procedure),由评定机构对人工智能系统是否满足法案第二章所规定的各项要求进行验证。 67
针对系统运行中的影响评估,应以要求企业备案评估报告为主要监管措施,尽可能减少过度监管对技术创新和行业发展的消极影响。欧盟《人工智能法案》主要针对高风险类应用设置了年度评估要求,特别强调若发生实质修改,应重启新的评估程序。美国2022年2月的《算法责任法案》要求联邦贸易委员创建自动化决策系统的公共存储库,记录自动化决策系统的评估报告、数据源和参数等。 68加利福尼亚州2022年第2269号《自动化决策系统问责法》同样要求相关企业向加州商业监督部提交关于ADS使用影响评估结果的年度报告。如果企业对ADS进行了任何重大修改,需要重新进行ADS风险影响评估。 69虽然欧美在制度的微观设计上有所不同,其核心目的都在于通过较灵活的风险评估要求,系统评估对个人和社会的潜在影响,为公共治理的开展奠定基础。 70当下,我国监管政策中缺乏对算法影响评估的量化标准和精准设计,未来应秉持结构细分、精度量化的设计思路,强调开展算法决策影响评估的同时,保护被监管者的创新动力。
(四)以平台为主体多途径构建算法综合性问责体系
前文已论述,算法决策的外部风险增加了个体被操纵、歧视与社会排挤的可能性,加剧社会不公,尽管微观侵害较小,但具有聚合性和累积性的特征。算法运行过程的不透明和治理规则的不易解释,使得廓清技术、平台、研发者和使用者间的责任变得十分困难。若无法确定责任主体,放任平台以技术中立和算法黑箱为由逃避监管,则治理措施都将失之空泛。鉴于法教义学的因果关系理论无法适用算法外部风险的归责原则,可通过将产生外部风险的算法行为(如算法操纵等)规定为行政违法行为的方式,无需以风险现实化为前提。 71通过前置算法解释机制固定问责点,多途径构建综合性问责体系,促进技术措施、法律和公共政策之间的协作。
算法问责既应符合算法技术逻辑,也应符合主客观相一致、责罚相适应的法律原则。《算法推荐规定》首次明确提出了平台企业要承担算法安全的主体责任,这说明我国算法治理穿透了平台运行的算法技术面纱,直接指向背后的算法责任。 72认定平台主体责任的根本依据是判断平台的主观过错及是否尽到合理的注意义务。算法问责的前提是要求某个特定的决策可以追溯并可被验证。上文已论述算法解释机制作为前置监督程序的合理性,此外,算法解释机制要求包括结果解释和逻辑解释,能对平台事前和事中的问责点进行固定,以有效判断平台是否进到合理注意义务及主观过错认定。
欧美学者在问责方面基本一致认为传统法律责任认定体系需要因为算法决策而改变。 73美国有学者认为,在适用产品责任之余,部署和研发决策系统的相关人承担损害赔偿责任,法院应审查决策及系统是否合理。 74也有学者认为,无需改变责任认定规则,采用目的性解释的方法确定是否适用产品责任。 75而国内有观点认为,算法侵权责任机制的构建前提是判定算法模型的相关关系。 76当算法决策产生侵权后果时,传统的判定损害后果和侵权行为相关性的认定标准,即必然性和盖然性因果关系,已无法适用。算法决策和用户通过计算机技术的交互作用,用户也可以参与、监督或干预决策过程,因此很难判断具体的纠纷产生原因。因此决策是否合理,即相关性的强弱,决定了是否需要承担责任。 77如若相关性较弱,即决策模型不合理,则需要向决策相对人的合法利益受损情况承担损害赔偿等责任。
当下,我国坚持算法安全与发展并重,为了发挥算法技术对人工智能产业等行业经济裂变的革命性作用,应坚持平台的主体责任,不应使研发者背负过多注意义务。例如在美国Batcherlar诉Interactive Brokers公司一案中,投资者Batcherlar指控该股票经纪公司违约。该投资人的账号因为股票经纪公司的算法决策系统错误而被强制平仓。“法院驳回了原告部分诉讼请求,但将指控存在过错的请求退回审查”。 78单纯要求研发技术的互联网平台或企业通过自我约束或行业自治来实现决策的公正正确显然是不现实的。构建完备的决策问责体系需跨多个学科和领域,调动各个主体的积极性,在沟通协作中实现最终的责任分配和风险承担。
结论
算法决策应用的外部风险不同于一般侵权行为,可能会引发社会公共利益受损和对不特定多数人合法权益受侵害的危害后果。算法决策本质是社会价值判断的一部分,隐藏着平台的主观意图,不可适用技术中立的抗辩。算法技术逐渐产生权力化趋势,对社会资源具有直接的调配能力,算法平台也具有准公共平台的属性。然而当下我国公共治理路径面临诸多局限和挑战。鉴于此,算法决策的公共治理应着眼于算法决策应用的生命全周期进行重新规划,用算法解释机制解决算法备案制失灵的问题,并借鉴域外既有治理经验,以风险比例确立算法决策系统的分类与规制方向。在事后问责方面以平台为主体多途径构建算法综合性问责体系,让多方主体参与其中,形成治理合力。算法决策的外部风险治理是一项复杂而长期的工程,需要在算法安全与技术创新、部门监管与行业自律等多重利益衡量之下,逐步建立监管治理机制健全、算法生态规范的算法综合治理格局。当下,以欧美为代表的世界多数国家率先开展人工智能监管立法,抢占全球算法治理规则主导权。我国应在挖掘域外先进经验基础上,构建符合中国特色的算法治理体系,在世界数字化转型进程中贡献中国智慧。
（全文共14,602字）
注释
1《中华人民共和国个人信息保护法》第69条第2款规定:“自动化决策,是指利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,通过计算机程序自动分析、评估并进行决策的活动。”
2它使用一类特殊的算法:人工神经网络算法。人工神经网络在组成原理和功能特征等方面和计算机系统截然不同。它不是依据既有的运算程序,而是像人脑一样适应环境、总结规律、完成运算、识别或过程控制。
3See R.D.Hof,Deep Learning,MIT Technology Review,Jan.2019,p.129.
4算法私人治理是指公民、企业等私权主体依法对算法进行治理的行为,比如企业对自己开发的算法进行修改完善,公民对政府或企业的算法行为提起诉讼等。
5参见尹锋林、李玲娟:《算法私人治理的三个维度:主体、内容与方式》,载《理论月刊》2021年第3期,第41页。
6参见黄静茹、莫少群:《算法监控的逻辑理路、伦理风险及治理路径》,载《南京社会科学》2022年第6期,第130页。
72016年魏则西在百度上搜索出排名靠前的武警北京第二医院的生物免疫疗法广告,随后在该医院治疗后致病情耽误而逝世。百度随后接受有关部门的调查,并整改医疗行业广告。
8例如2020年国内人脸识别第一案中,原告认为动物园收集人脸信息违反了已签订的采用指纹识别入园方式的服务合同,要求动物园删除收集的人脸识别信息并得到法院判决的支持。
9参见王莹:《算法侵害责任框架刍议》,载《中国法学》2022年第3期,第167页。
10参见唐林垚:《算法应用的公共妨害及其治理路径》,载《北方法学》2020年第3期,第53页。
11参见姜野、李拥军:《破解算法黑箱:算法解释权的功能证成与适用路径——以社会信用体系建设为场景》,载《福建师范大学学报(哲学社会科学版)》2019年第4期,第86页。
12参见陆凯:《美国算法治理政策与实施进路》,载《环球法律评论》2020年第3期,第26页。
13洪丹娜:《算法歧视的宪法价值调适:基于人的尊严》,载《政治与法律》2020年第8期,第28页。
14See House OF Lords of UK,AI in the UK-ready,Willing and Able,Select Committee on Artificial Intelligence Report of Session 2017-19.16 April 2018,p.41.
15参见胡凌:《数字社会权力的来源:评分、算法与规范的再生产》,载《交大法学》2019年第1期,第26页。
16参见朱婉菁:《治理算法化的证成与风险:如何理解人工智能的治理属性》,载《天津行政学院报》2022年第1期,第19页。
17参见李建新:《数字社会人权保护的伦理进路》,载《河北法学》2022年第12期,第128页。
18个体通过民事诉讼维护自身权益的难度较大,侵权主体存在算法开发者、运营商和销售者等多方主体责任交叉的问题。
19参见李雁华、杜海涛:《技术如何“信任”人——算法信任视域下智能风控正义的审思》,载《河海大学学报(哲学社会科学版)》2022年第4期,第41页。
20参见姜荣:《Grokster案:美国版权间接侵权责任判定标准的完善》,载《法律适用(司法案例)》2017年第18期,第117页。
21参见郑玉双:《计算正义:算法与法律之关系的法理建构》,载《政治与法律》2021年第11期,第95页。
22参见丁晓东:《论算法的法律规制》,载《中国社会科学》2020年第12期,第141页。
23参见《人民日报宣言:不能让算法决定内容》,http://opinion.people.com.cn/n1/2017/1005/c1003-29572906.html,2021年4月10日访问。
24参见卢海君:《如何解析算法推荐引发的侵权责任问题》,载《中国新闻出版广电报》2021年第11期,第18页。
25参见[德]尤尔根·哈贝马斯:《作为“意识形态”的技术和科学》,李黎、郭官译,学林出版社1999年版,第6页。
26参见周辉:《算法权力及其规制》,载《法制与社会发展》2019年第6期,第116页。
27参见郭哲:《反思算法权力》,载《法学评论》2020年第6期,第37页。
28参见张凌寒:《算法权力的兴起、异化及法律规制》,载《法商研究》2019年第4期,第64页。
29参见高斯扬、程恩富:《监控资本主义视阈下的技术权力探析》,载《内蒙古社会科学》2020年第41期,第59页。
30See B.H.Raven,Power and social influence,Ivan Dale Steiner&Martin Fishbein (eds.),Current Studies in Social Psychology,Holt,Rinehart and Winston,1968,p.127-145.
31参见刘权:《网络平台的公共性及其实现——以电商平台的法律规制为视角》,载《法学研究》2020年第2期,第43页。
32参见《格兰仕诉天猫案已撤诉双方“握手言和”达成合作协议》,http://xw.qq.com/cmsid/20200629 A0EA9500,2021年4月18日访问。
332021年9月出台《关于加强互联网信息服务算法综合治理的指导意见》后,10月相继出台《互联网信息服务算法推荐管理规定》,这些都是我国首次明确针对算法治理的法律文件。
34参见许可:《算法规制体系的中国建构与理论反思》,载《法律科学(西北政法大学学报)》2022 年第1 期,第124页。
35参见《中华人民共和国个人信息保护法》第24条。
36参见许可、刘畅:《论算法备案制度》,载《人工智能》2022年第1期,第65页。
37参见《互联网信息服务算法推荐管理规定》第33条。
38同前注[36],许可、刘畅文,第67页。
39《互联网信息服务算法推荐管理规定》第24条。
40参见马红丽:《有“规”之后算法推荐如何监管?》,载《中国信息界》2022年第1期,第49页。
41《反不正当竞争法》第9条规定:“商业秘密是指不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。”
42参见福建省高级人民法院民事裁定书(2019)闽民终19号。
43参见陈景辉:《算法的法律性质:言论、商业秘密还是正当程序?》,载《比较法研究》2020年第2期,第120页。
44《民法典》第1197条规定了网络服务提供者的连带责任:“知道或者应当知道网络用户利用其网络服务侵害他人民事权益,未采取必要措施的,与该网络用户承担连带责任。”
45《最高人民法院关于审理利用信息网络侵害人身权益民事纠纷案件适用法律若干问题的规定》第6条规定:“人民法院依据民法典第1197条认定网络服务提供者是否‘知道或者应当知道’,应当综合考虑下列因素:(一)网络服务提供者是否以人工或者自动方式对侵权网络信息以推荐、排名、选择、编辑、整理、修改等方式作出处理。其中‘以自动方式’在实践中指以自动化决策的方式进行相关性推荐。”
46《关于印发〈关于加强互联网信息服务算法综合治理指导意见〉的通知》(国信办发文[2021]7号),http://www--gov.cn/zhengce/zhengceku/2021-09/30/content_5640398.htm,2022年10月19日访问。
47即使符合第2款的例外情形,数据控制者也应当采取适当措施保护数据主体的权利、自由和合法利益。
48例如,被赋予享有或被剥夺法律上的特定权益,或合同违约被自动停止服务。即使数据主体没有任何法律权利和责任受到特别的影响,仍有可能提出保护要求。
49Europe Commission Proposal for a Regulation Laying Down Harmonised Rules on Artificial Intelligence.http://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonisedrules-artificial-intelligenc,2021年4月21日访问。
50European Data Protection Board,European Data Protection Supervisor.Joint Opinion 5/2021on the proposal for a regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act),http://edps.europa.eu/system/files/2021-06/2021-06-18-edpb-edps_joint_opinion_ai_regulation_en.pdf.
51参见吕德文:《治理技术如何适配国家机器——技术治理的运用场景及其限度》,载《探索与争鸣》2019年第6期,第63页。
52参见张欣:《我国人工智能技术标准的治理效能、路径反思与因应之道》,载《中国法律评论》2021年第5期,第79页。
53参见苏宇:《算法规制的谱系》,载《中国法学》2020年第3期,第171页。
54参见杨福忠、姚凤梅:《人工智能赋能社会治理之维度及风险法律防治》,载《河北法学》2022年第11期,第93页。
55同前注[49]。
56参见金玲:《全球首部人工智能立法:创新和规范之间的艰难平衡》,载《人民论坛》2022年第4期,第46页。
57Sustainable development in the European Union-Overview of Progress Towards the SDGs in an EU Context-2020 Edition,http://ec.europa.eu/eurostat/web/products-catalogues/-/ks-01-20-192.
58《互联网信息服务算法推荐管理规定》第24条。
59参见张凌寒:《商业自动化决策算法解释权的功能定位与实现路径》,载《苏州大学学报》2020年第2期,第52页。
60《互联网信息服务算法推荐管理规定》将算法推荐技术分为生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等五大类。
61《中华人民共和国个人信息保护法》第24条。
62参见许可:《自由与安全:数据跨境流动的中国方案》,载《环球法律评论》2021年第1期,第34 页。
63欧盟《人工智能法案》并未清晰界定相关风险的范围,欧委会会联合研究中心的研究报告显示有50 多种人工智能定义,实践中尚未达成一致。
64《关键信息基础设施安全保护条例》第2条。
65参见林洹民:《自动决策算法的风险识别与区分规制》,载《比较法研究》2022年第2期,第192页。
66See Black J.Risk-based Regulation:Choices,Practices and Lessons Being Learnt//OECD.Risk and Regulatory Policy:Lmproving the Governance of Risk.Paris:OECD Publishing,2010:190.
67A Look at What's in the EU's Newly Proposed Regulation on AI.http://iapp.org/news/a/a-look-at-whats-in-the-eus-newly-proposed-regulation-on-ai/,2022年9月16日访问。
68Congress.H.R.6580-Algorithmic Accountability Act of 2022,http://www.congress.gov/bill/117th-congress/house-bill/6580,2022年10月11日访问。
69California Assembly Bill.AB2269,http://openstates.org/ca/bills/20212022/AB2269/,2022年10月21日访问。
70参见张欣:《算法影响评估制度的构建机理与中国方案》,载《法商研究》2021年第2期,第103页。
71同前注[9],王莹文,第183页。
72参见张凌寒:《平台“穿透式监管”的理据及限度》,载《法律科学(西北政法大学学报)》2022年第1期,第111页。
73参见陆凯:《美国算法治理政策与实施进路》,载《环球法律评论》2020年第3期,第10页。
74See Karni A.Chagal Feferkorn,Am I an Algorithm or a Product:When Products Liability Should Apply to Algorithmic Decision-Makers,30 Stan.L.Pol' y Rev.2019.
75See Woodrow Barfield,Liability for Autonomous and Artificially Intelligent Robots,9 Paladyn,Journal Of Behavioral Robot-ics 2018,p.193.
76参见张建丽:《算法自动化决策风险的法律规制研究》,载《法治研究》2019年第4期,第115页。
77参见姜野:《算法的规训与规训的算法:人工智能时代算法的法律规制》,载《河北法学》2018年第12期,第147页。
78同前注[12],陆凯文,第21页。