案例 | 发生算法乌龙,平台该担责吗?
联系微信:heguilvshi领取优惠券,加入会员
为了应对网上交易欺诈等问题
网络交易平台采取算法技术过滤负面信息
紧急时刻还会启动算法风控系统筛查潜在交易风险
卖家小李(化名)在某网络交易平台出售电子购物卡时
便遇上了算法风控系统审核
还因为这事将平台告上了法庭
近日,杭州互联网法院审结了一起算法风控系统引发的网络服务合同纠纷案件,认定网络交易平台运营者实施算法风控,尽到了合理注意义务并设计了相应预防措施,不构成违约。
一审宣判后,双方当事人均未上诉,目前判决已生效。
案情回顾
小李在某网络交易平台注册为会员后,在该平台出售一张价值900余元的电子购物卡。交易完成后,小李发现平台冻结了该笔订单款项。经小李申诉,平台客服尝试与买家联系核实,但买家未帮助小李申诉解冻。
原告小李诉称,其在正常使用平台期间被冻结了账户资金,导致订单款项无法正常转出。小李认为,被告平台实施算法技术造成误判,此举已构成违约,请求法院判令平台公开道歉。
被告平台辩称,其为平台运营者,依照法律法规需要对用户在平台行为进行监管,履行平台主体责任。原告交易过程中,被自动化系统识别到存在虚拟交易快速成交的情况,有虚假发货、诱导收货的潜在风险,该笔订单被识别为高风险订单,因此自动触发了风控系统审核规则,冻结订单款项15天。事后,原告致电客服反映情况,该笔订单确为正常订单。平台此举是为了资金安全采取的必要措施,仅是为了公共利益依法履行主体监管职责,不构成违约。
本案诉讼过程中,被告提交了《关于涉案软件风控审核系统的情况说明》及相关证据,向法庭说明其“预防性风控系统”算法逻辑机理,尽到了相应的算法披露义务。
本案主要争议点为,被告采取涉案算法风控行为并对原告作出相应处置措施是否构成违约。是否构成违约情形,应在审判中从以下几个方面展开分析认定:
1.行为目的和主观意图、是否具有正当性。根据涉案“预防性风控系统”针对的交易类型和行为模式可见,该系统设置目的确系为预防网络诈骗行为,系为实现法律要求的监管义务和公共利益,具有正当性。
2.行为手段和性质、侵害财产权益的风险性程度、行为过程的审慎程度。算法设置需在现有技术条件下合理、合比例,不得存在算法歧视、算法滥用等侵害他人合法财产权益的非法手段,根据已查明的事实及被告披露算法逻辑过程,涉案算法设置系基于特定交易类型和行为模式的自动化反应机制,并不存在对某一类用户的不当歧视。
3.行为主体身份的特点、技术能力水平及社会责任。鉴于涉案平台为网络交易平台,在当下涉及虚拟交易领域网络诈骗行为频发的社会背景下,对于被告正常良性开展网络服务来说具有一定合理性。
4.是否采取了预防侵权的合理措施。被告预先设定了相应的人工审核方式,对于识别误判及解除账户封禁等事项也做了必要的纠错机制安排,尽到了与涉案算法风险相匹配的注意义务。
综上,被告基于法律监管要求和公共利益保护的目的,为了交易款项安全,设置预防性风控系统算法应用,对用户行为进行中立、无差别的风险筛查,虽因技术水平所限造成一定系统误判,但此误差为在所难免,也系小概率事件,被告已经尽到了与涉案算法风险相匹配的注意义务,并采取了必要的纠错机制安排,并不构成违约。
法院驳回原告的诉讼请求。一审宣判后,双方均未上诉,该案判决已生效。
随着数字经济背景下大数据、人工智能技术的飞速发展,算法技术被广泛运用于互联网应用场景中。与此同时,“大数据杀熟”“算法歧视”“深度伪造”等算法应用乱象也时有发生。如何构建鼓励算法行业发展与规制合理运用的算法治理秩序,成为算法侵权案件司法裁判关注的重点。本案对于算法纠纷的裁判作出以下探索:
一是针对“算法黑箱”问题。算法应用过程存在技术隐蔽性,考察算法行为是否构成侵权的前提需明确涉案算法运行的机制机理。本案中,法院认定,被告作为涉案软件的运营者,对算法应用过程具有披露义务,应提供证据证明涉案侵权行为系算法技术的实施所引发,并对算法运用的具体机理予以解释说明。
二是针对“违约认定”问题。法院结合算法技术特点和相关产业发展现状,对于涉案算法应用行为是否构成违约的认定问题,确立了算法行为目的和主观意图、是否具有正当性,行为手段和性质、侵害财产权益的风险性程度、行为过程的审慎程度、是否采取了预防性合理措施,行为主体身份的特点、技术能力水平及所附注意义务等综合性评判因素。
典型意义
数字经济时代,算法成为网络平台进行信息交换、资源调配、内部治理的重要途径,对于算法的治理和规范是建构网络空间综合治理秩序的重要组成部分,与此同时,平台积极运用算法参与综合治理,也需要对其行为的合理边界和注意义务给出标准和指引。
本案中,法院一方面承认了用户的财产权益在平台经济中应当受到充分保护,另一方面也认定了网络平台依据法律要求、履行打击网络诈骗等治理义务的行为存在合法性基础,当两者出现一定程度的利益冲突时,本案判决为平台确立了合理的注意义务标准及具体认定因素,在个体用户权益保护和实现社会治理功能之间寻求精准的平衡点,探索并确立了判断平台治理合理边界的法律适用标准,在确认平台可以采取有力措施防范网络诈骗风险的同时,又指出平台应建立配套机制,确保被算法“误伤”的个体权益可及时获得救济和设定相应的途径,从而实现更大范围内切实保护人民群众切身利益的目标,为构建协同共治的网络空间治理秩序提供法治保障。
来源:杭州互联网法院
每天两块钱,实时获取全球数据合规风险预警
👇
公益 | 欢迎加入DPOHUB学习会
平台:DPOHUB是数据合规权威平台之一,专业粉丝超过10万,学员超过2万。 DPOHUB学习会:督促大家学习数据合规干货,深入了解欧美等全球数据隐私保护和网络安全法治实践,系统学习我国《个人信息保护法》和《数据安全法》的实施落地方案等。 愿景:建立数据合规共同体的平台和渠道,促进个人职业品牌的提升;增进同业交流,不再闭门造车;相互赋能,让思想的火花肆意碰撞。 申请条件(公益):条件一:承诺半年内至少作一次正式的深度学术或实践分享(1小时左右),并形成文稿。内容可以是数据法相关的重要文章或书籍(英文优先)的解读,也可以是数据合规相关的落地经验或具体议题的分享;条件二:承诺积极参与至少半年以上的线上或线下活动。满足以上两个条件者均可以申请加入。 申请方式:请将“简历、深度学术分享主题及大致时间”提前发送到微信:heguilvshi
微信扫码关注该文公众号作者