Redian新闻
>
淘宝上的AI摆渡人

淘宝上的AI摆渡人

社会


"

越来越多互联网原住民,更倾向于在线上虚拟世界表达自己内心的真实想法寻求帮助。

只有当他们的诉求和想法在网络信息大潮中触碰到安全网时,才会显现被看见,一些不理智的想法才会被劝阻引导守护。

有懵懂的少年会在搜索“农药”时,问商家吃多少能解脱也有少女寻找安眠药以求一了百了,还有人搜索木炭,在社交软件上建群轻生深谙网络世界的青少年,也依赖网络获取想要的物件,干预如果能在这一间隙启动,就可以有效阻止轻率而引发的悲剧。

据中国科学院心理研究所发布《中国国民心理健康发展报告》显示,我国青少年抑郁检出率为24.6%,其中中重度的抑郁检出率为7.4%。有轻生念头的抑郁症患者逐渐向低龄化。如何通过技术能力、结合社会力量及时为青少年提供救助与关爱,避免悲剧发生,是平台和社会都绕不开的课题。

在阿里巴巴,这样一群人正在通过数字技术联动多方协作机制等方式,建了一张无形的安全网,试图拉回并守护这些游走在悬崖边的人。

深夜是瑞符一天中最警醒的时候。

夜里10点,预警系统收到一条消息,有人在网上购买了农药,疑似用于轻生。正准备下班的瑞符,急忙回到工位。

34岁的瑞符是一名淘宝小二。他从实习生到资深客服,如今已经入职阿里12个年头。在十几年的工作经历中,大部分业务都围绕处理消费者和商家之间的矛盾和纠纷。而现在,他必须马上开始介入和干预这起突发的风险。

最先发现问题的人,是下单者的一位朋友。当时,他正在刷朋友圈,看见好友晒出一张订单截图,订单编号、商家名称和下单电话都被刻意隐去了,而商品,是生活在城市里的高中生几乎用不到的农药。发觉情况不对后,他马上联系好友,但并未得到回复。

情急之下,朋友只好挨个在网上找卖农药的商家询问,但始终没查到订单。就在这时,其中一个商家,向淘宝平台提报了事件。

收到预警后,瑞符的心提到了嗓子眼。很快,他找到阿里安全风险防控部门的同事,快速联系上商家。商家反馈说,客户买农药时曾询问过“喝多少才能死。”

感到事态紧急的瑞符发现,货物已经处在运送状态。他一边紧急联系商家拦截快递,一边给购买者打电话,试图稳住对方情绪,开展疏导。可下单人电话始终无人接听。无奈之下,他迅速选择求助当地警方,请求线下干预。

最终,通过警方上门劝阻,当事人被安抚救下。

图 | 自杀干预师瑞符在工位上

瑞符正常工作时间是朝九晚六,但因为工作性质特殊,即使是下班后,他依旧会随时待命,手机经常24小时保持畅通。“所有事务当中,防自杀永远是第一位。”

警企联动破案的事例并不少见。有瑞符和同事这群自杀干预师与警方的联动,会很快找到有轻生倾向的购买者。

瑞符回忆,处置过的案例中还有一位患有重度抑郁症的16岁高中女生,长期靠吃药维持,某天,她擅自停药后,又产生了轻生念头。最终也是通过阿里绿网计划——自杀干预预警机制的联动响应,警方快速找到并救下了当事女生,瑞符直到接到反馈信息,悬着的心才稍微放松下来。

“表面上,我们和其他互联网员工客服没什么区别,都是坐在工位上对着电脑,但我们的紧张和开心情境与他们都完全不同,我们所做的每一次沟通,都有可能是在挽救另一个生命。”瑞符说。

自杀干预团队成立以来,每天都会遇到几起未成年人轻生事件。

瑞符说,其实青少年的压力不比成年人小,每年考试和开学季,都是风险发生的高频期。作为自杀干预师,他们也会因为长期处理类似事件,不得不定期接受心理咨询培训,让紧张的情绪舒缓下来。

日常工作中,他们除了拦截高危订单,同时会给涉事跟进的未成年人用户打电话,通过耐心沟通引导,来帮助他们疏导心理健康问题。

自杀干预师只是整个平台对未成年人保护机制中一部分。少部分用户产生轻生或伤害事件的想法,也是种种问题中相对极端的类型。

对瑞符来说,需要干预师介入的青少年当然越少越好。但他也说,即便那一天真的到来,这个团队依旧不会解散,因为他们要为潜在的风险时刻做好准备。


2021年3月1日,中国科学院心理研究所发布的2020版“心理健康蓝皮书”——《中国国民心理健康发展报告》显示,我国青少年抑郁检出率为24.6%,其中中重度的抑郁检出率为7.4%,平均5个人当中就会有1个人有抑郁倾向。近年来,抑郁症患者逐渐向低龄化发展。

凌晨1点15分,瑞符手机上弹出一条旺旺讯息:“我想从阳台跳下去,我听到很多声音和我说,跳吧,跳下去就解脱了。”

发信息的人叫小陶,是瑞符跟进较久的有轻生倾向用户,长期患有抑郁症。

瑞符从睡梦中惊醒,立刻拿起手机开始沟通疏导。

十分钟,二十分钟,半小时,一小时……听着电话另一头长久的哭泣,瑞符的心也跟着颤抖起来。等到小陶的情绪逐渐平稳,不放心的瑞符在征得同意后,把事情告诉了小陶的父亲。

第二天,小陶发来信息,说已经和爸爸在去医院的路上了。

青少年群体的心理问题多由学业压力、家庭关系、叛逆期和抑郁症等原因引起。这些问题延伸出的高危行为,不断在线上虚拟世界得以体现。

今年五月份,就有一位名叫“墨染”的网友,在社交平台发布这样一条信息:“想*(教训)舍友了,有没有懂法的朋友,怎么能判得比较轻?”有的人在跟帖中起哄,也有人开始规劝他:“不要冲动,上周因为室友打游戏太吵,打了一架,赔了8000元,还记个留校察看。”

几分钟过后,墨染晒出一张订单截图——水果刀三件套。商家获知情况作出反馈后,应急处置响应随之启动,信息很快传导至平台,最终在多方干预下,才阻止了当事人作出进一步的伤害事件。

每当遇到这类情况,淘宝小二都会对当事人苦苦相劝:人生路还很长,千万不要因为一时冲动误入歧途。经过一段时间开导,许多当事人都表示会好好生活,不再做傻事。

缺乏防范意识、辨别力和社会经验的未成年人,暴露在鱼龙混杂的信息场域之中,容易受到不良价值观和浮躁功利心态的影响,妨害身心健康成长。

越来越多年轻人用户群体,会热衷于在线上虚拟世界来表达一些不理智的想法和行为,甚至是寻求各种救助,如何通过平台,发挥技术能力优势,并结合社会各方力量,为之提供迫切且及时的心理关爱援助,减少悲剧的发生,已成为一种非常有价值的探索。

早期,阿里安全小二获取轻生风险行为的线索和与多方的联动,都还比较零散。在淘宝守护生命成员看来,要救助这些有轻生风险的人,需要的就是尽早获取风险行为线索,并快速作出有效的劝阻。

通过商家可以获取一些线索,但这种时效性仍不够稳定,“一旦有求助消息没有被及时发现和劝阻,就可能会再多一个悲剧发生。”一名守护生命成员说。

因为每周都会遇到决绝赴死的悲痛故事,于是他们决定发起专门守护这类人群的项目,来帮助那些游走在生死悬崖边上的人。

为解决快速介入的问题,守护生命成员开始筹划通过技术的方式来发现风险。直到2019年7月,阿里安全正式启动守护生命健康公益,从技术、客服等部门抽调出人员,其中就包括瑞符在內的45名资深客服,组建了自杀干预团队。

一方面,通过技术成员搭建了一套有风险识别和抓取能力的数字化风控模型——“AI摆渡人”,另一方面同时组建了包括客服、商家、警方以及第三方心理机构等在内的多方协同救助机制。

自那之后,对轻生行为的关注和救助,不再只依靠以往零散且单一的自杀干预师,而是有AI智能技术和有多方联动的机制保障。获取轻生风险线索的渠道不再是只靠商家等主体反馈。其中,95%以上的被挽救者风险,都是靠“AI摆渡人”风控模型快速抓取识别发现的线索。

作为淘宝自杀干预师,瑞符和凡崆以及他们共事的守护生命同事,都具备了超于常人的敏锐察觉力。他们会借助“AI摆渡人”风险模型预警系统的风险识别抓取能力,并通过高危语义、人工筛选、商家提报等方式,识别出有自杀倾向的用户进行合理干预。

截至目前,守护生命公益项目启动三年多来,整个团队通过联动多方力量,已成功挽救超过8000多人的生命。

如今,一旦有疑似轻生倾向的用户在平台搜索非正常关键词,并触发守护生命预警机制,绿网计划“AI摆渡人”技术,就会第一时间作出智能预警提示,平台客服随即也会迅速响应,联动商家、警方等第三方力量进行线下守护。

类似这样帮助未成年人营造良好网络环境的技术,还有许多。

阿里安全统计数据显示,2020年平台就遭遇72亿次非正常关键词搜索,而百度平台三个季度就遭遇358亿次用户非正常搜索行为。

面对大量涉及赌博、色情等违禁品非正常搜索,此前互联网平台普遍做法是将非正常搜索页面做屏蔽和拦截处理,显示“抱歉,搜索页面找不到”,虽然短期内规避了风险,但治标不治本,用户难免会换其他平台进行搜索。

去年11月底,在浙江省市场监督管理局的指导下,阿里安全、阿里巴巴公益基金会、百度安全联合发起“绿网计划”公益项目,关注“守护生命健康”、“野生动植物保护”和“未成年人保护”等多个领域,将458亿次非正常搜索转化成了积极的公益引导教育。

图 | “绿网计划”的网页

杜衡入职阿里整整十年,在平台治理部负责商品合规等事务。同时,他也是“绿网计划”的主要业务负责人之一。他介绍说,绿网计划早在三四年前就开始筹备。

几年来,淘宝针对未成年人保护、反诈和动植物保护等领域不断进行完善和扩充。除了扩大商品和搜索词汇的圈选和覆盖,他们还专门搭建了风险预警模型。依托数字技术能力,系统就会对搜索风险关键词行为发出预警提示,然后由淘宝小二介入处置。

杜衡觉得,那些掌握了高端互联网技术的大企业,都应该积极投入技术资源到解决社会问题的队列。“作为头部电商平台,我们不会只看重商业利益,在此之上,我们希望能发挥技术优势和能力,去帮助更多的用户,尤其是那些游走在悬崖边上的人,他们更需要我们的关心和关爱。”

为给未成年人用户提供一个安全、健康、绿色的网络购物环境,于是,淘宝最近又推出了青少年网购保护功能。这是阿里巴巴“绿网计划”再次升级淘宝平台涉未成年人身心健康保护的系列举措之一。

自此,经实名认证的未成年人账号,在淘宝手机端搜索涉游戏充值、直播币充值、成人用品、农兽药等商品时,淘宝会针对性在商品展示和售卖等环节开启“不主动推荐”、“搜索不可见”或“可见不可买”等分层保护功能,搜索其中一些特殊商品,甚至会直接跳转至绿网计划公益页面进行正向引导和科普宣传。

图 | 淘宝“青少年网购保护功能”

在杜衡十年工作经历中,这不仅是守好法律法规底线的事情,也是进一步改善网络环境,提升社会责任的工作。他工作的一部分,就是设计、建立一套完整的联动机制。

每类商品和关键词的筛选,都有垂直领域专家来研究判定。“我们部门还有许多领域的专家甚至是药剂师。”杜衡说。

此前,在平台搜索框里键入“安眠药”等具有自杀风险的内容时,页面会自动跳出“守护生命”宣导页面,“亲,你不孤单,我们和你在一起”,下方附着12355青少年服务热线等全国24小时免费心理咨询热线号码。

页面还设置了心理健康知识板块,引导有焦虑、失眠、情感障碍等特征的人士,通过自我学习,掌握科学应对的方法。同时,引导用户意识到生命的可贵并自发成为公益守护官的一份子,通过学习和分享科普知识等方式缓解自身困扰并力所能及地帮助更多的人。

而现在,通过淘宝手机端搜索 “安眠药”等具有自杀风险的内容,用户会随机进入“点亮温暖奇遇”海洋或森林场景的关爱疗愈页面。

为给轻生者更多的积极心理暗示,“绿网计划”还融入了更多鼓励文案、解压白噪音和公益明星语音以及治愈系手绘动画、互动留言等内容与功能,通过多重感官体验、多种呈现形式更好地为、焦虑、自闭等自杀风险人群提供人性化、有温度的关爱与救助服务,将自杀干预机制拓展到用户体验场景。

这是一张为生命拉起的安全防护网。而瑞符和杜衡等,都是这套防护系统的参与者,他们必须执守,因为,每一次警醒都有可能救助一个陷入迷途的轻生者。

从2019年7月至今,守护生命项目已救助超过8000名有轻生倾向或行为的人。其中,仅拨打宣导页面心理咨询热线的就有54000余人。

瑞符的同事也在感慨,自从加入自杀干预团队后,有时会在半夜惊醒,梦到自己还有事情没有做完。“我会担心他们(消费者)会不会发生什么,今天没有联系,不知道他们过得好不好?”他说。

- END -

撰文 | 温婉

往期回顾


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大秦线:“煤河”上的摆渡人“这比狗咬得都深!”女宝上早教被小孩咬破脸,看完图妈妈群炸了!英国日用品商店大全!没有淘宝也方便!谷那边,男人和女人的故事裸手玩VR、线稿变3D人、充电宝上跑AI…旷视大秀AI技术生产力这个星座的自由是心灵上的,而不是身体上的东方甄选筹备淘宝直播;可可满分完成A轮融资;LV办2023春季男装衍生秀... | 刀法品牌热讯淘宝直播引入“外援”,罗永浩淘宝首秀观看量破千万淘宝造物节七年:让商业小力量不止被看见一个人的徒步,900公里法国之路+世界尽头:D03~黄道日出游时代落幕:曾经跟QQ对打的飞信,停运了;曾经碾压淘宝的易趣,关门了8月12日,范主请你看梵克雅宝上海大展!淘宝女装店主告诉你,网购衣服要成功,得避开这5大坑!荷兰乡村夏日风貌一瞥罗永浩将在淘宝直播;今日头条设独立购物频道;快手将开放淘宝联盟外链 | 一周简讯陨落的电商王者:运营23年,曾比淘宝还火“我靠淘宝无货源,月入过万”:聪明的人,从不挣辛苦钱!罗永浩转战淘宝,1天涨粉超50万!俞敏洪也入驻了,抖音淘宝直播之争再起硝烟赵丽颖、刘雯的“减龄绝招”,淘宝10来元就能搞定!消费日报 |榕树家、春外百货、筷百味、有陪宠物等融资;​淘宝上线老年人专属人工客服;7分甜推出咖啡新品牌凭《灵魂摆渡》封神,“消失”四年半的小吉祥天做什么去了?橘朵官宣欧阳娜娜;字节推出“悟空搜索”;怡宝上新气泡苏打水... | 刀法品牌热讯美国华裔设计师品牌,爆款出圈,与淘宝中老年模特合作,或卖身中国资本永兴岛上的气象员:一带一路上的南海“风云哨兵”晚点独家丨每日优鲜负债 15 亿,无人伸援手;京东物流前 CEO 王振辉的新工作;淘宝切换核心用户指标景区为啥爱玩摆渡车套路? | 自由谈抖音快手终成淘宝“门徒”?我 說 冰 夫未来5年,“淘宝无货源”是取代房子最好的投资!直播电商六年:淘宝直播的坚守与破局工资4500,靠淘宝新模式月入2w;:90后后浪,请用脑子赚钱!某宝上哪些看上去羞羞的东西,其实有大用处?我们已经从物质上的普遍不满足,进入到精神上的普遍不安宁昨晚击败巩俐的香港最“脏”影后,是个创业失败的淘宝店主惊悚刺激,偷窥者成了被偷窥者
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。