刚刚，这家上市公司怒了：被AI小作文割韭菜！警方：AI诈骗成功率将近100%！坏AI肆虐，怎么办？

  价值线 | 出品 

    鸡毛信 | 栏目 

小金 | 作者 

荆轲 | 编辑 

价值线导读

今日科大讯飞股价午后跳水，逼近跌停。截至收盘，科大讯飞报收每股56.57元，跌4.26%。

针对科大讯飞股价的暴跌，公司直接把矛头指向了AI小作文：“股价下跌系某生成式AI写作虚假小作文导致，公司未发生相关事件，谣传风险为不实消息。公司法务部已对相关信息取证。”

消息面上，此前市场热传两篇有关科大讯飞的文章。

第一篇小作文称：“5月23日，有外媒援引知情人士的话称，美国正在考虑是否将科大讯飞、美亚柏科等加入‘实体名单’，禁止它们使用美国的组件或软件。”

不过，经过查证，这是2019年的一篇报道改编而成。事实上，科大讯飞已经于2019年10月被列入实体清单，对公司日常经营未产生重大影响。

第二篇小作文名为《一篇科大讯飞出现重大风险的警示文》，该文指出，近期，科大讯飞被曝涉嫌大量采集用户隐私数据，并将其用于人工智能研究，这一行为严重侵犯了用户的隐私权，引发了公众的强烈不满和抵制，这一事件引发了广泛的关注和争议，给公司的声誉和业务带来了极大的冲击，这一事件可能对科大讯飞造成巨大的损失，公司可能面临市场份额的下降、销售额的减少以及未来发展的不确定性等问题，科大讯飞遭遇的这场重大风险给整个行业敲响了警钟。

有媒体报道称：第二篇小作文的作者是百度最新推出的AI——文心一言。

但今天下午，价值线小编利用文心一言生成的科大讯飞风险警示文中，上述内容已经不见。

作为一家知名AI企业，科大讯飞成了AI小作文的牺牲品，本身不是一种巨大的讽刺么？

去年有一部热播剧叫《猎罪图鉴》，有几集说的是犯罪分子利用“AI换脸术”，骗得老教授倾家荡产，小编在看剧的时候，从来没想到这种犯罪手段离我们如此的近。

近日，一则10分钟被AI骗走430万元的新闻刷屏。据警方通报，受害人郭先生被骗子通过智能AI换脸技术，佯装成好友对他实施了诈骗。

值得关注的是，据公开报道显示，此前已有多起相似案例。而这些案件背后，均涉及了AI换脸以及声音合成技术。

随着近年以来，ChatGPT等新生代AI的学习能力越来越强，“坏AI”的杀伤力越来越大，人类获取犯罪工具的手段也越来越简单。

根据中新经纬的报道，在一些互联网商家那里，只需要提供某人一段10分钟至30分钟的声音素材，要求没有杂音，就能用2天左右时间生成一个专属模型，后续输入任何文字，发出的都是这个人的声音。而且这个模型不仅能读文也能唱歌。一般来说，提供的素材时间越长，最终相似度越高。

在另一家店铺，用照片生成一段1分钟时长的视频仅需30元左右，如果视频时间比较短，且画面质量要求不高，这个价格可以再降，几块钱一段都可以。

这意味着，如果有人蓄意生成你的长相搭配你的声音的视频，几十块钱就能搞定。

除了“换脸说话”外，还有更过分的。

今年3月还有一则新闻，一位广州女生在地铁拍的美照，被一些别有用心的网友，用AI一键脱衣软件生成了裸体照片。

与过去AI“一眼假”形成鲜明对比的是，随着深度学习的不断推进，新型的AI已经让人真假莫辨。

以OpenAI旗下的DALL-E模型为例，它足足有120亿个参数，在2.5亿个图像文本对上进行训练。

所以，当你看到特朗普戴着牛仔帽，坐在草垛上和质朴的中国农民聊收成，你会怎么想？

目前，针对换脸AI、“一键脱衣”、“小作文”，其实都是有法可依的。

以换脸AI为例：今年1月10日，国家网信办、工信部、公安部联合发布的《互联网信息服务深度合成管理规定》正式实施。要求服务提供者和技术支持者加强管理，保障数据安全，不得非法处理个人信息；深度合成内容需进行显著标识，任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

针对小作文：4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》提出：利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。

《管理办法》还要求，不得利用算法、数据、平台等优势实施不公平竞争。利用生成式人工智能生成的内容应当真实准确，并采取措施防止生成虚假信息。同时，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

《管理办法》明确，利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（下称“提供者”），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任。

提供者应当指导用户科学认识和理性使用生成式人工智能生成的内容，不利用生成内容损害他人形象、名誉以及其他合法权益，不进行商业炒作、不正当营销。

提供者发现用户利用生成式人工智能产品过程中违反法律法规，违背商业道德、社会公德行为时，包括从事网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件，实施不正当的商业营销等，应当暂停或者终止服务。

但从目前频发的“坏AI”来看，要想监管好AI并不是简单的事。过去我们说“互联网不是法外之地”，但相比于坐在网络面前的一个个活生生的人，对一个看不见摸不着的虚拟AI进行监管，难度将大N倍。

何况AI还正变得越来越聪明呢？

我们需要一些“大招”。

近日，OpenAI 首席执行官 Sam Altman 参加了美国一场听证会，Altman 等人认为，需要建立类似于国际原子能机构的国际机构来监督超级智能的研究和应用，确保其符合安全标准，并限制其部署和安全级别。此外，我们需要致力于研发使超级智能安全可控的技术能力。

而在欧洲，外媒报道称，欧洲议会内部市场委员会和公民自由委员会5月11日以压倒多数通过《人工智能法案》提案的谈判授权草案。据称，《AI法案》草案内容涉及严格禁止“对人类安全造成不可接受风险的AI系统”，包括有目的地操纵技术、利用人性弱点或根据行为、社会地位和个人特征等进行评价的系统等。谈判授权草案还要求人工智能公司对其算法保持人为控制，提供技术文件，并为 “高风险”应用建立风险管理系统。每个欧盟成员国都将设立一个监督机构，确保这些规则得到遵守。

OpenAI有一个愿景：十年内，人工智能系统在大多数领域将超过专家水平，并且能够执行与今天最大的企业相当的生产活动。我们可以拥有一个更加繁荣的未来。

但在这一切实现之前，人类和“坏AI”的斗争将任重道远。