Sora问世，如何用大模型反诈？

2024-04-18 11:04

允中发自凹非寺
量子位 | 公众号 QbitAI

龙年伊始，Sora横空出世。

2月15日（美国当地时间），人工智能研究公司OpenAI正式对外发布人工智能文生视频大模型：Sora。一年多前该公司发布的革命性产品ChatGPT影响还在持续，而Sora一经发布便立即轰动全球AI领域，再次成为舆论焦点。

根据OpenAI的技术报告显示，Sora这类视频生成模型是世界的模拟器，能够理解和模拟现实世界模型的基础、了解物体在物理世界中的存在方式，可以根据使用者的文本提示创建最长达60秒的视频，视频内容能够深度模拟真实物理世界，能生成具有多个角色、包含特定运动的复杂场景。

文生视频大模型并非OpenAI独创，Runway、Pika、Stable Video Diffusion等大量AI创业公司在这条赛道上百家争鸣，但Sora发布后造成如此大轰动与热议的原因，在于它突破性的进展，满足了AI领域新一代生产力工具愿景，从“生成视频的长度”、“镜头切换与画面流畅度”、“使用的基础模型架构”三个方面均远超现有同类产品水平。

目前OpenAI官网已更新了数十个视频DEMO，在这些范例视频中，Sora不仅精准呈现了细节，还能理解物体在物理世界中的存在，并生成了具有丰富情感的角色。

△视频来源：OpenAI官网

Sora的出现，可以预见未来将对影视、游戏、广告等内容行业产生巨大影响，同时还将推动AI服务器、AI芯片与光通信等上游行业的发展，但在畅享正面影响的同时，存在的隐患我们也需要警惕。

在Sora问世前已有多起利用AI伪造视频进行诈骗的案例，昭示了AI生成视频可能被滥用于非法目的的风险。而今后Sora的普及将会进一步降低伪造视频的门槛，由深度伪造进行的欺诈行为可能会更加泛滥。

AI技术再升级，欺诈检测三重难关：识别、检测、追溯

Sora的出现意味着今后利用AI升级技术实施欺诈行为门槛将变低，反欺诈产品服务类科技公司在面对更强大的欺诈攻击时，将面临更加严峻的挑战。其中，可预见最大的变化会来自“深度伪造”。“深度伪造”的危险不仅在于生成虚假视频和图片，还在于其所促成的整个诈骗生态系统：一个由机器人、虚假账户和匿名服务组成的错综复杂的网络运作，所有这些都旨在制作、放大和分发捏造的信息和内容，具有识别难、检测难和追溯难的问题。

除“深度伪造”外，AI生成视频包含违法或伦理道德风险内容、合成身份、虚假信息传播以及版权隐私侵犯等，也都是Sora将来可能带来的棘手问题。要想防御与打击这些问题造成的欺诈行为，一方面需要识别检测伪造的视频、图片和信息（有效甄别出虚假伪造的内容）；另一方面需要实行诸如“深度伪造”欺诈行为的渠道和平台网络进行识别与检测（多方面提升数字账号的安全性）、同时还要防范由类似AI生成工具引发的假证滥用情况。

针对Sora问世后公众产生的造假焦虑，OpenAI称在真正面向公众推出产品时，将确保生成视频包含来源元数据，并推出检测视频真伪的工具。OpenAI还承诺，在产品中使用Sora前将采取安全措施，包括由“错误信息、仇恨内容和偏见等领域的专家”对模型进行对抗性测试来评估危害或风险；核查并拒绝包含极端暴力、性内容、仇恨图像、他人IP等文本输入提示等。即便如此，OpenAI也承认，尽管进行了广泛的研究和测试，“我们仍无法预测人们将使用我们技术的所有有益方式和滥用我们技术的所有方式”。

随着技术水平的提升，AI生成视频的反欺诈审核迎来了新的挑战，ADVANCE.AI作为全球领先的人工智能科技企业，致力于为全球金融机构和互联网企业提供中立、可靠、合规的数字身份验证和风险管理解决方案。一直以来，ADVANCE.AI都在密切关注“深度伪造”与“合成身份”欺诈领域技术的进展，并不断提升产品实力。由ADVANCE.AI推出的“星鉴”数字身份验证与风险管理解决方案，产品中包含了全新升级的“3D活体检测功能”，通过引导用户移开/靠近相机，进行活跃度检测，捕捉用户近景和远景图像，确保用户图像采集的实时性，提高对重拍和深度伪造欺诈的检测准确性，高效防范Al换脸、人脸合成等“深度伪造”身份欺诈攻击。而同样防范身份伪造的“假证检测”产品，则通过全自动化的工作流程、智能的机器学习模型，确保能够准确、快速地识别出6大证件伪造类型，确保用户提供的身份证件的真实性，预防欺诈行为，保护企业和机构免受身份证件伪造风险的影响。

Sora发布以来，ADVANCE.AI一直给予高度关注，面对未来由此带来的欺诈升级，相应的反欺诈解决方案产品已加入升级计划，有能力与信心应对欺诈领域日新月异的变化，持续为企业全球化发展保驾护航。针对此次Sora的发布，我们采访了ADVANCE.AI技术负责人范怀宇与ADVANCE.AI人工智能产品负责人余江波，二人分享了Sora在AI生成欺诈领域的影响判断与防范应对的看法。

对抗“深度伪造”的黑暗升级，从算法与数据训练上提升反欺诈技术

“在‘AI视频生成’这件事上，Sora的发布有点划时代的意思，多年后我们甚至可以用‘Sora前时代’和‘Sora后时代’来进行描述，等Sora正式面向公众发布且大面积铺开使用后，影视、游戏、广告等行业肯定会有不小的变革，而在AI生成视频欺诈领域也会有影响，欺诈者的犯罪成本和门槛进一步降低了。”ADVANCE.AI技术负责人范怀宇说到，“而该技术对‘深度伪造’这一欺诈行为的加持将是最明显的，以往我们应对“深度伪造”监测识别的常见方法有利用图像的特征，寻找特定篡改证据的[图像特征检测]，以及[图像构成真实性比对]的方法，利用人工智能技术深度伪造的图像或视频，在图像细节上，还是会出现一些与基于实物正常拍摄的图像之间的明显偏差，比对其中的差异后进行反欺诈应对。”

范怀宇还表示“在动态视频的深度伪造监测上，以往我们会通过检测、观察动态人像在一些指定角度扭动时图像特征或构成的异常变化，可以发现是否存在伪造。有了Sora的加持后，这类伪造视频细节上的真实程度会大幅提升、漏洞与破绽可能会变得难以察觉，这就要求我们要提升ADVANCE.AI现有的‘活体检测功能’产品的欺诈行为识别能力，从算法与数据训练上下功夫。”

Sora加持后的潜在欺诈行为并非完美无缺，深挖不同点赋能产品是关键

在Sora震撼发布后的极短时间内，ADVANCE.AI内部团队便敏锐的感知到Sora未来可能为反欺诈领域造成的影响。虽说成熟产品还未面向大众，但一旦正式投入市场，Sora作为利器很快便会被欺诈者瞄上作为潜在的犯罪工具，因此反欺诈战线需要提前做出防范。

“这次OpenAI发布Sora能在各领域产生如此大的轰动，用‘遥遥领先’一词可以比较准确的定义”，ADVANCE.AI人工智能产品负责人余江波表示，“在其他AI生成视频公司的普遍水平还在4秒左右时，Sora直接支持最大生成60秒长度视频，直接跨越式升级15倍。从官方发布的DEMO视频看，Sora能够在保持主体一致性的前提下实现多角度镜头无缝切换，整个画面干净流畅，实现了真正的视频大片效果。而在基础模型架构的使用上，此前的AI生成视频大部分都是基于‘大模型+大数据’架构，因此在AI幻觉这个问题上难以突破，但Sora则已经具有了世界模型的雏形，因此内容更加符合、逻辑也更加令人信服。”

余江波还表示,“从技术上讲，Sora的技术基础包括Transformer、图片字幕、扩散模型、视频patches和Dit等，这些技术都是之前已经存在的，但OpenAI结合了更强大的算力和丰富的训练数据，这些因素共同推动了Sora在AI生成视频领域的创新。更强的矛势必催生更强的盾，Sora被应用在金融欺诈领域不可避免，但结合Sora背后的这些技术特点，我们可以模拟可能发生的欺诈行为，例如画面更逼真、漏洞更少的深度伪造的AI视频发起的欺诈行为，找出与以往既有深度伪造、合成身份欺诈行为的不同之处，进而提升我们ADVANCE.AI反欺诈解决方案产品的防御能力，让客户用着安心。除了画面识别之外，通过更多维度的信息能更好的检测潜在欺诈行为。这些信息网可以帮助我们搭建更加安全的反欺诈体系，包括用户行为特征和网络关系。”

ADVANCE.AI 数字身份验证与风险管理解决方案领航者

作为全球领先的人工智能技术企业，ADVANCE.AI“星鉴”数字身份验证与风险管理解决方案可以帮助互联网金融、数字银行、社交直播平台等容易面临高欺诈风险的企业轻松实现数字化管理，管理用户注册风险、交易风险等。ADVANCE.AI在东南亚、拉丁美洲、非洲等新兴国家市场积累了丰富的本土化服务经验，自2016年成立以来，ADVANCE.AI的技术服务已得到全球超过500家金融机构和企业客户的认可，服务客户遍布印尼、菲律宾、墨西哥、哥伦比亚、尼日利亚、新加坡、马来西亚等国家，身份验证产品的API调用量达到400万次，年调用量已接近20亿次，OCR准确率高达99.4%、能够精准识别3000+证件类型，产品数据安全符合多项ISO权威认证。

△ADVANCE.AI一站式数字身份验证与合规反欺诈解决方案

其中，“星鉴”数字身份验证与风险管理解决方案包含以下功能：

3D活体检测功能，可以通过引导用户移开/靠近相机，进行活跃度检测，在过程中实时反馈和指导正确姿势，捕捉近景和远景图像，高效识别身份欺诈，提高对重拍和深度伪造欺诈的检测准确性。同时，该功能增强了前端交互和后端模型性能，支持客户根据自身品牌调性自定义配置背景颜色、UI样式、指示位置等等。

此外，身份证件作为用户个人最重要的身份证明信息，ADVANCE.AI 的证件识别功能针对各个证件定制化开发，可实时、准确地从身份证件的图像中提取结构化的身份信息，显著提升数据记录、远程注册、实名认证、身份识别等方面的准确性和工作效率。

同时，假证识别功能可以有效识别伪造身份证图片，如屏幕翻拍，黑白复印，人脸贴图，身份证号码篡改等，多重保障用户身份证件的真实性。

“星鉴”解决方案中涵盖的生物识别、人脸比对功能的识别精准率超过99%，领先市场同类产品，并特别针对东南亚、拉丁美洲、非洲等地区的用户使用习惯进行了优化，识别不受当地用户低配手机摄像头或验证环境光照条件的影响，且控制识别响应时速在1秒以内。同时，ADVANCE.AI的生物识别技术还对用户戴着帽子、眼镜、妆效等进行人脸识别时的验证效果进行了优化。

为了便利企业或金融机构可以根据展业的不同目的地市场，自身不同的成本规划，落地更因地制宜的技术部署选择，ADVANCE.AI支持云端SaaS、本地化、可视化平台等多元部署方式。

除了数字身份（KYC）产品，ADVANCE.AI还与海外当地官方数据库、运营商、征信机构合作，确保数据服务中立、可靠、合规。企业和金融机构可以结合社交媒体/手机号码/电话号码状态检测工具、IP风险检测工具、邮箱检测工具、身份信用评分、企业信息筛查（KYB）等多种工具一起使用。同时，支持自动化数字身份验证流程（KYC）与反洗钱制裁和风险名单筛查一体化部署，高效助力企业及时识别与发现合规与风险管理流程本身衍生出的漏洞或风险问题，同时更好地释放AI技术的效率价值。

如果您对ADVANCE.AI“星鉴”数字身份验证与风险管理解决方案感兴趣，可以点击“阅读原文”申请免费试用。

*本文系量子位获授权刊载，观点仅为作者所有。

— 完 —