一封钓鱼电邮背后的AI攻防战
作者丨樟稻
编辑丨伊页
最近有不少卖家称收到伪装成亚马逊官方的“钓鱼邮件”，通过提供的恶意链接，提取卖家的重要账户信息。有人因此上当在短短一夜之间损失高达40万。
苏丹就是受害者中的幸运儿。他9月初收到的邮件中，发件地址与亚马逊官方地址高度相似，内容更是精巧地仿制了亚马逊的通知风格，敦促卖家更新紧急联系人信息。
按照邮件中的指引操作，会被引导到了一个似乎是“亚马逊”的网站，并被要求输入自己的邮箱、密码以及二次验证码。一旦上当，很快就会收到真正的亚马逊官方发出的“店铺异地登录”通知。
眼下比较有名的“邪恶GPT”版本是WormGPT和FraudGPT，两者都能快速实现钓鱼邮件骗局。
2021年3月，WormGPT问世，其开发者今年6月开始在黑客论坛上出售使用权。与ChatGPT不同，WormGPT并没有设置阻止回答与非法活动相关问题的限制，构建的基础是稍显过时的2021年的开源GPT-J模型，并专门在与恶意软件开发相关的数据中进行训练。
为了评估潜在风险，安全分析公司Slashnext的研究团队对BEC（商务邮件诈骗）攻击进行了测试。实验中他们要求WormGPT制作一封电子邮件，目标是对一个不设防的账户经理施加压力，迫使其支付虚假发票。
另一款名为FraudGPT的邪恶语言模型在今年7月亮相。从7月22日开始，开发者在多个论坛上宣传该产品，称其为不受限制的ChatGPT替代版本。
据透露，FraudGPT每隔一至两周更新一次，架构下采用了多种AI模型。此工具采用基于订阅的定价策略，每月收费为200美元，或年费为1700美元。
分析人士称，FraudGPT 可能成为发动有影响力的网络钓鱼和BEC攻击的理想工具，从而导致巨大的财务欺诈和数据窃取。
活跃的“邪恶GPT”不只上述两个。就在8月中旬，有网络安全领域的专家揭示了另一个基于GPT的网络犯罪工具，名为EvilGPT。
这款应用与FraudGPT、WormGPT类似，它可以帮助制造恶意软件、诱骗邮件、陷阱链接并针对企业网络安全的弱点进行探测。若上述GPT因某些原因被封禁或移除，它将作为备选方案在市场上供应。与此同时，它也采用了基于订阅的定价模式，吸引潜在用户购买。
EvilGPT仅仅是在最近几周中被发现的冰山一角。随着时间的推移，可能会有更多基于人工智能技术的恶意工具和应用浮现出来。
过去，一种有效的识别钓鱼邮件的方法是注意内容单词的拼写及语法错误。据资料显示，约有50%的钓鱼邮件来源于俄罗斯、德国和中国。从这些母语非英语地区发出的邮件中，大多假冒的内容都包含了不正常的语法或用词，与正规标准的电子邮件风格不符。
事实上，为了防止员工点击带有恶意链接的邮件或泄露登录信息，许多电商公司在培训中都会提醒注意拼写错误、不寻常的语法以及非英语母语者可能犯的其它错误。
然而，现在的生成式AI技术已经能够完美地排除掉这些传统的识别特征。这次的亚马逊钓鱼邮件没有任何语法上的错误。
最近电子邮件安全公司Abnormal Security的CEO Evan Reiser在接受采访时也指出了这点，由生成式AI平台制作的精细钓鱼邮件几乎与真实邮件无异，使人难以一眼辨识。他表示：“当你浏览这些邮件时，大脑中并不会产生任何提示，警告你这可能是一次网络钓鱼攻击。”
可怕的是，避免语言错误只是生成式AI在钓鱼邮件上展现的基本技能，更强的欺诈和混淆能力更为致命。
得益于AI模仿人类书写的能力，钓鱼邮件的内容可能包括制造紧迫感、鼓励收件人点击链接或者伪装为汇款请求的社交工程邮件等。一旦收件人点击链接，他们的系统就可能受到恶意代码的感染。
上述伪造亚马逊邮件的场景中，便是被AI制造了对于卖家而言比较急迫的场景。不少卖家在仔细审查邮件内容后，虽感到不太对劲，但由于担忧可能错过了某些重要信息，还是按照邮件中的指引操作。
另外，生成式AI还能够使钓鱼邮件更具攻击性。它们可以从社交平台、新闻门户、网上论坛等多种来源中抓取个人信息，以针对性更强的诱人邮件。这在过去通常是需要花上数月的时间才能完成的任务。如果攻击者能够掌握这些专有信息，他们可以在邮件中植入更具说服力的细节内容，或是模仿某人的写作方式。
Evan Reiser指出：“目前，犯罪者只需捕获这些电子邮件，自动地喂养到一个大型模型，接着指示它构建一封引用最近五次在线对话的邮件。这样之前可能需要八小时完成的任务，现在只需八秒。”
即使是技术能力有限的攻击者，也可以利用生成式AI来编写VBA代码。他们只需指示AI将恶意URL嵌入到代码中，当用户打开如Excel这样的文件时，系统会自动下载并执行恶意软件。
过去，像ChatGPT和Bard这样的系统都有内置的保护功能，能够尽可能预防生成恶意内容，但随着越来越多的邪恶GPT版本涌现，电子邮件安全正在面临巨大的挑战。
2023年8月21日，国际安全研究团队Perception Point与Osterman Research公司联合发布了名为《人工智能在电子邮件安全中的作用》的报告。该报告揭示了网络犯罪分子如何利用AI来增加和复杂化电子邮件威胁（如网络钓鱼和BEC攻击）的惊人趋势。
此项研究指出，网络罪犯正在迅速采用AI工具以推动其利益，而有91.1%的组织称他们已遭受到了被AI增强的电子邮件攻击。
有供应商正在利用AI来提高电子邮件的安全能力和流程，例如：为了洞察每个发送者和接收者的习惯和特性，一个AI模型被设计出给组织中的每位成员绘制通信模式。
具体来说，谁会给他们发信息？信息内容是什么？何时和从哪里发送这些消息？通常有其他人被抄送还是只有一个目标接收者？每位发送者使用哪些电邮地址？简而言之，AI被用于构建关于每个人常规行为的档案。
另外，为了察觉不常见的邮件发送模式，供应商结合了以下策略：利用社交图技术进行基础发送模式的分析；识别相似或相近的电子邮件地址；鉴别包含社交工程技巧的信息；检测冒名顶替的标记和其它品牌相关的视觉元素；以及对电子邮件中的语气、情感和风格进行分类。以上策略都有助于检测那些旨在混淆人类思维的异常邮件。
尽管接受过安全意识培训的人力也可以找到这些异常信号，但只有AI能够在网络速度下整合所有分析维度，确保在面对海量消息时能够持续并可靠地执行检测。
AI解决方案还可以利用多个机器学习模型来识别带有恶意内容的信息。这些模型是基于被标记为恶意或无害的信息数据集进行开发、调整和更新的。某些供应商采用生成式AI技术，从已知的恶意信息中产生附加的样本数据，这为机器学习模型提供了更为丰富的优质训练数据。
能够战胜AI的，也就只有AI了。
实际上，不少组织已经在使用AI进行电子邮件安全防护。根据Osterman Research的数据，最近的两年内五分之四的组织已经部署了或正在积极推进基于AI的电子邮件安全解决方案，这种方案是在常规保护措施之外附加的。
而在过去两年中，仍有五分之一的受访者没有采纳此类方案：12.7%的人没有实行任何解决方案，而6.0%的人正在积极探索和评估可能的选择。
从Osterman Research的数据来看，AI在提高检测效率和强化保护方面显示出了不俗的能力。
只有魔高一尺道高一丈，才能把钓鱼邮件的攻防双方，重新拉回到AI技术这同一起跑线上。
（文中人物为化名）
WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks
WormGPT and FraudGPT - The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章