Redian新闻
>
华盛顿大学撰文反驳微软,我们无法删除大模型关于哈利波特的记忆

华盛顿大学撰文反驳微软,我们无法删除大模型关于哈利波特的记忆

科技
 夕小瑶科技说 原创
 作者 | Tscom

引言:探索记忆消除的界限

在人工智能的发展过程中,一个引人入胜的议题是机器学习模型是否能够被训练以忘记其曾经学到的信息。近期,Ronen Eldan和Mark Russinovich在其研究“谁才是哈利·波特?”[1]中提出了一种创新技术,声称能够从LLMs中“抹去”特定数据集的记忆,尤其是针对《哈利·波特》这样的知名作品。他们的方法引发了业界的广泛关注,并被认为是在LLMs“遗忘”技术领域的一大突破。

但是,本文将对Eldan和Russinovich的研究成果提出质疑,认为这样的声明可能过于宽泛。本文通过一系列轻量级实验,探索记忆消除的界限,尤其是针对深度学习模型是否真的能够彻底忘记哈利·波特系列内容的可能性。

论文标题:
THE BOY WHO SURVIVED: REMOVING HARRY POTTER FROM AN LLM IS HARDER THAN REPORTED

论文链接:
https://arxiv.org/pdf/2403.12082.pdf

Eldan和Russinovich的方法概述

在Eldan和Russinovich的研究中,他们提出了一种针对LLMs的“遗忘”技术,这一技术的核心在于通过微调(finetuning)过程,有选择性地从模型中移除特定信息。具体来说,他们的方法首先通过强化学习(reinforcement learning)来训练一个模型,使其对目标数据集(例如《哈利·波特》系列)有更深入的理解。然后,他们利用这个强化后的模型来识别与目标数据集最相关的词汇和表达,通过替换这些特定的表达为更通用的词汇,以此来“遗忘”原始数据集中的信息。

下图比较了在不同微调步骤中,对于句子“Harry Potter studies”下一个词汇的概率分布,展示了最可能的下一个词汇是如何逐渐从“magic”转变为通用完成形式的。

Eldan和Russinovich声称,通过这种方法,他们能够在大约1个GPU小时的微调后,有效地抹去模型对《哈利·波特》系列的记忆(下图比较了Llama-7b微调前后的变化)。

他们通过在多个常见的语言模型基准测试中评估模型的性能,如Winogrande、HellaSwag、ARC等,发现模型在这些测试中的表现几乎没有受到影响(下图),从而得出结论,认为他们的技术能够在不影响模型整体性能的前提下,实现对特定内容的“遗忘”。

实验设置与设计:挑战LLM遗忘哈利·波特内容的可能性

本文作者在2019年的iMac上运行了一系列实验,并通过Ollama工具进行了测试。

实验的设计主要在以下三个方面:

1. 原型测试:检验与哈利·波特相关的核心概念

在原型测试中,我们探索了与哈利·波特强烈关联的概念,例如“楼梯下的男孩”和“幸存的男孩”。这些原型提示旨在测试作为相关标记集群的“想法”,而不是特定的标记序列。

2. 遗漏术语测试:探索可能被忽略的特定词汇

我们还测试了作者可能遗漏的术语,如“麻瓜”和“泥巴种”。这些测试旨在发现在尝试从模型中删除哈利·波特相关内容的过程中可能被忽视的特定词汇。

3. 不可消除短语测试:评估难以移除的特定句子

最后,我们对那些作者可能无法消除的短语进行了测试,例如“不可名状的他”。与原型不同,这些短语测试是针对特定的标记序列。

实验结果与讨论:对知识“消除”目标的批判性思考

1. 讨论记忆消除的定义和评估方法

记忆消除,或所谓的“memory-hole”过程,指的是从LLMs中删除特定知识的尝试。Shostack通过少量不到十二次的试验,模型不仅明确提到了哈利波特,还多次“接近”提及,例如提到了“harry harris series”(上图)和“Voldemar Grunther”(下图),这些都与哈利波特系列有着密切的联系。

这些实验结果引发了对记忆消除定义和评估方法的深入思考。首先,我们必须明确“消除”知识的含义:它是否意味着模型完全不再生成与目标内容相关的任何信息,还是仅仅减少了这类信息的生成频率?其次,评估记忆消除的有效性需要一套严谨的方法论。例如,是否应该仅仅依赖于模型的直接输出,或者还应该考虑模型生成的内容与目标知识的相似度?

2. 锚定效应和安全分析的重要性

在进行记忆消除的实验时,避免锚定效应至关重要。锚定效应是指个人在面对不确定性时,会过分依赖(或锚定于)第一个接收到的信息。Shostack在实验中未完全阅读Eldan和Russinovich的论文,这反而避免了他在实验设计上受到原有结论的影响。这种无意识的实验设计可能更能揭示模型记忆消除的真实效果。

此外,安全分析在评估记忆消除的过程中也扮演了重要角色。安全分析关注的是在消除特定知识后,模型是否仍可能产生有害或不当的输出。例如,尽管模型可能不再直接提及“哈利波特”,但它可能会生成与哈利波特相关的隐晦内容,这仍然可能触发版权或其他法律问题。

总结:对LLM记忆消除能力的反思与展望

1. 实验结果的反思

实验结果显示,尽管模型经过调整以避免生成哈利波特相关内容,但在多次尝试中,模型仍然能够产生与哈利波特相关的回应。例如,模型曾经提到“harry harris series”和“Voldemar Grunther”,这些都与哈利波特系列有着密切的联系。这表明,尽管模型被训练以忘记特定的信息,但它仍然能够通过不同的方式回忆起这些信息,或者至少是与之相关的概念。

2. 记忆消除的挑战

记忆消除的过程比预期中更为复杂。尽管可以通过调整模型来减少特定信息的生成,但完全消除模型中的某个特定知识点似乎是一项艰巨的任务。这不仅仅是因为信息可能以多种形式存在于模型中,而且因为语言本身的复杂性和多样性使得完全避免某些话题变得极其困难。

3. 未来的展望

展望未来,我们需要更深入地理解LLM如何存储和检索信息,以及如何更有效地进行记忆消除。这可能需要开发新的技术和方法,以更精细地控制模型的输出,并确保它们不会无意中泄露被遗忘的信息。此外,我们还需要考虑如何评估记忆消除的效果,以及如何确保这一过程不会损害模型的其他功能和性能。

参考资料

[1] Ronen Eldan and Mark Russinovich. Who’s harry potter? approximate unlearning in llms. ArXiv, 2023. doi:https://doi.org/10.48550/arXiv.2310.02238.

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
突发:华盛顿大学内建起了“加沙大学”,内设图书馆、医疗帐篷,但无言论自由权;西雅图全城寻找失踪的斑马;你自以为是的程度是多少?Science:为什么我们无法回忆起婴幼儿时期发生的事情?是真的没有记忆吗?突发:华盛顿州最受欢迎的婴儿名字居然是这两个!西雅图陆荣昌博物馆因员工抗议展览而关闭;华盛顿州巡警第4000次逮捕酒驾者突发:华盛顿州要立法给想变性的青少年的家长知情权,一些公民组织试图阻止;为保护濒危鸟类而削减一半风力发电机?华盛顿州州长否决Offer到!恭喜学员斩获美国华盛顿大学圣路易斯分校24Fall录取!中国工商银行哈利波特纪念章!内藏魔法机关,含999金,可佩戴伦敦餐厅加收“结账费”?不如抢钱好吗!哈利波特主演就跨性别再喊话JK罗琳!烘培店出售“市长选举”甜甜圈哈利波特正版周边:魔杖笔、学院徽章、金色飞贼,带你走进魔法世界伦敦中国城疑似炸弹“可疑包裹”被发现:拆弹机器人出动!哈利波特蒸汽火车恢复运营硬刚到底!JK罗琳称不会原谅哈利波特主演:向弱势女性道歉吧!超棒的《哈利波特》单词本,融入具体例句,轻松学会3000词!回国散记(6)秋九寨冬黄龙中国的“大年”,日本的“小年”突发:华盛顿大学支持巴勒斯坦的示威者将解散营地;西雅图国际电影节奖颁了一个大奖给“弟弟”;华州火山会在我们有生之年再次爆发吗?ICLR 2024 | 图领域首个通用框架!任意数据集、分类问题都可搞定!华盛顿大学&北大&京东出品7037 血壮山河之枣宜会战 “扑朔迷离”南瓜店 14Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。Meta联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜今日帖,今日读——— 2024年1月31日伦敦塔桥上空出现妖怪!哈利波特庆祝阿兹卡班囚徒20周年户外沉浸式体验!记录是一种集体的记忆还是个体的记忆?【酷玩一日】华盛顿深度赏樱花纯玩游!春光灿烂不及华盛顿樱花三千~!今日帖,今日读——2024年2月1日英国这些竟都是王室同款?一不小心就撞款了!网友:连哈利波特的扫帚也?英国主题酒店!哈利波特?丛林冒险?让你的旅行快乐翻倍!【快讯】波士顿哈利波特巡演丨AI研究生成健康的色情内容哈利波特纪念章来了!内藏魔法机关,含999金!图领域首个通用框架来了!入选ICLR'24 Spotlight,任意数据集、分类问题都可搞定|来自华盛顿大学&北大&京东好惊喜!£4起收哈利波特周边!SK-II大红瓶史低救命!我这是闯进哈利波特的魔药课堂了?JHU、圣路易斯华盛顿大学、纽大、汉密尔顿学院ED2放榜时间已明确!祝每位申请者斩获心仪offer!突发:西雅图多车连环相撞导致5号公路大面积拥堵;华盛顿大学耗资6000万美元的篮球训练设施将动工;西雅图本周日将调至夏令时间你两岁以前的记忆,被谁删除了?小时候的你到底看见了啥?“哈利波特”再diss罗琳:我为你感到悲伤!网友:搞反了吧你?!【下周活动】哈利波特电影音乐会、日式烤肉买一送一、日落草坪音乐会、优衣库推出限量版公仔
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。