Redian新闻
>
登Nature子刊,滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

登Nature子刊,滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

公众号新闻

ScienceAI 设为星标

第一时间掌握

新鲜的 AI for Science 资讯



编辑 | X

模拟当今量子计算设备的一个关键挑战,是学习和编码量子比特之间发生的复杂关联的能力。基于机器学习语言模型的新兴技术已经显示出学习量子态的独特能力。

近日,加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章,强调了语言模型在构建量子计算机方面所做出的贡献,并讨论了它们在量子优势竞争中的未来角色。

论文链接:https://www.nature.com/articles/s43588-023-00578-0

量子计算机已经开始成熟,最近许多设备都声称具有量子优势。经典计算能力的持续发展,例如机器学习技术的快速崛起,引发了许多围绕量子和经典策略之间相互作用的令人兴奋的场景。随着机器学习继续与量子计算堆栈快速集成,提出了一个问题:它是否可以在未来以强大的方式改变量子技术?

当今量子计算机提出的一个关键挑战是量子态的学习。近年来迅速进入该领域的生成模型给出了学习量子态的两种广泛策略。

图示:自然语言及其他领域的生成模型。(来源:论文)

首先,通过代表量子计算机测量输出的数据集,数据驱动的学习通过传统的最大似然方法进行。其次,量子态可以通过所谓的物理学方法来解决,该方法利用量子比特之间相互作用的知识来定义替代损失函数。

无论哪种情况,量子态空间(希尔伯特空间)的大小都会随着量子比特数量 N 呈指数增长,这是典型的维数灾难。这对于扩展模型中表示量子态所需的参数数量以及寻找最佳参数值的计算效率提出了严峻的挑战。基于人工神经网络的生成模型非常适合应对这一挑战。

语言模型是一种特别有前途的生成模型,它已成为解决高复杂性语言问题的强大架构。由于其可扩展性,也适用于量子计算中的问题。如今,随着工业语言模型进入数万亿个参数的范围,们很自然地想知道类似的大型模型在物理学中可以实现什么,无论是在扩展量子计算等应用中,还是在量子物质、材料和设备的基础理论理解中。

图示:量子物理问题及其变分公式。(来源:论文)

量子计算的自回归模型

语言模型是旨在从自然语言数据推断概率分布的生成模型。

生成模型的任务是学习语料库中出现的单词之间的概率关系,允许每次生成一个标记的新短语。主要困难在于对单词之间所有复杂的依赖关系进行建模。

类似的挑战也适用于量子计算机,其中纠缠等非局部相关性会导致量子比特之间高度不平凡的依赖性。因此,一个有趣的问题是,工业界开发的强大自回归架构是否也可以应用于解决强相关量子系统中的问题。

图示:文本和量子比特序列的自回归策略。(来源:论文)

RNN 波函数

RNN 是任何包含循环连接的神经网络,因此 RNN 单元的输出取决于先前的输出。自 2018 年以来,RNN 的使用迅速扩大,涵盖了理解量子系统中各种最具挑战性的任务。

RNN 适合这些任务的一个关键优势是它们能够学习和编码量子比特之间高度重要的相关性,包括本质上非局域的量子纠缠。

图示:用于量子比特序列的 RNN。(来源:论文)

物理学家已将 RNN 用于与量子计算相关的各种创新用途。RNN 已用于根据量子比特测量重建量子态的任务。RNN 还可以用于模拟量子系统的动态特性,这被认为是量子计算最有前途的应用之一,因此也是定义量子优势的一项关键任务。RNN 已被用作构建神经纠错解码器的策略,这是容错量子计算机开发的关键要素。此外,RNN 能够利用数据驱动和物理启发的优化,从而在量子模拟中实现越来越多的创新用途。

物理学家社区继续积极开发 RNN,希望利用它们来完成量子优势时代遇到的日益复杂的计算任务。RNN 在许多量子任务中与张量网络的计算竞争力,加上它们利用量子比特测量数据的价值的天然能力,表明 RNN 将继续在未来模拟量子计算机的复杂任务中发挥重要作用。

Transformer 量子态

多年来,虽然 RNN 在自然语言任务中取得了巨大成功,但最近它们在工业中因 Transformer 的自注意力机制而黯然失色,而 Transformer 是当今大型语言模型 (LLM) 编码器-解码器架构的关键组成部分。

缩放(scaling ) Transformer 的成功,以及它们在语言任务中所展示的非平凡涌现现象所引发的重要问题,一直吸引着物理学家,对他们来说,实现缩放是量子计算研究的主要目标。

从本质上讲,Transformer 就是简单的自回归模型。然而,与 RNN 不同的是,RNN 是通过隐藏向量进行相关性的隐式编码,Transformer 模型输出的条件分布明确依赖于序列中有关自回归特性的所有其他变量。这是通过因果屏蔽的自注意力机制来完成的。

图示:注意文本和量子比特序列。(来源:论文)

与语言数据一样,在量子系统中,注意力是通过获取量子比特测量值并通过一系列参数化函数进行转换来计算的。通过训练一堆这样的参数化函数,Transformer 可以学习量子比特之间的依赖关系。有了注意力机制,就不需要将传递隐藏状态的几何结构(就像在 RNN 中一样)与量子比特的物理排列相关联。

通过利用这种架构,可以训练具有数十亿或数万亿参数的 Transformer。

对于当前一代量子计算机来说,结合数据驱动和物理启发学习的混合两步优化非常重要,已经证明了 Transformer 能够减轻当今不完美的输出数据中出现的错误,并可能形成强大的纠错协议的基础,以支持未来真正容错硬件的开发。

随着涉及量子物理 Transformer 的研究范围不断迅速扩大,一系列有趣的问题仍然存在。

量子计算语言模型的未来

尽管物理学家对它们的探索时间很短,但语言模型在应用于量子计算领域的广泛挑战时已经取得了显著的成功。这些成果预示着未来许多有前途的研究方向。

量子物理学中语言模型的另一个关键用例来自于它们的优化能力,不是通过数据,而是通过哈密顿量或 Lindbladian 的基本量子比特相互作用的知识。

最后,语言模型通过数据驱动和变分驱动优化的结合,开辟了混合训练的新领域。这些新兴的策略为减少错误提供了新的途径,并显示出对变分模拟的强大改进。由于生成模型最近已被改编为量子纠错解码器,混合训练可能为未来实现容错量子计算机的圣杯迈出了重要一步。这表明,量子计算机和在其输出中训练的语言模型之间即将出现良性循环。

图示:语言模型通过良性循环实现量子计算的扩展。(来源:论文)

展望未来,将语言模型领域与量子计算联系起来的最令人兴奋的机会在于它们展示规模和涌现的能力。

如今,随着 LLM 涌现特性的展示,一个新的领域已经被突破,提出了许多引人注目的问题。如果有足够的训练数据,LLM 是否能够学习量子计算机的数字副本?控制堆栈中包含语言模型,将如何影响量子计算机的表征和设计?如果尺度足够大,LLM 能否显示超导等宏观量子现象的出现?

当理论学家思考这些问题时,实验和计算物理学家已经开始认真地将语言模型应用于当今量子计算机的设计、表征和控制中。当我们跨越量子优势的门槛时,我们也进入了扩展语言模型的新领域。虽然很难预测量子计算机和 LLM 的碰撞将如何展开,但显而易见的是,这些技术相互作用所带来的根本性转变已经开始。

人工智能 × [ 生物 神经科学 数学 物理 化学 材料 ]

「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展

欢迎注标星,并点击右下角点赞在看

点击读原文,加入专业从业者社区,以获得更多交流合作机会及服务。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
量子计算突破:IBM推出新型模块化系统,瞄准2033年超级计算机6063 血壮山河之随枣会战 第三章 17华翊量子完成近亿元战略融资,加速离子阱量子计算产业化进程Hans Clevers合作团队新进展!Nauture子刊:具备免疫系统的类器官可评估肿瘤免疫治疗脱靶效应Nature子刊 | 西湖大学党波波团队开发单一主链酰胺键位点选择性的蛋白质化学偶联方法百度量子计算有变化,官方证实:实验室及设备将赠予北京量子院小资投资者宇文通凡的开心生活Nature子刊 | 曹雪涛团队发现抗病毒先天免疫启动促炎细胞因子表达的新机制78、长篇民国小说《永泰里》第十六章 生死一线(2)我国第三代自主超导量子计算机全球访问数据公布,美国竟然访问第一!个人感慨之六十八 宪政“长生不老药”烟酰胺的滑铁卢!Science子刊:综合25项临床试验发现,几乎没有效果中国量子计算机全球访问数据公布,境外第一是…LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」Nature子刊 | 清华大学孙前文实验室揭示DNA引物酶促进转录复制间的竞争并影响基因组稳定性的新机制AI破译2000年前「上古卷轴」登Nature头版!21岁计算机天才,谷歌华人工程师共获大奖Nature子刊 | 清华大学陈立功/刘万里合作发文揭示MCT1转运蛋白在IgG抗体类别转换中的功能Nature子刊最新发文 | 新冠抗体mRNA选择性递送到肺部!我国第三代自主超导量子计算机上线中国量子计算机“本源悟空”全球访问量突破100万;SK海力士拟选择在印第安纳州建设150亿美元芯片工厂丨智能制造日报中国量子计算机“悟空”已为全球92个国家用户完成10万多个运算任务;集成元件技术可用于人工神经网络丨智能制造日报今日Arxiv最热NLP大模型论文:清华大学让大语言模型自动并行自回归解码,速度提升高达4倍!又一Nature大子刊,中科大崔林松教授-蓝光钙钛矿LED新突破Nature子刊 | 西湖大学施一公团队揭示剪接体进行分支位点选择、校正的分子机理滑铁卢大学,一所让人永远不能忽视的名校!纠错还是速度?IBM发布超1000量子比特量子计算机,或改变发展路线 | 尹璋琦历史车轮大提速,百年会有王者兴诺奖得主Haroche:量子计算机不是“曼哈顿计划” | 专访Nature子刊|复旦大学郁金泰/程炜/董强/冯建峰:首次揭示下丘脑结构的遗传基础及其与神经精神疾病的关系搭载自主芯片!我国第三代超导量子计算机,上线运行Nature子刊 | 张萍/刘超/杨超团队核膜蛋白SUN2通过调节NS1介导的细胞骨架重组促进黄病毒复制AI测出你几岁死亡?Transformer「算命」登Nature子刊,成功预测意外死亡Nature子刊 | Sc3.0重要进展,酿酒酵母染色体臂的精简与合成重构Nature子刊|复旦大学束敏峰:合作揭示溶瘤病毒耐药的关键分子机理及其干预策略Nature子刊 | 晁彦杰课题组开发iRIL-seq新技术并解析了肠道病原菌RNA互作图谱与非编码RNA功能
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。