7 Papers | AAAI 2023杰出论文奖；AI生成文本检测方法综述

公众号新闻

2023-02-12 05:02

机器之心 & ArXiv Weekly

参与：杜伟、楚航、罗若天

本周论文包括获得 AAAI 2023 杰出论文奖的 CowClip 算法，以及现有 AI 生成文本检测方法的全面技术介绍。

目录：

CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU
DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editings
A Survey on Transformers in Reinforcement Learning
Rethinking with Retrieval: Faithful Large Language Model Inference
The Science of Detecting LLM-Generated Texts
Quantum machine learning beyond kernel methods
Organic reaction mechanism classification using machine learning

论文 1：CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU

作者：Zangwei Zheng、 Pengtai Xu 等
论文地址：https://arxiv.org/pdf/2204.06240.pdf

摘要：新加坡国立大学和字节跳动的研究者通过数学分析证明了在扩大批次时，对于不常见特征的学习率使用传统的学习率放缩，会影响学习的稳定性。

此外，研究者提出 CowClip 的梯度裁剪算法，可以简单有效扩展批大小。通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了 128 倍，并没有造成精度损失。尤其是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现 AUC 超过 0.1% 的改进。在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速 72 倍。

CowClip 算法展示。

推荐：本文获得 AAAI 2023 杰出论文奖（Distinguised Paper）。

论文 2：DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editings

作者：Bingchuan Li、 Shaofei Cai 等
论文地址：https://arxiv.org/pdf/2109.10737.pdf

摘要：表情编辑技术在特效和修图场景有着广泛的应用。此前，剪映、醒图等 app 上的一键变笑脸模板一经上线就立刻成为出圈爆款；在抖音上，这一特效还引发了热烈的话题讨论，「笑得很好下次别笑了」一度登顶抖音话题热榜。

近日，在 AI 领域的顶级会议 AAAI 2023 上，来自字节跳动智能创作团队的 3 篇关于表情编辑 GAN 技术的论文入选，揭示了上述爆款特效背后的技术实现方法。

本文中，团队在第一阶段利用预训练的 3D 人脸重建模型，提取 3DMM 表情系数并注入到 StyleGAN 的 w 空间。同时，渲染出 3D shape 用作约束条件，训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据，训练服务端或移动端的 pix2pix 模型，实现特定表情的编辑。

推荐：一键定制人脸表情没那么难！字节跳动人像编辑 GAN 技术取得突破。

论文 3：A Survey on Transformers in Reinforcement Learning

作者：Wenzhe Li、 Hao Luo 等
论文地址：https://arxiv.org/pdf/2301.03044.pdf% E3%80%81

摘要：为了更好地推动强化学习领域发展，清华大学、北京大学、智源人工智能研究院和腾讯公司的研究者联合发表了一篇关于强化学习中 Transformer（TransformRL）的综述论文，归纳总结了当前的已有方法和面临的挑战，并讨论了未来的发展方向，作者认为 TransformRL 将在激发强化学习潜力方面发挥重要作用。

TransformRL 图示。

推荐：强化学习中的 Transformer 发展到哪一步了？清华、北大等联合发布 TransformRL 综述。

论文 4：Rethinking with Retrieval: Faithful Large Language Model Inference

作者：Hangfeng He、 Hongming Zhang 等
论文地址：https://arxiv.org/pdf/2301.00303v1.pdf

摘要：大型语言模型 (LLM) 已通过 In-context Learning 在各种复杂任务上展现出卓越的性能，并且无需针对特定任务进行训练或微调，近期 prompt 和解码方面取得的进展也使 LLM 解决复杂推理任务变成了现实。

然而，LLM 可能会存储过时、不全面或不正确的知识，要将 LLM 成功部署到实际应用中，外部知识来源（例如维基百科）至关重要。此前，人们尝试将知识用于较小的语言模型 (LM)，例如 T5、BERT 和 RoBERTa，但这些方法通常需要额外的训练或微调，成本高昂，对于 LLM 来说完全不切实际。

罗彻斯特大学、腾讯 AI Lab 和宾夕法尼亚大学的研究者联合提出了一种称为 Rethinking with Retrieval (RR) 的后处理方法，以在 LLM 中利用外部知识。

在三项推理任务上使用 GPT-3 的不同方法的性能对比。

推荐：禁止大型语言模型胡编乱造，给点外部知识，推理靠谱的很。

论文 5：The Science of Detecting LLM-Generated Texts

作者：Ruixiang Tang、Yu-Neng Chuang 等
论文地址：https://drive.google.com/file/d/1U8oQNU4f-1c4hJG9vdFuV4xfa10mrKXC/view

摘要：自然语言生成 (NLG) 技术的最新进展显着提高了大型语言模型生成文本的多样性、控制力和质量。一个值得注意的例子是 OpenAI 的 ChatGPT，它在回答问题、撰写电子邮件、论文和代码等任务中展示了卓越的性能。然而，这种新发现的高效生成文本的能力也引起了人们对检测和防止大型语言模型在网络钓鱼、虚假信息和学术造假等任务中滥用的担忧。

例如，由于担心学生利用 ChatGPT 写作业，纽约公立学校全面禁止了 ChatGPT 的使用，媒体也对大型语言模型产生的假新闻发出警告。这些对大型语言模型滥用的担忧严重阻碍了自然语言生成在媒体和教育等重要领域的应用。

最近关于是否可以正确检测大型语言模型生成的文本以及如何检测的讨论越来越多，这篇文章对现有检测方法进行了全面的技术介绍。

大型语言模型生成的文本检测分类学。

推荐：冒充人类作者，ChatGPT 等滥用引担忧，一文综述 AI 生成文本检测方法。

论文 6：Quantum machine learning beyond kernel methods

作者：Sofiene Jerbi、Lukas J. Fiderer 等
论文地址：https://www.nature.com/articles/s41467-023-36159-y

摘要：基于参数化量子电路的机器学习算法是近期在嘈杂的量子计算机上应用的主要候选者。在这个方向上，已经引入和广泛研究了各种类型的量子机器学习模型。然而，我们对这些模型如何相互比较以及与经典模型进行比较的理解仍然有限。

近日，来自奥地利因斯布鲁克大学的研究团队确定了一个建设性框架，该框架捕获所有基于参数化量子电路的标准模型：线性量子模型。

研究人员展示了使用量子信息论中的工具如何将数据重新上传电路有效地映射到量子希尔伯特空间中线性模型的更简单图像中。此外，根据量子比特数和需要学习的数据量来分析这些模型的实验相关资源需求。基于经典机器学习的最新结果，证明线性量子模型必须使用比数据重新上传模型多得多的量子比特才能解决某些学习任务，而核方法还需要多得多的数据点。研究结果提供了对量子机器学习模型的更全面的了解，以及对不同模型与 NISQ 约束的兼容性的见解。