中科大提出：LLMs的个性化综述，详述大模型与个性化的挑战与机遇

来自：专知

大型语言模型的出现标志着人工智能领域的一次革命性突破。得益于前所未有的训练规模和模型参数，大型语言模型的能力得到了显著提升，从而在理解、语言合成和常识推理等方面达到了与人类相似的表现。这种在通用AI能力上的重大飞跃将从根本上改变个性化服务的实施模式。

首先，它将改变人类与个性化系统之间的交互方式。大型语言模型不再是像传统的推荐系统和搜索引擎那样的被动信息过滤介质，而是为主动用户参与提供了基础。在这样一个新的基础上，可以主动探索用户的请求，并以自然、互动和可解释的方式提供用户所需的信息。

其次，它还将大大扩展个性化服务的范围，使其从仅仅收集个性化信息发展到提供个性化服务的复合功能。通过利用大型语言模型作为通用界面，个性化系统可以将用户的请求编译为计划，调用外部工具（例如搜索引擎、计算器、服务API等）的功能来执行这些计划，并整合这些工具的输出，完成端到端的个性化任务。如今，大型语言模型仍在快速发展，而在个性化应用中还大都未被探索。

因此，我们认为现在是时候审视个性化服务的挑战以及用大型语言模型来解决它们的机会了。特别是，我们在这篇展望性论文中专门讨论了以下几个方面：现有个性化系统的发展和挑战、大型语言模型新出现的能力，以及如何利用大型语言模型进行个性化的潜在方法。

大型语言模型的出现[1]在理解人类表达方面显示出了显著的进步，深刻地影响了AI社区。这些模型配置了大量的数据和大规模的神经网络，展示了在理解人类语言和生成与我们相似的文本方面的卓越能力。其中的能力包括推理[2]、少次学习[3]以及在预训练模型中融合大量的世界知识[1]。这标志着人工智能领域的一个重大突破，导致了我们与机器互动的革命。因此，大型语言模型在从自然语言处理和机器翻译到创意内容生成和聊天机器人开发的各种应用中都变得不可或缺。特别是ChatGPT的推出，受到了人类社区的广泛关注，促使人们反思大型语言模型的变革力量及其推动AI能够达到的界限的潜力。这种颠覆性的技术承诺改变我们在无数领域与AI的互动和利用方式，为创新打开了新的可能性和机会。随着这些语言模型继续进步和发展，它们有望塑造人工智能的未来，使我们能够探索未知领域并在人机合作中发掘更大的潜力。

个性化，即根据个人喜好量身定制体验的艺术，是连接人类与机器之间差距的一个关键且动态的纽带。在当今的技术驱动世界中，个性化在增强用户与各种数字平台和服务的互动和参与中起到了关键的作用。通过适应个人的偏好，个性化系统赋予机器满足每个用户独特需求的能力，从而使互动更为高效和愉快。此外，个性化不仅仅是内容推荐；它涵盖了用户体验的各个方面，包括用户界面、交流风格等。随着人工智能的不断进步，个性化在处理大量互动和多样化的用户意图方面变得越来越复杂。这要求我们开发更先进的技术来应对复杂的场景，提供更加愉快和满意的体验。对改进个性化的追求是由希望更好地了解用户并满足他们不断变化的需求的愿望驱动的。随着技术的发展，个性化系统很可能会继续演变，最终创造出一个人机交互无缝融入我们生活的每一个方面的未来，为我们的日常生活提供个性化和量身定制的体验。

大型语言模型，凭借其深入和广泛的能力，有潜力革命化个性化系统，改变人类的互动方式并扩大个性化的范围。人机之间的交互不再仅仅可以被分类为主动和被动，就像传统的搜索引擎和推荐系统一样。然而，这些大型语言模型不仅仅是简单的信息过滤，它们还提供了多样化的附加功能。具体来说，系统会主动和全面地探索用户的意图，使用户和系统之间能够通过自然语言进行更直接和无缝的沟通。与依赖于抽象且难以解释的基于ID的信息表示的传统技术不同，大型语言模型能够更深入地理解用户的确切需求和兴趣。这种更深入的理解为更高质量的个性化服务铺平了道路，以更精细和有效的方式满足用户的需求和偏好。此外，通过大型语言模型的能力，各种工具的整合得到了极大的增强，大大扩展了个性化系统的可能性和应用场景。通过将用户需求转化为计划，包括理解、生成和执行它们，用户可以访问各种各样的信息和服务。重要的是，用户并不知道后台发生的复杂转换过程，因为他们体验到的是一个无缝的端到端模型。从这个角度来看，大型语言模型在个性化方面的潜力尚未被充分探索。

本文探讨了个性化中的挑战，并探索了使用大型语言模型的潜在解决方案。在现有的相关工作中，LaMP [4] 为训练和评估语言模型在信息检索系统中生成个性化输出引入了一个新的基准。另一方面，其他相关的调查[5]、[6]、[7]主要关注传统的个性化技术，如推荐系统。从学习机制的角度，LLM4Rec [5] 深入探讨了用于推荐的区分性LLM和用于推荐的生成性LLM。关于LLM适应推荐系统的"在哪里"和"如何"，Li等人[6]关注了工业推荐阶段的整体流程。而Fan等人[7]则进行了一项重点关注预训练、微调和提示方法的回顾。虽然这些工作讨论了像Bert和GPT这样的预训练语言模型以便于分析，但他们对大型语言模型的新兴能力关注有限。本文旨在通过检查大型语言模型在个性化背景下的独特和强大的能力来填补这一空白，并进一步用工具扩展个性化的范围。

本综述的其余部分的组织结构如下：我们在第2节回顾了个性化和大型语言模型，以概述其发展和挑战。然后，我们在第3节仔细讨论了大型语言模型在个性化中的潜在作用，包括简单利用新兴能力以及与其他工具的复杂集成。我们还讨论了将大型语言模型适应于个性化时可能遇到的挑战。

大型语言模型用于个性化

在接下来的部分中，我们深入探讨了大型语言模型在个性化方面的潜力，从简单的使用情境，如利用词汇知识作为特征，到与其他工具模块更为复杂的集成，使其起到代理的作用。具体来说，我们关注于新兴能力的进展，从基础的世界知识和理解用户意图开始，发展到高级的推理能力。我们探索了大型语言模型如何有助于构建一个知识库，丰富关于各种项目的常识知识。此外，我们还讨论了大型语言模型的理解能力如何赋予内容解释者和解释者对交互的深入分析能力。此外，我们还观察了利用大型语言模型的推理能力为系统推理者提供推荐结果的尝试。这些越来越复杂的能力使得大型语言模型与其他工具模块的复杂利用成为可能，使它们更好地理解用户意图并满足用户指令。因此，我们还探讨了大型语言模型与其他个性化工具的集成，包括工具学习、会话代理和个性化内容创建者。本章的概述如图1所示。我们的全面调查旨在提供对当前格局的更深入的了解，并阐明将大型语言模型整合到个性化中所带来的机会和挑战。

大模型即知识库

大型语言模型（Large Language Models，简称LLMs）检索事实知识作为显式知识库的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了广泛的讨论，这为在推荐系统内构建更为全面的知识图谱提供了机会。回溯到 [38] 的工作，大型语言模型在存储事实信息，如实体和常识，以及将常识可靠地转移给下游任务方面展示了其令人印象深刻的能力。现有的知识图谱方法难以处理不完整的KGs [47] 和利用文本语料构建KGs [48]，许多研究者尝试利用LLMs的能力来解决这两个任务，即知识图谱的补全 [49] 和知识图谱的构建 [50]。对于知识图谱的补全，这是指在给定的知识图谱中缺失事实的任务，近期的努力已致力于为知识图谱编码文本或生成事实。MTL-KGC [51] 对文本序列进行编码以预测元组的可能性。MEMKGC [52] 预测了三元组的掩码实体。StAR [53] 使用暹罗文本编码器分别对实体进行编码。GenKGC [54] 使用仅解码器的语言模型直接生成尾实体。TagReal [55] 从外部文本语料库中生成高质量的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并设计了定制提示以预测尾实体。至于另一个重要任务，即知识图谱的构建，这是指创建知识的结构化表示，LLMs可以应用于构建知识图谱的过程中，包括实体发现 [56], [57], coreference resolution [58], [59] 和关系抽取 [60], [61]。LLMs还可以实现端到端的构建 [62], [50], [42], [63], [55]，直接从原始文本构建KGs。LLMs允许知识提取构建知识图谱。symbolic-kg [64] 从GPT3中提取常识事实，然后微调小型学生模型以生成知识图谱。这些模型已经展示了存储大量知识的能力，为提高知识图谱的范围和深度提供了一个可行的选择。此外，这些进展促使人们研究从LLMs到知识图谱的存储知识的直接转移，消除了对人类监督的需求。这项有趣的研究揭示了利用尖端的大型语言模型自动完成知识图谱的可能性。

LLMs 作为内容解释器 

基于内容的推荐器为缓解推荐系统中的稀疏反馈问题提供了有效的解决方案。通过利用物品的属性和特性，这些系统对其属性有了更深入的了解，促使与用户偏好的准确匹配。然而，在基于内容的推荐中使用的内容特性也可能表现出稀疏性。仅仅依赖推荐的监督信号，如点击和浏览，可能不能充分利用这些特性的潜在好处。为了克服这一挑战，语言模型作为强大的基本算法出现，它们在处理文本特性时充当内容解释器。他们的利用增强了推荐系统的有效性，有效地理解和解释文本内容，从而改进了推荐。

结论

总的来说，大型语言模型的出现在人工智能领域代表了一个重大的突破。它们在理解、语言分析和常识推理方面的增强能力为个性化打开了新的可能性。在本文中，我们从几个角度讨论了大型语言模型适应个性化系统的时机。我们已经观察到，从利用大型语言模型的低级能力来提高性能，到利用它们在与外部工具的复杂互动中进行端到端任务的潜力，这种进展都有所进化。这种演变有望彻底改变个性化服务的提供方式。我们也承认，将大型语言模型集成到个性化系统中带来的开放性挑战。