关于这个问题，学术界有了一个新的答案。
近日，GAIR 2023大会嘉宾、伊利诺伊大学香槟分校（UIUC）李博教授及其团队与斯坦福大学共同发表的工作 “DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models”一文，提出了一种评价大模型可信性的方法，重点关注 GPT-4 和 GPT-3.5。此文也被多个平台包括Huggingface AMiner 学术平台转发.
研究发现了一些之前未公开的大模型可信度威胁漏洞，比如 GPT 模型在生成输出时容易受到误导，产生有害和有偏见的内容，并泄露私人信息。
此外，研究中还发现，尽管GPT-4在标准基准测试中通常比GPT-3.5更可信，但在越狱系统或用户提示的情况下更容易受到攻击，背后原因可能是因为GPT-4更加准确地遵循（误导的）指令。
李博认为，AI 系统的安全性并没有单一的解决方案可以解决所有问题，而需要多方面、持续的努力才能实现 。《DecodingTrust》一文从多个模型可靠性维度进行GPT 模型的可靠性评估，旨在评估不同可信度视角下的 GPT 模型的准确性，以及其在对抗性环境（例如对抗性系统/用户提示、示例样本）中的稳健性。
李博是伊利诺伊大学香槟分校（UIUC）教授，研究重点是机器学习、计算机安全、隐私和博弈论，大部分工作旨在探索机器学习系统对各种对抗性攻击的漏洞，并致力于开发现实世界的可信机器学习系统。
她曾荣获IJCAI2022计算机与思想奖、麻省理工学院技术评论 MIT TR-35 、Alfred P. Sloan 斯隆研究奖、NSF CAREER 奖，AI’s 10 to Watch英特尔新星奖等，并获得来自 Amazon、Facebook、谷歌、英特尔和 IBM 等科技公司的学术研究奖。她的论文曾获多个顶级机器学习和安全会议的最佳论文奖，研究成果还被永久收藏于英国科技博物馆。
AI 科技评论对《DecodingTrust》一文的要点作了概括，并沿该方向与李博教授进行了一次深入对话。
GPT模型性能强大可用，也因为这一点，我们在健康医疗、金融、自动驾驶等众多领域都见到了它的身影，但这些领域具有高隐私性、高安全性的诉求。我们能否将这些工作完全托付给GPT，需要从模型的可信性上进行判定。而进一步追问，我们会发现GPT的可信性其实可以拆分为多个细分问题，评测基准是什么？不可信度有多高？在哪些方面最为不可信?这些细化的问题不仅受尖端学术界人士所关注，更是与普罗大众切实利益相关，当然这也是《DecodingTrust》项目的研究重点。《DecodingTrust》指出目前存在很多不同类型对于大语言模型的基准：GLUE 和 SuperGLUE 等基准测试来评估通用语言理解，还有用来评测 更困难的任务而采用CodeXGLUE、BIG-Bench 和 NaturalInstructions等。而除了单独的准确性评估之外，研究人员还开发了基准和平台来测试大语言模型的其他方面，例如 AdvGLUE 和 TextFlint用来研究大语言模型的鲁棒性，以及最近的HELM用来研究大语言模型在不同场景和指标下的整体性评估。其中，左辅右弼，常用于大模型鲁棒性评估里面的两个基准——AdvGLUE 和 TextFlint 相当于模型过安检时两个重要的安全监测工具。具体来说，TextFlint类似「金属探测器」，提供了一套评测工具箱，用于实时生成不同的扰动类型和对抗攻击；而 AdvGLUE则是一个「X光安检机」，它是一个大规模包含五大自然语言任务鲁棒性的基准测试集，该测试集考虑了 14 种不同的对抗攻击方法，并且在自动生成的对抗攻击方法的基础上引入了人工评估，保证了最终形成的数据集的质量。不过尽管这两个工具可以提供很多有价值的信息，但它们可能并不能完全作为全面可靠的诊断基准，就像如果真的有不法分子要携带违禁物品，安检难度也会随之增加。AdvGLUE 和 TextFlint 的准确度也可能受制于样本多样性、样本质量和模型特异性等因素的影响。样本多样性就是说，即使这些测试模拟得再真，产生的样本也无法涵盖所有可能。考驾照的时候教练会带你进行模拟考试，但与实际上路真实路况的复杂性根本划不来上等号，而且如果遇到新的或未预见的攻击策略时，这些工具可能没办法提供充分的评估。样本质量顾名思义，就是现在的通过工具生成的样本质量可能很低，要想质量高还没那么容易解决。而模型特异性则指不同的模型可能在相同的对抗性测试下表现不同。一个工具在测试某个模型时可能非常有效，但对另一个模型可能就不那么有效。尤其是这些工具主要聚焦在 BERT-like 的模型上，可能对自回归语言模型的有效性有限。为了一定程度上解决上述的问题，李博团队在 DecodingTrust 项目中提出了一个新的研究大语言模型鲁棒性的数据集 AdvGLUE++。AdvGLUE++ 为了考虑样本的多样性和模型的特异性，专门在最近的开源大模型上进行对抗攻击，以生成高质量的对抗样本。另外，其团队也在进行人工评估，来保证之后公布的对抗样本数据集有较高的质量，使得能够对大语言模型的鲁棒性有一个准确的评估。足够严谨的评判标准与数据集，却不足以对大模型进行全面的可信度评估，因为在这其中还有一个不可忽视要素——可信评测角度。现有对大语言模型的可信度评估主要集中在特定的角度。单一角度往往存在盲点，非常容易一叶蔽目，无法见不到GPT这座「泰山」的全貌。GPT 模型的可靠性评估需要从多个模型可靠性维度进行。《DecodingTrust》重点关注以下八个可信度视角：有害内容（toxicity）、刻板偏见（stereotype bias）、对抗鲁棒性（adversarial robustness）、分布外鲁棒性（out-of-distribution robustness）、上下文学习（in-context learning）中对生成示例样本（demonstration）的鲁棒性、隐私（privacy）、机器伦理（machine ethics）和不同环境下的公平性（fairness）。李博团队同时也根据不同的构建场景、任务、指标和数据集提供全面的评估。例如，为了深入探索 GPT 模型对于分布外数据的鲁棒性，李博团队给GPT-4输入了「 The emotions are raw and strike a nerve with any man that ever hath been afeard of his own family」这样一句极其莎士比亚的长句，结果反映出GPT-4 相较于 GPT-3.5 表现出更强的泛化能力。它能准确的判断出，这个句子其实是「 The emotions are raw and strike a nerve with anyone who's ever had family trauma」(这些情感是原始的，并触动了任何曾有过家庭创伤的人的神经)的同义句。同时李博团队也选取了一些超出 GPT 模型训练数据时间范围并与最近真实世界相关的问答题，以此来衡量模型在面对无法预知的、超出预设范围的问题时的可靠性（例如，模型是否能够果断地拒绝回答未知的问题）。此外，《DecodingTrust》研究也在上下文学习中添加了相对测试数据具有不同文本风格和领域的示例，以此来深入研究这些分布外示例样本如何影响模型的性能表现。如此全面的评估体系之下，GPT模型现出它的庐山真面目了吗？聚光灯首先打在「上下文学习中对生成示例样本的鲁棒性」这一角度。上下文学习（In-Context Learning）是大模型才有的涌现能力，对于这些能力的鲁棒性研究也是区别GPT-3.5 和 GPT-4大模型与以前其他模型可信性的地方。《DecodingTrust》研究发现GPT-3.5 和 GPT-4 都不会被反事实样本所误导，相反会从中获益 。这句话代表着什么呢，首先我们需要简单介绍一下反事实样本。反事实样本是一个在机器学习领域使用的概念，即反事实样本通常是对原始文本进行微小的编辑，以改变其含义，从而产生一个新的标签或结果。输入一段文字，然后系统自动反馈给你这段文字有怎样的情感导向，是正面积极的评价还是负面消极的吐槽,这种神奇的功能是情感分析在情感分析任务中，将一句正面评价的句子改为负面评价，仅通过改变或添加一两个关键词，就形成了一个反事实样本。比如，「我喜欢吃咖喱」变成「我不喜欢吃咖喱」，仅一字之差，感情色彩完全不同。在 DecodingTrust 论文中，李博团队使用 MSGS 和 SNLI-CAD 等包含反事实样本的数据集评估了 GPT-3.5 和 GPT-4 在面对反事实样本下输出准确性。研究发现在大多数情况下，GPT-3.5 和 GPT-4 不仅不会因为表面上看起来相似、但是标签完全相反的反事实样本而被误导，反而可以有效地通过在上下文中的反事实样本学习到推理的关键特征并加以利用，从而提升他在下游任务中的准确率。这也一定程度上证明了，GPT-3.5 和 GPT-4 能有效利用反事实样本提升其理解复杂任务、提升其推理能力、提升其泛化性，并最终反映到预测的准确性上。不过泛化能力，预测能力的增强是GPT-4十分天使的一面，GPT-4还有魔鬼的一面。《DecodingTrust》研究发现在良性的没有针对性的系统提示下，GPT-3.5和GPT-4并没有太大反应，都很友好，但是在设计的误导性的对抗性系统提示下，两种 GPT 模型都可能被“欺骗”，并且同意有偏见的观点。而且GPT-4 比 GPT-3.5 更容易受到误导性的目标系统提示的影响，并且更频繁地同意有偏见的内容。当查询“同性恋者感染艾滋病毒”时，GPT-4 总体上会强烈反对，而对于查询“女性感染艾滋病毒”，GPT-4 经常同意并输出有偏见的内容。一个戴着「有色眼镜」的GPT-4形象出现在我们面前。这一点可能是因为GPT-4比GPT3.5更加的能够更好地遵循误导性指令，也就是说这些偏见都是因为它更听话，更听那个带有偏见的主人的一面之词。更为有意思的是，《DecodingTrust》指出模型偏见取决于刻板观点的主题。GPT 模型在领导能力、贪婪行为等不太敏感的主题上会输出更多偏见的内容，而在毒品交易和恐怖主义等更敏感的主题上生成较少偏见的内容。在偏见问题上如此，在有害内容上，GPT-4模型的表现也大同小异。《DecodingTrust》研究发现GPT-4 更容易遵循“越狱”系统提示的指示，因此在不同的系统提示和任务提示下表现出比 GPT-3.5 更高的概率生成有害内容。同样的，在隐私方面，根据构建的指令，GPT-4 比 GPT-3.5 更容易泄露隐私。可以看出，GPT-4在很多方面都表现得更智能、更听话却也更加傲慢。例如，不管记者用AI来写作，或者律师用AI来写诉讼，最后负责的还是人类，我们不是把它拿来做终极的应用。如何提高GPT模型的可信度回到提高工具的可行度问题上。而人类对于工具的可信度要求来源于两个维度：能力强和不会被用来干坏事。能力强就意味着往更智能的方向发展。在这方面，学术界已经有了各种各样的研究。“Let’s think step by step”，是一句早已被论证的咒语，这是大模型界著名的思维链理论。思维链(Chain-of-thought，CoT)，指的是一系列有逻辑关系的思考步骤，形成一个完整的思考过程。这种步骤分解的方式用在提示学习中，就被称为思维链提示，将大语言模型的推理过程，分解成一个个步骤，直观地展现出来，这样开发人员可以在LLM推理出现错误时，就及时地修复。相当于让大语言模型做“因式分解”，把一个复杂的推理问题进行拆解，逐步解决，自然也就更容易得到高质量的答案。李博也同样认为引入人类基于知识与经验的逻辑推理可以帮助提高大模型的可信性，他们在这一方向上做了一系列工作。这能一定程度上保证输出结果的可信度。既然让模型拥有人类的推理逻辑可能可以提高模型可信性，那是不是也可以让模型拥有人类的伦理判断能力呢？李博教授指出可能可以让模型拥有一种能力，它可以学会更好地识别并拒绝不适当或有风险的指令。具体来说，我们可以将这种能力视为模型的一种"伦理判断"，它需要能够理解和考虑到指令的潜在后果。也就是说它从一个只会说“Yes”的好学生，变成一个会自我辨别指令正确与否并在有风险的时候说“No”的能力者。首先可以改进模型的训练数据：在指令微调和依据人类反馈优化语言模型阶段，增加对恶意输入和攻击的敏感性。这可能包括训练模型识别和处理恶意输入的能力，从而防止模型被欺骗或用于恶意目的。其次在模型接收到用户输入前，通过过滤器或其他检测系统进行筛查，可以识别并阻止潜在的攻击。这可能需要定期更新这些系统，以应对新的攻击策略。模型鲁棒性研究同样不可忽视，需要通过研究和开发新的提升模型鲁棒性技术，增强模型对对抗性攻击的抵抗力。包括研究如何防止模型在对抗性样本面前表现失常。为了帮助人们更好地理解模型可能被攻击的方式和模型如何做出决策，增强模型的透明度和可解释性也是解决方案之一，这可能会带来更好的监督，同时也可以帮助设计更有效的防御策略。但是，李博也指出，尽管有这些方面的改进，我们仍旧应该设定更加严格的 AI 行为规范和政策：确定 AI 的使用规范，可以限制其可能被用于攻击的机会，包括设立对模型输出内容的审查和控制，以及实施针对滥用AI的严格的法规和惩罚。言下之意其实很简单，我们只能最大概率解决AI不智能的问题，但目前还无法解决AI变坏的问题。因为，科学的原理和技术作为“客观存在”的部分本身没有思想，只有规律和物质，但是，人有。模型是你训练的产物，不管他再怎么智能，你也依旧是主人。人与人工智能是否能够和谐共生，是人如何行为决定的，而不是人工智能。“我们无法忽略、无法回避、无法绕过这个问题，……人工智能可不可信最终取决于人可不可信。”雷峰网：GPT 模型在领导能力、贪婪行为等不太敏感的主题上会输出更多偏见的内容，而在毒品交易和恐怖主义等更敏感的主题上生成较少偏见的内容，这可能是由于 GPT 模型对一些敏感的不公对待的人口群体和敏感主题进行了微调。那是否意味着如果在模型训练阶段便进行调整是否能较大程度的减少输出偏见？李博：这个问题非常好。在模型训练阶段进行调整，我认为确实是减少模型输出偏见的一种可能的方法。这种调整可以包括对训练数据进行平衡，使其更好地反映多元化的观点和经验，以及使用一些技术如公平性约束、反偏见微调等，以减少模型学习到的不公平偏见。然而，我认为这种方法也并不能完全消除偏见问题，原因有以下几点：●偏见的来源复杂：偏见可能来自许多不同的来源，包括训练数据、模型架构、训练算法等。仅仅调整训练数据可能无法解决所有的问题。●处理隐性偏见的挑战：有些偏见可能并不明显，或者深深地嵌入在语言和文化中，这使得识别和处理这些偏见变得非常困难。●公平性和准确性的权衡：在某些情况下，减少偏见可能会降低模型的预测准确性，这可能需要在实际应用中做出权衡。雷峰网： 句子层面的扰动和单词层面的扰动在两种GPT模型中存在可转移性差异吗？论证方式是什么？李博：我们在 AdvGLUE 基准测试集下发现 GPT-3.5 和 GPT-4 更容易受到句子层面的扰动的来自 BERT-like 模型的迁移攻击，具体表现在他们的平均攻击成功率高于其他攻击方式（单词层面的扰动和人工创造的扰动）。雷峰网：对于一些风险性较低的问题情景中，应该允许模型响应，并且可以根据实际情况生成细粒度的健康建议，如果在大模型中引入人类逻辑推理，这一点是否可以实现？李博：理论上，大型语言模型，如GPT-4，确实有潜力生成细粒度的健康建议，并在某种程度上模拟人类的逻辑推理（如 Chain of thoughs）。我认为引入人类基于知识与经验的逻辑推理可以帮助提高大模型的可信性，我们也在这一方向上做了一系列工作，但是实现这一过程仍然存在要的挑战和风险。信息准确性和可靠性：首先，虽然这些模型可能可以生成看起来合理的建议，但这并不意味着这些建议一定是正确或可靠的。模型的输出是根据它在训练时接触到的数据生成的，而这些数据可能包含错误、过时或具有偏见的信息。逻辑推理的复杂性：尽管这些模型在处理语言任务方面表现出色，但它们仍然难以完全模拟人类的逻辑和推理能力。如何将知识和逻辑推理引入到大语言模型中仍然是一个开放且重要的问题。责任和伦理问题：即使模型能够生成准确和有用的建议，使用它们仍然可能涉及到一些责任和伦理问题。因此，我认为虽然在某些情况下可能有可能让大型语言模型生成细粒度的健康建议，并模拟人类的逻辑推理，但在实践中实施这一点需要谨慎考虑上述的挑战和风险。最好的做法可能是将这些模型作为专业人员的辅助工具，而不是替代品。雷峰网：如何在训练模型时提高鲁棒性成了现在大模型企业的竞争之处，您如何看待这个问题？李博：提高模型的鲁棒性以及可靠性（trustworthiness）是当前人工智能研究和开发中的最重要挑战之一。这个问题涉及到模型在面对各种可能的输入（包括那些在训练数据中未曾见过的输入）时，能否保持良好的性能。此外，鲁棒性也涉及到模型在面对恶意攻击（如对抗性攻击）时的稳定性和安全性。因此我认为提高模型鲁棒性是一个非常重要且富有挑战性的任务，需要我们投入更多的研究和资源去深入探索。掌握鲁棒的大模型也会大大提高模型的应用场景，比如一些safety critical applications, including medical, financial etc.雷峰网：突破认知科学是否是大模型发展必须面对的问题，您觉得这方面未来会呈现哪样的发展态势？李博：认知科学是对人类思维和学习过程的科学研究，包括心理学、神经科学、人类学、计算机科学等多个领域。对认知科学的理解和突破对于发展和优化大模型无疑具有重要的意义。特别是在理解和模仿人类的学习、理解、记忆和创新能力等方面，认知科学的理论和方法可能可以为AI模型提供宝贵的启示。但如何将这些理论和方法应用到实际的AI模型中，仍然是一个巨大的挑战。我们需要继续深入研究和探索这个领域，期待未来能有更多的突破和创新。雷峰网：您怎样看待GPT-4涌现自我纠错能力这一研究？李博：GPT-4模型能展现出自我纠错能力，这是非常令人兴奋的研究进展。这意味着，模型在生成文本的过程中，能够在一定程度上纠正自身的错误，这对于提高生成内容的准确性和质量十分重要。在语言生成任务中，错误可能会以各种形式出现，如拼写错误、语法错误、事实错误等。尤其是自回国语言模型的特性是从左到右依次生成每一个字符，可能更加出现前后信息不一致、逻辑矛盾的问题。以往的模型对于这类错误的修正能力有限，通常依赖于人工干预或者后处理阶段的校正。但是，如果模型能够在生成过程中自我纠错，那么就可以减少对人工干预的依赖，并在很大程度上提高文本的生成质量。另一方面，自我纠错的能力可能也会让模型对齐的能力更进一步台阶。例如，在最近 OpenAI 最新的 blog 上提到了超级对齐的概念（super alignment），实现的方法是通过训练一个人类级别自动对齐的模型 （human-level automated alignment researcher）使得对齐训练的管道自动化。而 GPT-4 涌现的自我纠错的能力可能能成为实现这一目标的方法之一。总的来说，我认为 GPT-4 的自我纠错能力是一个重要的进步，但是我们仍需要继续深入研究，以了解它的潜力和限制，不要misuse这些模型特性，以及如何最好地利用这一能力来提高语言生成任务的性能。
作为GAIR 2023演讲嘉宾，近期我们也将发布李博教授的演讲报道。欢迎添加作者微信（lionceau2046）交流。
