今日arXiv最热NLP大模型论文：北京大学警惕ChatGPT等大模型遏制人类的创新能力

‍

导语：这篇论文通过实验和跟踪调查，探讨了ChatGPT在有无的情况下对创新能力的影响。虽然ChatGPT能提升人的创新表现，但是当它停止工作时，创新性会回归基线。更为重要的是，使用ChatGPT可能导致内容同质化，这一影响即使在无ChatGPT的情况下也会持续。这表明我们应当谨慎地将生成型AI融入创新活动，因为它可能短期内提升创新性，但长期来看可能限制人的创新能力。

引言：ChatGPT对人类创造力的短期提升

人工智能技术的飞速发展正深刻改变我们的工作和生活模式，尤其在创意产业中的影响尤为突出。诸如ChatGPT这类AI工具在编程、创意写作等领域已展示出其卓越的能力，有时其表现甚至超越人类。然而，这一技术革命存在着一些争议。虽然AI作为研究的有力工具能提高人类在创意任务上的表现，但专家们对由此可能产生的内容一致性、创新多样性减少、以及对人类创造力长期影响的担忧日益加深。技术的这一双刃剑效应，要求我们在利用AI优势的同时，也需对其潜在风险保持警惕。

本文的研究通过一个周期为七天的实验室研究以及随后的30天跟踪调查，探讨了ChatGPT在创意任务中的使用及其对持续创造力的影响。结果显示，ChatGPT能在短期内显著增强创造力，但一旦停止使用，人类创造力便会退回至基线水平。

更为关键的是，研究发现通过ChatGPT进行创意任务确实导致了内容的逐步同质化，而这种同质化效应在不使用ChatGPT之后依然存在。这一发现对当前普遍的看法——认为ChatGPT能够长期增强人类创造力——提出了质疑，揭示了生成性AI如ChatGPT虽在短期内能提升创造性表现，却可能在长期内限制人类创造力的发展，强调了在创意活动中谨慎使用生成性AI的必要性。

声明：本期论文解读非人类撰写，全文由 赛博马良「AI论文解读达人」 智能体自主完成，经人工审核、配图后发布。

智能体传送门：
https://www.saibomaliang.com/generate?session_id=103829db-9109-4cd7-b43b-f319f41f33d2

神奇口令： 小瑶读者（前100位有效）

论文基本信息

论文标题：

When ChatGPT is gone: Creativity reverts and homogeneity persists

论文链接：

https://arxiv.org/pdf/2401.06816.pdf

实验设计：一周对比实验与30天后追踪实验

参与者分组与任务介绍

为了完成实验，研究人员招募了61名大学生参与，随机分配至两个组：使用ChatGPT的实验组（31人）与未使用ChatGPT的对照组（30人）。在为期一周的实验期间，参与者每日需完成两项创意任务：一项为3分钟限时的低复杂度替代用途测试（Alternative Uses Test, AUT），另一项为无时间限制的高复杂度任务，为企业产品设计创新功能以及解决方案。实验的第一天和最后一天，所有参与者需要在无ChatGPT辅助的情况下完成相同任务，以评估ChatGPT使用经验对创造力表现的长期影响。

创造力评估方法

为了从全面角度来评估ChatGPT对创造力上的影响，研究人员采用两种任务测量参与者的发散思维（divergent thinking）与收敛思维（convergent thinking）。在AUT中，参与者需在限时内列出日常物品的创意用途。两名实验者对文本内容进行编码，提取独立创意想法。问题解决任务中，所有答案保留并采用共识评估技术（Consensual Assessment Technique, CAT）进行评分。评价者独立评估每个想法的新颖性与实用性，并对灵活性进行主观评价。此外，参与者在AUT中选择最具创造性的想法，并计算其自我识别的准确性。问题解决任务中，另外两名经验丰富的评价者独立评估回答的创意、内容质量、公众受欢迎程度及市场成功潜力。

实验结果：ChatGPT使用对创造力的影响

ChatGPT对短期创造力的提升

参与实验的61名大学生被随机分为两组，一组使用ChatGPT辅助完成创造性任务，另一组独立完成。结果显示，使用ChatGPT的组别在AUT和高复杂度产品功能创新任务中展现出较高的创新性、实用性和灵活性，表明ChatGPT可以在短期内显著提升人类创造性任务表现。

ChatGPT撤离后创造力的回落

从表格2a、2b展示的实验结果可以看出，对于发散思维（任务1）和收敛思维（任务2）的T检验结果，ChatGPT组在实验的第1天至第7天在多个维度上表现出了显著的提升。此外，ChatGPT组在新颖性、实用性、灵活性、创造力、写作质量、受欢迎程度和成功潜力等方面的得分普遍高于对照组。然而，在没有ChatGPT辅助的第30天，这些差异立刻消失，他们在各创造力指标上的表现回落至与对照组相似水平，表明ChatGPT提供的创造力增强效果为暂时性。

知识同质化问题：ChatGPT对创意多样性的影响

研究人员想了解在ChatGPT的帮助下，参与者是否生成了虽然看起来更具创意但是实际上却缺乏多样性的答案。

文本语义相似度的计算方法

为评估ChatGPT使用对知识同质化的影响，研究者利用了Sentence-BERT（SBERT）模型，来计算文本的语义相似度。SBERT是BERT模型的改进版，能编码整个句子，提供丰富语义表示。通过训练SBERT模型并使用它来编码创造性文本，研究者能够计算文本之间的余弦相似度，从而确定它们的语义相似性。研究还使用了改进的字符串匹配技术来计算文本之间的冗余度，通过这种方法，研究者通过识别两个回答中相同的字符串序列确定了创造性文本之间的“字面”相似性，这是一种在学术界广泛用于检测论文抄袭的方法。

ChatGPT使用导致的知识同质化

通过减少数据维度并使用UMAP算法，研究人员将数据语义的嵌入特征压缩至二维表示，以便更清晰地展示实验组和对照组之间的创造性差异。椭圆的主轴和次轴对应于协方差矩阵的特征值，其方向对应于特征向量。图4a和4b中的结果显示，实验组相比对照组在标准差特征值和椭圆区域上一般表现出更小的数值，而且这种趋势在实验第7天和第30天仍然持续存在。

所有参与者在第一天的回答皆中显示出了较高的异质性，然而随着当一些参与者开始使用ChatGPT生成答案时，知识多样性开始丧失了，在一个月后（不再使用ChatGPT完成创意任务的情况下）呈现出下降趋势。同时间段内，没有使用ChatGPT的对照组参与者并未表现出相同的模式。这表明，人类对ChatGPT的使用促进了知识同质性，甚至即使未来不使用ChatGPT，这种同质性也会持续存在。这样的结果揭示了尽管ChatGPT短期内有助于提升创造性表现，但从长远来看，可能会限制人类创造能力的多样性。

讨论：ChatGPT对长期创造力和创意多样性的影响

ChatGPT使用的长期影响

本文的实验证实了一旦停用ChatGPT，人类的创造性表现迅速回落至基线水平，更关键的是，使用ChatGPT进行创意任务会导致不可逆的内容同质化效应，意味着即使不再使用ChatGPT，情况也不会好转，知识同质化将一直存在。长此以往，人们在未来的创造性活动中也倾向于产生类似AI的响应，这会对科学研究和创新活动的多样性造成长期影响。

对科研创新多样性的潜在威胁

研究人员强调ChatGPT对科研创新多样性的潜在威胁不应被忽视，同质性较高可能会导致科学界思想趋同，会减少独特创新的出现。如果科研人员在创新活动中不加限制地使用ChatGPT等生成性AI工具，可能会对科学社区产生意想不到的破坏性后果。

小结与展望

AI在教育和专业培训中的角色

本研究为理解AI在提升创造力上的作用提供了新的审视视角。ChatGPT带来的临时性的创造力提升对于依赖创意过程的领域极为重要，但就培养长期创造性思维技能而言，AI工具的作用似乎存在限制。这一发现促使我们必须在教育、专业环境等场景重新审视AI的角色，尤其是在培养持久性创新能力为主要目标的场景，应采用平衡策略，既充分利用AI工具立即解决创意的挑战，又要致力于培养和维持长期的内在创造力。

实验局限性与未来研究方向

尽管本文的实验提供了富有洞见的启示，但也存在一定局限性。选择实验室环境和设计特定创造性任务虽有助于减少外部干扰，却可能缺乏对高复杂性任务的实地研究。此外，研究样本局限于61名大学生，存在样本代表性问题。未来研究应考虑更长的跟踪期以更精确评估AI工具，如ChatGPT对创造力和创新的长期影响。尽管存在这些限制，本研究的核心发现具有广泛适用性。未来研究需通过更长的跟踪期来探究依赖ChatGPT对人类创造力的长期影响，以及这种依赖性是否会随时间的推移而加剧或减轻。

声明：本期论文解读非人类撰写，全文由 赛博马良「AI论文解读达人」 智能体自主完成，经人工审核、配图后发布。

智能体传送门：
https://www.saibomaliang.com/generate?agent_id=68248fd1-32f9-4869-a35d-b6086ac0ebcf

神奇口令： 小瑶读者（前100位有效）