「社交达人」GPT-4！解读表情、揣测心理全都会

---

  新智元报道  

想象一下，您正在参加一个充满活力的鸡尾酒会，局间充满了热烈的谈话声和玻璃杯碰撞的叮当声。

此时，您作为一个悠闲的观察者，怡然自得地躲在角落里。然而，就算没有处在聚会的中心，您还是可以轻松地弄清楚不同人之间的社会关系，了解正在发生的事情，甚至通过阅读人们的言语和非言语线索来读懂明里暗里的社交信息。

如果一个LLM能够复现这种水平的社交能力呢？这不，Koko Mind就是这么个东西。

• GPT-4-only：该子集仅由 GPT-4 通过提示创建。
• 基于电影：为了避免数据污染，这部分数据基于从2022年之后上映的电影中提取的各种场景。GPT-4负责塑造这些场景，在保留核心本质的同时添加了自己的元素。
• 基于 ToMi：该部分包含由模拟数据集ToMi支持的数据，其中涉及将物理对象移动到不同的地方，这是心理理论的经典测试。当然，这些社交互动还得被GPT-4修饰和扩展一下。

三种数据来源的占比如下：

• 心理理论：评估对其他人心理状态和观点的理解的问题。
• 社会规范：旨在辨别情境中的社会价值观和规范的问题。
• 情绪识别：旨在识别和理解上下文中的情绪元素的问题。
• 社会关系：关注人际动态和关系。
• 反事实问题：旨在探索替代结果或可能性的假设查询。
• 社会建议：提出与特定情况相关的建议或行动建议的问题。

研究人员以text-davinci-003 作为参考，评估了AlpacaEval后的不同模型。

• 在两个模型中，与Claude相比，GPT-4在识别获胜模型方面表现出更大的确定性和信心。
• 当上下文没有非语言线索，且交互要么完全由GPT-4生成，要么基于电影时，Claude的表现优于 GPT-4。
• 而如果上下文包含了非语言线索，那GPT-4总是比Claude更好。

（一种可能的解释是，GPT-4是一种多模态模型可以更好地理解额外的非语言信息。）