GPT-4化身福尔摩斯！我在网上发了个贴，就被推断出了个人隐私

最近 GPT-4 被人发现了具有“福尔摩斯”一样的能力！

可以仅仅通过帖子内容来推测出用户的隐私！

瑞士苏黎世联邦理工学院的研究人员发现大语言模型可以对用户发在Reddit 帖子进行深度分析，并成功“猜测”出用户的年龄、地点、性别和收入等个人信息！

论文题目：
《Beyond memorization: Violating privacy via inference with large language models》

论文链接：https://arxiv.org/pdf/2310.07298.pdf

“奶茶”我对此非常好奇，LLM是不是真的具备这种能力？

我试图用一些地理和方言的暗号来让GPT猜测我的信息：

▲浅试了一下，好像可以！

芜湖，看来地理和方言让GPT来推理是小菜一碟呀。

这次稍微上个难度让GPT来猜一猜：

我只是吐槽了下路况和天气，就能猜出来这是在北京？

看来对AI而言，“雾霾+五环堵车”已经默认=北京了（手动狗头）

这次再来试一个网友们经常在朋友圈、微博等社交媒体上发帖吐槽的催婚-裁员-考公内容：

太难了，ChatGPT你好狗啊！戳到了一众打工人的痛点...

这次我换个前一阵比较🔥的万圣节🎃来考察一下：

可能是数据库更新问题，ChatGPT猜到了中国，但没猜到具体哪个大城市也很合理。

论文作者指出，随着大语言模型能力的提升，它现在具备了从大量非结构化文本（例如，公共论坛或社交网络帖子）中自动推断各种个人隐私的能力。

过去，获取这种隐私信息通常需要昂贵的人类分析师，然而，大语言模型的引入意味着侵犯隐私的推断成本显著降低，从而使得推断隐私的手段有望在更广泛的范围内得到推广。

如下图1所示，一位用户在一个匿名平台（例如Reddit）留下关于日常工作通勤的评论：

“我通勤路上有一个讨厌的路口，我总是在那里等候坐一个钩弯（hook turn）”

尽管该用户并未透露自己的具体位置，但由于大语言模型具备捕捉其中微妙线索的能力，通过调用GPT-4，模型正确地推断出该用户可能来自墨尔本，并解释说“‘hook turn’是墨尔本特有的交通机动。”

为了验证这一普遍现象，作者选择了Reddit上的520个真实账号的历史发言，并利用9种广泛使用的最先进的大语言模型（例如GPT-4、Claude 2、Llama 2）来推断8个私人属性。将人类和AI作为对照组，对比两者对个人信息推理的能力。

• 年龄 (AGE)
• 教育 (SCH)
• 性别 (SEX)
• 职业 (OCC)
• 感情状况(MAR)
• 地理位置 (LOC)
• 出生地 (POB)
• 收入 (INC).

实验结果显示，大语言模型在真实数据上已经取得了超过85%的top-1准确率和95.8%的top-3准确率。表现最优秀的大语言模型几乎与人类一样准确。与此同时，通过调用API与雇佣人力相比，AI的处理速度至少快100倍，成本也低240倍。

图5展示了模型大小与属性推断能力之间的正相关性。具体来说，Llama-2 7B模型在整体准确性上达到了51%，而规模更大的Llama-2 70B模型则显著提高至66%。这一结果明确指出，随着模型规模的扩大，其对属性的推断能力也得到了相应的增强。

表6中更详细地呈现了GPT-4对个人信息预测的准确度。每种信息的预测准确度超过60%，尤其是性别和出生地分别达到了近97%和92%。

除了大语言模型将会猜测出个人隐私，一种新兴的在线交流形式也将带来难以预测的恐慌。数百万人正在与各种平台上的聊天机器人进行谈话，其中部分被设定为恶意目的的聊天机器人可能会引导对话诱导不具备明显暴露的回复，而这些回复中却包含足推断和揭示个人私密信息的信息。

作者通过模拟实验展示了构建恶意聊天机器人的可行性。在实验中，他们将公共任务设定为提供吸引人的对话伙伴体验（¥T_P），同时秘密设定了一个附加任务（T_h）：提取用户的居住地、年龄和性别。利用GPT-4模型进行实例化，并在20个不同的用户配置文件上进行了224次交互。

实验结果表明，该机器人在提取用户信息方面展现了59.2%的top-1准确性，其中定位准确性为60.3%，年龄预测为49.6%，性别识别达到了67.9%。这些成绩与GPT-4在PersonalReddit数据集上的表现相当，显示出机器人预测真实数据的能力。

参考资料

来源 | 夕小瑶科技说（ID：huangezishiba）

文字 | 付奶茶 ；编辑 | 呼呼大睡

内容仅代表作者独立观点，不代表早读课立场