防止学生使用AI作弊，斯坦福推出DetectGPT反制

2023-01-31 14:01

出品 | OSC开源社区（ID：oschina2013)

自去年十一月 OpenAI 推出 ChatGPT 之后，ChatGPT 到底有多大的潜力就是人们非常关注的问题，除了帮助用户解答问题、编写代码以外，ChatGPT 在上周还通过了美国沃顿商学院的 MBA 考试（虽然分数不高），面对这样的成绩，沃顿商学院的教授认为学校有必要对考试政策、课程设计和教学做出改革。

不过想要改变课程和教学，那也不是一朝一夕就能完成的事情，那还有什么方式可以应对 ChatGPT 等 AI 工具的挑战，防止学生使用 AI 完成作业、考试作弊或者生成论文呢？

近日斯坦福大学就研究出了一个名为 DetectGPT 模型，它可以检测出一个段落是否是由一个给定的大型语言模型（LLM）生成的。

研究团队表示，由 LLM 生成的文本通常在模型的对数概率（log probability）函数的负曲率（negative curvature）区域的特定区域徘徊（推断：人类编写的文本可能位于正曲率，公告并没有对此进行解释）。利用这一观察结果，他们定义了一个新的基于曲率的标准来判断文本是否是由 LLM 生成的，团队将这种新方法称为 “zero-shot”，可以让 DetectGPT 无需了解用于生成文本的 AI，也无需进行训练或依赖大型数据集，就能完成文本检测工作。

斯坦福的开发团队表示，DetectGPT 比现有的类似方法更具鉴别力，在承担检测假新闻文章的任务时，评估结果也有了明显提升。

随着大众对 LLM 的接受程度越来越高，以及使用量的不断增长，用于检测机器生成文本的相应系统的重要性也会变得越来越重要。