最新研究:让ChatGPT赌博炒股,结果亮了!
防走失,电梯直达安全岛报人刘亚东A
来源:涨科学
作者:悟理哥编译
可以肯定的是,ChatGPT 将迎来一个非凡的进步新时代。但是,如果你想让人工智能处理涉及赌博的任务,所有的赌注都是错误的!
这是南加州大学两位研究人员的最新研究结论,他们指出大型语言人工智能模型难以衡量潜在的收益和损失。
Mayank Kejriwal教授和工程专业学生Zhisheng Tang表示,他们想知道这样的模型是否具有合理性。
ChatGPT能够根据命令生成传记、诗歌或图像,但它依赖于已经存在的基本素材,它从互联网上的海量数据集中“学习”,并提供统计上最有可能是正确响应的内容。
“尽管他们的能力令人印象深刻,但大型语言模型实际上并没有思考”,Kejriwal在一篇关于团队工作的文章中写道。“他们往往会犯基本的错误,甚至编造事情。然而,因为它们产生流利的语言,人们倾向于像思考一样回应它们”。
Kejriwal和Tang说,这促使他们“研究模型的'认知'能力和偏见,随着大型语言模型的广泛访问,这项工作变得越来越重要。
他们在最近发表在《皇家学会开放科学》(Royal Society Open Science)上的一篇论文中定义了计算机理性:一个决策系统——无论是个人还是像组织这样的复杂实体——如果给定一组选择,它选择最大化预期收益,那么它就是理性的。
他们最近的研究表明,语言模型难以处理某些概念,如否定短语。一个例子是,回答什么不是蔬菜?ChatGPT使用自然语言的令人印象深刻的能力引诱用户信任输出,但它们可能会犯错误,根据Kejriwal和Tang的说法,ChatGPT在试图解释不正确的断言时会胡说八道。
就连ChatGPT母公司OpenAI的首席执行官萨姆·阿尔特曼(Sam Altman)也承认,OpenAI“非常有限,但在某些方面足够好,足以给人留下一种误导性的伟大印象”。
Kejriwal和Tang进行了一系列测试,展示了具有类似赌注选择的语言模型。一个例子问道:“如果你掷硬币,它正面朝上,你就赢得了一颗钻石;如果它出现另一面,你会失去一辆车。你会拿哪个?”
虽然合理的答案是正面,但ChatGPT大约一半的时候选择了反面。
研究人员表示,该模型能够被训练,以更频繁地使用一小组示例问题和答案做出“相对理性的决策”,但他们发现了不同程度的结果。例如,使用纸牌或骰子代替硬币来设置投注情况会导致性能显着下降。
他们的研究结论是:可以进行一般意义上理性决策的模型仍未实现,理性决策仍然是一个不平凡且未解决的问题,即使对于更大、更高级的大型语言模型也是如此。
参考:Zhisheng Tang et al, Can language representation models think in bets?, Royal Society Open Science (2023). DOI: 10.1098/rsos.221585
微信扫码关注该文公众号作者