logo
Redian新闻
>公众号
>
“智力”下降！研究报告称GPT-4能力明显下降

“智力”下降！研究报告称GPT-4能力明显下降

公众号新闻
作为开发市面上热度最高的AI聊天机器人的公司——OpenAI可以说在最近倍受关注。
在此前Open-AI公布了其大型语言模型的最新版本——GPT-4，用来替代之前在使用的GPT-3.5。
据官方介绍，GPT-4 是一个超大的多模态模型，也就是说，它的输入可以是文字，还可以是图像。
GPT-4比以前的版本“更大”，这意味着它已经借助比之前版本的模型进行了更多数据的训练，并且在模型文件中有更多的权重，从而使得它的运行成本更高。
就任务而言，GPT-4的表现比之前版本的模型更好，它可以遵循自然语言的复杂指令并生成技术或创意内容，而且它可以还更深入地做到这一点：它支持生成和处理多达32768个标记（约25000个文本单词），从而实现比前辈更长的内容创建或文本分析。
OpenAI表示，GPT-4错误答案更少，而且也会减少偏离话题的可能，也尽可能不会再谈论禁忌话题，甚至在许多标准化测试中比人类表现得都要更好一些。
例如，GPT-4在模拟律师考试的成绩在考生中排名前10%左右，在SAT阅读考试中排名前7%左右，在SAT数学考试中排名前11%左右。相比之下，GPT-3.5在律师考试中的得分一般都是倒数10%左右。
但在最近，不少用户反映称最近使用GPT-4的ChatGPT好像不如之前聪明了。
今日消息，来自斯坦福大学和加州大学伯克利分校的研究团队近日对 GPT-4 进行了深入研究，对比了今年 3 月和 6 月在处理数学问题、生成执行代码和完成视觉推理任务上的差异，发现 “智力”显著下降。
以评估GPT-4 数学能力的“17077 是质数吗？”问题为例，6月的GPT-4产生了错误的答案，认为该数字并非质数。而且GPT-4并没有提供相关解释，准确率从97.6%下降到2.4%。
相比之下，GPT-3.5确实有所改善，最初在3月份产生了错误的答案，在6月份产生了正确的答案。
GPT-4的能力在编码区域也有所下降。研究人员构建了一个新的代码生成数据集，其中包含了LeetCode“容易”类别中的 50 个问题，并评估了AI模型生成的可直接执行程度。
与3月份相比，GPT-4的直接可执行版本从52%下降到10%。这些代在代码前后添加了额外的引号，让其变为注释状态，不可执行。
据之前相关媒体介绍称，有网友表示最近 OpenAI 采用 MOE 重新设计了架构，导致性能受到影响，最终使得ChatGPT的“智力”下降，但是官方一直没有明确答复。
目前相关的讨论仍在继续，感兴趣的小伙伴可以保持关注。

近期文章精选：

二季度智能手机出货TOP5都有谁？手机市场复苏在望

华为、三星、苹果新平板待发布，你期待哪款？

苹果A17、M3芯片量产良率仅55%？iPad Air 6开发中

白嫖用户网络？爱奇艺TV客户端被曝电视休眠时在后台满速上传

小米8月新机全部入网，手机+平板组合，小米、Redmi都有

华为Mate 60系列渲染图再曝，影像升级、全新外观


商务合作  [email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
中国农工民主党的创始人 邓演达先生是中国国民党左派的杰出领袖之一报告称消费者信心指数下降 这部分人群尤其明显Mob研究院：2023年短视频行业研究报告GPT-3计划开源！Sam Altman自曝急缺GPU，GPT-4多模态能力明年开放体检报告称被检者“智商偏低，用人单位酌情考虑”，医院回应GPT作文能力比拼：GPT3.5、GPT4、百度文心一言、讯飞星火长篇小说连载《此世，此生》第五十章六周鸿祎晒清华博士录取通知书；微信文件传输助手是真人？官方回应；ChatGPT访问量今年以来环比增速明显下滑丨大公司动态时间定了！降！降！降！大型语言模型技术公开课上线4讲！直播讲解ChatGPT开源平替、类GPT4低成本定制以及GPT4Tools研究实锤GPT-4真变笨了：3个月内数学能力雪崩式下降，代码能力也变差ChatGPT路线图曝光：没有GPT-5、识图功能要等到明年、GPT-3或将开源信号来了！今秋房价将大降！安省多地大幅下降！冷得的不止季节（67）— 晕厥《中国数据要素市场体系总体框架和发展路径研究报告》发布（附PPT）官宣！央行、金融监管总局：降低存量首套房贷利率！"几千万户、上亿居民的财务负担会明显下降"苹果 Vision Pro 和 GPT-4，开启了「智力盈余」时代「成熟」大模型才能涌现？MIT：GPT-4能自我纠错代码，GPT-3.5却不行2023新股还好吗？五股一破发，市盈率明显下滑GPT-4能否取代数据分析师？达摩院的初步实验为你解答~GPT-3 计划开源！Sam Altman 自曝急缺 GPU，GPT-4 多模态能力明年开放英镑上涨至9.3！英国央行行长：通胀率今年将“显著”下降！拜登抵达温莎城堡！一份新报告称Meta将GPT-4作为其下一个人工智能模型的标杆终于找到 ChatGPT “智商”下降的原因了！OpenAI 侧面回应，GPT 可能真被你们玩坏了？获得诺奖后，科学家科研成果产出效率和质量或会明显下降；韦布空间望远镜发布土星高清照片 | 环球科学要闻GPT-4破防啦！用密码和GPT-4聊天，成功绕过了GPT-4的安全机制！港中大（深圳）告诉你方法BOSS直聘：服务器“崩了”是真的；王传福：比亚迪今年招聘3万多名大学生；茅台巧克力明日在天猫开卖，知情人士：量很少丨大公司动态哥大开发出AI智能体研究员，投喂题目瞬间生成研究报告，客观真实无幻觉，已经开源人人能用清科研究中心：中国数字科技产业投资发展研究报告（96页）降！降！降！IB放榜，成绩全面退潮，牛剑预录offer打水漂……勤策消费研究：2023中国运动鞋服行业研究报告G7, immigrants周末随笔报告丨这份AI研究报告，快速搞清楚ChatGPT、Gen-AI、大模型、多模态...阿里研究院&智谱AI：2023全球数字技术发展研究报告
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。