logo
Redian新闻
>公众号
>
“智力”下降！研究报告称GPT-4能力明显下降

“智力”下降！研究报告称GPT-4能力明显下降

公众号新闻
作为开发市面上热度最高的AI聊天机器人的公司——OpenAI可以说在最近倍受关注。
在此前Open-AI公布了其大型语言模型的最新版本——GPT-4，用来替代之前在使用的GPT-3.5。
据官方介绍，GPT-4 是一个超大的多模态模型，也就是说，它的输入可以是文字，还可以是图像。
GPT-4比以前的版本“更大”，这意味着它已经借助比之前版本的模型进行了更多数据的训练，并且在模型文件中有更多的权重，从而使得它的运行成本更高。
就任务而言，GPT-4的表现比之前版本的模型更好，它可以遵循自然语言的复杂指令并生成技术或创意内容，而且它可以还更深入地做到这一点：它支持生成和处理多达32768个标记（约25000个文本单词），从而实现比前辈更长的内容创建或文本分析。
OpenAI表示，GPT-4错误答案更少，而且也会减少偏离话题的可能，也尽可能不会再谈论禁忌话题，甚至在许多标准化测试中比人类表现得都要更好一些。
例如，GPT-4在模拟律师考试的成绩在考生中排名前10%左右，在SAT阅读考试中排名前7%左右，在SAT数学考试中排名前11%左右。相比之下，GPT-3.5在律师考试中的得分一般都是倒数10%左右。
但在最近，不少用户反映称最近使用GPT-4的ChatGPT好像不如之前聪明了。
今日消息，来自斯坦福大学和加州大学伯克利分校的研究团队近日对 GPT-4 进行了深入研究，对比了今年 3 月和 6 月在处理数学问题、生成执行代码和完成视觉推理任务上的差异，发现 “智力”显著下降。
以评估GPT-4 数学能力的“17077 是质数吗？”问题为例，6月的GPT-4产生了错误的答案，认为该数字并非质数。而且GPT-4并没有提供相关解释，准确率从97.6%下降到2.4%。
相比之下，GPT-3.5确实有所改善，最初在3月份产生了错误的答案，在6月份产生了正确的答案。
GPT-4的能力在编码区域也有所下降。研究人员构建了一个新的代码生成数据集，其中包含了LeetCode“容易”类别中的 50 个问题，并评估了AI模型生成的可直接执行程度。
与3月份相比，GPT-4的直接可执行版本从52%下降到10%。这些代在代码前后添加了额外的引号，让其变为注释状态，不可执行。
据之前相关媒体介绍称，有网友表示最近 OpenAI 采用 MOE 重新设计了架构，导致性能受到影响，最终使得ChatGPT的“智力”下降，但是官方一直没有明确答复。
目前相关的讨论仍在继续，感兴趣的小伙伴可以保持关注。

近期文章精选：

二季度智能手机出货TOP5都有谁？手机市场复苏在望

华为、三星、苹果新平板待发布，你期待哪款？

苹果A17、M3芯片量产良率仅55%？iPad Air 6开发中

白嫖用户网络？爱奇艺TV客户端被曝电视休眠时在后台满速上传

小米8月新机全部入网，手机+平板组合，小米、Redmi都有

华为Mate 60系列渲染图再曝，影像升级、全新外观


商务合作  [email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
勤策消费研究：2023中国运动鞋服行业研究报告信号来了！今秋房价将大降！安省多地大幅下降！研究实锤GPT-4真变笨了：3个月内数学能力雪崩式下降，代码能力也变差获得诺奖后，科学家科研成果产出效率和质量或会明显下降；韦布空间望远镜发布土星高清照片 | 环球科学要闻BOSS直聘：服务器“崩了”是真的；王传福：比亚迪今年招聘3万多名大学生；茅台巧克力明日在天猫开卖，知情人士：量很少丨大公司动态「成熟」大模型才能涌现？MIT：GPT-4能自我纠错代码，GPT-3.5却不行G7, immigrants苹果 Vision Pro 和 GPT-4，开启了「智力盈余」时代阿里研究院&智谱AI：2023全球数字技术发展研究报告报告称消费者信心指数下降 这部分人群尤其明显终于找到 ChatGPT “智商”下降的原因了！OpenAI 侧面回应，GPT 可能真被你们玩坏了？大型语言模型技术公开课上线4讲！直播讲解ChatGPT开源平替、类GPT4低成本定制以及GPT4Tools英镑上涨至9.3！英国央行行长：通胀率今年将“显著”下降！拜登抵达温莎城堡！ChatGPT路线图曝光：没有GPT-5、识图功能要等到明年、GPT-3或将开源Mob研究院：2023年短视频行业研究报告降！降！降！IB放榜，成绩全面退潮，牛剑预录offer打水漂……GPT-4能否取代数据分析师？达摩院的初步实验为你解答~《中国数据要素市场体系总体框架和发展路径研究报告》发布（附PPT）GPT-3 计划开源！Sam Altman 自曝急缺 GPU，GPT-4 多模态能力明年开放2023新股还好吗？五股一破发，市盈率明显下滑清科研究中心：中国数字科技产业投资发展研究报告（96页）体检报告称被检者“智商偏低，用人单位酌情考虑”，医院回应时间定了！降！降！降！冷得的不止季节（67）— 晕厥周末随笔一份新报告称Meta将GPT-4作为其下一个人工智能模型的标杆报告丨这份AI研究报告，快速搞清楚ChatGPT、Gen-AI、大模型、多模态...中国农工民主党的创始人 邓演达先生是中国国民党左派的杰出领袖之一官宣！央行、金融监管总局：降低存量首套房贷利率！"几千万户、上亿居民的财务负担会明显下降"长篇小说连载《此世，此生》第五十章六哥大开发出AI智能体研究员，投喂题目瞬间生成研究报告，客观真实无幻觉，已经开源人人能用GPT-4破防啦！用密码和GPT-4聊天，成功绕过了GPT-4的安全机制！港中大（深圳）告诉你方法GPT作文能力比拼：GPT3.5、GPT4、百度文心一言、讯飞星火周鸿祎晒清华博士录取通知书；微信文件传输助手是真人？官方回应；ChatGPT访问量今年以来环比增速明显下滑丨大公司动态GPT-3计划开源！Sam Altman自曝急缺GPU，GPT-4多模态能力明年开放
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。