Redian新闻
>
ChatGPT最重大更新来了:多模态将上线,能说会看了

ChatGPT最重大更新来了:多模态将上线,能说会看了

公众号新闻

机器之心报道

编辑:泽南、蛋酱、陈萍

打字都不需要了。

我们都说大模型会改变所有应用的形态,ChatGPT 现在走完了变革的最后一步。

刚刚,ChatGPT 进行了一次重要更新,不管是 GPT-4 还是 GPT-3.5 模型,现在都可以基于图像进行分析和对话了。

ChatGPT 中的新图像识别功能允许用户使用 GPT-3.5 或 GPT-4 模型上传一张或多张图像配合进行对话。OpenAI 在其宣传博客文章中声称该功能可用于各种日常应用:从通过拍摄冰箱和食品储藏室的照片来让 AI 决定晚餐吃什么,到排除烧烤炉无法启动的原因。OpenAI 还表示,你可以使用设备的触摸屏圈出他们希望 ChatGPT 关注的图像部分。

就像这个视频所演示的,用户能够询问如何升起自行车座椅,需要提供的是照片、使用手册和用户工具箱的图片。然后,ChatGPT 会做出反应并建议用户如何完成这一过程。

OpenAI 还表示,ChatGPT 的移动端 App 还将添加语音合成选项,与现有的语音识别功能配合使用时,我们就能与人工智能助手进行完全直接的口头对话。

与此同时,在音频方面,ChatGPT 新的语音合成功能据说由 OpenAI 所称的「新文本到语音模型」驱动,尽管文本到语音问题已经解决了很长时间。该公司表示,该功能推出后,用户可以在应用设置中选择语音对话,然后从「Juniper」、「Sky」、「Cove」、「Ember」和「Breeze」等五种不同的合成声音中进行选择。OpenAI 表示,这些声音都是与专业配音演员合作制作的。

这让人想起了 OpenAI 2022 年开源的语音识别系统 Whisper,今后这一系统将继续处理用户语音输入的转录工作。自 ChatGPT iOS 应用程序今年 5 月推出以来,Whisper 就一直集成在其中。

OpenAI 计划 「在未来两周内」向 Plus 和 Enterprise 订阅者推出 ChatGPT 中的这些功能,它还指出,语音合成仅适用于 iOS 和安卓端应用,不过图像识别功能在网络界面和移动应用程序上均有提供。

鉴于 ChatGPT 的数亿用户们还没有亲自测试过这些功能,所以我们还不能判断它的效果如何。而且对于它的工作原理,OpenAI 也和以往一样没有详细说明,仅着重强调了大模型的安全性。

参考同类的 AI 研究可以推测,多模态 AI 模型通常会将文本和图像转换到一个共享的编码空间,从而使它们能够通过相同的神经网络处理各种类型的数据。OpenAI 可以使用 CLIP 在视觉数据和文本数据之间架起一座桥梁,将图像和文本表征整合到同一个潜在空间(一种矢量化的数据关系网)中。这种技术可以让 ChatGPT 跨文本和图像进行上下文推理。

今年 3 月,OpenAI 上线 GPT-4 ,展示了 AI 模型的多模态功能,在现场演示时,我们见识到了 GPT-4 对文本和图像的处理能力,但一直以来,这种功能普通用户都无法使用。相反,OpenAI 在与 Be My Eyes (是一款为盲人和弱视人士提供免费移动应用程序)的合作中创建了一款可以为盲人解读场景照片的应用程序。

然而,由于隐私问题导致 OpenAI 的多模态功能至今未能发布。

最近几周,科技巨头一直在竞相推出多模态方面的更新,将更多 AI 驱动的工具直接集成到核心产品中。谷歌上周宣布对其 ChatGPT 竞争对手 Bard 进行一系列更新,同样在上周,亚马逊表示将为其语音助手 Alexa 带来基于生成式 AI 的更新。

在最近 ChatGPT 更新公告中,OpenAI 指出了对 ChatGPT 进行功能扩展的一些限制,并承认存在潜在的视觉混淆(即错误识别某些内容)以及视觉模型对非英语语言的不完美识别等问题。OpenAI 表示,他们已经在极端主义和科学能力等领域进行了风险评估,但仍然建议谨慎使用,尤其是在高风险或科学研究等专业环境中。

鉴于在开发上述 Be My Eyes 应用程序时遇到的隐私问题,OpenAI 指出,他们已经采取了技术措施,以限制 ChatGPT 的能力,这些系统应该尊重个人隐私。

尽管存在缺陷,但 OpenAI 仍然赋予了 ChatGPT「看、听、说」的能力。然而,并不是所有人都对这一更新感到兴奋。Hugging Face AI 研究员 Sasha Luccioni 博士表示,「我们应该停止像对待人类一样对待 AI 模型。ChatGPT 拥有看、听、说的能力是不被允许的。但它可以与传感器集成,以不同的方式来提供信息。」

新能力上线之后,人们纷纷表示欢迎,有人表示这是 ChatGPT 迄今为止最大的变革之一,就差套个机器人的物理外壳了。

在 AI 研究领域,人们也开始分析起新版 ChatGPT 背后的技术。从 OpenAI 自己公开的简短文档看,是有一个名为 GPT-4V (ision) 的新款大模型。

文档链接:https://cdn.openai.com/papers/GPTV_System_Card.pdf

英伟达研究员 Jim Fan 认为 GPT-4V 是一个整体模型。与之对应的是,谷歌的 Bard 是一个二阶段模型,首先应用 Google Lens API 进行图像字幕,然后使用纯文本 LLM 进行更多推理。

OpenAI 表示,与 GPT-4 类似,GPT-4V 的训练是在 2022 年完成的,在 2023 年 3 月开始提供系统的早期访问。由于 GPT-4 是 GPT-4V 视觉功能背后的技术,因此其训练过程也是一样的。目前看来,GPT-4V 于 2022 年完成训练之后,一直在经历安全性测试。

从 OpenAI 公布的文档中我们可以总结出:

  • GPT-4V 仍然是(视觉,文本)到文本模型,使用互联网图像和文本数据的混合进行训练并预测下一个单词 token,然后再用 RLHF。
  • 今天的 GPT-4V 具有比 3 月份版本更好的 OCR(从像素读取文本)能力。
  • 安全限制:GPT-4V 在许多类别中的拒绝回答率很高。例如,当被要求回答敏感的人口统计问题、识别名人、从背景中识别地理位置以及解决验证码时,它现在会说「抱歉,我无能为力」。
  • 一种简单的技术是将图像翻译成几个单词(例如「杀人」的刀的图片),然后应用纯文本 GPT-4 过滤器加以识别。
  • 多模态攻击:这是一个有趣且新颖的方向。例如,你可以上传恶意提示的屏幕截图(例如 Do-Anything-Now,臭名昭著的「DAN」提示)。或者在餐巾纸上画一些神秘的符号来以某种方式停用过滤器。
  • 在严肃的科学文献(如医学)中,GPT-4V 仍然会产生幻觉,部分原因是 OCR 不准确。所以再次强调,不要接受任何 GPT 的医疗建议!

不过有人表示,看起来 Bard 对于图像的识别准确率比 ChatGPT 要高。

有关新技术的贡献者,OpenAI 副总裁 Peter Welinder 本次特别感谢了工程师 Raul Puri。此外,多模态 ChatGPT 的主要贡献者还包括 Hyeonwoo Noh、Jamie Kiros、Long Ouyang、Daniel Levy、Chong Zhang、Sandhini Agarwal 等人。

参考内容:
https://openai.com/blog/chatgpt-can-now-see-hear-and-speak
https://arstechnica.com/information-technology/2023/09/chatgpt-goes-multimodal-with-image-recognition-and-speech-synthesis/
https://twitter.com/DrJimFan/status/1706478482296021344


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ChatGPT王炸升级!更强版GPT-4上线,API定价打骨折,发布现场掌声没停过OpenAI史诗级更新:人人都可定制GPT,GPT商店上线,模型价格打骨折刷新多个SOTA!Meta重磅新作AnyMAL:多模态版Llama2来了!无限访问GPT-4!史上最强企业版ChatGPT上线,3.2万token,OpenAI颠覆打工人MiniGPT-4升级到MiniGPT-v2了,不用GPT-4照样完成多模态任务GPT-5明年降临?爆料人泄露多模态Gobi就是GPT-5,已初现自我意识清华系ChatGLM3现场怼脸演示!多模态直逼GPT-4V,国产Code Interpreter来了ChatGPT最近被微软内部禁用!GPTs新bug:数据只要两句提示词就能套走历史小说《黄裳元吉》第一百二十章 血色能说会写!综合实力硬核!那些有大格局的孩子都在上什么课后班?在家能说会道、一到公众场合就怯场,帮助孩子克服胆小,大多数家长第一步就错了5124 血壮山河之武汉会战 富金山战役 12惊呆!某院医生4个月用ChatGPT写了16篇论文,发表5篇!(附ChatGPT干货)ChatGPT最强平替告别纯免费!Claude会员版每月140,对话量可提高5倍实现输入到输出「模态自由」, NUS华人团队开源NExT-GPT,最接近AGI的大一统多模态大模型来了ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%微小說 熱海之春新来了!COSTCO新款服饰大更新,CK飞行员外套、儿童冲锋衣、女士卫衣清仓!ChatGPT重大更新!prompt推荐瞬间解释超导,GPT-4成默认模型ChatGPT多模态解禁,网友玩疯!拍图即生代码,古卷手稿一眼识别,图表总结超6文末送书 | 4个维度讲透ChatGPT技术原理,揭开ChatGPT神秘技术黑盒!ChatGPT王炸升级!更强版GPT-4上线,API定价打骨折,发布现场掌声没停过|亮马桥小纪严选笑谈邂逅(26)当评委ChatGPT发布重大更新,将支持图片和语音输入 ;FF被曝量产5个月只交付3台车;吉利高级副总裁微博质疑比亚迪丨雷峰早报它号称 ChatGPT 最强平替,大更新后表现如何 | 附体验链接马斯克突然自曝xAI「阴阳怪气」大模型,幽默感拉满!ChatGPT重大更新遭提前泄露ChatGPT企业版来了:历史最强版本,2倍速GPT-4使用无限制、32k上下文惊了!某院医生用ChatGPT4个月写了16篇论文!成功发表5篇!(附ChatGPT干货教程)书识(十)一文总结13个国内外ChatGPT平替产品:是时候可以不那么依赖ChatGPT了~上海内推 | 小红书多模态算法组招聘多模态CV/NLP算法实习生GPT-4完成正确率仅6%!北大等提出首个「多轮、多模态」PPT任务完成基准PPTC报告丨这份AI研究报告,快速搞清楚ChatGPT、Gen-AI、大模型、多模态...历经3年、17位医生都没有确诊的病例,靠ChatGPT找到正确的诊断。找ChatGPT看病到底是否靠谱?多模态版Llama2上线,Meta发布AnyMAL
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。