ChatGPT将上线新功能！OpenAI现场演示官方版AutoGPT，创作画画发推一条龙！

公众号新闻

2023-04-24 05:04

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【计算机视觉】微信技术交流群

丰色明敏发自凹非寺
转载自：量子位（QbitAI）

OpenAI官方AutoGPT，要来了！

就在AutoGPT项目破10万Star之际，OpenAI也放出重磅炸弹，由联合创始人格雷格·布洛克曼（Greg Brockman）亲自现场演示了ChatGPT即将上线的新功能。

比如要一张这样有氛围感的晚餐图片：

不劳您亲自写提示词，它来：

采纳ChatGPT推荐的菜谱之后，想要去买食材？

直接一句话，买菜平台的购物车就给你加好了：

想要分享买了啥？

一句命令直接链接发推特，整个过程你根本不用打开“小蓝鸟”：

联网能力的加入，则可以让它自动对回答进行事实核验。

甩给它一个Excel文件，也是唰唰唰就开始分析：

完全是AutoGPT的感觉了有没有！

在演示现场，联合创始人布洛克曼剧透，新功能上线的时间，就在未来几个月（After this talk, you will be able to access this yourself）。

话音刚落，掌声雷动。

要知道，此前OpenAI官宣要在ChatGPT上引入插件功能就引发热议。如今随着实测效果曝光，丝滑的效果更是把期待值拉满了。

有网友就表示：

在TED演讲现场真实测试发一条推特，可见你们对自家AI的信任！

不过在等待结果时，老哥看着还是非常屏气凝神的，后面测试成功后才笑了起来~

所以，ChatGPT这些新功能具体效果如何？就跟着老哥一起来看看。

聊天界面直接加购物车、发推特

如下图所示，即将到来的“Auto功能”藏在三个不同的新模式之中：

Browsing、Code Interpreter和Plugins。

Plugins可以让ChatGPT接入各种外部应用，Browsing能开启联网能力，Code Interpreter则通过自动写代码帮你进行各种数据分析。

先看Plugins模式。

布洛克曼首先演示了ChatGPT接入Dall·E后拥有的新能力。

我们想在演讲之后进行一顿晚宴，请给我们一份食谱建议，然后把它生成一张图片”。

很快，ChatGPT就给出菜单，包括：藜麦沙拉、奶酪烤蘑菇、果盘、奶油南瓜汤、手工面包和鸡尾酒等等，每个菜都详细介绍了用啥具体食材搭配。

然后依靠Dall·E App插件，一张看起来非常有氛围的大餐图片就出来了。

布洛克曼介绍，Dall·E插件在画这张图时，其实就是自己给自己写提示词，写了下面这么一大堆：

搁在以前，这都是需要我们人类自己来做的。现在这种“小事儿”交给ChatGPT就行了。

生成食谱之后，该准备相应的食材了吧。

同样，只需要给ChatGPT下达命令：选择“Instacart”（美国生鲜电商）插件，输入文字“现在为之前建议的菜谱列一份购物清单”。

在这里，布洛克曼还给它加了个小任务：“并在推特上分享给所有TED观众”，这就需要选上一个叫做“Zapier”（一个可以连接各种应用的自动化工具）的插件。

在Instacart平台加购稍微耗费了ChatGPT一点时候，然后链接就出来了（这里也用到了“检索”插件）。

打开之后“诚不我欺”，食材都被安排好了，直接下单即可。

（当然，在此之前，你也可以随意为某些食材增加一些数量，或者家里已经有的删掉就可以了。）

接着，ChatGPT再次确认布洛克曼是否需要将链接分享到推特平台，布洛克曼回答yes。

只见一顿自动操作之后，ChatGPT弹出来一个Zapier给出的预览界面，上面有布洛克曼的推特账户名称，以及一会要发布的文案供验证和检查。

没什么问题后，点击Run就可以发表了。

这时的布洛克曼略显紧张，不过成功了！

ChatGPT自动帮他发好了一条推特，布洛克曼本人全程连推特网站碰都没碰一下。

量子位专门去他的主页看了一下，确实有这条推特，点击里面的链接，也确实是前面我们看到的购物车界面。

这就是强大的Plugins模式能够做的事情，是不是非常有AutoGPT那味儿了？

除了这个无缝接入外部应用的操作，ChatGPT还可以自己去上网查验事实了。

众所周知，聊天机器人有时会给出一些不易觉察的错误答案，引发误导。

如下图所示，布洛克曼问它OpenAl的两篇博客文章“Unsupervised Sentiment Neuron”和“Learning from human preferences”的发布相隔了多长时间。

ChatGPT答前者2017年4月24日发布，后者2017年6月27日发布，因此，这两份出版物相隔大约两个月。

然而事实真的如此吗？

在这里，就用切换到“Browsing”模式，然后将刚刚那个对话丢给ChatGPT，让它自己去验证一下。

注意了，ChatGPT拿到需求后，并没有直接更新答案，而是一步一步地写下了自己都要查什么做了什么：

首先我将搜索第一篇文章的发布日期，来验证第一个日期。
键入论文题目开始搜索……
该论文的发布日期在搜索结果0的摘录中给出。我将引用这段摘录来核实用户提供的第一个日期。
查看结果（可点击）。
然后我去搜索第二篇文章的发布日期…… 结果在这里给出…… balabala

经此环节后，ChatGPT汇总出最终答案——

果然前面全都错了，第一篇2017年4月6日发布，第二篇6月13日发布，两者间隔两个月零1周（量子位也实际验证了一下，这回是对的）。

布洛克曼表示，像这种核验咱们人类自己其实也可以做，但把它交给ChatGPT去做更有价值的事情才对。

而在这个过程中非常详细地列出ChatGPT核验的每一个步骤，则是方便我们去回溯整个推理链，以防万一。

接下来，最后一个新功能登场。

这是用Excel表格汇总的过去30年所有人工智能论文（大约有16.7万篇）。

现在切换到“Code Interpreter”模式，将文件直接上传，来看看ChatGPT将如何对它进行自动分析。

它先是将表格中所有列名的含义都梳理了一遍，问布洛克曼接下来是想进行数据分析还是做可视化。

布洛克曼表示：老实说我自己也不知道想干啥，但我可以让它给出一些“探索性的图”。

这是一个超高级别的指令，背后可能包含了很多意图，ChatGPT必须推断出我可能感兴趣的东西。

聪明的ChatGPT，给了三个选项，包括：

1、每篇论文作者数量的直方图，这可以让我们了解Al研究的典型团队规模。

2、每年论文发表总数的时间折线图，它可以向我们展示研究趋势。

3、论文标题的单词云，它可以向我们展示研究标题中最常出现的词语。

“话音刚落”，ChatGPT就开始通过自己写代码生成结果：

布洛克曼注意到第二个折线图把2023年也直接安排了，但今年还未结束，就让ChatGPT重新进行绘制，ChatGPT当然是照做了，并非常细致地注明2023年发表的论文总数是预测出来的。

以上便是布洛克曼在这场演讲中展示的新功能。

不过，想必大家还记得，这其实就是一个月前ChatGPT承诺的更新。

当时，OpenAI宣布，ChatGPT将拥有联网功能，将可以接入各种外部应用，就像拥有“App Store”一样，想完成任务直接就可以自动帮你调用相应的App。

现在，这些新功能终于要开始拥抱每一个（可能要Plus账号）人了。

布洛克曼：是时候了解AGI了

演示完功能后，布洛克曼还接受了TED的访谈。

和此前OpenAI CEO奥特曼的访谈不同，布洛克曼回答了很多“干货”内容。有个人观点的表达、成功经验的分享、以及对质疑的直面回应。

比如：为什么这次给世界带来震撼技术的是OpenAI而不是谷歌？

毕竟在开发团队规模上，OpenAI只有几百名技术人员，和谷歌差出了一个数量级。

布洛克曼的回答如下：

我们都是站在巨人的肩膀上，可以看到全AI行业在计算、算法、数据上都取得了进步。
不过OpenAI在早期，做了一些深思熟虑的选择。
我们的第一个选择就是直面现实，比如我们很认真地想过如果想要在这个领域取得进展，需要做什么？我们也做了很多没有用的尝试，最终你才能看到这些有用的结果。
我还认为，最重要的是让不同团队之间可以紧密协作。

那么，为什么OpenAI会坚信大模型的能力和趋势？

布洛克曼表示，他们一直都知道深度学习最终会通往何处。但具体来看，一个实验室应该怎么做？

他用一个“无心插柳柳成荫”的例子来说明：

过去我们有人尝试训练一个模型，预测亚马逊平台评论的下一个字符。
最终，他得到了一个可以分析评论句法的模型，但同时也得到了一个达到SOTA的情绪分析分类器，可以告诉人们这条评论是好评还是差评。
这个算法在现在看来可能不足为奇。但在当时我们第一次从底层句法中分析出来语义，我们就知道必须朝这个方向做下去。

当然，从ChatGPT诞生以来，质疑一直都存在。

比如很多人在体验后觉得，ChatGPT并没有在真正意义上掌握知识。

主持人抛出问题，所以扩大模型规模、大量的人类反馈，会带大模型通往真正意义上的成功吗？

布洛克曼的回答非常肯定：是的。

而且补充说：

我认为OpenAI的方法一直都是如此，用现实打脸。
……
我们的方法一直都是如此，必须突破技术极限才能看到它实际的能力。这也是我们如何转向新范式。

但OpenAI的坚定，如今也受到了很多质疑，尤其是对AI伦理有担忧情绪的人。

比如有声音就表示，作为一个非营利组织，OpenAI不仅掀起了一场全球范围内的技术趋势，还使得很多科技巨头不得不加入进来，这会不会导致AI的发展产生巨大危险。

马斯克及千名科学家呼吁“暂缓AI开发六个月”，也是出于这个原因。

布洛克曼直言：

从一开始我们考虑如何构建通用人工智能时，实际上是希望它能造福全人类。
如果是秘密开发这一切，然后在弄清楚安全性后，再按下“开始键”，你希望你做对了，但对于我来说，并不知道该如何执行这一计划。
可能其他人会这么做，但对于我来说，这是可怕的、感觉不太对。
我认为这种路线目前的唯一替代方法，在机器变得完美之前，给人们时间来提建议。

布洛克曼表示，人类开发计算机、算法等技术，都是step by step，并且要在推进的每一个阶段去弄清楚如何管理好它们。就好像养大一个孩子，是大家共同引导、给它树立规矩，而不是教它毁灭人类。

如今，AGI已经做好准备来改变我们使用计算机的方方面面了。

是时候让我们都了解这项技术了。

参考链接：
https://www.ted.com/talks/greg_brockman_the_inside_story_of_chatgpt_s_astonishing_potential/comments

点击进入—>【计算机视觉】微信技术交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群