Redian新闻
>
GPT-4刚发布就有手机APP接入,上传照片视频一键解读,还当起了美版知乎的问答bot

GPT-4刚发布就有手机APP接入,上传照片视频一键解读,还当起了美版知乎的问答bot

公众号新闻
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-4刚发布,就已经有手机应用接入了!

只需要上传图像,再用语音提出需求,GPT-4就能帮助视障人士“看清”眼前的世界。

随时随地,实时解读,就像聊天对话一样自然。

例如想要换装,却不知道手里的衣服是什么颜色:

只需要拍照上传给GPT-4,它很快就能将衣服纹理描述出来,材质、颜色和形状一清二楚:

翻译by有道

在此之前,视障人士除了用手触摸以外,辨别物体往往需要依靠身边的人或是志愿者的帮助。

有网友看到后赞叹:这是目前见过最令人惊叹的GPT-4应用之一!

所以,加入了图像理解功能的GPT-4,究竟展现出了哪些能力?

基于GPT-4读图能力打造

这个基于GPT-4的新功能名叫Virtual Volunteer,来自应用Be My Eyes

目前来看,包括问路、导航、读取菜单、搜索等功能,接入GPT-4的Virtual Volunteer都能很好地帮用户完成。

例如问路

只需要拍一张所在地点的照片,再通过语音询问GPT-4如何到达指定地点,它就会输出一条完整路线图,“读”给用户听:

翻译by有道

又例如读图翻译

只需要给GPT-4看眼物品描述、甚至只是物体形状,它就能搜索并输出这个产品的功能、具体说明和使用方法。

翻译by有道

再例如公众场合导航

想去健身房、却无法掌握空闲的器材位置,只需要拍摄所在场景照片,GPT-4就能指引你走到无人的器材面前。

翻译by有道

当然,还有点菜、使用自动贩卖机买饮料、搜索某种植物的名字、给出时装建议……

只要将需求告诉GPT-4,它就能帮助视障人士解决对应的问题。

不过,目前这一功能还在测试中,苹果商店可以加入等待列表,至于安卓版也快来了。

搭载它的应用Be My Eyes,是一个为盲人开发的公益应用。

它最早是一个2012年成立的互助社区,并于2015年上线iOS版本应用,随后又上线了安卓版应用。

这个应用分为志愿者和盲人两个群体,志愿者会接受盲人传过来的照片或视频,通过语音沟通(打电话)帮助他们解决困难,目前已经有接近45w+视障人士和630w+志愿者使用。

如果成为一名志愿者,则只需要保持在线,确保随时可以接听到视障人士的电话。

如果是视障人士使用,则可以在需要帮助时拨打志愿者电话,或是寻求一些专业人士的帮助:

现在加入Virtual Volunteer之后,盲人也可以呼叫“虚拟志愿者”GPT-4的帮助,不用担心深夜无人应答的问题。

官方还玩了个谐音梗,AI→Eyes,“让AI成为你的眼睛”:

还当起美版知乎问答bot

当然,除了Be My Eyes应用以外,不少其他APP也在争先恐后接入GPT-4。

例如,在美版知乎Quora出的Poe上,现在已经可以和GPT-4聊天(限免一句话

又像AI律师软件DoNotPay,同样已经接入了GPT-4,并计划用它来推出“一键诉讼”服务。

基于这个服务,你看不顺眼的电话诈骗,一键就能举报投诉。

如果接到电话诈骗,只需要点击一个按钮,对应的电话内容就会被全程录音,并生成1000字的诉讼内容,索赔1500美元的金额。(不过目前还只有美国地区适用)

值得一提的是,DoNotPay的CEO Joshua Browder表示,他们之前也用GPT-3.5做过类似的功能,但效果不太行,GPT-4则已经能很好地hold住这一要求。

甚至已经有网友尝试用GPT-4来搞药物发现了……

除了上述应用和功能以外,还有网友察觉到了GPT-4开发小游戏的前景。

新的GPT-4似乎在编程靠谱度上也有所提升,无论是在60秒内做一个打乒乓球小游戏:

还是20分钟之内搞出一个完整的贪吃蛇:

都可以说是游刃有余,提出更改需求也可以及时完成,编写的简单程序中基本上没有遇到需要修改的bug。

你还想到了什么GPT-4好玩的应用场景吗?

参考链接:
[1]https://twitter.com/BeMyEyes/status/1635690254689599488
[2]https://twitter.com/skirano/status/1635736107949195278
[3]https://twitter.com/ammaar/status/1635754631228952576
[4]https://www.bemyeyes.com/download
[5]https://twitter.com/jbrowder1/status/1635720431091974157

3月29日「中国AIGC产业峰会」

抢票开启

「中国AIGC产业峰会」定档3月29日,线下会场抢票开启!

百度袁佛玉、智源林咏华、澜舟科技周明、小冰徐元春、科大讯飞高建清、启元世界袁泉、云舶科技梅嵩、特赞王喆、微软关玮雅、源码资本黄云刚、元语智能朱雷、无界Ai马千里、Tiamat青柑、峰瑞资本陈石等来自产学研界大咖嘉宾,还有重磅嘉宾陆续确认中。

扫描下方二维码,报名峰会线下会场啦~


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
微软抛出王炸,GPT-4接入Office全家桶!PPT一键生成,又一批打工人要下岗了?五七大院(五)特效大神用真人视频一键生成动画,动画师要失业了?女主人做美容,狗狗全程陪伴当起了监工,美容师亚历山大哈哈谷歌版ChatGpt犯下低级错误,市值蒸发超7000亿;李彦宏内部定OKR,百度搜索将直接接入文心一言;知乎股价暴涨丨雷峰早报兔年献礼!最高获赠1000澳币!墨尔本王牌医美,一键解锁新年焕肤!多云缓存在知乎的探索:从 UnionStore 到 Alluxio马英九访欧洲,居然当起了中国大陆的“推广大使”!韦神出的这道题火了,GPTGPT-4刚发布,这八家公司已经用了起来|一周硅秘B站就上传用户真人照片致歉,首辆FF91本周六下线,音悦台回归,知乎版GPT发布并内测,这就是今天的其他大新闻!ChatPDF也来了!一键上传文件即可解读,复制粘贴都省了...了不起!马英九访欧洲,当起了中国大陆的“宣传员”GPTChatGPT私人订制!只需把文档一键上传,免费可玩再见,PPT!微软宣布PPT接入GPT-4,你的生活将会发生这8个变化……ChatPDF也来了!一键上传文件即可解读,复制粘贴都省了Beyoncé 时隔7年再办演唱会,宣传照辣翻全宇宙!GPT-4接入Office全家桶!Excel到PPT动嘴就能做,微软:重新发明生产力东方甄选回应直播间疑似售假;美国要求字节出售TikTok股份;苹果正开发类ChatGPT技术;GPT-4接入Office丨邦早报ChatGPT开源平替来了,开箱即用!前OpenAI团队打造,GitHub刚发布就揽获800+星微软将GPT-4全面接入 Office / OPPO Find X6发布定档 / 《炉石传说》被移出亚运闲说跨年在墨西哥城 (1) - 初到微软 Office 全家桶被 GPT-4 革新,Word 一键变成 PPT,打工人的春天来了!不能细想!《流浪地球2》里的意识上传,上传的到底是谁?用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get【八卦】碧昂斯巡回演唱会宣传照 辣翻全宇宙!二年级选课,忽闻一夜 GPT 来,千课 万课 AI 开不要熬夜肝PPT了!络绎科学一键生成科研PPT工具Slidebot来啦!GPT-4刚刚接入Office全家桶!微软:重新发明生产力!LA华人区遭大规模枪击! 疑似嫉妒老公疯狂报复(附现场照片视频)Gpt 4一出,谁与争锋ChatGPT能上传文件了!文档图片数据集秒理解,代码一键执行ChatGPT有长期记忆了/ “微信版知乎”推出在即/ 高盛预测全球3亿岗位被AI取代…今日更多新鲜事在此透过数据看经济因为这个小程序,流浪猫们开始当起了主播。看电视连续剧《爱的二八定律》爱德华王子岛骑行—— 第六天 Montague机械军团助力楼宇建造!一键解锁智慧楼宇创新“黑科技”
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。