Redian新闻
>
大模型开车哪家强?普渡研究给指南:GPT-4真行啊

大模型开车哪家强?普渡研究给指南:GPT-4真行啊

公众号新闻
白交 发自 凹非寺
量子位 | 公众号 QbitAI

现在一句口令,就能指挥汽车了。

比如说声“我开会要迟到了”“我不想让我朋友等太久”等等,车就能理解,并且自动加速起来。

如果这次行程有不满意的,只需要给汽车提供反馈建议:“要在充分保障安全的前提下”,汽车的自动驾驶行为就会在下次行程中进行自我修正。

这是来自普渡大学数字孪生实验室最新研究——

让大语言模型部署在自动驾驶实车上,在多个交通场景,比如停车场、十字路口和高速上理解乘客的各种个性化指令,构建他们的数字孪生。

最终在众多大模型的实验中,GPT-4脱颖而出。

更多细节在此。

基于LLM的自动驾驶系统

而这背后的实现,主要来自于一个框架Talk2Drive。

这个框架主要有三个特点:

1、它将人类口头命令转换为文本指令,然后由云端的大模型来处理。在此过程中会用到一些语音识别的开源API,比如Whisper,准确捕获口令并翻译成文本。云上的大模型结合天气、交通状况和当地交通规则等信息,生成上下文驾驶数据。

2、大模型生成特定的自动驾驶代码,随后发送回车辆的电子控制单元(ECU)并在其中执行。

代码执行涉及调整基本驾驶行为以及车辆规划和控制系统中的各种参数。

随后,车辆的执行器通过CAN总线和线控系统控制油门、刹车、档位选择和转向。

3、车辆的存储模块秉承”千人千面“的理念,记录着所有人车交互数据,确保每次行驶体验都是基于乘客的历史偏好和实时命令进行定制,实现真正意义上的数字孪生个性体验。

经过一众大模型对比,他们最终选择GPT-4,因为它的延迟相对较小,以及推理能力更强。

在Talk2Drive 系统中,三类不同驾乘偏好的乘客以口头化的指令表达与大模型进行交互,以促使系统做出相应调整。当乘客对调整后的自动驾驶行为不满意时会关闭自动驾驶模式,系统也会记录这种情况下的 “接管”。

结果显示,无论驾乘偏好如何,Talk2Drive都能显著降低接管率。

这辆全副武装的自动驾驶车和大语言模型API协作完成了这次研究。

来自普渡大学数字孪生实验室

这项研究来自普渡大学数字孪生实验室。

从研究团队来看,大部分都是华人面孔。

其中一作Can Cui目前是普渡大学一年级博士生。在加入普渡大学工程学院之前,在密歇根大学获得了电气与计算机工程硕士学位。本科毕业于武汉理工大学。

其导师王子然博士,在2022年加入普渡大学之前,曾在丰田硅谷研发中心任职四年,以主任研究员的身份领衔数字孪生的相关研究。

据介绍,普渡数字孪生实验室从2023年6月开始深耕大语言模型和自动驾驶交叉领域,进行了包括文献综述、创立公开数据集、仿真环境测试、以及主办研讨会等一系列工作。

论文链接:
https://arxiv.org/abs/2312.09397
项目网站:
https://purduedigitaltwin.github.io/llm4ad

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【最新】垃圾分类哪家强?请查收这份最新的成绩单特写|从 LV 到 Louboutin, 龙年艺术装置谁家强?OpenAI出手后,GPT-4真的不懒了?网友不买账:只靠打补丁恐怕无济于事!【美食驿站】芝加哥早茶哪家强?2023虽然过的不尽人意但是也要总结一下!关于朱令铊中毒的一点讨论今日arXiv最热NLP大模型论文:北京大学警惕ChatGPT等大模型遏制人类的创新能力Pika、Gen-2、ModelScope、SEINE……AI视频生成哪家强?这个框架一测便知国产GPTs来了,基于智谱第4代大模型!模型性能均达GPT-4九成以上重磅!ChatGPT放大招!GPT Store应用商店今天上线!超300万GPTs,内卷之下的赚钱机会!龙年春节礼盒哪家强? Lady M,星巴克,夏威夷饼干…AI早知道|百度推出视频生成模型UniVG;Soul APP上线自研语言大模型;清华大学首个大模型 Debug年夜饭预热,全国家宴哪家强?两首《万家灯火》定档 5月17日,AICon 全球人工智能与大模型开发与应用大会盛大开幕国内AI绘画哪家强?十大免费工具横评,BAT参战,但不是最强《再见,布里诺斯艾利斯》春节礼盒看这里!花样好物哪家强?零一万物Yi-VL多模态大模型开源,MMMU、CMMMU两大权威榜单领先AI早知道|自定义ChatGPT商店下周上线;腾讯推出语音识别大模型;美图大模型上线券商ETF业务哪家强?银河国君规模霸榜,华泰成交额最大,这家券商成黑马GPT智谱AI推出新一代基座模型GLM-4,发起大模型开源基金2024年硅谷春晚哪家强? 陆续给大家发福利啦!载歌载谷第一波手速抢优惠票!今日Arxiv最热NLP大模型论文:复旦大学最新研究,如何让大模型说出“我不知道”?世界顶尖多模态大模型开源!又是零一万物,又是李开复龙年营销哪家强?lululemon请杨紫琼咏春,vivo神龙成为国漫之光|中国案例AI早知道|Stability AI推出最小模型;国内首个视频大模型通过备案;内蒙古首个AI大模型工业互联网平台发布嫉妒的心灵不美丽2024全球CS排名发布!计算机科学专业哪家强?邮轮公司哪家强?权威排名供参考新能源车销量哪家强?年度成绩单来了!一车企同步官宣:周杰伦出任“大使”OpenAI一键调用GPTs功能上线;Alphabet CEO皮查伊:Gemini Ultra AI模型将很快面世丨AIGC日报国产「GPTs」上线!全面对标 OpenAI 的智谱发布大模型,性能逼近 GPT-4说一个有关Open AI的Chat GPT 创投人和我家的小故事AI早知道|ChatGPT模型大更新;阿里云发布多模态大模型;百度推多模态模型UNIMO-G年终奖“宝宝类”理财哪家强,这家互联网小金库排第一
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。