Redian新闻
>
让AI像人一样开车,端到端模型如何解码自动驾驶?

让AI像人一样开车,端到端模型如何解码自动驾驶?

汽车


出品|虎嗅智库
编辑|黄思语
题图|视觉中国

当前,端到端模型在自动驾驶领域崭露头角,成为引领技术的重要力量。那么,端到端自动驾驶模式有何优势?如何训练数据、优化驾驶经验?在复杂的交通环境中,模型又该如何智能且安全地作出实时决策,确保车辆行驶的高效和安全?与此同时,为了赋予用户和监管机构对系统决策的清晰理解,构建对自动驾驶技术的坚实信任,模型的可解释性也成为关键要解决的问题之一。

围绕以上问题,虎嗅智库撰写并发布了《端到端自动驾驶模型方案及发展趋势》。深入剖析端到端的算法演进与产品形态,通过学术界和工业界两个层面的实践案例,揭示端到端模型在自动驾驶领域的探索与创新,为车企及自动驾驶相关从业人员提供专业意见。

同时12月12日晚7点,虎嗅智库将围绕自动驾驶的研发路线开展线上研讨会,特邀北汽研究院、智加科技、环形科技的专家一起在线上畅聊自动驾驶。

扫描下方二维码↓↓↓,立即报名,参与线上讨论。

以下是《端到端自动驾驶模型方案及发展趋势》报告的主要内容。

端到端模型的算法演进和产品形态

当前汽车行业通用分类,将自动驾驶系统分为传统模块化和端到端两大类。传统方案以感知-预测-规划-控制为核心,如百度阿波罗,适应硬件水平,符合量产需求。端到端方案融合各模块成一个统一架构,通过传感器输入直接完成从原始数据到轨迹或控制信号的映射,符合人类驾驶原理。

虎嗅智库在通用分类基础上,综合考虑对规则算法的依赖程度,按照模型最后呈现的拟人化程度,将自动驾驶模型分为:规则算法驱动的模块化小模型 (a 模型)、半拟人化部分算法规则驱动的模型 (b 模型)、拟人化无规则端到端Al大模型 (c 模 型 ) 。

a模型采用传统模块化,但系统复杂,对硬件要求高;b模型在此基础上实现感知-决策一体化,提升信息表达;C模型是完全拟人化的无规则端到端Al大模型,是自动驾驶算法模型的理想状态,以原始传感器数据为输入,并产生规划和/或低级控制动作作为输出,   理论上应具备可解释性,但目前尚无落地成果。

端到端自动驾驶技术在算法演进和产品形态上经历了三个关键阶段。

起初,从基于神经网络的端到端控制模型,到采用监督学习的卷积神经网络端到端模型,再到策略预训练模型,不断加入深度学习和拟人化算法范式,解决更多自动驾驶问题。

学术界的研究始于1988年的ALVINN,随后发展出端到端CNN原型系统。

到2021年,这一技术逐渐体现在产品形态上,通过多传感器配置实现多模态感知,利用高级架构捕捉全局上下文和代表性特征,通过NEAT、NMP和BDD-X等方法提高可解释性和安全性,覆盖了记忆泊车、城市NOA、高速NOA等不同自动驾驶功能,标志着端到端自动驾驶技术进入了探索完整算法解决方案的阶段。

探索实践案例

1、  学术界以上海人工智能实验室为代表,关于UniAD 的探索。

UniAD是上海人工智能实验室、武汉大学和商汤科技合作研发的自动驾驶通用大模型,以路径规划为导向,实现感知决策一体化。

模型将检测、跟踪、建图、轨迹预测、占据栅格预测整合到基于Transformer的端到端网络框架下,通过通用token融合环视图片映射得到BEV特征,实现目标跟踪、在线建图、目标轨迹预测和障碍物预测。

联合优化通过连续时序视频流输入,映射到BEV空间,通过transformer、mapformer、motionformer和Occformer实现特征融合和多步未来占用预测,最终通过Planner进行端到端的多模块联合优化和可微分训练。

UniAD通过先训练感知能力,再训练整体模型,实现了自动驾驶领域的创新突破。

2、工业界以特斯拉为代表,关于FSD Beta v12探索。

特斯拉FSD Beta v12的自动驾驶解决方案采用了感知决策一体化模型。

将“感知”和“决策”两个模块融合到一个模型中,通过纯视觉感知方案,利用影子模式实时收集数据并训练模型,实现仅依靠车载摄像头和神经网络识别道路和交通情况,并作出相应决策。

测试结果表明,FSD Beta V12能够应对绝大多数驾驶场景,但还需要改进在测试中存在的失效场景,如未准确识别红路灯等问题。

数据为主、规则驱动为辅将成未来趋势

端到端模型在自动驾驶方案中具有明显优势。它将感知、预测和规划整合到单一模型中,简化了方案结构,提高了计算效率。模型由神经网络构建,以数据和算力为主导,显著提升了模型的训练效率和性能上限。相比传统模型依赖规则驱动,端到端模型更容易实现规模化,实现性能突破。

未来,在产业应用中面临两大挑战。首先,现有感知决策一体化模型缺乏可解释性。无法保障极端情况下模型输出的安全性,并且具有不可解释性,这增加了错误风险和调试难度。

其次,缺少大量真实驾驶数据用于模型训练阻碍了量产落地。传统模块化模型中获取训练数据相对容易,而端到端模型需要大量连续时序的驾驶行为视频进行标注,采集、标注及闭环验证困难,使得量产落地进程放缓。

以大数据驱动为主、规则驱动为辅的模型架构将成为主流,同时借助语言模型范式,通过tokenization实现自动驾驶运行逻辑的可解释性。此外,面向通用大模型的研发也将成为重要方向,以支持泛场景、泛对象、跨模态的自动驾驶应用。通过对深度学习、强化学习、类脑算法等技术的不断探索,推动端到端模型在产业界的广泛应用和持续创新。

结语:

在自动驾驶领域,端到端模型展现出让AI像人一样的解码能力,通过以数据为主、规则驱动为辅的发展趋势,为行业创新和发展提供了深刻的思考。正如AI驾驶人在不断学习和进化中,端到端模型也在不断地解码着自动驾驶的未来。

再次诚邀您的参与,一同探讨自动驾驶的最佳方案。扫描下方二维码↓↓↓,立即报名,参与线上讨论

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系[email protected]
如对本稿件有异议或投诉,请联系[email protected]

End

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
个性经济时代,MiniMax 语音大模型如何 To C?华为小鹏互怼,究竟谁没搞懂智能驾驶?驶向未来,首个多视图预测+规划自动驾驶世界模型来了从“好玩”到“好用”,大模型如何落地生花?第四章 牛刀初试奇点将至!年底最强自动驾驶峰会将拆解城市NOA、大模型与BEV感知,18位嘉宾率先揭晓CVPR 2023最佳论文作者李弘扬:端到端自动驾驶的前景与挑战解密PC的AI进化:AI大模型如何“压”进PC?LLaMA 2端到端推理打通!来自中国团队GPT-4就是AGI!谷歌斯坦福科学家揭秘大模型如何超智能2024,万众瞩目的行业大模型如何落地?探寻西西里与马耳他的历史脚印(17)小模型如何比肩大模型,北理工发布明德大模型MindLLM,小模型潜力巨大GPT-4V在自动驾驶上应用前景如何?面向真实场景的全面测评来了今日Arxiv最热NLP大模型论文:清华大学让大语言模型自动并行自回归解码,速度提升高达4倍!更像人脑的新型注意力机制,Meta让大模型自动屏蔽任务无关信息,准确率提高27%大模型+自动驾驶=?普渡大学等最新《自动驾驶领域多模态大型语言模型》综述6024 血壮山河之随枣会战 第三章 3自动驾驶落地,如何做到技术与场景相匹配?|甲子光年从大脑活动中解码自然语言:任务与前沿方法揭秘!澳洲服务业竟如此黑暗!受虐、遭歧…“请像人一样对待我们!”单点端到端文本检测识别框架速度提升19倍!华科、华南理工等联合发布SPTS v2探寻西西里与马耳他的历史脚印(18)大模型如何开启输入法的“iPhone时刻”?对话讯飞输入法总经理程坤自动驾驶公司Cruise,被美国政府吊销了无人驾驶汽车资格。。。北京理工大学发布双语轻量级语言模型,明德大模型—MindLLM,看小模型如何比肩大模型用多模态LLM做自动驾驶决策器,可解释性有了!比纯端到端更擅长处理特殊场景,来自商汤「百模大战」2024走向何方?对话潞晨科技尤洋:像做PPT一样开发大模型面向超长上下文,大语言模型如何优化架构,这篇综述一网打尽了《移居蒙城20周年》工业界的AI变革:卡奥斯工业大模型如何成为最优工艺的探索者Facebook Messenger聊天终获全面的端到端加密今日arXiv最热NLP大模型论文:像人一样浏览网页执行任务,腾讯AI lab发布多模态端到端AgentAgent像人一样分工协作,还能“群聊”交换信息|ICLR2024 Oral小模型如何进行上下文学习?字节跳动 & 华东师大联合提出自进化文本识别器
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。