让AI像人一样开车，端到端模型如何解码自动驾驶？

当前，端到端模型在自动驾驶领域崭露头角，成为引领技术的重要力量。那么，端到端自动驾驶模式有何优势？如何训练数据、优化驾驶经验？在复杂的交通环境中，模型又该如何智能且安全地作出实时决策，确保车辆行驶的高效和安全？与此同时，为了赋予用户和监管机构对系统决策的清晰理解，构建对自动驾驶技术的坚实信任，模型的可解释性也成为关键要解决的问题之一。

围绕以上问题，虎嗅智库撰写并发布了《端到端自动驾驶模型方案及发展趋势》。深入剖析端到端的算法演进与产品形态，通过学术界和工业界两个层面的实践案例，揭示端到端模型在自动驾驶领域的探索与创新，为车企及自动驾驶相关从业人员提供专业意见。

同时12月12日晚7点，虎嗅智库将围绕自动驾驶的研发路线开展线上研讨会，特邀北汽研究院、智加科技、环形科技的专家一起在线上畅聊自动驾驶。

扫描下方二维码↓↓↓，立即报名，参与线上讨论。

以下是《端到端自动驾驶模型方案及发展趋势》报告的主要内容。

端到端模型的算法演进和产品形态

当前汽车行业通用分类，将自动驾驶系统分为传统模块化和端到端两大类。传统方案以感知-预测-规划-控制为核心，如百度阿波罗，适应硬件水平，符合量产需求。端到端方案融合各模块成一个统一架构，通过传感器输入直接完成从原始数据到轨迹或控制信号的映射，符合人类驾驶原理。

虎嗅智库在通用分类基础上，综合考虑对规则算法的依赖程度，按照模型最后呈现的拟人化程度，将自动驾驶模型分为：规则算法驱动的模块化小模型 (a 模型)、半拟人化部分算法规则驱动的模型 (b 模型)、拟人化无规则端到端Al大模型 (c 模 型 ) 。

a模型采用传统模块化，但系统复杂，对硬件要求高；b模型在此基础上实现感知-决策一体化，提升信息表达；C模型是完全拟人化的无规则端到端Al大模型，是自动驾驶算法模型的理想状态，以原始传感器数据为输入，并产生规划和/或低级控制动作作为输出，   理论上应具备可解释性，但目前尚无落地成果。

端到端自动驾驶技术在算法演进和产品形态上经历了三个关键阶段。

起初，从基于神经网络的端到端控制模型，到采用监督学习的卷积神经网络端到端模型，再到策略预训练模型，不断加入深度学习和拟人化算法范式，解决更多自动驾驶问题。

学术界的研究始于1988年的ALVINN，随后发展出端到端CNN原型系统。

到2021年，这一技术逐渐体现在产品形态上，通过多传感器配置实现多模态感知，利用高级架构捕捉全局上下文和代表性特征，通过NEAT、NMP和BDD-X等方法提高可解释性和安全性，覆盖了记忆泊车、城市NOA、高速NOA等不同自动驾驶功能，标志着端到端自动驾驶技术进入了探索完整算法解决方案的阶段。

探索实践案例

1、  学术界以上海人工智能实验室为代表，关于UniAD 的探索。

UniAD是上海人工智能实验室、武汉大学和商汤科技合作研发的自动驾驶通用大模型，以路径规划为导向，实现感知决策一体化。

模型将检测、跟踪、建图、轨迹预测、占据栅格预测整合到基于Transformer的端到端网络框架下，通过通用token融合环视图片映射得到BEV特征，实现目标跟踪、在线建图、目标轨迹预测和障碍物预测。

联合优化通过连续时序视频流输入，映射到BEV空间，通过transformer、mapformer、motionformer和Occformer实现特征融合和多步未来占用预测，最终通过Planner进行端到端的多模块联合优化和可微分训练。

UniAD通过先训练感知能力，再训练整体模型，实现了自动驾驶领域的创新突破。

2、工业界以特斯拉为代表，关于FSD Beta v12探索。

特斯拉FSD Beta v12的自动驾驶解决方案采用了感知决策一体化模型。

将“感知”和“决策”两个模块融合到一个模型中，通过纯视觉感知方案，利用影子模式实时收集数据并训练模型，实现仅依靠车载摄像头和神经网络识别道路和交通情况，并作出相应决策。

测试结果表明，FSD Beta V12能够应对绝大多数驾驶场景，但还需要改进在测试中存在的失效场景，如未准确识别红路灯等问题。

数据为主、规则驱动为辅将成未来趋势

端到端模型在自动驾驶方案中具有明显优势。它将感知、预测和规划整合到单一模型中，简化了方案结构，提高了计算效率。模型由神经网络构建，以数据和算力为主导，显著提升了模型的训练效率和性能上限。相比传统模型依赖规则驱动，端到端模型更容易实现规模化，实现性能突破。

未来，在产业应用中面临两大挑战。首先，现有感知决策一体化模型缺乏可解释性。无法保障极端情况下模型输出的安全性，并且具有不可解释性，这增加了错误风险和调试难度。

其次，缺少大量真实驾驶数据用于模型训练阻碍了量产落地。传统模块化模型中获取训练数据相对容易，而端到端模型需要大量连续时序的驾驶行为视频进行标注，采集、标注及闭环验证困难，使得量产落地进程放缓。

以大数据驱动为主、规则驱动为辅的模型架构将成为主流，同时借助语言模型范式，通过tokenization实现自动驾驶运行逻辑的可解释性。此外，面向通用大模型的研发也将成为重要方向，以支持泛场景、泛对象、跨模态的自动驾驶应用。通过对深度学习、强化学习、类脑算法等技术的不断探索，推动端到端模型在产业界的广泛应用和持续创新。

结语：

在自动驾驶领域，端到端模型展现出让AI像人一样的解码能力，通过以数据为主、规则驱动为辅的发展趋势，为行业创新和发展提供了深刻的思考。正如AI驾驶人在不断学习和进化中，端到端模型也在不断地解码着自动驾驶的未来。

本内容为作者独立观点，不代表虎嗅立场。未经允许不得转载，授权事宜请联系[email protected]
如对本稿件有异议或投诉，请联系[email protected]

End