用虚拟环境训练“更聪明”的自动配送车，清华科学家在研究这件事

如何教会自动配送车过马路，让它可以在密集人流和复杂路况下穿梭自如，又不影响行人安全？

去年，清华大学自动化系贾庆山教授团队，接到了一个非常有挑战的需求。发起方是美团自动配送车研发团队，对方希望和高校联合攻关，让自动配送车更加“聪明”，在没有云端支持的离线状态下，也可以穿越复杂的城市道路，避开障碍。

这一挑战来源于美团自动配送车的真实应用。

这台装载量150公斤的黄色“铁憨憨”，定位是解决消费者最后3公里的商品即时配送。其日常运行时长占比远高于一般乘用车，使用场景多位于人口稠密地区，相比于汽车领域的自动驾驶，自动配送车必须在复杂场景中实现更高级别的行人安全保障。

当前，美团新一代的自动配送车已可实现5cm~150m范围内的障碍物识别，360度无死角实时感知，并完成包括整车性能、整车综合耐久、低温寒区环境适应性等31个子类测试，能够大部分满足全天候运营需求。

但科研高峰永在。为让这台黄色“铁憨憨”更聪明，在城市的地面道路和复杂路况下运行自如，甚至在离线状态下也可以完成高难度的自动避障，美团自动配送车的研发工程师们便和清华自动化系的科学家们联手，共同攻克这个难题。

“比如在城市上下班高峰期的十字路口，自动车能不能实时找到缝隙，像鱼一样‘游’过去？”贾庆山也是清华大学与美团合作的智能自主配送系统的项目负责人，他认为，这个课题挑战难度很高，但价值同样巨大，在自主配送的经济性、安全性有很大提升空间。

AI的自动避障，到底和人类开车有什么区别？

人类在开车的时候，会由眼睛和耳朵等“传感器”完成对环境信息的探测和感知，然后这些信息传入大脑，大脑经过所有的处理之后，发出直接的动作指令给“控制器”——我们的手和脚。

在现实场景应用中，有个关键因素——行为风险识别。人类在穿过十字路口或面对复杂路况时，能够自然地判断出对方接下来移动方向并作出应对。

▲ 2022世界智能网联汽车大会上，美团展出新一代自动配送车。

但这种对周边人员行驶意图的识别判断，对于机器来说非常困难，并且经常会遇到出乎意料之事——比如自动驾驶策略中，基于激光雷达、超声波等传感器探测与前车距离并规划路径，但如果对方处于逆行状态，前提判断条件就会失效。

通常来说，如果自动驾驶的模拟大脑，在面对一个复杂路口时，在两个行驶路径之间无法给出准确结论时，算法可以获知到这个“拿不准”行为，进一步请求“人类教练”的帮助。

但对于科学家来说，要尽可能让自动车的决策更聪明，减少人为介入的几率。过去几年中，清华大学自动化系与美团多个研发部门协同，投入大量精力研究，试图将实验室的最前沿技术应用到业务场景之中，解决实战问题。

这项名为《智能无人配送系统的感知、定位与安全强化学习》课题，便由美团自动配送团队和清华大学自动化系共同发起，主要围绕智能无人车在复杂路口通行这一应用场景，开展理论研究和算法验证。

美团自动配送团队技术负责人解释说，自动驾驶的行为处理中，系统要评价每个节点做出的策略选择是否更优。这就意味着，自动配送车在复杂路口通勤时，还要考虑到一些突发场景下的复杂问题处理，挑战难度很大。

双方希望通过这项联合科研攻关，取得一些关键性突破。比如，其中有3个重要技术指标是，在自动车配送的典型实际测试场景下，训练所用的数据量节约10%以上，局部避障规划策略比现有策略通过率提高5%以上，安全性评估准确率要大于90%。

通俗来说，自动驾驶避障共分为三个步骤：第一，由车载环境感知系统对近距离物体进行检测；第二，由轨迹预测系统对可能出现的碰撞进行预测；第三，由避障规划系统调整车辆行进路线避免碰撞发生。

在清华大学课题组的规划中，则是计划把这个复杂方案“算”出来，即对人的行为进行数学建模，对车辆行驶过程中周边的树木、路桩等障碍物按风险排序，精准识别当前车道线、障碍物位置，并基于周边行人、车辆的行为意图，融合各人、物轨迹预测后，合理安排下一秒的运动轨迹，保证实时行驶过程中不会发生碰撞。

这就相当于，通过不断的强化安全学习，让自动驾驶策略更加“聪明”，能够达到有着数年熟练驾驶经验的“老司机”水平。

贾庆山说，这套策略还考虑到了迁移性，当自动车学会这套方法后，即便到了一个陌生路口，甚至是行人、车辆不遵守交通规则的路口，依旧可以准确做出判断，将来也有希望在无人机、仓储机器人等多个零售场景之中应用落地。

但对前沿的实验室技术而言，应用到现实道路上又是新挑战。

在主流学界中，自动驾驶避障较为热门的解决方案是强化学习算法。在理论上，它被默认为是无约束问题，比如尽可能获得最多数据，不停试错、不停学习，以提升算法精度，获得最优决策能力。

但在现实环境中，自动配送车的训练，往往涉及到大量物理场景，比如核心前提条件是不希望车辆刮蹭，同时还要考虑到有时无法调用云计算能力，只能依靠本地边缘计算方式完成。在带上诸多现实条件的“紧箍咒”后，压力可想而知。

为此，研究人员想到了利用游戏开发引擎一类的虚拟环境进行仿真。比如，通过虚幻引擎4构建一个室外的沙漠开放场景，在5米宽的道路上不停有行人往返，车辆在自动行驶过程中要保证不超出道路边界，也不能接触到行人。

这个看起来游戏任务一样的目标，清华大学课题组已经给出了自己的解法：根据当前车辆速度预测与行人交汇的时间节点，并选取行人和道路两侧边界中距离更远的部分从中间行驶而过。由于设计的控制策略效果较好，在4次测试中全部完成了这个“游戏任务”。

虚幻引擎4是由Epic Games公司推出的一款游戏开发引擎，如绝地求生、使命召唤等3A大作均由该引擎开发制作。由于具备高还原度的物理引擎和逼真的视觉场景两大特点，近年来该游戏引擎也被广泛应用于无人机自动控制仿真，甚至是量化金融等科学研究之中。

清华大学研究团队利用虚幻引擎4对自动驾驶避障策略进行仿真测试。

据了解，利用虚幻引擎4对避障策略进行仿真测试，是一种利用中间模型替代模型做训练和校准的方法，能够高效率定向模拟某个具体问题并进行解决，并且有着较好的复用性。

另外一个重要问题是，在自动配送车的避障策略中，大量的计算都要在本地完成。这意味着，原本在云计算带来的强算力支持下的应用，在替换成车载芯片或者工控机后，必须要对图像识别、AI方法等进行轻量化适配。而通过大量的仿真测试，能够帮助研究团队迅速找出其中的技术路线，以更好做出调整满足现实使用需求。

“理想状态下对于算力的需求是无限的，但在工程实际部署的系统中，必须要考虑到生产环境中的有限算力，甚至是电压电流、电池损耗等参数，找到自动配送车载芯片能够支撑的算法。”贾庆山介绍说，经过大量测试和离线训练后，这套方案已可部署在本地完成使用。

据透露，当前在清华校园里穿梭的美团自动配送车中，应用这套安全强化学习方案后，在百万公里避障、安全运行时间两个参数上均有着优秀表现，“向最终完全解决自动驾驶中的安全避障问题又迈进了一步。”

技术的突破，对我们这个世界的商业场景来说，意义巨大。

根据世界经济论坛预测，2030年与2021年相比，全球城市末端配送需求将增长78%，用于自动配送的车辆将增加36%，自动配送市场将达到万亿元规模。

即时零售浪潮下，消费者“随时可得”需求变成了常态化。国内外科技公司都在积极研发新型履约工具，如谷歌Wings、亚马逊PrimeAir的无人机送货均已在美国、澳大利亚落地运营，将送达时效压缩到以秒计算。沃尔玛则选择和全自动驾驶卡车公司Gatik合作，在阿肯色州探索利用自动驾驶技术运送货物。

在国内，美团、顺丰等企业也在不断探索无人机、自动配送车等新型载具带来的商业场景。在北京顺义，美团自动配送车已常规化运营超过2年，覆盖50多个社区，为周边居民提供生鲜食杂等配送服务。截止到2022年8月,美团自动配送车已完成室外全场景配送订单超过240万单,自动驾驶里程占比超过97%。

美团副总裁、自动车配送部总经理夏华夏认为，高级别自动驾驶目前尚处于区域规模化商业探索期，预计从2025年开始，将进入全场景大规模落地运营阶段。

但与自动驾驶卡车相比，自动配送在城市末端3公里交通场景中落地运营时，可能会频繁遇到穿过极窄道路，频繁应对种种交通违规状况。夏华夏表示，这将对自动配送系统的“预判能力，人机交互能力，‘车、路、人、云’协同能力，意外场景应对能力，安全能力”提出极高要求。

去年4月，清华大学还联合美团，成立了清华大学-美团数字生活联合研究院（以下简称联合研究院）。联合研究院依托清华大学自动化系，电子工程系、计算机科学与技术系、经济管理学院、工业工程系、公共管理学院、深圳国际研究生院等参与建设，共同探索前沿科技，助力数字生活创新发展。

截至目前，依托联合研究院平台，双方已共同发起20多项联合科研课题，由电子工程系、自动化系、车辆与运载学院、软件学院、计算机科学与技术系、工业工程系多个跨学科、跨领域专家组成的“豪华”科研阵容，围绕无人配送、空地协同、自动时空配准、高性能计算等关键方向展开攻关。

“我们希望通过校企合作，从实际场景中得到需求，结合高校的研究内容，解决这些实际问题，进而提出重要的学术成果，或者是技术突破。”清华大学-美团数字生活联合研究院院长、清华大学信息科学技术学院副院长、自动化系主任张涛教授认为，这种企业提需求、高校做解答的方法，能够形成有效的产研协作循环。

尤其是在企业的真实需求中，大量问题会涉及到基础研究，而高校科研恰好可以有力支撑，“双方能够在解决工程问题后，再发现新的科研问题，不断提高研究水平。”张涛说道。

在贾庆山看来，需求牵引下的实际问题能倒逼技术融合创新。比如对于AI的训练涉及到社会学、经济学相关指标的奖惩，让安全行驶策略更符合人类社会行为规范；在密集的避碰场景下，则需要引入安全胶囊模型强化策略；“这种真实场景中带来的具体问题，推动高校加速跨学科、跨领域的合作。”

科学家们看似枯燥的技术研发，将对消费者的现实生活产生巨大影响。比如，消费者在美团上购买的生鲜百货，由自动机械臂在仓储中按订单进行拆分拣货后，并由智能仓储机器人进行中转运输至指定位置，由无人机、自动配送车完成“最后一公里”配送。事实上，这种场景并非遥不可及，上述技术已在美团多个业务场景中有着落地实验。

世界最大的零售企业沃尔玛创始人山姆曾说，创新进步永远是长久不衰的真理。在六十年的发展道路中，沃尔玛一直引领着零售科技的发展，1972年成立了第一个全世界的数据处理中心，1987年用卫星首次实行了数据的通信，让每一个门店的数据通过卫星系统能够实时传递到总部和管理部门。

在零售这项“长坡厚雪”的苦生意中，可能从没像今天这样，对于科技创新能源有着如此迫切的需求。包括谷歌、亚马逊、沃尔玛、美团等积极探索的自动物流技术，组成了一张从天空到地面的新型履约网络，极有可能从根本上改变未来消费业态。

零售的未来，正在被科技创新写进现实。