“纯视觉”特斯拉猛吃的回头草--“雷视融合”成为智驾与智路主赛道

这个冬天，北方各地的雨雪天气给人们出行带来了极大的不便，也给交通带来了巨大的挑战。一方面，雨雪天气影响了车辆的正常行驶，干扰驾驶员或智驾车辆的控制和判断；另一方面，恶劣的天气也给交管部门提出了难题，如何保证设备检测和预警装置在这类天气下正常运行。

“雷字头”银弹——雷视一体设备作为多感知器融合的代表，在自动驾驶、智慧交通、车路协同等各领域落地多年。该领域是我们提出智能物联2.0与通感智值一体化的直接体现，很好地展示了从算力、软硬件产品到产生生产力发展。

那么，这类技术目前发展得如何，有哪些企业在做？未来还将产生哪些新的场景和破局方式？本文当中，我们将会一一讨论这些问题。讲清楚“雷视一体”的发展情况，并落脚在领先半步的未来。

雷视一体简介

雷视一体，也称雷视融合，是一类将雷达和摄像头等感知设备嵌入集成在设备当中进行信息感知，为边缘计算层提供可靠的数据支持的方案的统称。它既能够提供摄像头带来的视频细节，也能够通过雷达技术提升检测范围，减少恶劣环境的影响，打破了传统车端与路侧对于道路行为检测的瓶颈。

通过摄像头与多种类型的雷达相结合的感知设备，能够从底层技术提升感知的精确度、清晰度、抗干扰能力等等，为智慧交通的建设提供端侧的能力升级。

此外，由于自动驾驶技术的需要和技术迭代，包括激光雷达在内的多种雷视一体技术已经在全球智驾产品上装备，仅靠一种/一类感知设备提供路侧感知服务的时代已经过去。一度将“纯视觉”奉为圭臬的特斯拉也不得不对4D毫米波雷达喊一声“真香”！此外，车联网的发展也为车车、车路的协同带来更多的通信层面的发展，5G的发展也为数据的传输提供了更加可靠的网络支撑。

• 传统（超声波）雷达：就是通过大家熟悉的超声波进行距离和速度的测量。优势在于超声波传播较远，穿透力强，所以测距方法简单且便宜；缺点是由于超声波容易受到天气影响，所以误差较大。

• 激光雷达（LiDar）：也称光学雷达，是一种光学遥感技术，通过向目标发射连续或脉冲激光实现测距，有效范围在200米左右。优势在于检测精度高、范围广，稳定性强；缺点是成本价格较高，抗干扰能力稍弱。

• 毫米波雷达 （MmWave Radar）：是工作在毫米波波段进行探测的雷达，通常波长在1～10mm，其频段在30-300GHz。优势在于价格低廉，可以在较为恶劣天气下进行工作；缺点是分辨率低，由于其本身频率的限制，其承载信息的能力和分辨率均低于激光雷达。

不过，毫米波雷达的新秀——4D毫米波雷达（也称为成像雷达），弥补了此前毫米波雷达无法测量高度的缺陷，大大提升了点云信号的密度。

以及最传统的传感器——摄像头，也在近些年来实现了较大的技术提升，例如分辨率的提升，配套设施和带宽增强、算力提升，以及从分布式到集成式控制、以原始数据代替ISP处理等等。

接下来我们将从路侧和车端介绍雷视一体的发展。

路侧雷视一体

路侧雷视一体的发展

路侧雷视融合产品的发展，主要源于智慧交通的需求。普通人对于日常道路交通的传感器往往还停留在摄像头、天网等等。随着近些年智能硬件的不断普及，越来越多的智慧设备也开始在各个城市落地。

此外，智慧路口系列产品对于路侧类似一体设备也有较高的需求。

发展路侧雷视一体的典型企业

由于该行业发展较早，从产品布局来看，一部分企业是从传统视频监控走向雷视一体，另一部分则是以雷达端起家，在原有基础上赋予视频能力，各有其优势。

• AXIS(安讯士)
  

作为全球领先的视频和雷达等传感类产品提供商。Axis在提供了丰富种类的雷视一体产品。安讯士提供了各个种类的雷视一体设备，用于道路监测和提醒、流量监测统计，服务于监控、安防、智能交通等等。此外，该公司还表示，在距离1cm，发射功率水平也低于被认为具有医疗危害性的水平。

• 海康威视

海康威视以视频等感知领域设备见长，提供满足科技、教育、交通、自然等各个领域的视频智能解决方案，提供软硬件等综合平台。关于雷视一体类设备产品，他们提供雷视道路安全预警系统、雷视事件取证抓拍一体机、雷视道路信息多维感知一体机以及雷视时间检测双光一体机等等。借助毫米波雷达和摄像头传感器，提供不同场景的测距测速、车辆检测、停车信息、事故预警、违章抓拍等等，其产品优势在于：系统实现雷达与视频优势互补，可实现全天候、远距离全程数据采集，支持车辆全结构化数据采集；设备系统支持无线传输、太阳能供电等，节约了取电取网等施工成本，此外，其系统可以联动声光电等动态预警手段，降低预警疲劳，提供数据可视化方案。

• 大华

大华同样是以视频为核心的物联网解决方案提供商。在智能交通雷视一体设备上，他们提供了能够满足双向6车道128个目标轨迹跟踪，机动车检测距离最远可达250米的雷视测速预警一体柱，支持强制抑光、宽动态、3D降噪，并具有多种白平衡模式，适合各种场景需要；他们还开发了雷视预警一体机，其检测最远距离为300米，该设备还支持流量统计、来车预警、供电方式多样等特点和功能。

• 宇视科技

宇视交通雷视产品融合了视频图像技术与雷达感知技术，可实现全天候、实时、多维、精准数据沉淀，广泛适用于公路交通流量调查及监测、道路通行状况监控及事件感知、交通目标识别及追踪，为车路协同、信号控制优化、交通诱导、安全预警、指挥调度、路网规划等提供有效数据支撑和决策依据。典型的产品有雷视取证抓拍一体机、雷视流量事件一体机、雷视微卡一体机、雷视车牌车速提醒一体机、雷视道路安全预警一体机等。通过将高频毫米波雷达与高分辨率视频融合，满足交通所需的雷视产品需求。

• 科达

科达也是老牌的视讯与安防解决商品提供商。今年10月，他们提雷达探测远、检测准以及视频监控直观可视的优势深度融合推出狐獴系列雷视一体机。其检测精度达到98%，视距范围在8车道以上、250米远。此外，在前端部署该雷视一体机，可直接输出车辆属性、位置、速度、轨迹等等，实现全息视角检测路网实时状况，免去后台计算需求。

• 旗扬

旗扬是智慧交通领域发展较早的企业，他们提供的雷视一体机系统融合了AI摄像机的智能视频算法、雷视融合全息道路系统的雷达技术以及AI 5G微脑基站边缘计算等多种先进技术，实现了路口全域检测、全息感知及可视化呈现，为交管部门的指挥决策提供了有力支持。

• 雷森电子

雷森电子是V2X微波感知设备与核心技术提供商，其产品大部分为雷达产品，2022年6月，率先发布业内首款24GHz雷视融合一体机。也提供各类不同频段和性能的雷视融合一体机器，为智能交通和智能网联场景的落地应用提供高可靠、低延迟的路侧感知数据。其中一些机器还集成了具有测高能力的4D毫米波雷达与具有深度学习能力的视频传感器。

• 华为

今年3月，华为推出了多款雷视融合项目设备，其中双目雷视流量一体机，通过长短焦镜头接力，实现隧道全范围雷视感知，“1000米全域雷视拟合对射方案”能够实现路侧信息的精准采集，并配备了相应的系统，形成标准解决方案。

• 卓视智通

今年4月份，该公司推出自研双光谱系列产品，通过红外热成像、可见光视频双光谱进行采集，融合毫米波雷达交通分析技术，具有全天候、大覆盖、高精度等优势。

• 国微感知

今年6月份，该公司推出3D雷视融合一体机，将雷视融合算法与雷视融合一体传感器进行软硬协同优化，具有激光雷达的高精度三维感知能力，同时又具备了摄像头高清图像的细节感知能力。目前已经在交通检测、园区卸货、无人机检测等领域得到应用。

车端雷视一体/融合

车端雷视一体的发展

作为边缘计算的前沿产业，自动驾驶行业一直引领相关技术的发展，包括边缘测的激进算力、端到端自动驾驶（实时感知决策），以及先进的感知技术。

从感知侧看，目前较为先进的设备是激光雷达、4D毫米波雷达、高清摄像头等等。而多传感器信息融合（MSIF）已经成为主流方案，雷视融合就是其中的典型代表。

作为自动驾驶领域的“流量王”，特斯拉的每一步行动都能得到业界和社会的广泛关注。此前，马斯克曾公开宣称其自动驾驶靠“纯视觉”（及其高性能芯片和系统）即可，激光雷达的高成本和对于人类驾驶的理解让他对雷达全无好感。

相反，坐拥万千算力的英伟达却是“多传感器融合”派的支持者，此前多次与禾赛在激光雷达领域进行合作，产生了令人欣喜的效果。

单领域传感器和多传感器融合的不同，我们可以通过下面的动图来感受：画面当中分别是原摄像头视角、雷达点云探测以及多传感器融合视角。不论是路侧还是车端，多传感器融合的确成为了大势所趋，除非出现新的类型的传感器，目前来看发展方向仍是不同种类传感器综合能力提升。

路侧的雷视融合也同车联网和自动驾驶密切相关。

业内人士表示：此前专注L4市场的企业纷纷“下沉”到L2市场，其积累的人才、算力和感知侧软硬件能力也给专注L2产品的企业带来一定的冲击。LLM的出现已经证明了算力作为市场“硬通货”的价值，而“雷视一体”作为集成感知体系，也将随着技术的演进产生更多的落地尝试。

信通院发布的《车联网白皮书（2023）》也表示：目前，众多高端 L2 量产车型已经配备激光雷达、毫米波雷达、摄像头、大算力芯片等硬件，与 L4 级自动驾驶示范车型硬件配置已十分接近，并基于 L2 级驾驶自动化功能运行条件，不断迭代升级算法，向 L3、L4 级驾驶自动化运行条件探索突破，小马智行、百度等从 L4 级切入自动驾驶研发的科技公司也在陆续推出 L2 量产方案。

发展车端雷视融合的典型企业

车端雷视融合的主要动力来自智驾企业。以Waymo、通用Cruise等为代表的自动驾驶企业，他们装备的多传感器融合体系，重感知，轻算力，对算力算法的要求较低；此前的特斯拉代表的是“纯视觉”派，重算法，轻感知，靠强大的算力和算法提升感知效果。

• Waymoo

作为全球自动驾驶的龙头企业，waymo对于车载雷视融合研究颇深，他们提出了摄像头-雷达匹配网络 CramNet，这是一种在联合 3D 空间中融合摄像头和雷达传感器读数的有效方法，为了更好地预测相机深度，他们提出了一种新颖的光线约束交叉注意机制，可以解决相机特征和雷达特征之间几何对应的模糊性。该方法支持使用传感器模态丢失进行训练，即使车辆上的摄像头或雷达传感器突然发生故障，也能实现强大的 3D 对象检测。

• 通用Cruise

通用Cruise也长期深耕自动驾驶领域，通过结合使用摄像头、短程和远程雷达、挡风玻璃后面的激光雷达、全新的计算系统和驾驶员注意力系统来监控驾驶员的头部位置和/或眼睛相对于周围环境的位置。确保驾驶员注意力的道路。通过“传感器融合”，这些系统将为 Ultra Cruise 提供车辆周围环境的 360° 3D 表示。

• 百度Apollo

百度Apollo首创UniBEV （BEV，鸟瞰）方案，支持多传感器、多模态、多任务、时序融合等端到端感知能力，也是自动驾驶和车路协同的重要底层方案。具备端到端、多任务多模态融合感知和车路一体三大特点。UniBEV 车路一体大模型，借助了大数据+大模型+小型化技术闭环，在车端路侧的动静态感知任务上都取得了业内领先的表现，让聪明的车和智慧的路可以更好的协同发展。

• 希迪智驾

该公司在智慧交通和车载智能产品上均有布局，高速道路解决方案针对高速场景利用多种传感器融合技术、V2X技术、边缘计算技术，对高速场景下的车速、车辆运行轨迹、路网运行状态等信息进行监测，实现行人事件、停车事件、抛撒物事件、逆行事件、超速事件、低速事件、烟雾事件、交通拥堵等事件的检测和报警，为驾驶车辆提供道路基础设施静态信息及运营动态信息，保障和提升驾驶汽车的安全性。

• 造车新势力

随着“纯视觉”派特斯拉的松口，各自动驾驶企业基本都可看作雷视融合、多传感器融合的案例。包括即将上市的小米汽车，其变焦BEV（鸟瞰图）技术，实现感知范围动态调节，可做到最小停车识别精度0.05米。当然，蔚小理显然也是多传感器融合的代表，“纯视觉”目前只能算是企业展示“算法肌肉”的一种方式。

尽管激进的自动驾驶L4有向L2下沉的趋势，讨论技术还是需要领先半步。毕竟已经有相当多企业拿到了L3的牌照。那我们不妨一起来看一下，航空圈的“雷视融合”。

雷视融合与航空

航空航天和国防工业一直是创新的温床，其活动受到先进技术的采用和先进材料的高新技术的推动。GlobalData 统计了从2010-2022年雷视一体相关专利较多的企业，Intel，Alphabet、General Motors以及Aptiv等排名靠前，百度、华为等亦有上榜，空客、波音等公司也在雷视融合领域拥有大量专利。

因为对安全的高标准要求和大量的资金投入，航空领域一直是先进科技的代表产物，甚至航空器有些时候被称为“车”。在航空圈实现的“雷视融合”，或许正是自动驾驶的“领先半步”的样本。我们以大名鼎鼎的F-35战机为例，继续讨论“雷视”与“融合”。

根据美国航空企业洛克希德马丁公司展示的2018年资料显示，F-35战机进行了充分的信息融合，他们表示：

• 融合是F-35的核心属性，从最初的概念开始就融入了任务系统；

• 融合是一种“强化的’智能’网络能力，飞行到戒备森严的空域，收集有关不断变化的防御的信息；

• 即使在空中和地面上的多个目标发生变化时，也能发现并自动优先考虑它们。
  

在车联网相关产业当中，发展雷视一体等多传感器融合的原因，一方面是为了提升检测精度和适应性，为各个端侧提供可靠的数据，另一方面亦如该报告当中指出的那样，是为了进行“数据融合”。

F-35 信息融合解决方案提供可扩展架构、基于信息的跨平台数据共享、跨平台的基于信息的数据共享、基于证据的识别算法、自主传感器管理以及协作传感/操作。这些是都可以在未来V2X领域进行发展和改进的地方。

我们不妨假设，在不远的将来，当算法算力的堆砌和多类型传感器的叠加都能够实现独当一面的时代，为什么不“全都要”呢？

需要和正在被解决的就是对多层级的数据进行跨平台处理，算是针对广义“碎片化”的一种解决方案，这也正是物联网已经开始积累并解决的方向。

写在最后

总体来看，随着传感技术和计算力的不断提升，多传感器融合已经成为目前车联网和自动驾驶领域感知能力提升的主流方向。作为多种传感器融合的典型代表，雷视一体技术近年来也取得长足发展，多家企业纷纷推出不同应用场景下的融合解决方案。

下一步，重点可能会转移到如何实现跨设备、跨系统、跨领域的深度数据融合上来，这将需要各领域密切合作，共同制定数据标准和通讯规范。从航空航天领域这类创新温床发展而来的雷视融合相关经验和产品也将逐步像智驾圈的“L4下沉L2”一样，给行业带来冲击和新的动力。

总体来看，随着相关技术的加速迭代演进，未来几年，雷视融合技术将会在更多智慧交通和自动驾驶应用场景深入应用，其感知能力也将得到前所未有的提升。只有持续开放合作，重视技术研发与产业应用结合，雷视一体相关技术才能汇聚全行业力量，在智慧交通、智慧工业等各个领域取得突破和发展，而这也正是我们对于通感智值一体化判断的最好展示。

参考内容：

《车联网白皮书（2023）》，信通院
《面向自动驾驶的车路协同关键技术与展望2.0》，清华大学智能产业研究院、百度Apollo，2023
《车路云网一体化智慧高速公路成技术场景应用》，何勇海，2023.5
《数智化：数字政府、数字经济与数字社会大融合》，张建锋，2022.3
Singh A. Vision-radar fusion for robotics bev detections: A survey[C]//2023 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2023: 1-7.
检测器与信号控制的恩怨情仇，https://www.7its.com/index.php?m=home&c=View&a=index&aid=10878
《2020-2023中国高等级自动驾驶产业发展趋势研究》，亿欧智库
《汽车智能化+网联化深度：自动驾驶逐步升级，摄像头+激光雷达星辰大海》，五矿证券
F-35 INFORMATION FUSION,2018,LOCKHEED MARTIN