Redian新闻
>
最新优秀开源!车牌识别、车辆检测、车辆跟踪、违停检测一网打尽!

最新优秀开源!车牌识别、车辆检测、车辆跟踪、违停检测一网打尽!

公众号新闻

停车场闸机的车牌识别、道路两侧的违停检测、繁华路口的车流统计、茫茫车海中的车辆锁定…这些场景背后的技术原理大家是否在心中简单构思过?抑或想要抽时间自己攒一套出来可却又不知从何下手?——PP-Vehicle来告诉你答案。

继行人分析工具PP-Human之后,飞桨目标检测端到端开发套件PaddleDetection正式开源车辆分析工具PP-Vehicle!

PP-Vehicle功能全景图


PP-Vehicle是一款针对车辆分析相关场景的开源工具,产品主要围绕以下几个方面进行设计开发:

  • 实用性:针对车辆分析场景共性的底层模型进行优选迭代;针对几个高频场景进行了详细的后处理策略设计,可以满足业务的快速上线需求。同时提供丰富的二次开发教程,方便用户根据自己的业务场景进行私有化开发。

  • 泛化性:在公开数据集以及自采数据集上进行充分训练,并且提供预训练模型,覆盖车辆分析中监控视角、驾驶员视角、俯拍视角等常见相机视角。

  • 低代码:实现1行代码快速部署,支持图片、视频、单路/多路rtsp视频流输入,修改配置文件即可快速实现策略修改以及pipeline的组合。

接下来让我们具体看一下PP-Vehicle的工作。


搭配源码食用更佳!

https://github.com/PaddlePaddle/PaddleDetection

记得⭐Star⭐收藏,

防止走丢又实时关注更新!


整体方案

PP-Vehicle技术架构


PP-Vehicle整体分为输入、核心算法、输出三部分:

  • 输入:支持离线图片、视频以及rtsp视频流等形式,可根据输入类型快速配置,如下图所示,为输入配置为rtsp拉流的示例。

PP-Vehicle rtsp拉流预测示例


  • 核心算法:主要由预训练模型以及逻辑策略组成。预训练模型主要有4个:车辆检测模型、车辆跟踪模型、车牌识别模型、车辆属性分析模型。各个模型性能见下表:

预训练模型


违停pipeline配置文件示例


  • 输出:包括车牌信息、车辆轨迹、车辆属性、违停信息等;同时支持这些信息的可视化渲染输出,如下图为直接配置可视化信息rtsp推流显示。

rtsp推流展示示例


可视化效果


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED.md


方案简析

PP-Vehicle针对一些高频车辆分析场景提供了详细的解决方案,在这里就主要思路进行简析,详细的解析大家可以关注课后的海报,听一听开发同学的详解。

车牌识别方案:

  1. 通过目标检测来获取图片中的车辆检测框,模型方案为PP-YOLOE-l。当输入为视频时,会基于车辆检测框,使用OC-SORT跟踪模型来完成车辆的多目标跟踪;

  2. 通过车辆检测框的坐标截取对应位置图像;

  3. 使用车牌检测模型在每张车辆截图中识别车牌所在位置,同理截取车牌区域,模型方案为PP-OCRv3车牌检测模型

  4. 使用字符识别模型识别车牌中的字符,模型方案为PP-OCRv3车牌识别模型;

  5. 此外还使用了一些优化策略提升速度以及准确率。

  1. 使用跳帧策略,每10帧做一次车牌检测,避免每帧做车牌检测的算力消耗;

  2. 车牌结果稳定策略,避免单帧结果的波动,利用同一个id的历史所有车牌识别结果进行投票,得到该id最大可能的正确结果;

  3. 车辆检测模型联合BDD-100k和UA-DETRAC数据集训练, 车牌检测方案采用CCPD数据集在车牌场景finetune提升检测精度。


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_plate.md


车辆属性识别方案:

  1. 车辆属性识别模型使用了PaddleClas超轻量图像分类方案(PULC,Practical Ultra Lightweight image Classification)

  2. 并在该模型的基础上,进一步使用了以下优化方案:

  1. 使用SSLD预训练模型,在不改变推理速度的前提下,精度提升约0.5个百分点;

  2. 融合EDA数据增强策略,精度提升0.52个百分点;

  3. 使用SKL-UGI知识蒸馏, 精度提升0.23个百分点。


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_attribute.md


违停检测方案:

  1. 通过目标检测来获取车辆检测框,模型方案为PP-YOLOE;

  2. 基于跟踪算法获取每辆车的轨迹,模型方案为OC-SORT。如果车辆中心在违停区域内且在指定时间内未发生移动,则视为违章停车;

  3. 使用车牌识别模型得到违章停车车牌并可视化。


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_illegal_parking.md


二次开发

此外,PP-Vehicle支持二次开发,大家可以在自己的数据集上进行模型训练、策略改写等,定制化自己的专属PP-Vehicle。如下图为车牌识别任务二次开发示例:

二次开发示例


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/docs/advanced_tutorials/customization/ppvehicle_plate.md


部署优化

特别的,PP-Vehicle针对边缘端部署场景进行了优化,如针对Jetson系列模型选择轻量级版本,同时开启跟踪跳帧功能进行优化,同时提供了丰富的部署选项以达到性能-速度的平衡。

Jetson配置参数


详见:

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED_en.md#Inference-Deployment


直播预告

10月20日晚20:30,百度资深工程师们将在直播间为大家讲解这些实现细节以及设计思路,大家如果有任何问题也可以在直播间进行互动交流!

我们不见不散!

01

扫码报名
02

加入技术交流群




入群福利


获取重磅学习大礼包

获取10月20日直播课程链接

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
2022年纽约市万圣节大游行31日回归,一网打尽你必须知道的事北美圣诞大餐攻略,内附惊喜折扣!好物价美,前菜正餐甜点一网打尽~加拿大华人用の酱油“天花板”居然藏在Costco!珠江、海天、李锦记、六月鲜成分一网打尽!如何挑一瓶子好酱油?关于核酸检测、出行、复工复产,多地最新发布!虎年说说“虎牙”事实拍! 周末拿着这份清单去湾区Whole Foods, 一网打尽秋日新品午报 | Nike股价大跌近13%引担忧 拖累其他运动服饰品牌;上周全球时尚产业的赢家输家;Ye为巴黎世家大秀开场仅剩2席|衍生品/资产组合策略/风险管理等高阶知识点一网打尽!灰蘑菇: 在王府墙头享受“冷夏”,却被“漂泊的心”捕获恐怖!万锦警匪枪战现场视频流出,警方布下天罗地网,4名26岁悍匪一网打尽一网打尽!唐山打人案最新通报,仍有一问未明跟踪、蹲点、下毒…河北男子微博上自爆“杀死”前女友计划,画面恐怖!上海中国画院的故事(续)总结 mysql 的所有 buffer,一网打尽就这篇了!【便民】如何网上查车辆检验周期?如何网上领车辆检验标志?来看解答→【酷玩跨年】2023跨年冰火两重天,网红景点一网打尽!一网打尽!2023量化校招大汇总第2弹!【便民】如何网上申领车辆检验标志?这则视频指南请收好→湾区圣诞大餐攻略,内附惊喜折扣!好物价美,前菜正餐甜点一网打尽~仅5小时~女儿的本命洗护品,我亲自去广州总部谈回了触底价,秋冬洗护一网打尽号外!推荐大温最新最全楼花网站!所有资讯一网打尽!从网红徒步地到鲜为人知的滇西秘境,8天7晚一网打尽!路虎、松赞双buff叠加,天天可出发!一夜未归长文捋明白Spring事务!隔离性?传播性?一网打尽!国货精油大佬「阿芙」又出爆款!熬夜肌、熟龄肌、黄黑皮…一网打尽!OpenAI 宣布开源多语言语音识别系统 Whisper,英文识别能力接近人类水平【推荐】20款儿童桌游一网打尽!从易到难,3-12岁都能玩得嗨!团购秒杀4折!激动~女儿的本命洗护品,我亲自去广州总部谈回了触底价,秋冬洗护一网打尽美食|湾区圣诞大餐攻略,内附惊喜折扣!好物价美,前菜正餐甜点一网打尽~这国总理独生子在澳面临17项指控!家暴、跟踪、企图杀人、偷传私密照...2022全英圣诞panto童话剧一网打尽洛杉矶最近怎么了?!偷催化器、车轮!车窗忘记关,仅2分钟被盗!损失惨重!一网打尽:异步神器 CompletableFuture 万字详解!罗伯特格林的书——非虚构类(重度小说创作爱好者的强烈推荐+多图)30位全球著名老师,混沌国际好课今天一网“打尽”!|课单
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。