Redian新闻
>
检测一切!Grounding DINO 1.5:最强开集目标检测模型

检测一切!Grounding DINO 1.5:最强开集目标检测模型

公众号新闻

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【Mamba和目标检测】交流群

添加微信:CVer5555,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

白交 发自 凹非寺
转载自:量子位(QbitAI)

目标检测领域,迎来了新进展——

Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。

这一进展获得AI大佬沈向洋转发,他一般都是一年一转的节奏。

此次发布主要有两个版本:Pro和Edge。Pro版更强,Edge版更快。

它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构,在此基础上通过结合更大的视觉 backbone 扩大模型尺寸,并使用超过2000万的Grounding 数据获得了丰富的语料,大幅提升了检测精度和速度,且通过Pro和Edge版本分别针对不同应用场景进行了优化。

Pro版本在大规模数据集构建和高精度需求场景中表现卓越,而Edge版本则在端侧部署中展示了其独特的优势。

这就来分别看一看。

Pro版目标检测新SOTA

Grounding DINO 1.5 Pro版本实现了当前开集目标检测SOTA水平,在图像和文本的语义理解上表现出色,能够快速、准确地根据语言提示检测和识别图像中的目标对象。

在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比

物体级别理解是机器和物理世界交互的感知基础,也是解决多模态大模型(VLM)幻觉问题绕不过去的基础问题。

作为当前性能最好的开集检测模型,Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据,从而有效地助力多模态大模型的训练。

它可以将长文本描述中的短语与图像中的具体对象或场景精确匹配,以增强AI对视觉内容和文本之间关系的理解


另外,在其他需要处理大量复杂数据的领域,如电商、社交媒体和自动驾驶等,Grounding DINO 1.5 Pro 也具有强大应用价值。

例如,在电商领域,该模型可以帮助快速标注商品图像,优化搜索和推荐系统。在社交媒体中,该模型能自动标注用户上传的图片,提升内容审核和分类的效率。

支持行业数据微调

除此之外,Pro版还支持通过行业数据进行微调(fine tuning),以满足各行业的特定需求,从而达到更加精准的识别效果。

为了验证微调带来的提升,CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。

从最后两行可看出,Grounding DINO 1.5 Pro经过微调,在多个数据集上都展现出大幅的性能提升。

而在多个实际场景,也十分适配。

像在医疗领域,通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶,辅助医生进行诊断,提高诊疗效率。

在零售行业,微调后的模型能更精准地识别和分类商品,有助于库存管理和销售分析。

Edge版端侧可部署

在端侧部署方面,Grounding DINO 1.5 Edge版本通过模型结构优化,成功部署在NVIDIA Orin NX卡上,并实现了10FPS的推理速度。

再者,它可以让机器人和开放环境进行交互。

在自动驾驶领域,Grounding DINO 1.5 Edge未来可以在车辆上实时运行,实现高效的目标检测和环境感知,提高驾驶安全性。在智能安防中,该模型能快速处理视频监控数据,实时检测异常行为,提升安全监控的响应速度。

未来,Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS,进一步扩大其在边缘计算领域的应用范围。

论文链接:
https://arxiv.org/abs/2405.10300
项目试玩链接:
https://deepdataspace.com/playground/grounding_dino

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


Mamba和目标检测交流群成立

扫描下方二维码,或者添加微信:CVer5555,即可添加CVer小助手微信,便可申请加入CVer-Mamba和目标检测微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


一定要备注:研究方向+地点+学校/公司+昵称(如Mamba和目标检测+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer5555,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Suno AI:音乐生成迎来MidJourney时刻,Suno能否挑战Spotify?目标检测和图像分割微信群成立!全球最强开源模型一夜易主,1320亿参数推理飙升2倍!周鸿祎向李彦宏“开炮”:有些名人胡说八道别被忽悠了;全球最强开源大模型Llama 3发布:最大模型参数将超4000亿丨AI周报[旅游] Día de la Independencia | 2017年9月游墨西哥城第3-4天ECCV 2024 | 跟踪一切!不惧遮挡!DINO-Tracker:驯服DINO进行自监督点跟踪性能强,成本低,运行快!最强开源大模型出现,超越ChatGPT和Llama!AI早知道|B 站开源轻量级 AI 语言模型;阿里通义Qwen2成最强开源大模型硅谷活动|机器人创业与投资的绝佳对接机会!Robotics Founder & Funder Connect阵容更新,抓紧报名扎克伯格最新2万字访谈:价值百亿美金的“最强开源大模型”Llama3及背后的一切最强开源大模型深夜炸场! Llama 3 王者归来,直逼 GPT-4, 马斯克点赞 | 附体验链接华为 Pura 70 系列上架即售罄/Meta 发布全球最强开源大模型/理想汽车 L6 发布Mamba和目标检测微信群成立!老街Hatton Garden目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞ICLR 2024 | 冻结住的CLIP仍可作为教师模型!港大提出全新开集动作识别模型张核子回应张姗姗身份;雷军直播回应造车亏损;Meta发布最强开源大模型Llama 3;阿里拍卖回应前员工指控高管职场霸凌|邦早报Young Chinese Have Almost No Concerns About AI, Survey FindsThe Artist Monkeying Around With China’s Monkey King我的岁月(二十八)集成ChatGPT的SoundHound AI语音助手上线欧洲11国三大汽车品牌,公司去年曾被质疑用人工客服冒充AI目标检测和图像分割微信群来了!最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍老外整了个领先的幻觉检测模型Lynx清华推出首个通用城市时空预测模型UniST,零样本场景开箱即用|KDD2024自驾从SF到LA: 赫斯特城堡全球最强开源模型一夜易主,1320亿参数推理飙升2倍《梦圆》&《貌美如花》基于互补学习系统的时空预测模型,实现时空预测模型自适应进化卷疯了!最强开源大模型Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了史上最强开源大模型 Llama 3正式发布。。。最强开源大模型 Llama 3震撼发布!开源模型将追上GPT-4,4000亿参数模型也在路上阿里云突然发布全球最强开源模型 Qwen2,性能超越美国最强开源模型阿里云发布最强开源大模型Qwen2,干翻Llama 3,比闭源模型还强薇塔的城堡和花园 (上)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。