Redian新闻
>
目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

白交 发自 凹非寺
量子位 | 公众号 QbitAI

目标检测领域,迎来了新进展——

Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。

这一进展获得AI大佬沈向洋转发,他一般都是一年一转的节奏。

此次发布主要有两个版本:Pro和Edge。Pro版更强,Edge版更快。

它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构,在此基础上通过结合更大的视觉 backbone 扩大模型尺寸,并使用超过2000万的Grounding 数据获得了丰富的语料,大幅提升了检测精度和速度,且通过Pro和Edge版本分别针对不同应用场景进行了优化。

Pro版本在大规模数据集构建和高精度需求场景中表现卓越,而Edge版本则在端侧部署中展示了其独特的优势。

这就来分别看一看。

Pro版目标检测新SOTA

Grounding DINO 1.5 Pro版本实现了当前开集目标检测SOTA水平,在图像和文本的语义理解上表现出色,能够快速、准确地根据语言提示检测和识别图像中的目标对象。

在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比

物体级别理解是机器和物理世界交互的感知基础,也是解决多模态大模型(VLM)幻觉问题绕不过去的基础问题。

作为当前性能最好的开集检测模型,Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据,从而有效地助力多模态大模型的训练。

它可以将长文本描述中的短语与图像中的具体对象或场景精确匹配,以增强AI对视觉内容和文本之间关系的理解


另外,在其他需要处理大量复杂数据的领域,如电商、社交媒体和自动驾驶等,Grounding DINO 1.5 Pro 也具有强大应用价值。

例如,在电商领域,该模型可以帮助快速标注商品图像,优化搜索和推荐系统。在社交媒体中,该模型能自动标注用户上传的图片,提升内容审核和分类的效率。

支持行业数据微调

除此之外,Pro版还支持通过行业数据进行微调(fine tuning),以满足各行业的特定需求,从而达到更加精准的识别效果。

为了验证微调带来的提升,CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。

从最后两行可看出,Grounding DINO 1.5 Pro经过微调,在多个数据集上都展现出大幅的性能提升。

而在多个实际场景,也十分适配。

像在医疗领域,通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶,辅助医生进行诊断,提高诊疗效率。

在零售行业,微调后的模型能更精准地识别和分类商品,有助于库存管理和销售分析。

Edge版端侧可部署

在端侧部署方面,Grounding DINO 1.5 Edge版本通过模型结构优化,成功部署在NVIDIA Orin NX卡上,并实现了10FPS的推理速度。

再者,它可以让机器人和开放环境进行交互。

在自动驾驶领域,Grounding DINO 1.5 Edge未来可以在车辆上实时运行,实现高效的目标检测和环境感知,提高驾驶安全性。在智能安防中,该模型能快速处理视频监控数据,实时检测异常行为,提升安全监控的响应速度。

未来,Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS,进一步扩大其在边缘计算领域的应用范围。

论文链接:
https://arxiv.org/abs/2405.10300
项目试玩链接:
https://deepdataspace.com/playground/grounding_dino

—  —


投稿请发邮件到:

ai@qbitai.com

标题注明【投稿】,告诉我们:

你是谁,从哪来,投稿内容

附上论文/项目主页链接,以及联系方式哦

我们会(尽量)及时回复你


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
用GPT-3.5生成数据集!北大天工等团队图像编辑新SOTA,可精准模拟物理世界场景端侧 AI 新篇章!商汤科技发布「速度最快」的端侧模型Champ首发开源:人体视频生成新SOTA,5天斩获1k星,demo可玩完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4V媲美”法律翻译 | 生物识别隐私侵权界定——Cothron 诉White Castle指纹识别信息侵权3B模型新SOTA!开源AI让日常调用不同大模型更简单免费AI神器!对照翻译带公式图表识别,支持批量识别步诸诗友韵也填卜算子安谋科技杨磊:抢占端侧大模型部署制高点,NPU将为端侧提供关键动力丨GenAICon 2024检测一切!Grounding DINO 1.5:最强开集目标检测模型特朗普:愿意接受入狱或软禁! 但公众可能会达到“爆发点”!从政策的出发点来理解地产收储OCR小模型仍有机会!华科等提出VIMTS:零样本视频端到端识别新SOTAH1B二轮抽签取消!美国移民局已公布最新Sponsor名单,中国留学生坐不住了…轻松构建聊天机器人、准确性新SOTA,RAG有了更强大的AI检索器减脂06---益生菌(probiotic)和益生元(prebiotic)的差别,如何获益减肥?雨水ICLR 2024 | AnomalyCLIP:零样本异常检测新范式财经早参|抖音限制发布时政、财经等内容?回应来了;中国恒大原总裁夏海钧拟被处分;小米回应SU7刹车故障:软件误识别,已修复悬赏800万的超难测试集,被GPT-4o实现新SOTA,准确率已达50%美国文化探究,我喜欢的瞬间:炸裂!讯飞现场大秀强干扰语音识别,星火4.0霸榜八个榜单,74种语言自由交流RoboUniview :视觉语言大模型控制机器人新SOTA!突破机器人相机限制!“远上寒山石径斜”读xiá,还是xié?跟孩子吵了一架后,才知道原来……Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA个人感慨之125 坏分子Mamba和目标检测微信群成立!川普自称能接受“入狱”,但公众会达“爆发点”目标检测和图像分割微信群来了!谈谈对哈佛斯坦福学生的印象目标检测和图像分割微信群成立!社融罕见转负!一个时代落幕让人物动起来!南大/复旦/阿里提出Champ:人体视频生成新SOTA!CVPR 2024 | OmniParser:统一图文解析模型:文字检测识别、视觉信息抽取和表格识别GPT-4o攻破ARC-AGI无法被挑战的神话!71%准确率成新SOTA
logo
联系我们隐私协议©2025 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。