Redian新闻
>
Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

Meta「分割一切」超进化版来了!IDEA领衔国内顶尖团队打造:检测、分割、生成一切,狂揽2k星

公众号新闻



  新智元报道  

编辑:桃子 好困
【新智元导读】Meta的SAM「分割一切」模型刚发布,国内团队就进行了二创,打造了一个最强的零样本视觉应用Grounded-SAM,不仅能分割一切,还能检测一切,生成一切。

Meta的「分割一切」模型横空出世后,已经让圈内人惊呼CV不存在了。
 
就在SAM发布后一天,国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。
 
注:项目的logo是团队用Midjourney花了一个小时做的
 
Grounded-SAM把SAM和BLIP、Stable Diffusion集成在一起,将图片「分割」、「检测」和「生成」三种能力合一,成为最强Zero-Shot视觉应用。
 
网友纷纷表示,太卷了!
 
 
谷歌大脑的研究科学家、滑铁卢大学计算机科学助理教授Wenhu Chen表示「这也太快了」。
 
 
AI大佬沈向洋也向大家推荐了这一最新项目:
Grounded-Segment-Anything:自动检测、分割和生成任何有图像和文本输入的东西。边缘分割可以进一步改进。
 
 
截至目前,这个项目在GitHub上已经狂揽2k星。
 

检测一切,分割一切,生成一切


上周,SAM的发布让CV迎来了GPT-3时刻。甚至,Meta AI声称这是史上首个图像分割基础模型。
 
该模型可以在统一的框架prompt encoder内,指定一个点、一个边界框、一句话,直接一键分割出任何物体。
 
SAM具有广泛的通用性,即具有了零样本迁移的能力,足以涵盖各种用例,不需要额外训练,就可以开箱即用地用于新的图像领域,无论是水下照片,还是细胞显微镜。
 
 
由此可见,SAM可以说是强到发指。
 
而现在,国内研究者基于这个模型想到了新的点子,将强大的零样本目标检测器Grounding DINO与之结合,便能通过文本输入,检测和分割一切。
 
借助Grounding DINO强大的零样本检测能力,Grounded SAM可以通过文本描述就可以找到图片中的任意物体,然后通过SAM强大的分割能力,细粒度的分割出mas。
 
最后,还可以利用Stable Diffusion对分割出来的区域做可控的文图生成。
 
 
再Grounded-SAM具体实践中,研究者将Segment-Anything与3个强大的零样本模型相结合,构建了一个自动标注系统的流程,并展示出非常非常令人印象深刻的结果!
 
这一项目结合了以下模型:
 
· BLIP:强大的图像标注模型
· Grounding DINO:最先进的零样本检测器
· Segment-Anything:强大的零样本分割模型
· Stable-Diffusion:出色的生成模型
 
所有的模型既可以组合使用,也可以独立使用。组建出强大的视觉工作流模型。整个工作流拥有了检测一切,分割一切,生成一切的能力。
 
该系统的功能包括:
 
BLIP+Grounded-SAM=自动标注器
 
使用BLIP模型生成标题,提取标签,并使用Ground-SAM生成框和掩码:
 
· 半自动标注系统:检测输入的文本,并提供精确的框标注和掩码标注。
 
 
· 全自动标注系统:
 
首先使用BLIP模型为输入图像生成可靠的标注,然后让Grounding DINO检测标注中的实体,接着使用SAM在其框提示上进行实例分割。
 
 
Stable Diffusion+Grounded-SAM=数据工厂
 
· 用作数据工厂生成新数据可以使用扩散修复模型根据掩码生成新数据。
 
 
Segment Anything+HumanEditing
 
在这个分支中,作者使用Segment Anything来编辑人的头发/面部。
 
· SAM+头发编辑
 
 
 
· SAM+时尚编辑
 
 
 
作者对于Grounded-SAM模型提出了一些未来可能的研究方向:
 
自动生成图像以构建新的数据集;分割预训练的更强大的基础模型;与(Chat-)GPT模型的合作;一个完整的管道,用于自动标注图像(包括边界框和掩码),并生成新图像。
 

作者介绍


Grounded-SAM项目其中的一位研究者是清华大学计算机系的三年级博士生刘世隆。
 
他近日在GitHub上介绍了自己和团队一起做出的最新项目,并称目前还在完善中。
 
 
现在,刘世隆是粤港澳大湾区数字经济研究院(IDEA研究院),计算机视觉与机器人研究中心的实习生,由张磊教授指导,主要研究方向为目标检测,多模态学习。
 
在此之前,他于2020年获得了清华大学工业工程系的学士学位,并于2019年在旷视实习过一段时间。
 

个人主页:http://www.lsl.zone/
 
顺便提一句,刘世隆也是今年3月份发布的目标检测模型Grounding DINO的一作。
 
此外,他的4篇论文中了CVPR 2023,2篇论文被ICLR 2023接收,1篇论文被AAAI 2023接收。
 
论文地址:https://arxiv.org/pdf/2303.05499.pdf
 
而刘世隆提到的那位大佬——任天和,目前在IDEA研究院担任计算机视觉算法工程师,也由张磊教授指导,主要研究方向为目标检测和多模态。
 
 
此外,项目的合作者还有,中国科学院大学博士三年级学生黎昆昌,主要研究方向为视频理解和多模态学习;IDEA研究院计算机视觉与机器人研究中心实习生曹赫,主要研究方向为生成模型;以及阿里云高级算法工程师陈佳禹。

任天和、刘世隆 

安装运行

 

项目需要安装python 3.8及以上版本,pytorch 1.7及以上版本和torchvision 0.8及以上版本。此外,作者强烈建议安装支持CUDA的PyTorch和TorchVision。
 
安装Segment Anything:
python -m pip install -e segment_anything

安装GroundingDINO:
python -m pip install -e GroundingDINO
 
安装diffusers:
pip install --upgrade diffusers[torch]

安装掩码后处理、以COCO格式保存掩码、example notebook和以ONNX格式导出模型所需的可选依赖。同时,项目还需要jupyter来运行example notebook。

pip install opencv-python pycocotools matplotlib onnxruntime onnx ipykernel


Grounding DINO演示

 
下载groundingdino检查点:
cd Grounded-Segment-Anythingwget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth
 
运行demo:
export CUDA_VISIBLE_DEVICES=0python grounding_dino_demo.py \  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \  --grounded_checkpoint groundingdino_swint_ogc.pth \  --input_image assets/demo1.jpg \  --output_dir "outputs" \  --box_threshold 0.3 \  --text_threshold 0.25 \  --text_prompt "bear" \  --device "cuda"
 
模型预测可视化将保存在output_dir中,如下所示:
 
 

Grounded-Segment-Anything+BLIP演示

 
自动生成伪标签很简单:
 
1. 使用BLIP(或其他标注模型)来生成一个标注。
 
2. 从标注中提取标签,并使用ChatGPT来处理潜在的复杂句子。
 
3. 使用Grounded-Segment-Anything来生成框和掩码。
 
export CUDA_VISIBLE_DEVICES=0python automatic_label_demo.py \  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \  --grounded_checkpoint groundingdino_swint_ogc.pth \  --sam_checkpoint sam_vit_h_4b8939.pth \  --input_image assets/demo3.jpg \  --output_dir "outputs" \  --openai_key your_openai_key \  --box_threshold 0.25 \  --text_threshold 0.2 \  --iou_threshold 0.5 \  --device "cuda"
 
伪标签和模型预测可视化将保存在output_dir中,如下所示:
 
 

Grounded-Segment-Anything+Inpainting演示

 
CUDA_VISIBLE_DEVICES=0python grounded_sam_inpainting_demo.py \  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \  --grounded_checkpoint groundingdino_swint_ogc.pth \  --sam_checkpoint sam_vit_h_4b8939.pth \  --input_image assets/inpaint_demo.jpg \  --output_dir "outputs" \  --box_threshold 0.3 \  --text_threshold 0.25 \  --det_prompt "bench" \  --inpaint_prompt "A sofa, high quality, detailed" \  --device "cuda"
 

Grounded-Segment-Anything+Inpainting Gradio APP

 
python gradio_app.py
 
作者在此提供了可视化网页,可以更方便的尝试各种例子。
 
 

网友评论


对于这个项目logo,还有个深层的含义:
 
一只坐在地上的马赛克风格的熊。坐在地面上是因为ground有地面的含义,然后分割后的图片可以认为是一种马赛克风格,而且马塞克谐音mask,之所以用熊作为logo主体,是因为作者主要示例的图片是熊。
 
 
看到Grounded-SAM后,网友表示,知道要来,但没想到来的这么快。
 
 
项目作者任天和称,「我们用的Zero-Shot检测器是目前来说最好的。」
 
 
未来,还会有web demo上线。
 
 
最后,作者表示,这个项目未来还可以基于生成模型做更多的拓展应用,例如多领域精细化编辑、高质量可信的数据工厂的构建等等。欢迎各个领域的人多多参与。

参考资料:
https://github.com/IDEA-Research/Grounded-Segment-Anything
https://www.reddit.com/r/MachineLearning/comments/12gnnfs/r_groundedsegmentanything_automatically_detect/
https://zhuanlan.zhihu.com/p/620271321





微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023Meta新模型“分割一切”:抠图完成究极进化,计算机视觉迎来GPT-3时刻分割一切模型SAM首篇全面综述:28页、200+篇参考文献ChatGPT黑化版来了!拉踩TikTok用户智商、写暴力故事等为所欲为,bug只因3个字母一次性分割一切,比SAM更强,华人团队的通用分割模型SEEM来了重磅!CV不存在了?CV或迎来GPT-3时刻,Meta发布「分割一切」AI 模型3D版「分割一切」来了!NUS华人团队最新模型,单视图重建3D,又快又准澄泥砚的“泥”,到底是什么泥Google/Meta/Amazon狗脸麻LAYOFF后大面积招人闲话人生(230)大年初五结伴出游,百年老宅触发乡情当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换Meta 股票今天大跌,花街也看不过天天裁员的公司老板了分割一切还不够,还要视频跟踪一切,《清明上河图》也能轻松拿下视觉版ChatGPT来了!吸收AI画画全技能,MSRA全华人团队打造,微软16年老将领衔7 Papers & Radios | Meta「分割一切」AI模型;从T5到GPT-4盘点大语言模型CV不存在了?Meta发布「分割一切」AI 模型,CV或迎来GPT-3时刻华人团队颠覆CV!SEEM完美分割一切爆火,一键分割「瞬息全宇宙」华人回国在第三国转机,核酸检测过期误飞机,业内人士:检测时间这样算[重磅]量价齐涨?大温这房狂揽28张offer加60万卖出!华人验3套房2套含严重问题,地产水太深……分割一切后,Segment Anything又能分辨类别了:Meta/UTAustin提出全新开放类分割模型分割一切后,SAM又能分辨类别了:Meta/UTAustin提出全新开放类分割模型光杆司令狂揽2亿美元!大佬一人搞ChatGPT创业,两天已现独角兽模样CV不存在了?Meta发布"分割一切"AI模型,CV或迎来GPT-3时刻!视频分割大结局!浙大最新发布SAM-Track:通用智能视频分割一键直达Meta开源的ChatGPT平替到底好不好用?测试结果、加料改装方法已出炉,2天5.2k星Meta staff engineer 被layoff 了,要卖房了Meta/G被竞争同事抢先升Manager怎么办AI分割一切!智源提出通用分割模型SegGPT,「一通百通」的那种比SAM分割一切更全能!华人团队提出SEEM:通用分割新模型卷爆CV!46篇分割一切模型(SAM)二创论文大盘点学跳广场舞SAM分割一切最全论文大盘点分割一切深度图!港科技、南洋理工等开源「SAD」:根据几何信息分割图像Meta 突然宣布,明天要再次裁员4000人!分割一切又一力作!北京智源提出通用分割模型SegGPT用Meta「分割一切」搞定一切关系,唱跳偷袭效果拔群!NTU等提出全新RAM模型披着扫黑剧外衣的鬼故事 ——笑谈《狂飙》之一分割一切还不够,还要检测一切、生成一切,SAM二创开始了​Segment-and-Track Anything!视频版SAM来了,分割/跟踪/编辑一切,现已开源!最后一位去世的中共一大代表刘仁静的坎坷人生
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。