好家伙,这新项目太优秀了,快开源!
大家好,我是 Jack。
最近,被 Stable Diffusion 大抢风头的 GAN,出新活了!
DragGAN
效果
这篇引爆绘图圈的论文,名为「Drag Your GAN」,由 MPII、MIT、宾大、谷歌等机构的学者联合发布。目前已被 SIGGRAPH 2023 录用,就是那个顶级的图像图形学术会议。
我们先看效果!
拍照的表情、脸型、脸的角度,都能修!
不仅能修表情,还能修衣服!
不仅能修人的图片,还能修动物的。
甚至还能修改风景,湖边的树可以瞬间长高,湖里的倒影也跟着一起改变。
甚至汽车,也能修改!
真就是万物皆可 P 呗。
原理
DragGAN 是基于 StyleGAN2 开发的,主要由两个部分组成:
运动监督 Motion supervision
点跟踪 Point Tracking
用户可以对图像进行多次变换更改,直到获得所需输出。
DragGAN 可以有效地将用户定义的操纵点移动到目标点,在许多目标类别中实现不同的操纵效果。与传统的形变方法不同的是,DragGAN 的变形是在 GAN 学习的图像流形上进行的,它倾向于遵从底层的目标结构,而不是简单地应用扭曲。例如,该方法可以生成原本看不见的内容,如狮子嘴里的牙齿。
代码
可以在这里看到工程项目:
https://vcai.mpi-inf.mpg.de/projects/DragGAN/
作者也创建了 Github,代码说是要 6 月份开源。
https://github.com/XingangPan/DragGAN/
这代码还没发布呢,Star 数量就已经飙升到了 5k+。
总结
我测试了一个民间复现版本,效果不太好,这里就不发出来。
等官方代码 or 民间高手复现后,再测试下效果,感兴趣的小伙伴多的话,我再出个教程之类的。
好了,本期的内容就是这么多,我是 Jack,我们下期见!
微信扫码关注该文公众号作者