Redian新闻
>
帮我那个朋友实现套图自由

帮我那个朋友实现套图自由

科技

大家注意:因为微信最近又改了推送机制,经常有小伙伴说错过了之前被删的文章,比如前阵子冒着风险写的全指南,再比如一些限时福利,错过了就是错过了。


所以建议大家加个星标,就能第一时间收到推送。👇



AI 绘画从火爆出圈至今,相信很多小伙伴或多或少都接触过了,从云端部署 SD,到 Discord 上的 MJ,以及各种插件,各种利用 RPA 工具实现的自动化骚操作......

不得不说今年的 AI 绘画,迭代快、功能多,格外得耐玩,火爆的原因我还记得,是今年 2 月份的 AI 三级跳👉这下,AI 涩图彻底炸了

前有 Chilloutmix 真人模型带头冲锋,在 C 站 1 个月斩获 11 万的下载量;

还有人记得这张图嘛

后有 Lora 大行其道,稍加训练就能得到专属的 AI 模型;

最后 ControlNet 炸场,给原本只能抽盲盒的 AI 绘画,带来了一丝控制的可能。

3 个月后再看这三位功臣,Chilloutmix 被作者捐给了 C 站,数据量已上涨至 45 万;Lora 成了制作同人作品、迁移图片风格的基操;ControlNet 更是成了 AI 绘画进阶的重要一环。

本来说今天这篇是想给大家总结一下,现阶段网上分享的 ChatGPT 以及 AI 绘画的优质图文教程,但昨天晚上刷 B 站的时候,我又发现了个好玩意——

ControlNet 更新了一个名为「reference_only」的预处理器,可以在不调用 Lora 的基础上,仅仅凭借一张图,用文本提示词,在保持图像主体特征的前提下,修改细节。

这是 GitHub 上作者给出的示例,一张静立的小狗,配上奔跑的提示词,在 ControlNet 的帮助下,就能跑出这样的效果:

在二次元领域就更厉害了,仅仅一个 1 girl,就能复现出原图的效果:

好家伙,这岂不是能实现所谓定制的效果了?是骡子是马咱得牵出来溜溜看。

Reference Only

想使用 Reference Only 这个「仅供参考」的预处理器,需要把 ControlNet 插件升级到 1.1.153 版本及以上。

然后就能在文生图、图生图的界面找到 ControlNet 的插件了。

正常来说,不是要选个预处理器,再挑选能提取线稿,提取骨骼图之类的模型,但今天这个 Reference Only,并未借助其他模型。

究其根本,是这个预处理器可以把 SD 的注意力层直接连接到上传的参考图片,并在提示词的引导下再去生图。

所以选中「reference_only」预处理器后,不用更多的操作,如果说有什么需要注意的——

1、「Pixel Perfect」这个参数建议勾选。

2、「Style Fidelity」这个参数视情况而定,如果提示词描绘的内容,以及尺寸,与参考的图片差不多,可以直接拉满。

除此之外,在参数那里,正向提示词可以加上类似「best quality, 8K」之类关于质量的内容;如果想尽可能的保持与原图的相似程度,可以适当调低提示词相关度 CFG。

测试结果

先给大家打个预防针,用这个预处理器生成图片,是肯定做不到 100% 还原,这和 AI 绘画生成图片的原理有关,随机性是肯定会存在的。

但生成原图也非本意,AI 绘画抽盲盒也是乐趣之一,当然也不妨碍用这个处理器搞一些花活,我在测试了一天后,得到了以下场景。

进行风格迁移

我从网上找来了一张简笔画,画风如下:

提示词只用到了最简单的「1girl,crying」,这样的简笔画风格就被迁移到了新生成的图片中,而且根据提示词的引导,新生成的卡通图片中的小女孩是正在哭的。

只要把提示词换成「1boy」,就能立刻得到一张同样风格的图片:

过去想拿 AI 绘画生成一对风格相近的头像,还需要找跟风格有关的各种 Lora 去排列组合,现在只要有一张参考图,相似风格的内容立刻就搞定了。

同理,由左边的猫,生成右边的狗也是 OK 的。

快速确定方向

有下面这样一张图,是我从 C 站上找来的,作者生成原图时用了很多提示词和 Lora,复杂度直接拉满。

但我用这个预处理器,只是在提示词里更改了发色或姿势,文生图就搞定了,比无脑抽盲盒要快得多。

同理,像图片里不合理的地方(用手接球),也能通过这种方式更改,还不用像局部重绘那般麻烦。

而且 ControlNet 是可以用多个预处理器/模型组合使用的,就比如上面这个踢球的图,我用一张坐着的图片引导了一下人物姿势,原本踢球的小姐姐就立刻呈坐姿了。

B 站上,我还看到更厉害的多重 ControlNet 组合使用的应用案例,只需要保留一张人物头像的图。

再用一张服饰的图。

分别用「reference_only」预处理器处理,并在提示词里分别描绘人像和服饰,最后用 Openpose 确定姿势,两张图就被拼到了一起,用这个方式「拼图」,再训练一个自己的 Lora,套图什么的,那不是手拿把掐嘛。 

具体的视频是下面这个,感兴趣的小伙伴可以了解一下:

https://www.bilibili.com/video/BV1Cc411P7iZ

为什么这篇我没有展示真人图片,还是那句话,这个预处理器不是换脸,单纯的文生图,模型带来的影响比 ControlNet 更强。

比如我用三上老师的照片跑了下,第一张是参考图,后面两张是 AI 生成的,提示词用了「1girl, long hair, gray sweater, room, best quality」。

虽然主体特征有迁移,但总觉得差点三上老师的灵动。。。

所以在 GitHub 上,真人这里更多的是用这个预处理器,去迁移背景以及服饰,比如这样作为参考图:

迁移后生成的效果是这样的:

这个流程规范化后,感觉我的 RPA 工具又有新作用了。

其他

ControlNet 这个预处理器刚出来没几天,肯定还有更多的玩法等着我们去开发,热乎得很,感兴趣的小伙伴可以去试试。

不过就像前面说的,用这个处理器需要对 ControlNet 进行一下升级,这里也给没用过 ControlNet 的小伙伴简单说说安装方法。

可以在「扩展-可用」里搜,也可以直接去「扩展-从网址安装」下载:

ControlNet 插件地址如下:https://github.com/Mikubill/sd-webui-controlnet

曾经下载过的,就需要去整合包或者在 WebUI 上手动更新了:

至于多重 ControlNet 的应用,就需要我们在设置里更改数量了。

结语

虽然 Reference Only 这个预处理器能在一定程度上和 Lora 的功能相接近,去控制 AI 绘画的不确定性,但也没说 ControlNet 不能和 Lora 结合起来用啊。

如果你在 Lora 的基础上使用这个预处理器,效果杠杠的好,再配合上星期分享的换脸工具,套图是真的可以有。

好了,这一篇到这里就没啥说的了,有大胆想法的小伙伴,还等什么,快去试试吧。

还没接触过 AI 绘画的小伙伴也不用急,后面我会出一篇优质教程合集,如果你对这个有需要,别犹豫,点赞就是最好的催更。

PS:常规宣传一下咱们的星球,像这种新鲜东西,量大管饱,欢迎每一个喜欢折腾的小伙伴加入。

电报群:wldxhdzq  QQ 群:729224889  网站:wldxh.com

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
历时三年,交个朋友终圆上市梦3分钟一个大片!视频版Midjourney上线iPhone,网友实测太绚了|免费体验交个朋友曲线上市;Prada与中国女足合作;亚洲最大诚品门店要来了;加多宝回应被判赔3.17亿;顺丰回应赴港上市|联商头条突发!交个朋友曲线上市:15个账号+4000万粉丝全部变卖毕业季了,发这句高级英语文案,惊艳整个朋友圈!风云三号G星首套图发布;科学家尝试用纸尿裤建房子丨科技早新闻“交个朋友”入驻京东直播 罗永浩5月31日直播卖房科技周报:蚂蚁集团回应被罚71.23亿元;交个朋友曲线上市成功;东方甄选首次启动APP直播第二家直播电商来了,“交个朋友”实现曲线上市“交个朋友”辟谣罗永浩已还清债务BB鸭 | 俞敏洪称大学毕业后啃老是耻辱;交个朋友否认罗永浩还完债务;​杭州网约车新门槛公布;微信小程序手机号快速验证将收费8点1氪:B站将以播放时长代替播放次数;​“交个朋友”辟谣罗永浩已还清债务;苹果传统静音键被爆料将首次被取代发了个朋友圈炸出一群贵妇夸我牛!还有人气哭了!罗永浩的“交个朋友”曲线上市了早财经丨香港楼市重大调整,“上车”门槛大幅降低;罗永浩“交个朋友”曲线上市; 雷诺回应“重返中国市场”传闻交个朋友!平价有机香米,每袋都有“身份证”每口都是家乡的味道!比亚迪再回应争议:常压油箱排放达标;天涯社区直播首播遭滑铁卢;交个朋友将入驻京东直播……罗永浩曲线上市成功,港股公司更名为交个朋友控股(古詩詞英譯) 咏柳 – 賀知章交个朋友借壳上市:罗永浩和他的朋友们共享宴席好朋友 友情价!罗永浩率领交个朋友正式入驻京东啦!罗永浩“交个朋友”要交多个朋友了读经典,品书法,手感好 ——《日读论语》美好得想送给每一个朋友知乎将正式下线匿名功能;罗永浩交个朋友公司在港股上市;华为云发布盘古大模型3.0丨大公司动态京东徐雷退休;浙江首家开市客6月20日开业;王坚或回归阿里云;交个朋友要借壳上市;家乐福进军社交团购业务|联商头条[直击]列治文大白天女子遭当街绑架?!华人网友实拍!Temu这几款产品被加拿大召回!在港股借壳上市,交个朋友要下一盘什么棋?9点1氪:蚂蚁集团及旗下机构被罚款71.23亿元;知乎宣布将下线匿名功能;罗永浩曲线上市成功,港股公司更名为交个朋友控股大洪水之后早鸟报|快播宣告破产;“交个朋友”正式入驻京东直播;天涯社区被列为经营异常...交个朋友完成借壳上市;理想汽车一季度营收和交付量创新高;格力回应孟羽童离职……自由女神联网GPT-3.5上线!网友实测给差评虞美人 中年《血壮山河》书评 1
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。