Redian新闻
>
帮我那个朋友实现套图自由

帮我那个朋友实现套图自由

科技

大家注意:因为微信最近又改了推送机制,经常有小伙伴说错过了之前被删的文章,比如前阵子冒着风险写的全指南,再比如一些限时福利,错过了就是错过了。


所以建议大家加个星标,就能第一时间收到推送。👇



AI 绘画从火爆出圈至今,相信很多小伙伴或多或少都接触过了,从云端部署 SD,到 Discord 上的 MJ,以及各种插件,各种利用 RPA 工具实现的自动化骚操作......

不得不说今年的 AI 绘画,迭代快、功能多,格外得耐玩,火爆的原因我还记得,是今年 2 月份的 AI 三级跳👉这下,AI 涩图彻底炸了

前有 Chilloutmix 真人模型带头冲锋,在 C 站 1 个月斩获 11 万的下载量;

还有人记得这张图嘛

后有 Lora 大行其道,稍加训练就能得到专属的 AI 模型;

最后 ControlNet 炸场,给原本只能抽盲盒的 AI 绘画,带来了一丝控制的可能。

3 个月后再看这三位功臣,Chilloutmix 被作者捐给了 C 站,数据量已上涨至 45 万;Lora 成了制作同人作品、迁移图片风格的基操;ControlNet 更是成了 AI 绘画进阶的重要一环。

本来说今天这篇是想给大家总结一下,现阶段网上分享的 ChatGPT 以及 AI 绘画的优质图文教程,但昨天晚上刷 B 站的时候,我又发现了个好玩意——

ControlNet 更新了一个名为「reference_only」的预处理器,可以在不调用 Lora 的基础上,仅仅凭借一张图,用文本提示词,在保持图像主体特征的前提下,修改细节。

这是 GitHub 上作者给出的示例,一张静立的小狗,配上奔跑的提示词,在 ControlNet 的帮助下,就能跑出这样的效果:

在二次元领域就更厉害了,仅仅一个 1 girl,就能复现出原图的效果:

好家伙,这岂不是能实现所谓定制的效果了?是骡子是马咱得牵出来溜溜看。

Reference Only

想使用 Reference Only 这个「仅供参考」的预处理器,需要把 ControlNet 插件升级到 1.1.153 版本及以上。

然后就能在文生图、图生图的界面找到 ControlNet 的插件了。

正常来说,不是要选个预处理器,再挑选能提取线稿,提取骨骼图之类的模型,但今天这个 Reference Only,并未借助其他模型。

究其根本,是这个预处理器可以把 SD 的注意力层直接连接到上传的参考图片,并在提示词的引导下再去生图。

所以选中「reference_only」预处理器后,不用更多的操作,如果说有什么需要注意的——

1、「Pixel Perfect」这个参数建议勾选。

2、「Style Fidelity」这个参数视情况而定,如果提示词描绘的内容,以及尺寸,与参考的图片差不多,可以直接拉满。

除此之外,在参数那里,正向提示词可以加上类似「best quality, 8K」之类关于质量的内容;如果想尽可能的保持与原图的相似程度,可以适当调低提示词相关度 CFG。

测试结果

先给大家打个预防针,用这个预处理器生成图片,是肯定做不到 100% 还原,这和 AI 绘画生成图片的原理有关,随机性是肯定会存在的。

但生成原图也非本意,AI 绘画抽盲盒也是乐趣之一,当然也不妨碍用这个处理器搞一些花活,我在测试了一天后,得到了以下场景。

进行风格迁移

我从网上找来了一张简笔画,画风如下:

提示词只用到了最简单的「1girl,crying」,这样的简笔画风格就被迁移到了新生成的图片中,而且根据提示词的引导,新生成的卡通图片中的小女孩是正在哭的。

只要把提示词换成「1boy」,就能立刻得到一张同样风格的图片:

过去想拿 AI 绘画生成一对风格相近的头像,还需要找跟风格有关的各种 Lora 去排列组合,现在只要有一张参考图,相似风格的内容立刻就搞定了。

同理,由左边的猫,生成右边的狗也是 OK 的。

快速确定方向

有下面这样一张图,是我从 C 站上找来的,作者生成原图时用了很多提示词和 Lora,复杂度直接拉满。

但我用这个预处理器,只是在提示词里更改了发色或姿势,文生图就搞定了,比无脑抽盲盒要快得多。

同理,像图片里不合理的地方(用手接球),也能通过这种方式更改,还不用像局部重绘那般麻烦。

而且 ControlNet 是可以用多个预处理器/模型组合使用的,就比如上面这个踢球的图,我用一张坐着的图片引导了一下人物姿势,原本踢球的小姐姐就立刻呈坐姿了。

B 站上,我还看到更厉害的多重 ControlNet 组合使用的应用案例,只需要保留一张人物头像的图。

再用一张服饰的图。

分别用「reference_only」预处理器处理,并在提示词里分别描绘人像和服饰,最后用 Openpose 确定姿势,两张图就被拼到了一起,用这个方式「拼图」,再训练一个自己的 Lora,套图什么的,那不是手拿把掐嘛。 

具体的视频是下面这个,感兴趣的小伙伴可以了解一下:

https://www.bilibili.com/video/BV1Cc411P7iZ

为什么这篇我没有展示真人图片,还是那句话,这个预处理器不是换脸,单纯的文生图,模型带来的影响比 ControlNet 更强。

比如我用三上老师的照片跑了下,第一张是参考图,后面两张是 AI 生成的,提示词用了「1girl, long hair, gray sweater, room, best quality」。

虽然主体特征有迁移,但总觉得差点三上老师的灵动。。。

所以在 GitHub 上,真人这里更多的是用这个预处理器,去迁移背景以及服饰,比如这样作为参考图:

迁移后生成的效果是这样的:

这个流程规范化后,感觉我的 RPA 工具又有新作用了。

其他

ControlNet 这个预处理器刚出来没几天,肯定还有更多的玩法等着我们去开发,热乎得很,感兴趣的小伙伴可以去试试。

不过就像前面说的,用这个处理器需要对 ControlNet 进行一下升级,这里也给没用过 ControlNet 的小伙伴简单说说安装方法。

可以在「扩展-可用」里搜,也可以直接去「扩展-从网址安装」下载:

ControlNet 插件地址如下:https://github.com/Mikubill/sd-webui-controlnet

曾经下载过的,就需要去整合包或者在 WebUI 上手动更新了:

至于多重 ControlNet 的应用,就需要我们在设置里更改数量了。

结语

虽然 Reference Only 这个预处理器能在一定程度上和 Lora 的功能相接近,去控制 AI 绘画的不确定性,但也没说 ControlNet 不能和 Lora 结合起来用啊。

如果你在 Lora 的基础上使用这个预处理器,效果杠杠的好,再配合上星期分享的换脸工具,套图是真的可以有。

好了,这一篇到这里就没啥说的了,有大胆想法的小伙伴,还等什么,快去试试吧。

还没接触过 AI 绘画的小伙伴也不用急,后面我会出一篇优质教程合集,如果你对这个有需要,别犹豫,点赞就是最好的催更。

PS:常规宣传一下咱们的星球,像这种新鲜东西,量大管饱,欢迎每一个喜欢折腾的小伙伴加入。

电报群:wldxhdzq  QQ 群:729224889  网站:wldxh.com

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
BB鸭 | 俞敏洪称大学毕业后啃老是耻辱;交个朋友否认罗永浩还完债务;​杭州网约车新门槛公布;微信小程序手机号快速验证将收费[直击]列治文大白天女子遭当街绑架?!华人网友实拍!Temu这几款产品被加拿大召回!在港股借壳上市,交个朋友要下一盘什么棋?“交个朋友”入驻京东直播 罗永浩5月31日直播卖房罗永浩的“交个朋友”曲线上市了“交个朋友”辟谣罗永浩已还清债务《血壮山河》书评 1突发!交个朋友曲线上市:15个账号+4000万粉丝全部变卖联网GPT-3.5上线!网友实测给差评读经典,品书法,手感好 ——《日读论语》美好得想送给每一个朋友科技周报:蚂蚁集团回应被罚71.23亿元;交个朋友曲线上市成功;东方甄选首次启动APP直播交个朋友借壳上市:罗永浩和他的朋友们共享宴席交个朋友!平价有机香米,每袋都有“身份证”每口都是家乡的味道!自由女神交个朋友完成借壳上市;理想汽车一季度营收和交付量创新高;格力回应孟羽童离职……罗永浩曲线上市成功,港股公司更名为交个朋友控股3分钟一个大片!视频版Midjourney上线iPhone,网友实测太绚了|免费体验虞美人 中年8点1氪:B站将以播放时长代替播放次数;​“交个朋友”辟谣罗永浩已还清债务;苹果传统静音键被爆料将首次被取代知乎将正式下线匿名功能;罗永浩交个朋友公司在港股上市;华为云发布盘古大模型3.0丨大公司动态交个朋友曲线上市;Prada与中国女足合作;亚洲最大诚品门店要来了;加多宝回应被判赔3.17亿;顺丰回应赴港上市|联商头条大洪水之后罗永浩“交个朋友”要交多个朋友了比亚迪再回应争议:常压油箱排放达标;天涯社区直播首播遭滑铁卢;交个朋友将入驻京东直播……历时三年,交个朋友终圆上市梦(古詩詞英譯) 咏柳 – 賀知章第二家直播电商来了,“交个朋友”实现曲线上市毕业季了,发这句高级英语文案,惊艳整个朋友圈!京东徐雷退休;浙江首家开市客6月20日开业;王坚或回归阿里云;交个朋友要借壳上市;家乐福进军社交团购业务|联商头条好朋友 友情价!罗永浩率领交个朋友正式入驻京东啦!9点1氪:蚂蚁集团及旗下机构被罚款71.23亿元;知乎宣布将下线匿名功能;罗永浩曲线上市成功,港股公司更名为交个朋友控股发了个朋友圈炸出一群贵妇夸我牛!还有人气哭了!早财经丨香港楼市重大调整,“上车”门槛大幅降低;罗永浩“交个朋友”曲线上市; 雷诺回应“重返中国市场”传闻早鸟报|快播宣告破产;“交个朋友”正式入驻京东直播;天涯社区被列为经营异常...风云三号G星首套图发布;科学家尝试用纸尿裤建房子丨科技早新闻
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。