Redian新闻
>
AI画图又双叒革命了?华人小伙开发ControlNet让出图更可控!

AI画图又双叒革命了?华人小伙开发ControlNet让出图更可控!

游戏

「 点击上方"GameLook"↑↑↑,订阅微信 」

还在为AI生成的角色肢体扭曲而头疼吗?想要用一个底稿同时测试多种不同画风吗?想要让你的AI生成结果更精准,更可控吗?全新的ControlNet技术帮你一次解决!这一技术由斯坦福大学的计算机在读博士Lvmin Zhang在情人节前夜发表,旋即因其强大的功能震惊全网创作者。

图源:Lvmin Zhang个人网站

ControlNet究竟强大在哪儿?简单来说,这一技术可以为AI扩散模型增加一个额外的输入,对AI的输出方向进行限制。如同在一望无际的沙漠上修建了道路与指示牌,为迷失方向的旅行者提供了前行的方向。

在ControlNet出现前,AI画师们想要产出具有特定特征的图像,就必须在“魔法咒语”上大下功夫——用户常常需要加上一系列的动作、位置修饰词语来描述图中角色的姿势、肢体特征等,而即便这样,出图也依然需要大量的运气成分。而利用ControlNet,AI可以通过草图、人体关键点特征、深度图、人体骨骼等特征按图索骥,产出满足特定要求的图片文件。

例如,假若你想要获得一只动物的图像,那么你可以首先提供一个勾勒有该动物雏形的手绘草图,再佐以相应的文字描述,AI便可以按照你所勾勒出的形状生成对应图片。显而易见地,通过调整输入Prompt,你可以在角色本身不变动的基础上快速调整与之搭配的画风、背景等元素,同时输出多个版本。

ControlNet还可以从图像中提取角色的肢体信息,再将这一信息应用于角色的生成。无需繁琐的咒语,用户就可以一步到位对角色的动作姿势进行自定义——这是极大的突破。

此外,据国内知名AI技术人士“勘云工造”表示,ControlNet目前甚至支持对手指骨骼进行绑定,这意味着此前广受诟病的“AI不会画手”这一重要缺陷将在未来的AI生成中大幅减少,大大增加出图成功率。

据原论文,ControlNet可给出的输入类型共八种,包括手绘草图、人体骨骼、语义分割图像、Canny边缘图像、人体特征点、霍夫变换直线、深度图等。用户可输入的远不止角色、动物等物体的特征,对场景、环境等非生物同样可以进行输入。在论文中,作者演示了利用霍夫变换直线为蓝本,生成不同风格的室内外场景,效果惊人。

社交媒体上,各路大神也纷纷出动,开始了对这一全新技术的大胆探索。来自Reddit的StableDeffusion板块的一名用户展示了自己的工作流,将3D制作软件Houdini中搭建出的白模与ControlNet联动,直接在白模的基础上生成不同角度的设计概念图。

此外,还有部分用户开始尝试用ControlNet处理连续帧生成3D动画。尽管在细节上仍然有较大的偏差区间,但相较ControlNet以前的生成效果,已经上升了一个台阶。

图源:推特@toyxyz3

从最初只能生成怪异梗图的DALLE到凭借流畅对话能力震惊世界的ChatGPT,AI技术在过去三年间所取得的迭代速率实在是让人惊讶。ControlNet技术的出现更是大幅提高了AI出图的精准性,这让AI生成图像技术向着成熟的生产力工具方向迈出了重要的一步。AI这匹桀骜不驯的野马被拴上了缰绳,让它能够更加有效地听取人类指令。随着入局的大公司日渐增加,AI技术还会有何种发展呢?GameLook满怀激动的心情翘首以待。

····· End ·····




GameLook每日游戏产业报道

全球视野 / 深度有料

爆料 / 交流 / 合作:请加主编微信 igamelook

广告投放 : 请加 QQ:1772295880

      长按下方图片,"识别二维码" 订阅微信公众号

····· 更多内容请访问 www.gamelook.com.cn ·····

Copyright © GameLook® 2009-2023


        觉得好看,请点这里 ↓↓↓ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
写出毁灭人类计划书?你在和ChatGPT逗乐时,AI已经掀起军事革命了!【楼花V购】2023 Metro第一弹!金字招牌开发商Polygon,臻稀园畔之神作PERLA,凯旋登场!playstation 4 console white 500g with 1 controller陈丹青:毕加索过时了,全盘西化的人不应该怀疑中国绘画传统AACO College Panel: From High School to College柏林工大也有自己的Döner店了!Crackdown Continues on Illegal ‘Competitions’ Targeting StudentsControlNet star量破万!2023年,AI绘画杀疯了?ControlNet仅靠一张照片完成“旧房改造” | GitHub热榜第一7 Papers & Radios | 一块GPU跑ChatGPT体量模型;AI绘图又一神器ControlNet这是怎么了?又双叒叕脱轨!一列火车在密西根出轨,载有危险化学品Xbox Series S 512GB Console with controller相惜谷歌宣布支持使用Rust开发Chromium五国摄影师拍中国,不同的味道,同样的美!吵翻了!CNY还是LNY?大批留学生刷屏,澳洲中国银行称春节为LNY!澳洲CNY趋势第一,越南人表示不乐意了,澳韩国烤肉“作妖”四少女火爆外网!ControlNet组合拳效果惊人,颠覆AI绘画游戏规则教科书又双叒叕要改了?木星的卫星又多了十几个?令人揪心的国内疫情!马斯克将开发ChatGPT竞品/iPhone 16 Pro有望采用屏下Face ID/300W秒充来了又双叒涨了!澳通胀率飙至32年新高!华人妈妈算账触目惊心,无奈紧巴巴过日子!不少“打工人”甚至吃不起饭…To Fight Trolls, A Campaign Wants People to Flaunt Pink Hair缺钱快疯了?温哥华政府又双叒叕抢钱了!这些地方要收停车费啦!不交罚很重!ControlNet如何为扩散模型添加额外模态的引导信息?Xbox One S + 2 controllers + games bundle高档的室内大排档 吃货们的最爱AI降维打击人类画家,文生图引入ControlNet,深度、边缘信息全能复用2023 Metro第一弹!金牌开发商Polygon,臻稀园畔神作PERLA,凯旋登场!火爆全网!ControlNet颠覆AI绘画游戏规则!网友:这是新“魔法”...一包赚5分钱!95后小伙开15家网店,爆品卖出50万单突破封锁!华为重磅宣布:这一应用实现自主可控!耗时3年,投入数千人...国际青少年创新创业大赛! International Youth Innovation&Entrepreneur ContestAngelababy与异性私密出游照被曝光…网友惊呆:又双叒有新欢了??香港春招 | Jane Street开放Sales and Trading Internship适配Diffusers框架的全套教程来了!从T2I-Adapter到大热ControlNet
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。