Redian新闻
>
50张图给Stable Diffusion"下毒"!汽车和牛都分不清了!

50张图给Stable Diffusion"下毒"!汽车和牛都分不清了!

公众号新闻

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【计算机视觉和扩散模型】交流群

西风 发自 凹非寺
转载自:量子位(QbitAI)

艺术家对AI侵权的反击来了——

在画作里“投毒”,AI用了就会“中毒”出故障。

投毒工具由芝加哥大学团队打造,名为Nightshade,可以对画中像素添加隐形更改。

被下毒的画一旦被非法抓取成为训练数据被AI吃掉,模型就会生成混乱。

甚至还可能会破坏DALL-E、Midjourney、Stable Diffusion……这些绘图模型的正常迭代。

先来看一波模型中毒发作时的样子。

没中毒时模型生成的狗是左图这样婶儿的,中毒后生成的狗如右图(喵):

生成汽车更离谱,这是生成了辆牛车?

此外,研究人员用Stable Diffusion测试毒效,只需50张毒图,就能让模型输出变得奇怪;数量达到300张时,生成的图像已经完全变成了另一个物种。

生成手提包和帽子,从左到右:没被下毒、用50张有毒图训练、100张、300张,下同

看过了实物生成,再来看生成不同艺术风格的画。

模型中毒后把奇幻艺术生成了点彩画法,立体主义生成了动漫风格:

卡通、概念艺术等也没能逃过:

重点是,由于模型训练数据量庞大,模型中毒后,AI模型开发者想清理有毒的数据样本也很难。

扫码加入CVer知识星球可以最快学习到最新顶会顶刊上的论文ideaCV从入门到精通资料,以及最前沿项目和应用

这款工具一经曝出,艺术创作者们就赶紧转发了起来,热度一路飙升。

路过的艺术创作者纷纷拍手叫绝:

终于有可以用来反击的东西了

看热闹的网友也不少,开始调侃此前一些AI公司“适者生存”、“不能阻止技术进步”的回应:

AI兄弟们:适者生存,不然就die。
艺术家:好吧,制造毒液。
AI兄弟们:等等,不是这个意思啊!

不少网友将其称为“艺术的反击”:

很高兴看到关于创意DNA拉锯战正在展开。

双管齐下&毒性很强

研究团队不止开发了一款工具,还有一个工具叫做Glaze,可以“掩盖”艺术家的个人风格

它的原理和Nightshade类似,也是对图像像素做一些微妙地改变,肉眼根本看不出来,但却可以操纵模型将图像解释成与实际内容不同的东西。

研究团队还打算把Nightshade集成到Glaze中,艺术家可以自己选择是否要下毒。

领导开发团队的芝加哥大学教授Ben Zhao表示:

希望此举能够让作品权利从AI公司回归到艺术家,通过形成有力的威慑,保护艺术家的版权和知识产权。

团队在用Stable Diffusion的最新模型以及从头训练的基础模型测试毒效时还发现:

“生成式AI模型擅长在词与词之间建立联系”这一特点有助于毒素的传播。

比如说,Nightshade不仅会影响“狗”的生成,还会影响“小狗”、“哈士奇”、“狼”等所有类似的概念。

有间接联系的概念也同样会受影响,标为“奇幻艺术”的有毒图像,也会影响“龙”、“《指环王》中的城堡”等的生成。

Ben Zhao教授虽承认这种工具有可能会被恶意使用,但表示:

攻击者想对那些经过数十亿数据训练的大模型造成实质性的伤害,将需要数千个有毒的样本。

据MIT Technology Review消息,Nightshade的研究已向网络安全顶会Usenix提交同行评审。

同时Nightshade也是奔着开源去的,其他人之后也可以修改制作不同的版本。

引起圈内外热议

这个工具不仅引起了艺术家和网友们的讨论,一些专家学者也纷纷提出了自己的看法。

专注于研究AI模型安全性的康奈尔大学教授Vitaly Shmatikov就说:

我们目前还不知道如何有效地防御(模型抓取数据),也还没有在现实中看到针对机器学习模型的下毒攻击,但这可能只是时间问题,现在就应该开始研究防御手段。

研究AI模型数据隐私和鲁棒性的滑铁卢大学助理教授Gautam Kamath表示:

太棒了。研究显示,这些新模型的漏洞并不会神奇地消失,实际上问题只会变得更加严重。尤其是随着时间的推移,这些模型变得更加强大,人们对它们的信任度增加时,所面临的风险也只会增加。

使用过Glaze的插画师Eva Toorenent还透露:

Stability AI、OpenAI等开发生成式绘图模型的AI公司已经提议,让艺术家选择不用他们的画来训练之后版本的模型。但艺术家们表示这还不够,因为选择退出流程需要进行一系列复杂操作,而技术公司仍然握有所有的权力。

这会让AI公司三思而后行,如果未经我们的同意就取用我们的作品,他们很可能会毁掉自己的整个模型。

参考链接:
[1]https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/

[2]https://www.techmeme.com/231023/p35#a231023p35

点击进入—>【计算机视觉和扩散模型】交流群

ICCV / CVPR 2023论文和代码下载

后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集

后台回复:ICCV2023,即可下载ICCV 2023论文和代码开源的论文合集

计算机视觉和扩散模型交流群成立


扫描下方二维码,或者添加微信:CVer444,即可添加CVer小助手微信,便可申请加入CVer-计算机视觉或者扩散模型 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。


一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer444,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
金盆洗手的论语(小说)<1>OpenAI救了Stable Diffusion!开源Dall·E3同款解码器,来自Ilya宋飏等NeurIPS 2023 Spotlight|高质量多视角图像生成,完美复刻场景材质!SFU等提出MVDiffusion"去偷车,去兜风"纽约现"奇葩"挑战赛,汽车盗窃案飙升。纽约司机要"倒霉"了,全美率先开始"圈钱",每年创收10亿;再获"殊荣"纽约被评最不宜驾车的城市。三毛之死如何穿越周期?"猎手"丁靖斐:市场的"磨底期",也是投资的"进化期"!Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快“手误在工作群发我想涩涩...”啊啊这下解释不清了!!支持二次编辑、导入虚拟引擎5,Stable Diffusion进化出3D生成功能真理与谬误有时只始于些微的差别车圈重磅!滴滴"牵手"小鹏汽车,明年拟推全新"爆款"车型,有何影响?"司机师傅我想去那条街""哪条?""就是那条街!"逼疯老司机的加国路名!Stable Video Diffusion来了,代码权重已上线又一场AI“宫斗”要上演?盈利困难、投资人开撕CEO,Stable Diffusion背后公司被曝正寻求收购监管重磅表态!"宁王"开启回购!"ChatGPT之父"被开,"星舰"第二次试射爆炸…周末影响一周市场的十大消息Stable Diffusion快无敌了?继图片/音频之后,发布短视频AIGC功能文末送书 | 驾驭AI绘画:Stable Diffusion带你秒变顶级画手!洛杉矶的美食(33)MDR 的海景和美食之二(多图)"尴尬到抠脚"大姐海滩上用按摩棒"自嗨"叫声太大被举报,大喊"只用了20秒"。nǚ hóng?nǚ gōng"我就打你了怎么着?"纽约14岁华裔志愿者遇仇恨"辱骂""殴打"。大隐隐于市!越南一家人在San Jose开的小店全是越南客人——Phở Cường 2Has the ‘Double Eleven’ Shopping Festival Lost its Luster?今日神图 | 本来我们只是网友,这下说不清了……小鸟总要离巢"想到了同胞"美国大姐故意开车撞"犹太人学校"得知结果后"糗大了"。280刀JBL Pulse 5 Portable Bluetooth Speaker (Black)"对不起,憋不住"美国大妈飞机过道当众脱裤"释放"屁股后小男孩全程目睹"难忘"画面。"敢收钱,敢报警就来找你"纽约华人超市员工阻拦"0元购"被威胁,小伙害怕"立马辞职"。0.6秒出图!手机跑Stable Diffusion创下最快速度,而这仅仅是开始又一场 AI“宫斗”要上演?盈利困难、投资人开撕 CEO,Stable Diffusion 背后公司被曝正寻求收购​上海楼市重磅,公积金也"认房不认贷"!"首套房""二套房"认定优化50张图“毒倒”Stable Diffusion,汽车和牛都分不清了"蜗牛也是牛"!千亿公募"黄金搭档":用"蜗牛态度"做固收,挖掘"善良"的金融逻辑
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。