Redian新闻
>
乌贼变色的图像生成术:没有一次伪装是相同的

乌贼变色的图像生成术:没有一次伪装是相同的

科学
7.1‍‍‍‍‍
知识分子
The Intellectual


 
撰文|梁希同
责编|严胜男‍‍

●                   ●                    


章鱼和乌贼能在一秒之内,根据不同环境,迅速改变全身颜色和图案,天衣无缝地和环境融为一体。近日,一篇发表于Nature的研究揭示了这一神奇行为背后的神经控制机制【1】

 


(动图1: 章鱼瞬间变色隐入环境(视频未经加速))

 

相比之下,变色龙只能在数分钟内缓慢地改变身体的整体色调。而章鱼和乌贼变色速度极快,不但改变整体颜色,还能在皮肤上直接模拟出背景环境的纹理和图案的细节。

 

(图:同一只乌贼在实验室内不同背景图片上显示出不同的图案)

 

章鱼和乌贼之所以能快速在皮肤切换不同图案,是因为他们的皮肤就像一个覆盖全身的显示屏,上面有上百万个微小的色素细胞,每个色素细胞相当于一个屏幕上的一个像素点。

 

(动图2: 乌贼色素细胞的动态)

 

每个色素细胞由一个精妙的神经肌肉的机关控制,使其可以在十分之一秒之内飞快地变大变小。他们的大脑可以精确控制皮肤不同区域的色素细胞的大小来组成不同的图案。色素细胞本身一种固定的颜色,通过组合不同颜色的色素细胞就可以组成不同颜色的图案。

 

(图:不同颜色的色素细胞,通过辐射状的肌肉纤维牵引而变大)

 

这个皮肤“显示屏”的分辨率高于市面上所有的电视机屏幕,所以成年乌贼的体表有几十万到上百万个这样的色素细胞(像素点)。它的大脑是如何同时控制上百万个色素细胞,来形成复杂的图案的呢?想象一下如果你要同时控制一百万根手指,乌贼和章鱼是否有一种独特高效的算法来实现如此复杂的控制呢?

 

纵观整个动物界,只有乌贼和章鱼具有图像生成的能力。研究这个能力背后的神经算法,可以为脑启发人工智能开阔一个新的方向。此前,对各种动物的视觉系统的研究已经为计算机视觉提供了很多借鉴和启发。最近,包括GPT在内的大型生成性模型的爆发式发展,也对GPU的算力和能耗有了空前的需求。通过研究乌贼皮肤“显示屏”背后的神经算法,这一个“GPU”在生物体中唯一的类似存在形式,或许使现有人工智能在软件和硬件层面都变得更加高效而节能。


能变出多少种不同的图案?


早期研究者在实验室和野外通过大量肉眼观察,将乌贼用于伪装的图案分成三个大类:均匀一致型,细微颗粒型,和大片斑图型。

 

(Roger Hanlon总结了乌贼的三种伪装图案类型【2】)

 

近日,德国马普所的Gilles Laurent研究组使用2亿像素相机阵列,结合计算机视觉和深度学习算法,对乌贼进行全身微米尺度的录像,追踪和记录在变色模拟环境的整个过程中,一只动物身上几十万个色素细胞的动态。【1】

 

(图:拍摄和识别乌贼全身的色素细胞。上图:原图;下图:通过深度神经网络识别出皮肤上的色素细胞。)

 

通过将复杂的动物行为还原到单细胞的尺度,研究者发现,乌贼可以产出图案类型非常丰富,远远不止三种。而且,即使是肉眼看上去很像的两个皮肤图案,也可以由完全不同的色素细胞激活模式组成。

 

(图:乌贼可以产出各种各样不同的图案,远远不止三种。下图为乌贼产生图案在图案空间里的密度分布,有很多细分的类型。)


早期研究者通过观察和总结,将乌贼的身体切分成约40个区块,认为乌贼可以选择性的激活不同的皮肤区块,可以通过组合这些图案组件来够成不同图案。

 

(图:早期研究者通过肉眼观察总结出构成乌贼身体图案的40个图案组件【3】)

 

通过分区块的却是可以大大简化变色控制的复杂度,但通过色素细胞的尺度的分析,研究者发现,实际上的并没有那么简单。原先观察到图案组件其实是不固定的。肉眼看上去相似的图案组件,在不同时刻可能是由不同色素细胞组成的。乌贼对于皮肤上的色素细胞的调用非常之灵活而复杂。

 

(图:构成身体图案的组件在不同的时候可以由不同群色素细胞来组成。图中左右对比了两次变色过程,色素细胞分组的重新分配)


伪装:在图像的世界里漫游

 

早期研究者将乌贼用于伪装的图案分成的三个大类,认为的变色伪装背后的神经控制可能是一个观察-决策-实施的过程:当乌贼进入一个新的环境,他首先会对环境的视觉信息做一个整体的评估,然后在脑中对环境进行归类(比如分成三个大类);针对不同类的环境,它会有一套固定的运动程序,来产生相应的图案。根据这个模型,数百万色素细胞并行控制将会被大大简化。

 

但是,通过对数十万色素细胞动态的高精度定量分析,我们发现变色伪装背后的神经控制算法并非如此。

 

(图:同步追踪全身数十万个色素细胞在变色过程的动态)

 

首先,如果是对环境归类后选择对应身体图案,那么预期会看到类似环境图案诱发相同的身体图案,身体图案的分布应该是离散的,但当测试了30种自然背景和30种人工背景(大小不同的棋盘格),我们发现,动物可以产生连续变化的身体图案来适应不同环境。可以想象,如果测试更多的环境图案,将会诱发动物生成更多不同的身体图案。

 

(图:乌贼可以连续的图案变化来应对不同环境图案)


更重要的是,在同一只动物上测试完全相同背景转换,即使是肉眼看上去很像的变色过程,在单细胞的尺度上,这个过程却是完全不同的。乌贼的每次变色都像在图案的世界里漫游,而且每次漫游的路径都不一样。它不依赖于固定的变色路径,不是由预先设定好的运动程序来控制的。

 

(图:同一只动物上测试三次相同背景转换,变色路径不相同,像在图案的世界里漫游)

 

当乌贼看到一个新的环境,它采取一种迭代式的探索来改变自身的图案。首先做出一步随机的尝试,停下来对比自己身上的图案和环境的图案,决定下一步怎么变;然后再变一点,再停下对比,再变一点…… 通过反复的探索和迭代优化,采取了类似“随机梯度下降”的算法,逐步逼近和环境最像的图案。

 

(图:乌贼变色的寻优过程,通过迭代优化,逐步逼近和环境最像的图案。)

 

所以,乌贼的变色伪装不是一个简单的观察-决策-实施的过程,而是一个搜寻-反馈-迭代优化的过程。通过这种算法,乌贼就可以灵活地根据不同的环境,有创造性地变出相应的身体图案。


直接的“警示”

 

如果说变色伪装是一个探索寻优的过程,每次探索似乎要花二三十秒甚至更长时间,而且同一只动物重复这个过程并不会越来越熟练。那为什么文章开头的动图里的章鱼能变得这么快呢?

 

实际上开头的动图是一段较长视频的剪辑。如果我们看完整的录像,你可能会注意到一开始这只章鱼表现出完美的伪装;当镜头靠近时,它向潜水员显示出全身变黑的警戒色;然后在一秒钟内恢复原来的伪装图案。

 

(动图3: 章鱼显示出警戒色)

 

通过分析发出警戒色信号过程中色素细胞的活动模式,研究者发现用于通信的变色轨迹基本上遵循相同的且更直接的路径,不像伪装变色的路径那样蜿蜒曲折。用于通信的变色是由一个固定的运动程序来控制的。

 

(图:四次重复的威胁信号沿着相同的变色路径)

 

因此,伪装和通信很可能是由两个相互独立的变色系统控制的。通信图案可以直接叠加到伪装图案上。即使是在完全变白的状态,原本的伪装图案也残留着细微的痕迹,就像是残留在皮肤上的肌肉记忆。所以一旦通信图案被撤销,它就会瞬间回到原来的伪装图案。

 

除了警戒色,乌贼和章鱼都能通过身体“显示屏”显示不同的图案,作为一种“动画表情/emoji”来和同类交流。如何破译它们的“图像语言”将是人们进一步研究的问题。

 

(乌贼的各种用于同类间信息交流的变色信号【4】)

 

总结来说,该研究而通过结合大规模成像技术和人工智能算法,对乌贼独特的变色伪装行为进行单细胞精度的定量分析,推翻了之前基于肉眼观察所总结的结论。通过乌贼皮肤“显示屏”这一个独特的通往动物内心世界的窗口,未来的研究将进一步揭示这一动物界中独一无二的图像生成神经网络背后的奥秘。


该研究的共同作者梁希同已于2022年12月在北京大学生命科学学院成立独立实验室,将继续探索乌贼和章鱼中独特的行为和神经机制,以期为脑启发人工智能与仿生软体机器人提供独特的神经算法借鉴与运动控制理论。



参考文献:

【1】Woo, T.*, Liang, X.*, Evans, D., Fernandez, O., Kretschmer, F., Reiter, S., & Laurent, G. (2023). The Dynamics of Pattern Matching in Camouflaging Cuttlefish. Nature. https://www.nature.com/articles/s41586-023-06259-2

【2】https://www.ibiology.org/ecology/cephalopods/#part-1

【3】Messenger, J. B. (2001). Cephalopod chromatophores: neurobiology and natural history. Biological Reviews, 76(4), 473-528.

【4】Hanlon, R. T., & Messenger, J. B. (2018). Cephalopod behaviour. Cambridge University Press.



get更多有趣、有料的科普内容


THE END


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
HADAR为热图像消除幽灵效应 提高图像的清晰度和细节AutoFocusFormer:摆脱传统栅格,采用自适应下采样的图像分割狂野|每十年一次公路旅行!在不同的年纪,看不同的风景…港中文李教授:基于遥感图像的地理空间图像分类识别|收获一作论文与导师推荐信!AI图像生成技术服务商「Tiamat」再获A+轮投资,上线网页版产品加速工具化|早起看早期离苦之前切莫疏忽大意 | 九、不同的心需要不同的修行周润发上海和香港街头晨跑画面流出,两种不同的待遇,两种不同的人生…用GPT-4实现可控文本图像生成,UC伯克利&微软提出新框架Control-GPT周润发上海和香港街头晨跑画面引热议,两种不同的待遇,两种不同的人生[哇塞]每十年一次公路旅行!在不同的年纪,看不同的风景…Physics laureate Andrea Ghez first inflamed after watching the m图像生成过程中遭「截胡」:稳定扩散的失败案例受四大因素影响我们都曾经“儿童”过: 不同年代的儿童,相同的童真和童趣,快乐是共同的主题文末送书 | 揭秘大模型底层技术:详解文本内容理解和生成技术细节Midjourney 5.1来了!图像生成更丝滑,网友已经玩嗨了...买个零食都要算“公摊”,这种包装是想创死谁活动回顾:AI时代教育养成术!专家团亲授先人一步的秘笈文学城 黑子水军嫌疑ID和挺中ID -updated 2023 May 023000多条数据里选出200条效果反而更好,MiniGPT-4被配置相同的模型超越了中国抚养一个孩子48.5万元品质女装返场!原来大家都在抢的夏装是它们Stability AI 发布开源版 DreamStudio,可使用最新 Stable Diffusion XL 图像生成器刘燕苹果、俄勒冈州立提出AutoFocusFormer: 摆脱传统栅格,采用自适应下采样的图像分割三维点云的开放世界理解,分类、检索、字幕和图像生成样样行中国团队推出脑电图图像生成模型DreamDiffusionChatGPT上线新必应搜索;PS更新AI图像生成工具;Anthropic募资近4.5亿美元丨AIGC大事日报与Midjourney开战!Stable Diffusion XL 0.9重磅发布,35亿+66亿双模型,AI图像生成飞跃式进步ICCV 2023 | HumanSD: 更可控更高效的人体图像生成模型我国科学家发现生物钟紊乱原理;罕见“半透明乌贼”现身日本近海丨科技早新闻硬核观察 #1081 仅 100KB 大小,只需 4 分钟训练的人工智能图像生成器推理效率比ControlNet高20+倍!谷歌发布MediaPipe Diffusion插件,「移动端」可用的图像生成控制模型耀科学院高考赢家为何选择低龄留学?相同的教育理念让我们与Fessenden双向奔赴ICCV 2023 Oral | HumanSD:更可控更高效的人体图像生成模型
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。