Redian新闻
>
全新AI,能通过声音反推长相?! 你的声音会出卖你的脸,细思恐极...

全新AI,能通过声音反推长相?! 你的声音会出卖你的脸,细思恐极...

其他

微信的规则进行了调整

希望大家看完故事多点“在看”,喜欢的话也点个分享

这样事儿君的推送才能继续出现在你的订阅列表里

才能继续跟大家分享每个开怀大笑或拍案惊奇的好故事啦~




人们听广播的时候,脑海中会幻想出说话者的样貌,
她可能是个面容清秀、身材瘦小的年轻女孩,他也可能是个四十出头、脸长肩宽的中年男人。

猜准年纪和性别,对大部分人来说不难,声音特质已经透露出这些信息。
但猜对具体的容貌却非常困难,人们只能回想脑海里有类似声音的人,把他们的脸贴上去。


人的声音和长相应该是分开的吧……
AI告诉我们:答案不对,
有特定声音的人,会有特定的长相。最近,麻省理工大学的科学家开发出一款AI,它能通过几秒钟的音频,还原出说话者的容貌,相似度非常高。


年龄、性别、种族、五官特征、脸型、发型、胡须造型,这些它能会绘制出来……

这款AI叫作“Speech2Face”,名字说得很清楚,“从话到脸”。

科学家创造它的目的,是想知道人类能在多大程度上,通过一个人的声音推断出他的长相。


乍一听上去,这像看相那样玄学,但背后的道理其实很好理解。

人类说话靠的是振动声带,它是位于喉部的左右对称的两瓣肉。声带的长度和宽度是影响我们音调高或低的主要原因,因为男性的声带较女性更宽,所以音调更低。

声带振动后,声音在我们的胸腔里嗡嗡作响,大部分从喉咙里传出去。


但这不是唯一的传声路径,我们的脸部也充当着声音的扩音器,颧骨、下巴、鼻子、嘴唇等都会振动,它们的厚度、结构不同,发出的声音也不同。

电脑能捕捉到这些细微的声音差别,继而画出说话者的面部特征。
这就是AI工作的原理。


麻省理工的科学家们收集了油管上数百万个视频,里面有十几万个人说话,他们将这些视频输入给Speech2Face。

Speech2Face会把视频中人脸的特征摘出来,制作出一张标准的正面照,这个照片基本等同对方的真人脸。
同时,它还会把声音从声波转成声谱图,然后传给人声编码器,找出其中的声音特征。


两两相对,Speech2Face就这样学会声音和相貌之间的关联,不需要其他的信息。

在大量视频的训练下,它只需要听3秒或6秒的音频,就能画出人脸。

比如,放美国情景喜剧《神烦警探》中男二霍尔特讲笑话的音频片段,Speech2Face会画出下方右侧的图。


和饰演霍尔特的演员相比,右侧的图脸更宽和胖,但肤色和鼻子形状与真人一样,效果不错。

其他测试对象还有白人老太太、非裔男子、拉美女孩和白人男性,
左边的真人图和右边的AI图对比,都挺像。


类似的对比图在论文里还有很多,下面这些图的第一列是视频截图,第二列是电脑根据截图转换的正面照,第三列是AI根据声音绘制的图。


将第三列和前两列对比,发现种族、性别、年龄、眉毛、发型和发色基本都对。


为什么眉毛和头发也能相似?它们又不随声音振动。

科学家解释说,是因为AI在数百万视频中找到同一类人群相似的外形特征。比如非裔女性常是高挑眉,老年人永远头发稀疏,印裔男子喜欢留胡子,非洲男性戴顶小帽子。

在性别、种族特征符合后,这些边缘的外貌特征也会被画出来。


科学家们发现输入的音频越长,AI绘制的图越准确。下图可以看出,六秒音频的结果明显比三秒要好,其中有三个改对了性别、种族和年龄。


如果把一个人的不同视频片段截出来,会发现它们和AI绘制的图更像。


当然,Speech2Face也有翻车的时候,它有时会把音调高的男人当作女人,把声音嘶哑的男人当作老头。
种族也会搞错(虽然长得仍然挺像)。


科学家说这更多表现出的是一种刻板印象,AI能找到的是符合大部分人群的特征。

“我们使用的训练数据来自油管上的教育视频合集,不能代表全世界的人。” 他们在论文里写道,“因此,就像其他机器学习模型一样,我们的模型也受到数据分布不均的影响。”

这种刻板印象也和语言有关,当亚裔男性说英语时,Speech2Face以为他是白人男性,当他说中文时,种族又对了。


不过,亚裔女孩说英语时,结果不受语言影响,只是年龄大了些。

麻省理工的科学家们还做了一个“卡通转换系统”,让Speech2Face听到音频后绘制出说话者的卡通图,准确率也挺高的。


这个项目挺有意思,但很多网友表示担忧:

“那些不愿露脸的油管博主现在肯定在瑟瑟发抖。”


“想想看,这技术很容易在网络社区里被当作武器使,虽然大家都不露面。”


科学家们在论文里也提到了隐私,他们认为不用担心。

“我们的方法不能从声音中复原一个人的真实身份(即他们脸部的确切图像),因为我们的模型是捕捉多人共有的视觉特征,只能生产大众化的平庸面孔,不能制作特定长相。
我们的AI图像不能反映出真人的实际相貌。

话是这么说,可从对比图上看,AI的结果已经很接近真人照了。
如果某些狂热粉丝想要找到不露面的视频博主,他们可以轻松知道博主的大概样子,加上地理位置等信息,也许他们能找上门。


想想还是蛮吓人的,不过类似的AI就算麻省理工不做,其他学校也在做了。

过去几年,爱尔兰、西班牙、日本和美国都在研究如何用音频构建人脸,其中走得最远的是卡内基梅隆大学的丽塔·辛格(Rita Singh)。


有好事者在2014年反复向美国海岸警卫队报假警,每通电话非常短。海岸警卫队找到研究语音识别20年的丽塔,问她有什么办法。

她先是比较了人耳无法察觉的发音上的特征,然后把报警电话分割为几毫秒的小片段,用AI梳理它们寻找信息点。

靠着微弱的信息,丽塔不光能知道报假警的人大致长什么样,还能知道他所处的环境,比如房间的大小,是否有窗户,以及墙壁用什么材料制成。


她的AI甚至能检测到录音中,因为当地电网波动产生的杂音。她将杂音和电网数据库匹配,可以知道报警者实际的位置,还有挂电话的确切时间。

最后,丽塔不仅解决了恶作剧电话,还解决了儿童性骚扰案件。
那些只露声不露脸的罪犯,自己把自己出卖了。


AI技术就是一把双刃剑,它可以逮捕罪犯,也可以伤害无辜者。

用声音绘制人脸,这个技术看来是无法避免的,只能希望它以后都用在正道上吧……



ref:
efaidnbmnnnibpcajpcglclefindmkaj/https://arxiv.org/pdf/1905.09773.pdf
https://www.fastcompany.com/90357561/this-ai-guesses-human-faces-based-only-on-their-voices
https://speech2face.github.io/supplemental/index.html
https://www.youtube.com/watch?v=aKYlSIs3UDY



--------------------

夜雨声声i:皮套人大危机

lokijuhygtfrdeswa_:我就想知道啥声音听起来像秃顶…

K-roissant:好想知道corpse长啥样哦

_意庄色正知无邪__:很像啊,性别年龄种族发色还有眉形什么的都能对得上,只靠声音分辨出来的诶

GGGG胡胡:wow 我完全无法理解的人造恐怖.jpg

阿paul_bao:这黑科技是越来越黑了

莱不莱不辣在?发个语音






各位小伙伴们

微信公众号规则又进行了调整

事儿君也不得不跟大家求个三连

希望大家多多点击“在看

喜欢的话也点个分享


这样事儿君的推送才能继续出现在你的订阅列表

与大家继续分享每个开怀大笑或拍案惊奇的好故事





微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Alexa 新功能,可以添加已故亲人的声音为系统提示音真相?!校园屠杀案矛盾重重,德州对警方展开调查!优秀!伊万卡靠出卖爸爸赢得了华盛顿的入场券…背后捅刀的感觉真棒?驴唇不对马嘴的“唇亡齿寒”"越来越多人提议出卖乌克兰"“因为两包泡面,我想离婚了…”疫情下,什么才是婚姻的真相?一日一诗:“楼上的声音,偶尔传来,敲击着/ 让日子有了绿油油的动静”||王国良:楼上的声音(读诗版)女星死亡三个月后社交账号突然更新,暗示自己被朋友所害,希望还原真相?!突发!儿童教材插画引热议!背后真相细思恐极……【排骨萝卜汤】硬核观察 #639 AI 能通过 X 射线成像识别人的种族俄粉和当年的日粉能否兼容?只需要十分之一数据,就能通关四大视觉任务,居然还开源了!当装在虚拟皮套里的人,发出自己的声音:从A-SOUL塌房谈起你的脸上,写着你的修养水墨即兴涂鸦----子系中山狼!拜登给乌克兰330亿美元,这是要反推俄罗斯?北京8天查处3家实验室:核酸检测背后的暴利生意,细思极恐反复试音反复不中,为什么?!酒窝男牵扯命案?鹿晗迪丽热巴秘恋?大曲线嗑药真相?​杨子姗产女凡人声称他们能听到阴曹地府的声音,于是有了Mong Tong搞事情?!马斯克放话:恢复特朗普推特账号!搁置收购日程,一个表情出卖了TA......财报季狂欢接近尾声!零售股业绩或揭美国经济真相?都什么时代了还在讨论身材和长相?“看涨中国的声音越来越多”“晨跑猝死”频发的背后, 藏着怎样的真相?今年回国的计划又要泡汤了?青时际会 | 专访陈小雨:身为女性的性别体验构成了我的声音谁将成为新一任英国首相?英国政府可能发动女王将鲍里斯逼出唐宁街...“女生主动会结局悲惨”是传说还是真相?我们找4位小姐姐聊了聊随意赋红码细思恐极,健康码不能变成良民证为什么有人受不了指甲刮黑板的声音 ?涂鸦智能通过聆讯:拟回归香港上市 腾讯是重要股东你的脸,就是你的风水!(不信你看)俄罗斯红场阅兵:普京发布强硬对西方演说:“北约国家根本不想听我们的声音,我们的期许都成了徒劳”
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。