你还在用手玩游戏?以后可能有脸就够了。。。
见过用脚打游戏,那你见过用脸的吗?
上周在谷歌的开发者大会上,世超就发现了一个新鲜玩意儿。
玩游戏只需要动动嘴、晃晃头,这个应用就是谷歌开发出来的 GameFace 。
它就像一个由 AI 驱动的游戏鼠标,但这个鼠标不需要用手来操控,通过头部运动和面部表情就能实现。
这打游戏,真就纯纯看脸了啊。。。
当然玩笑归玩笑, GameFace 这项目,其实是专门为爱打游戏的残障人士准备的。
在开发者大会上,他们就讲了讲这项目背后的故事。
大概在两年前,不幸患上了肌肉萎缩的游戏玩家卡尔,家里遭遇了火灾。。
因为这一场火灾,他花大价钱定制的游戏设备被烧没了。
碰巧的是,谷歌的几位工程师知道了这事儿,于是就和卡尔一起合作,琢磨出了这个能用脸来控制游戏的免费开源项目 GameFace 。
不需要太多的硬件辅助,一个网格摄像头、一台电脑还有 AI ,这装备就齐活儿了。
具体来看, GameFace 是通过 MediaPipe 和 Tensor Flow Lite 两组工具将识别到的头部、面部动作转换成了鼠标指令的。
其中 TensorFlow Lite 的作用,是让 AI 模型能够在 PC 设备上运行。
而 MediaPipe ,则是一个集成了人脸检测、头像分割和姿态识别等多个 AI 模型的工具库。
它们会在人脸上创建一个有 468 个点的实时动态网格,这些点能够追踪你的头部运动情况,并识别你的鼻子、嘴还有其他五官的位置。
接着,再通过 AI 模型,将这些点转化成为鼠标移动或点击的指令。
就比如你在转头的时候,鼠标也会跟着在屏幕上移动,或者张开嘴的时候表示点击 “ 确认 ” 。
目前, GameFace 能识别包括挑眉等在内的多种表情,而哪种表情代表着什么指令,都可以自定义。
而且 GameFace 还能调节灵敏度,如果灵敏度低,动作就需要很夸张才能让 AI 识别到你的意图,反之,即使表情很细微,也会被捕捉到。
这样一来用脸玩游戏,就不成问题了,或许这也算得上是另一种角度的 “ 嘴强王者 ” 吧。
有意思的是, GameFace 在国内已经支持了《荒野行动 》和《 UNO! ™ 》两款游戏,恰好呢,这次同事也在谷歌开发者大会的现场,就先替你们体验了一把用脸来吃鸡。
坐在电脑面前,头轻轻地晃了晃,就能看到鼠标也在跟着移动,如果要调整视角的话转转头就行。
如果要往左边移动就把嘴往左歪,往右移就歪右嘴,张开嘴是确认键,整个打游戏的过程,用 “ 面目狰狞 ” 四个字来形容也不为过。
还不到两分钟,同事就已经觉得脸开始酸了。。。但在靠脸打出一些高难度的操作时,成就感还是满满的。
体验下来, GameFace 对我们动作的识别还是挺精准、灵敏的,唯一的缺点可能就是费脸吧。
另外世超也发现这些年,身边的无障碍游戏设计也正越来越多。
今年年初,索尼就新发布了一个 PS5 专用的无障碍手柄 Access Controller ,这种圆盘的设计让手柄可以放在平面上,直接解决了手持的问题。
而且,这个手柄的按键是可以换位置的,觉得哪个按键用着不得劲儿就拆下来,根据自己的需求 DIY 就行。
在国内,腾讯之前也研发过一种为视障人士提供帮助的 “ 振动触觉反馈 ” 技术。
比如在给盲人导航时,触觉反馈如果振动了,就是在提醒可能走错路了,振动的幅度还会根据偏离程度进行调整。
最开始的时候这个技术其实是用在了《 和平精英 》里。
除了上面提到的这些,还有很多比如 Minecraft access 的视障辅助模组、 VR 游戏里的眼球追踪等等无障碍设计,可能在一些人看来,这些设计没什么大用处,但对于残障游戏爱好者来说,却提供了一个从游戏中重拾快乐的途径。
最后世超想说,之前世卫组织的一份报告显示,目前全球有超过 10 亿的残障人士。
其实他们也有自己的生活,有自己的爱好,也应该享受到科技所带来的便利。
好在,无障碍设计在各种软硬件的开发当中,正越来越被重视。
也希望未来能有更多像 GameFace 这样的无障碍设计出现,或许这就是科技向善的一种体现吧。
撰文:西西 编辑:江江&面线 封面:萱萱
图片、资料来源:
YouTube 、 2023 谷歌开发者大会现场、 Google 官网
WIRED , How AI can make gaming better for all players
腾讯, “ 触及 ” 生活:触觉技术改善视障人士的生活品质
微信扫码关注该文公众号作者