这个AI神器绝了！不到1分钟，帮你做完vlog

公众号新闻

2023-05-11 16:05

旅行时，想在社交平台发布一支精美的旅行 vlog，拍摄剪辑需要花费多长时间？

20 分钟？一小时？半天？

在火山引擎算法工程师眼里，可能 1 分钟都用不了，因为会有 AI 替你完成。

没错，火山引擎近期推出了一款「创意互动 vlog」产品，你只需要在进入景区时注册授权，AI 就会帮你拍摄游玩中的精彩画面，自动剪辑成旅行 vlog。

全程无需自己动手，无需费心选择拍摄地点，无需请他人帮忙拍摄，甚至游玩时不用掏出手机或相机，也不用纠结修图美颜，你只需认真享受这段经历，还没出大门，就能获得一条可以直接发抖音的视频。

来看看效果：

「创意互动 vlog」前不久在 2023 春季火山引擎 FORCE 原动力大会正式发布，目前已在国内各地多个景区上线。

这款产品的背后，是一支奔着各大旅游景区到处跑的字节内部创业团队。

拿着「锤子」的算法工程师

遇见找到「钉子」的产品

2022 年初，火山引擎算法工程师容荣研究出了这样一项技术：

「在特定的场景里布置一些不同机位的拍摄装置，用图像识别找到场景里的人，配上专业视频编导设计的模版，就可以自动把这个人的影像剪成视频。」

那么，这个「特定的场景」应该是什么场景呢？

和所有的技术创业者一样，容荣拿着这个技术的「锤子」，开始寻找应用场景的「钉子」。

她先想到的是儿童兴趣班，比如一些培训机构提供的轮滑课、舞蹈课等场景，拍摄孩子们快乐学习的视频。

但容荣很快发现，这类培训机构市场零散、没有规模化，很难找到合适的客户来落地。

不久之后，火山引擎 AI 产品解决方案同学孟兰发现：

「将抖音的 AI 技术和文旅行业结合，配合抖音平台的优势，用 AI 来做旅行视频。」

而视频设计团队也希望有创新的视频生产方式。团队一拍即合，确定了这种 AI为景区游客拍摄剪辑 vlog 的落地方式，随即组成了一个包含算法、研发、产品、设计、编导、销售等不同角色在内的跨部门内部创业团队。

为了锁定飞驰的滑雪者

算法工程师自己设计滑雪服

孟兰说，to B 项目的落地需要边做产品、边找早期客户，针对早期客户的场景做优化，不至于闭门造车。「创意互动 vlog」产品的一个重要的早期客户是一家滑雪场。和这家滑雪场的磨合中，技术团队完成了大量迭代。

其中首要的技术问题是，当景区的拍摄装置拍下了许多视频后，如何把同一个人的部分找出来？

容荣先想到的是用图像识别结合 RFID 的方案。

RFID 全称 Radio Frequency Identification，译名射频识别。就像门禁卡一样，在一个专门的 RFID 手环上绑定游客信息，那么无论他走到哪里，刷一下卡，系统就能认出他是谁。

但团队去景区出差之后才发现，这种方案实在太复杂了：景区工作人员需要先把手环发给游客，然后游客绑定自己的身份，游玩结束后还要统一回收手环。而且手环的成本比较高，这种方法又麻烦、又昂贵。

于是，容荣决定改方案，保留图像识别的部分，删去 RFID 手环，而是在景区设置可交互的大屏幕，提示用户面向屏幕做一些比心、微笑、竖起大拇指、叉腰之类的表情动作。这种方案既可以借助用户姿态来确认身份，又可以增加特效、美颜等效果。

针对滑雪场景，容荣也做了很多优化。由于需要人物滑雪的照片作为模型训练的数据集，她拉着工位旁边的几位同学跑到字节跳动深圳湾办公楼下，穿着厚厚的滑雪服拍摄照片；后来还有同学联系到了一家滑雪俱乐部，请专业人士用更标准的姿势来拍照。

不过，有了训练数据，想准确地辨识人物依然有困难。

一是滑雪本身就是高速运动，容易拍不清楚；二是滑雪场有时风大雪大、阳光不好，视频会更模糊；三是雪道很长，拍摄装置很多，想要在不同拍摄装置拍摄的视频中找到同一个人，是一个技术上很难的问题。

为此，容荣干脆自己设计了一款新的滑雪服：

在胸前、肩膀等部位放置特定的编号，滑雪游客租用带有编号的滑雪服，算法只要识别出编号，就能知道是哪位游客了。

这样，结合姿态特征与滑雪服上的编号，使用「多模态聚类算法」就能准确的找到特定的游客。

来看看 AI 生成的滑雪 vlog 效果：

过山车跑的那么快

如何决定剪哪一段？

“其实我们一开始不想做滑雪场景，因为蹭的一下就划过去了，速度太快，人群也很密集，算法不好锁定人物。但到了景区才发现，滑雪游客非常喜欢这类 vlog 服务。”容荣说。

所以，后来团队工作的一大重点就放在了滑雪、过山车、蹦极这类极限场景下。

玩这类项目时，游客最希望视频记录的是整个过程中最刺激的时刻，但这时游客表情非常激动，算法难以识别。

算法工程师容荣再次灵光一现：图像不好识别的话，那识别声音试试呢？

“风声代表速度，人声代表情绪。玩这种刺激项目的时候，一个人嗓门越大，说明他越激动；但也有人完全不叫喊，那我们就识别风声，风声越大说明速度越快、人的体验越刺激。”

极限场景惊险刺激的时刻、美丽风光让人心情大好的时刻、运动场景中表现优异的时刻，都被项目团队定义为了「高光时刻」，这是游客最深刻的记忆，也是最值得被视频记录的瞬间。

因此，项目算法团队与设计团队一起定义了一套「高光识别算法」，集成了人体手势、动作识别、人物关系检测等多种 AI 算法，能够根据场景动态捕捉游客的高光时刻，景区运营者也可以根据季节、活动等自由定制。

深入一线

感受不同地区的风霜雨雪

无论是滑雪场、游乐园还是博物馆，探索每种新游玩场景时，项目团队组团出差去现场，了解每个场景的细节特点。

线下能发现许多在办公室里闭门造车发现不了的问题，技术同学则可以改技术方案，产品经理则可以了解景区运营状况、游客动线、景色最美的位置、游客聚集的地点，了解景区管理者的经营计划。

有一次，大家组团去滑雪场出差时，正赶上了寒冬腊月，下着鹅毛大雪，连雪道都结冰了。创意互动 vlog 团队的产品、研发、设计们，和当地的安装师傅一起扛着摄影机和安装工具爬到雪坡上，寻找合适的安装位置。

作为项目的算法负责人，容荣需要做很多深入一线的工作。在安装摄像头的过程中，她需要当场根据图像质量、晨昏光线、人体在画面中的大小来判断这个位置拍出来的图像能不能用，针对现场场景采集数据、当场优化这个场景的算法准确率。

但完成当天的现场工作之后，一群人站在雪坡顶上傻眼了：

除了 AI 产品解决方案同学孟兰之外，其他人都不会滑雪。

于是，一副奇特的景象发生了：大雪纷飞的滑雪场，一群人半夜十点坐在雪坡上慢慢往下滑，有人的睫毛上都冻上了冰晶，有人滑到山下后，站起来却发现裤子都被磨到反光。

就这样，一年多里，创意互动 vlog 团队的同学们一直在产品建设的路上。

他们探索滑雪场、游乐场、打卡地等各种不同类型的园区，一边优化产品，一边提升技术，一边跑通了商业落地。

AI 产品解决方案同学孟兰说，当每一类场景率先跑通一个标杆景区后，就可以方便地将不同场景的解决方案复用，低边际成本服务其他同类景区。

“我们在滑雪这个场景的经验至少领先市场 1.5 年，因为你需要足够漫长的冬天去摸索这些经验。”

而火山引擎的技术同学们，也正在不同的 B 端业务场景下，持续探索创新，用技术赋能千行百业。

👇👇👇更多智能创作岗位正在火热招聘中，欢迎点击文末阅读原文链接，了解详情进行投递。👇👇👇

字节跳动更多技术

字节跳动副总裁杨震原：好的AI基础设施，如何激发工程师创造力？

字节跳动CVPR 2023论文精选来啦（内含一批图像生成新研究）

点击「阅读原文」，加入字节跳动技术团队

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章