背靠抖音超6亿日活用户，火山引擎如何用AR改写“新消费时代”玩法？

8月26-27日，GTIC 2022全球AI芯片峰会将于深圳举办，欢迎大家报名参会！

将“换装游戏”拉入现实！揭秘火山引擎AR终极秘密武器。

作者 |  云鹏

编辑 |  漠影

如果今天你想买一副眼镜、一块手表或一支口红，大概率会点开手机上的某款购物App。

根据CNNIC数据，在中国目前10亿多网民中，网购用户数已经超过8亿人，线上购物已经成为老百姓生活的常态之一。

但随着消费升级，我们逐渐意识到，线上购物并非“万能”，对于一些现在年轻人青睐奢侈品，单纯的“看一看”、“点一点”，很难让人下定决心购买，大部分人只有真正用过、体验过才会做决策。

而今天，字节跳动旗下的火山引擎AR团队正在用一种“AR Try-on（AR试穿试戴）”的方式来破解这一困局。

从各类奢侈品品牌的帽子、眼镜，到豪雅的保时捷限定款手表，你都可以通过一部普通手机，获得接近真实穿戴效果的视觉体验，甚至连手表表带的材质纹理都看的一清二楚，眼镜镜片还能模拟真实环境光线照射效果。是不是有些不敢相信？

在中国传统七夕佳节期间，火山引擎联合抖音电商以及多家头部奢侈品品牌，将这种体验带到了我们的实际生活中，让每个人都可以感受到技术给购物体验带来的颠覆性改变。

这样的“神奇”体验究竟是如何实现的？带着疑问，此次智东西与火山引擎AR团队核心业务及技术负责人进行了深入交流，对AR试穿试戴体验背后的黑科技，以及火山引擎AR团队关于新消费的思考进行了深入探讨，试图揭秘火山引擎在零售行业中拥有的AR终极秘密武器。

01.

手表指针会跳动，帽子“藏好”头发，
AR真实感爆棚

在我们的印象中，类似“AR试穿”、“AR试戴”这样的功能在电商平台上出现，并非第一次。比如在口红这样的品类中，用户已经可以通过AR试妆来模拟涂抹口红后的唇部效果。

但实际上，在当时的技术条件下，实际体验往往差强人意，“口红涂歪”、“颜色不正”等都是比较要命的问题。

在火山AR看来，一个产品和技术落地，需要“天时地利人和”，从市场对于技术的认知度、技术能够支持的实际体验效果，到商业化模式的探索，可以说缺一不可。

而今天，随着各类VR/AR产品走入我们的生活中，AR技术不断被大众所认知，AR技术经过近年的快速迭代也解决了不少关键难题，AR技术在消费端的应用无疑到了一个关键节点。

现在，我已经可以在抖音上试戴手表、项链这样的复杂饰品，就连帽子、眼镜这样有明显“空间体积”的商品，也可以进行试戴，而不再局限于一个个平面“特效”或者“滤镜”。

在我的实际体验中，火山引擎提供的AR Try-on功能给我带来了不少惊喜。

比如在我试戴豪雅的手表时，手表的指针会同步我们现实中的真实的时间，并且指针会随着时间而跳动。

就是这样一个小小的细节，立刻让商品真的“活”了起来，手表的真实感显著增强，不再局限于一个静态的3D模型。

同时，在试戴过程中，手表对于手腕转动的跟随非常及时，角度也很准确，即使部分区域被遮挡了，也能准确识别左右手并进行正确的佩戴。

接下来我还尝试了另一个知名奢侈品牌的产品，在我试戴眼镜时，我发现眼镜的镜片会真实呈现“镜子”的效果，在头部摆到不同位置时，镜片中映射出的画面并不相同，就像我们在现实世界中一样。

这种细节的增加，可以很好地模拟用户在真实场景中佩戴的效果。此外，在不同的倾斜角度下，眼镜都可以与头部保持一个正确的位置姿态，毫无“违和感”。

在体验帽子佩戴的过程中，我特别留意了“发梢”的控制，因为如果帽子无法很好的遮住头发，就会破坏画面的“真实感”，有些“出戏”的效果。

火山AR能够实现比较准确的发梢边缘控制，整个帽子可以比较好地遮住头发，并且在不同角度呈现出贴近真实的视觉效果。

整体来看，火山引擎AR团队的确实现了让我们足不出户体验奢侈品大牌产品的想法，并且对于“真实感”、“跟随性”和“自由度”方面的打磨可以说花了不少心思。

可以说，他们的AR Try-on能力能够真正解决线上购物中的一些实际痛点，让类似豪雅这样的头部奢侈品品牌用户获得更好的线上购物体验，同时给品牌带来积极的价值。

02.

自研算法引擎、3D引擎、物理引擎，
为“真实感”拼了

在这些极具真实感的AR体验背后，是火山引擎众多自研算法的加持。

比如如何让帽子很好的“包住”头发，不露发梢，但同时又贴合头部实际轮廓？

在深入交流中我了解到，这背后，包含了火山AR自研的图像分割算法、人脸关键点检测等技术，通过这些技术，系统可以准确区分帽子和头发，从而隐藏帽子外沿的头发，并将帽子边缘进行图像修复，实现自然的过渡。

其实简单的方法不是没有，比如将所有用户都“剃成光头”，再将帽子带上去，但显然这样的佩戴效果是缺乏真实感的，也无法做到“个性化”的视觉效果。

不只是头部，火山引擎AR自研的算法引擎可以准确识别五官和人体轮廓，通过运动估计、3D重建等多种计算机视觉技术的应用，可完成对位置、姿态、网格等语义信息的有效提取，实现多视角实时试戴，同时保证静态场景的稳定性和动态场景下的实时跟随性。

实际上，要实现真实自然的AR试穿试戴体验，背后是众多技术的整合协同，而非几个单点技术的应用，因此整个AR算法的链路会更加复杂，技术挑战更高。

同时由于AR Try-on要面对的是琳琅满目的真实商品，因此研发人员要保证算法具有足够高的鲁棒性、稳定性，以及能够实现准确的动态跟随的能力，从而让算法针对不同的人群和不同的商品都能有很强的适配效果。

此外，AR Try-on还针对性能进行了极致优化，保证算法在不同平台上都能有流畅运行的体验，简单来说，就是体验不卡顿、手机不发烫。

值得一提的是，在实现某个AR效果的同时，火山引擎还需要考虑算法的普适性，比如应用在抖音中，算法就要面对超6亿级别的日活用户，这些用户使用各种各样的手机，算法至少要保证主流手机都能实现几乎相同的试穿体验。

因此，算法能效的优化、算法对于硬件调度策略的优化都是研发人员需要解决的问题。

再来看看解决手表佩戴准确性方面，火山引擎是如何实现“3D手腕挂载”的。为了保证算法预测的稳定性、挂载物与手腕的贴合性和跟随性，火山引擎自研了一套能在移动端实时运行的三维手腕建模算法，来满足各种场景下的手腕挂载需求。

此外，为了保证运动过程中的准确跟随，火山引擎AR采用了运动补偿和运动估计等算法，保证在连续运动和极端角度下，试戴效果都可以比较稳定。

值得一提的是，除了自研算法，火山引擎为了实现更好的AR穿戴真实感，自研了3D引擎和物理引擎，可以说将底层关键技术都把握在了自己手中。

目前，市面上的各类3D引擎主要偏向游戏场景的应用，而AR场景用到的3D引擎，需要做针对性优化来适应业务形态，比如要做到轻量级、能够很好地适配移动端、Web端甚至PC端的应用，这也是火山引擎要亲自下场的原因之一。

现在火山引擎已经有了自己的3D建模、设计及特效交互团队，他们自研的3D引擎，可以快速完成对数十种材质的细节处理，如高光、反光、半透明等等，从而保证整个AR“系统”对产品的准确还原。

此外，针对内外部环境下的不同光线、角度、反射等环境条件，火山引擎还进行了特殊优化，让产品最终呈现在我们眼前的效果更自然和真实。

值得一提的是，针对一些复杂的饰品，火山AR还专门搭建了能够覆盖多种端侧设备的物理引擎，能够很好地完整还原用户运动过程中饰品的垂坠感和晃动感，这样的体验，对于手链、项链这类产品来说非常重要。

为了满足不同客户的需求，火山引擎还将自己的AR能力变得“可定制”，能够根据不同的需求进行调整，比如有些品牌注重产品材质的展现，他们就可以让算法能够更好地展现材料的质地、光泽等特性。

据了解，这些火山引擎自研技术早已在抖音中进行应用，并获得了不少积极反馈，而在抖音之外，火山引擎的AR能力也已经落地了不少客户的自有平台，包括微信、品牌官网、小程序等等。这些实际应用案例都成为了AR算法迭代优化的推动力，形成了良性业务闭环。

03.

不止于“AR试穿试戴”体验，
全链路方案瞄准广阔消费赛道

在这些极具真实感的体验和深厚的技术积累背后，AR能力给行业带来的改变已经不再有明确的To C或To B的界限。实际上，这样的AR技术对于消费者和品牌是会同时产生价值的。

对于我们普通消费者来说，购物体验的提升是最为直观的，我们可以“亲身试穿”更多平时不方便实际穿戴的产品。而对于品牌来说，AR Try-on技术可以在传递品牌价值的同时为品牌带来实打实的转化率提升，以及零售业务表现的改善。

在与火山引擎AR团队深入交流的过程中我们了解到，他们要做的其实不仅仅是提供一个AR技术，实现某一种AR体验，而是要围绕自身AR能力提供一条完整的全链路解决方案，真正帮助品牌、厂商解决实际业务中的痛点、实现业务效率的提升。

在试穿试戴场景中，火山引擎可以提供AR Try-on 能力以及针对AR场景的数据展示及分析工具，作为品牌评估价值的指导，并可以针对数据归因做链路优化和改善；而在营销场景中，他们可以提供包含从用户分析到营销策划、创意设计，到AR能力到运营策略，以及数据展示及分析的完整营销体验方案。

对品牌来说， AR的应用可以很好地打通线上和线下场景，实现转化的提升和成本的降低，同时真正让消费者可以实际体验产品、形成直接触达，从而提升转化率、降低退货率，这种“降本增效”的作用是十分明显的。

举个简单的例子，以前我们都见过品牌做AR营销，比如通过一些AR特效让用户参与一些活动时获得比较好的体验感，但今天，品牌可以直接将自己的商品做到AR营销活动中去，真正让商品本身得到传播和曝光。

再比如，品牌可以提供有趣的AR互动玩法，这样我们在体验产品的同时，也会大概率主动地将产品互动视频与朋友或者家人分享。

尤其抖音的视频生态也可以说是一种无形的“营销放大器”，作为很好的传播平台，引发更多潜在用户对于品牌产生兴趣。与此同时，品牌也会因为提供了更新颖、更具潮流、科技感的购物体验，而获得更多年轻用户群体的关注，进而提升品牌的价值。

其实，这种不局限于“AR卖货”的思考方式，也源自于生态的影响。抖音生态毫无疑问是火山引擎AR独特的优势所在。

与传统的电商平台不同，抖音是做“内容”起家的，更在意用户粘性以及更多新颖玩法的设计，火山引擎也更加注重将AR能力做全链路的设计，如何通过AR能力为品牌做更大声量、更大影响力的活动，是他们思考的重点方向。

这也是火山引擎AR的独特差异化竞争优势之一。

此时，如果我们将目光放得更广，就会发现，在整个零售行业的链条中，还有很多环节都是AR可以参与融入的，甚至不仅局限于线上购物。

比如在线下商场，对于一些奢侈品、一些不方便用户直接试用的产品，我们都可以通过AR的形式增加用户的实际体验感，而对于一些紧俏的缺货商品，AR试穿试戴同样有用武之地。

比如今天对于很多小体量的潮流品牌，AR试穿试戴可以快速地让他们获得实际产品的穿戴效果，并获得用户的实际反馈，进而对他们设计的改进产生帮助，但同时又节省了很多线下实际操作的成本。

AR Try-on的应用甚至还可以延伸到供应链更上游。比如在一些服装鞋帽类产品的前期采购环节，品牌可以通过AR的形式将产品展示给经销商，避免经销商见不到实际产品难以决策的问题。

尤其在疫情仍未彻底结束的今天，线下大规模活动开展可能会受到影响，因此这种线上“实物”体验的AR形式，必然会拥有更广阔的应用场景，受到更多品牌的青睐。

可以说，面向B端零售市场，火山引擎AR给产业带来的想象空间是巨大的。全链路的AR营销方案，可以围绕人货场将品牌供应链的各个环节串联起来，提升效率，形成正向的收益，真正为客户带来利益。

在我看来，这种“接地气”的思考方式，恰恰是火山引擎AR团队“靠谱”的表现。

04.

结语：火山引擎AR黑科技
给零售行业带来新玩法

从以前的各类AR视频特效，到今天逼真的AR产品试穿，我们能够清晰地感受到，AR技术正在落地的过程中走的更加“脚踏实地”，真正让用户体验得到改善，让品牌能够从中获益。

今天，字节跳动毫无疑问已经迈上了更多B端赛道，火山引擎在AR领域的布局，也是字节众多硬核技术对外赋能的具体表现之一。而火山引擎的AR能力是否会成为搅动新消费赛道的新变量，答案即将揭晓。

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）

---

  

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章