幻霄科技CTO高天寒：创新教育体验—探索AIGC在元宇宙教学实训中的无限潜能｜量子位·视点分享回顾
视点 发自 凹非寺
量子位 | 公众号 QbitAI
近年来，教育数字化转型和泛虚拟现实技术在教育领域的应用越来越受到重视。
《中国教育现代2035》中明确指出加快信息化时代教育变革是教育现代化的重要战略任务之一。
在这个充满变革和创新的时代，教培领域正迎来前所未有的机遇与挑战。其中，备受瞩目的AIGC技术，正在元宇宙教培领域展现出巨大的潜力。
那么，传统教育模式在信息时代遇到了怎样的限制与挑战？元宇宙、AIGC等新技术将如何开拓教培行业的新机遇？沉浸式学习体验对于教育意味着什么？
围绕AIGC技术和元宇宙技术在创新教育中的应用，幻霄科技联合创始人兼CTO、首席科学家高天寒在「量子位·视点」直播中分享了他的从业经验和观点。
以下根据分享内容进行整理：
AIGC是元宇宙的“灵魂”
今天和小伙伴们来一起聊一下最近两年在新一代信息技术领域最为热门的两个话题：元宇宙和AIGC。
什么是元宇宙？
1992年，尼尔·史蒂芬森在其所著的小说《雪崩》中提出了Metaverse(元宇宙)和Avatar(化身)两个概念。Metaverse拥有现实世界的一切形态，用户在Metaverse中均为第一人称视角，并拥有一个专属的可自定义形象的虚拟化身Avatar。
元宇宙强调生态的完整性和用户的主观能动性，电影《头号玩家》中的虚拟世界Oasis被普遍认为是元宇宙的最终形态代表，电影《失控玩家》中的Free City也是元宇宙良好应用体现之一。
Facebook是互联网巨头中第一个宣布All in元宇宙的公司。扎克伯格称Metaverse为“移动互联网的继承者”，并承诺将Facebook从一家社交媒体公司转变为一家Metaverse公司。2021年7月26日，Facebook已经开始组建专门的“元宇宙”(Metaverse)产品团队，加大推进在VR/AR及其他元宇宙相关领域进行产品服务研发。
Research and Markets发布的“全球元宇宙市场报告”显示：元宇宙市场预计在预测期内（2022-2030年）复合年增长率将达到40%，到2030年市场收入将达到7000亿美元。
在今年年初，国家《“十四五”数字经济发展规划》中，也重点提及了元宇宙对于数字经济发展的重要支撑。
从去年年中开始，各个地方层面对元宇宙产业扶持和人才培养的相关政策更是层出不穷。据不完全统计，截至2023年4月底，全国已有23个省级（含直辖市，下同）单位及80余个市级单位发布了约500项明确支持元宇宙产业的相关政策。
元宇宙要素
元宇宙是一个迅速发展的领域，其构建必须具备5大要素。
第一要素是具身互动，即用户可以进入虚拟世界并使用数字形象进行交互。这是元宇宙中最为落地的应用场景，类似于数字人或虚拟人。
第二要素是内容生成，第一代互联网内容生成叫PGC模式，以移动互联网为代表的第二代互联网则由PGC转向UGC模式，但随着人工智能技术的快速发展，AIGC将成为新的趋势。
第三要素是统一身份管理，必须有一种方法将不同的虚拟身份关联到物理世界的实际用户上，以确保元宇宙的稳定性。
第四要素是虚拟经济系统，区块链技术的快速发展为其提供了支持。
第五要素是虚实融合，用户可以在真实和虚拟世界之间无缝切换，这一点背后重要的技术支撑涉及到XR技术。
总体而言，元宇宙发展已经形成了三条比较清晰的主线，分别是与虚实融合有关的交互、有吸引力的内容生成、以及经济和治理的发展。在过去的几年中，幻霄团队持续发力，突破了一系列核心技术，尤其是在虚实融合方面的XR技术，即包括VR、AR和MR，我们统称定义为“泛虚拟现实”。
AIGC与元宇宙
XR现在已经被定义为未来人机交互的全新形态，将会取代移动互联网，成为下一代的移动计算平台。用一句话来定义XR和元宇宙的关系，我们认为XR是通向元宇宙的“虫洞”。
用户可以通过XR技术并配合相应的可穿戴设备进入到元宇宙中，期望在虚拟的元宇宙环境中进行全方位交互。
近年来，XR技术在位置感知、手势识别等方面取得了突破，同时脑机接口技术也有了巨大的进步，意念控制技术也开始被逐渐打开。因此，XR技术作为元宇宙的入口非常清晰明确。
AIGC是今年信息技术领域最为热点的概念，利用人工智能技术来自动生产内容，被认为是继PGC、UGC之后的新型内容创作方式，已经可以自动生成文字、图片、音频、视频，甚至3D模型和代码。AIGC已被定义成为数字内容创发展的新引擎，将重塑甚至颠覆数字内容的生产及消费方式，并极大丰富人们的数字生活，是元宇宙的重要底层基础设施之一。
据艾媒咨询数据显示：预计2023年，中国AIGC行业核心市场规模为79.3亿元，2028年将达到2767.4亿元，这是非常可观的一个数字。
2018年之后AIGC开始快速发展，但是初期阶段它并不能为我们生成比较理想的内容，更多的关注在内容增强方面，例如，我们拍摄了一张低分辨率的图片，通过图像超分增强图像的细节信息，生成高清图片。再比如，对于老照片中的像素缺失部分，可通过智能增强技术进行内容复原。
从去年开始，随着人工智能的模型越来越成熟，已经开始能够生成一些多模态形式内容，包含文本、图片、声音、视频，甚至是3D模型、代码等等。
在当今内容为王的时代，AIGC经历了短期内的快速变化。几年前，它处于核心技术突破的早期阶段。但是近年来，一系列相关的AI模型和技术已经大幅提升，并进入批量生产状态。未来，关键技术将持续优化，最终目标是取代人类创建替代性内容。
在元宇宙中，如果XR技术为其入口，那么AIGC就是其灵魂，AIGC很快将成为元宇宙生产力的工具。虽然现在的元宇宙已经足够精彩，但是当AIGC像我们之前描述的那样，高效地生成高质量个性化内容时，它将变得更加辉煌。
总之，尽管元宇宙的概念只有两年左右的时间，但已经迅速在教育、医疗、职业培训、智能制造、工业等领域中形成了大量落地场景。
教培领域的痛点与机遇
教育培训领域存在“三高三难”痛点问题，包括投入高、损耗高、风险高、实施难、观摩难、再现难。
元宇宙教培可以有效解决这些问题，将教学过程完全转移到虚拟空间中，消除了除前期制作和设备成本外的任何支出和风险。此外，元宇宙教培可以通过虚拟环境提供更好的实施、观摩和再现能力。这是元宇宙教育快速发展的原因，当然这也离不开政策的引导和支持。
比如在2020年9月份，教育部《关于开展职业教育示范性虚拟仿真实训基地建设工作的通知》里提到，遴选100个左右示范性虚拟仿真实训基地，分级选5000门左右职业教育在线精品课。
在去年年底，教育部工信部联合五部委进一步发布了《虚拟现实与行业应用融合发展行动计划(2022-2026年)》，在这个计划当中更是明确指出，要大力推动教学模式向自主体验升级，打造支持自主探究、协作学习的沉浸式新课堂。
沉浸式新课堂，实际上就是元宇宙教培的另一种诠释。
在相关政策的大力扶持之下，我们团队在过去的2~3年内，针对不同的年龄段，像K12、职业教育、高等教育、通识教育等各个层面都做了大量的工作，完成了一系列探索以及项目落地。
在K12教育领域，元宇宙教育的优势主要体现在实验和实操环节，尤其是理化生三个学科，因此我们制作了大量的VR和AR实验课程。在职业教育方面，注重培养学生实际动手能力，需要更多针对不同专业的虚拟仿真课程来满足需求。而在高等教育中，对元宇宙教育的需求更加个性化，深入到某一门课程或核心知识点。
目前元宇宙教育仍处于初级阶段，面临着一些挑战和问题。
首先缺乏顶层设计和行业标准；其次，核心技术不够成熟，过度依赖硬件实现；第三，缺乏高质量个性化的教育内容。为了应对这些挑战，需要高层引领，进行统筹规划，同时聚焦多通道自然交互等核心技术突破，注重元宇宙教育内容的创新和个性化程度提升，打造低门槛的个性化元宇宙内容制作平台。此外，AIGC可能会给我们带来新的思路。
基于元宇宙与AIGC的沉浸式教培探索
1）三大核心技术
针对元宇宙教育面临的问题，我们团队打造了MET平台，包括三个核心产品：MetMaker虚拟课程制作平台、MetAssets数字资产平台和MetLab元宇宙教学平台。
用户可以使用MetMaker以低代码或无代码方式快速搭建元宇宙教育内容，正好在6月1日下午，MetMaker正式上线；MetAssets提供高质量的3D数字模型等专业素材；MetLab则提供便捷的教育内容和学习方式。我们的核心目标是为教培元宇宙领域赋能。在教育层面，MET平台期望能够无缝的去连接教、学、练、测教育领域当中的核心环节。
在职业培训层面，我们提出了“五位一体”概念，包括学习、实训、考试、认证以及最终的就业，形成一个完整的闭环。同时我们期待基于MET平台能够无限拉近企业、政府、院校、学生元宇宙教培领域当中的4个核心角色，最终去实现互利共赢和生态共建。
MET平台实现需要核心技术的支撑，第一个核心技术是AIG3D，具有独立自主知识产权，可集成到MET平台中。在元宇宙教育内容中，3D数字资产是制作高质量教育内容的重要素材。目前，这些3D模型和场景的制作大多仍靠手工完成，投入了大量的人力物力。因此，AIG3D技术在元宇宙教育3D数字资产制作环节具有非常重要的意义。
去年年底，我们发布了基于多张图片对实物进行自动重建的技术路线，在今年6月中旬或6月底的时候，我们会发布全新的 AIG3D技术，基于单张RGB图像不需要任何的深度信息，就能够快速完成实物3D模型重建。
而且整个的AIG3D方案，支持零样本学习，在重建的过程当中，支持实时PBR材质渲染，能够在保证效率的前提下获得更好的画面效果。创作者能够基于AIG3D技术，去快速生成高质量3D模型。这个模型可以一键式集成到MET平台中，辅助用户完成相应的元宇宙教培内容制作。
当然，除了单张图片三维重建技术之外，我们还提出了基于波函数坍缩的建筑集群自动生成方法和技术路线，以及基于OSM的城市交通网络场景生成技术。这一系列的AI计算机技术极大程度助力了MET平台的研发，为用户提供了简单便捷的创作工具。
第二个核心技术，我们要谈及的是渲染优化。为了保证用户在浏览器端能够对元宇宙教培内容的体验有更好的表现效果，我们针对不同图形接口做了大量的渲染优化的工作，支持webgl2.0及WebGPU，并在此基础上进行了优化。
我们为Webgl2.0设计了一套针对Opengl es3.0的着色方案，采用Forward+渲染，支持实时PBR材质渲染。这种方案在保证效率的同时，能够获得更好的画面效果。同时，我们针对于WebGPU提供了一套GPU蒙皮方案，进一步提升整个模型制作效率，并在MetMaker中提供了基于延时渲染管线的Voxel GI方案，能够进一步提升视觉效果。
第三个核心技术是具有自主知识产权的自动LOD技术。这项技术主要是确保所产生的不同形式的高质量模型，能够快捷、高效、高质量地上传到MET平台中。
为了确保模型的上传，我们所研发的自动LOD技术，会根据模型的情况对面数较高的模型如三维重建、扫描模型、数字雕刻模型进行自动降面，并保持模型细节。
除此之外，MET平台支持低门槛轻量化创作，采用无代码或者低代码的方式快速制作元宇宙教培内容。
在底层的核心技术层面，我们刚刚提到的包括AI三维重建技术，渲染优化技术，还有自动LOD技术，这一系列技术的不断的突破，为MET平台打造了坚实的技术门槛。同时在这个过程中积累了大量的自主知识产权，包括发明专利以及软件著作权。
2）AIGC沉浸式教培探索
主流的元宇宙教育内容制作流程包括技术人员和教师共同编写教案，形成可理解的课程脚本；在立项后进行美术资源制作，包括图片、视频和3D模型等，并将其导入到相应工具中进行交互程序编写，生成一门元宇宙教育课程。在初次交付用户后，不断迭代和反馈以优化课程内容。即使在项目验收并提交给终端用户后，仍会跟踪课程使用情况并进行流程优化和迭代。这是许多公司和机构广泛采用的元宇宙教育内容制作流程。
但是在这个流程的背后，可以看到有很多的优化空间，我们相信 AIGC技术同样会发挥它极大的优势。比如元宇宙教培的教案编写、课程脚本编写等，我们是不是可以采用AIGC的方案来去自动化生成；比如在美术资源的制作层面，我们可不可以利用AIGC来去产生多模态的美术资源，甚至我们是否可以利用AIGC技术去产生交互程序的代码。
在元宇宙教培的制作流程中，AIGC技术完全可以发挥它的优势。我们结合前面所提到的AIG3D技术，和大家来分享下基于MET平台沉浸式教培内容制作的优化流程。
在流程中，我们首先用AIG3D技术，即只需要拍摄单张照片，就可以快速、高效地去生成高质量的3D模型。3D模型成型后，可以快速的导入到MetMaker里，并进一步的利用MetMaker去零代码或者低代码快速制作相应的元宇宙课程内容，课程制作完成后一键发布到MetLab平台，以便于教师和学生展开相应的元宇宙教学内容的学习。在学生侧，整个教培内容既支持网页端的浏览，同时也支持在VR侧的沉浸式体验。
纵观整个流程，我们对前面的主流元宇宙教培内容做了极大的优化，让没有任何技术门槛的创作者可以在很短的时间内，快速完成高质量教培内容的制作。
以上是我今天在量子位为各位伙伴所带来的全部分享内容，也再次感谢大家对我本人以及幻霄科技的关注，谢谢大家！
关于「量子位·视点」
量子位发起的CEO/CTO系列分享活动，不定期邀请前沿科技领域创业公司CEO/CTO，分享企业最新战略、最新技术、最新产品，与广大从业者、爱好者探讨前沿技术理论与产业实践。欢迎大家多多关注 ～
需要观看直播回放的小伙伴，请戳“阅读原文”吧~
— 完 —
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者