2 虔诚、前进刚接触图形学时,韩晓光还是一个心中有梦、眼里有光的少年,十分自信、得意。那时,他并不知道图形学的难度,视 SIGGRAPH 为囊中之物,给自己定了一个目标:每年都发一篇 SIGGRAPH。但很快,这个“狂妄”的想法就被教育了。韩晓光真正开始投 SIGGRAPH,是 2011 年到香港城市大学担任研究助理之后。在浙大那会,韩晓光参与过一个工作,是用图形学对人体的身高体重进行全局一致的整形重塑,最终文章发表在图形学顶刊 ACM Transactions on Graphics(TOG)上。论文:Parametric Reshaping of Human Bodies in Images这个工作是浙大与香港城市大学合作的一个项目。韩晓光由此认识了在香港城大任教的傅红波教授。临近硕士毕业时,由于英语成绩不佳,直接申请读博有难度,所以韩晓光就联系了傅红波,希望先去他的组里当研究助理,然后找读博的机会。当研究助理的第一年,韩晓光就开始计划投 SIGGRAPH。但没想到,计划是计划,现实是现实,韩晓光追逐 SIGGRAPH 的过程远远比他想得还要煎熬。第一年,傅红波给了他一个课题。他斗志满满,一拿到题目,他想的就是奔着 SIGGRAPH 去。研究进展地很顺利,也取得了一些不错的实验结果,于是他就抱着“应该能中”的心情投了出去。结果出来,虽然总体评分还不错,但其中一个审稿人给出了“拒稿”意见。之后,他接连改了好几次投出去,最后才中了一个排名不算特别好的期刊。韩晓光第一次感受到:好像 SIGGRAPH 还挺难的。第二年,他又做了一个新的项目,但实验结果还没有第一年好,连自己的标准都达不到。最后,他干脆连 SIGGRAPH 也没有投。这让他有点泄气。为了投 SIGGRAPH,他连续几个月都吃睡在实验室,经常熬夜、看论文、赶论文,而结果却不如意。当时他有傲气,心里总想:“我一定要中一篇 SIGGRAPH。几乎成了一种执念。”韩晓光事后告诉 AI 科技评论,从小到大,他都是一个比较佛系的人,知道读书的重要性就会去努力读书,但成绩如何,往往是尽人事、听天命。他唯一坚持过的事情,就是发表 SIGGRAPH。而且,这种执著一直贯穿到 2013 年他去香港大学读博的四年。到港大读博后,韩晓光继续死磕图形学、死磕 SIGGRAPH。他的导师是当时刚刚从美国 UIUC 结束教职回港任教的俞益洲。俞益洲也是浙大培养的图形学毕业生,曾师从中国第一个在 SIGGRAPH (1988年)上发表论文的图形学先驱彭群生,后来因在几何建模和基于图像的建模方面贡献突出当选了 2019 年度的 IEEE Fellow。博士第一年,俞益洲就给了韩晓光一个颇有难度的课题——人体三维重建。尽管当时的想法只是做简单的重建,基于少量图像,结合交互技术生成一个三维人体模型,但在那个时候,相关技术还远远没有成熟。所以尽管俞益洲的研究眼光很前瞻,但对当时的韩晓光来说难度却着实不小。韩晓光花了一年多时间去探索,最后发现课题还是太难,没有取得好的实验结果,投 SIGGRAPH 没成功,又转去投 CVPR。这是韩晓光第一次投 CVPR,天性乐观的他再一次想“应该能中”,结果跟第一次投 SIGGRAPH 一样,也遭到了“拒稿”。那时候,他开始真正地从心底里对 SIGGRAPH、CVPR 这样的顶会产生敬畏之心,知道原来要发一篇 SIGGRAPH 不是那么简单的,“要做一个很顶级的工作,真的要花特别多努力才行”,而且“必须做得非常完美”。博士第二年与第三年,韩晓光换了研究课题,但自己的课题还是没有中 SIGGRAPH,倒是他参与的实验室其他成员的工作先后发表在了 SIGGRAPH 2015 和 2016 上,一篇第二作者,一篇共同一作。但韩晓光觉得不能算是自己的代表作。一直到 2017 年,也就是韩晓光读博的最后一年,他才在 SIGGRAPGH 发表了一篇一作论文、也是他博士生涯最重要的一个工作:DeepSketch2Face。2015 年,肖建雄、汤晓鸥等人合作将深度学习用于三维视觉研究,“3D ShapeNets: A Deep Representation for Volumetric Shapes”一文在 CVPR 引起广泛关注,也吸引了一直想做三维重建的俞益洲。他当即向团队提出要开始研究深度学习。他将人脸三维重建的课题派给韩晓光,希望他能基于深度学习对人脸进行三维草图重建。韩晓光从 2016 年开始独自探索,花了将近一年的时间,结合深度学习、视觉图像理解、图形学中的人脸建模、几何变形与交互等多个学科的知识,竟然成功地取得了不错的结果。论文:DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling使用 DeepSketch2Face 这个系统,用户可以在几分钟内就获得表情各异的 3D 人脸或漫画模型,游戏或动画建模师们也可以轻松创建高保真人脸模型,进而为虚拟角色赋予灵动形象。这个工作发表在 SIGGRAPH 2017,受到许多人的肯定。韩晓光第一次被邀请到了各个场合做演讲分享。历时多年、成功发表 SIGGRAPH 一作,韩晓光的内心有兴奋、有自豪,但更多的,是一种已经被磨练过的虔诚与谦卑。在这几年里,SIGGRAPH 就像图形学的一座圣碑,指导韩晓光前进,也教会了他科研的本质:历经挫折仍要不改初心,遭遇低谷也要抬头向前。但最重要的,是这过程中攀登所看到的风景。这是没有元宇宙时的图形学成长人生。
3 从追随者到建设者在韩晓光读研究生、到他加入港中深的多年里,图形学的就业方向其实一直狭窄,集中在追求酷炫特效的影视与游戏行业。加上国内科幻电影发展不振,游戏行业政策也不明朗,所以图形学在国内一直是一个“小圈子”。2018 年韩晓光到港中深任职时,整个学校就只有他这一个研究图形学的老师。现在港中深一共有两位研究内容与图形学相关的老师,一位是韩晓光,另一位则是 2021 年新加入的孙启霖。不过,孙启霖的工作也不是传统的图形学,而是图形学中用于三维图像采集的计算成像设备。这期间,韩晓光也见证或亲历了图形学的发展变化:一方面是元宇宙概念的兴起,给图形学带来了新的想象力,涌入图形学领域的科研资金也在增多,圈子在扩大。韩晓光记得,当时他刚开始从事教职时,因为圈子小,招生与找钱都是一件很困难的事情。后来,也是多亏他以前的导师刘利刚(后来去了中科大任教)与时任港中深校长讲座教授的崔曙光介绍,才解决了招生和科研经费的难题。元宇宙大火后,图形学技术开始受到许多企业的关注。在去年,就有几家国内的企业找到了韩晓光,希望与他合作。韩晓光在 SIGGRAPH 2017 上发表的工作 DeepSketch2Face 属于深度学习在计算机图形学中的一次大胆尝试。在这个方向上,他也是入门最早的青年学者之一。目前,他在港中深建立的实验室 GAP,就将三维视觉作为实验室一个重点研究的方向。“GAP”的全称是“Generation and Analysis of Pixels, Points and Polygons”,其中,pixels 指的是“像素”,points 是“点云”,polygons是“多边形网格”,这三块是图形学和视觉领域需要重点处理的对象,而生成与分析/理解是两大任务。这样加起来,就构成了“GAP”一名。
GAP Lab 主页:https://gaplab.cuhk.edu.cn/
三维视觉一块也涉及到计算机视觉的知识,韩晓光在任教后也不断学习这一块的内容,并将其与图形学相结合,也取得了不错的成绩。例如,他在单视角三维重建方面的研究就曾两次入围 CVPR 的最佳论文提名。单视角三维重建是从大量的二维图像中恢复物体(如人体、人脸、场景等)的三维结构,在计算机上实现对客观世界的虚拟现实表达。为了解决从单视角图像中重建完整三维物体的视觉难题,韩晓光与童欣等人曾合作设计了一种基于骨架表达的新型三维几何深度学习算法,能够漂亮地实现对拓扑复杂的物体形状重建。这项成果(“A Skeleton-bridged Deep Learning Approach for Generating Meshes of Complex Topologies from Single RGB Images”)令会议审稿人眼前一亮,均给出了“Strong Accept”(强烈接收)的意见,入围了 CVPR 2019 最佳论文提名。除了复杂形状的物体,更大空间的场景重建也是一个重要任务。韩晓光提出的从单张图像完整重建室内场景的方法,结合场景理解和三维网格重建两种任务,能够自动生成房间布局、摄像机姿态、物体包围盒和三维网格,并完全恢复室内物体的几何信息。这篇论文(“Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes from a Single Image”)也同样得到了审稿人的一致好评,入围了 CVPR 2020 最佳论文提名。近两年,韩晓光最自豪的一项工作是与团队发表了一个包含 2078 个高清晰度三维服装点云模型的数据集 Deep Fashion 3D,是全球目前最大的真实三维服装数据集,获得了中国计算机图形学大会(Chinagraph)2020 年度的“图形开源数据集奖”。今年,他们又有一项服装三维重建的工作(Registering Explicit to Implicit: Towards High-Fidelity Garment mesh Reconstruction from Single Images)发表在了 CVPR 2022。对服装进行三维重建的难点在于衣服的褶皱细节,韩晓光提出的新型单幅图像三维服装重建方法,将显式网格与隐式形状的表示方法相结合,能够很好地重建出不同的服装类型以及丰富的几何细节,看起来也更逼真:近两年,许多研究工作也表明,图形学与视觉的相互借鉴能够带来许多新的想法。韩晓光从 2016 年研究 DeepSketch2Face 时开始接触深度学习与计算机视觉,逐渐对两个领域的共性与差异有更深的了解。他在基于深度学习的三维重建一块的工作,也体现了将两者融合的思考,是国内甚至全球较早研究这一方向的学者之一。这时候的韩晓光,实际上已从图形学的追随者,变为图形学的建设者。但相比起当初的肆意轻狂,如今的韩晓光却更谦卑、努力。他的学生常有这样的感受:前一天晚上他们才讨论工作到凌晨一点,第二天早上七点钟就又接到了他的消息。关于如何当一名学者,韩晓光也是受到图形学前辈的影响:2018 年那会,他刚当大学老师,到深圳大学参加一个图形学的会议。那时童欣也是参会者之一,他们坐同一辆大巴,韩晓光就坐在童欣旁边。他问童欣:“童姥,您研究图形学几十年,为什么还这么认真地听报告呢?”但童欣回答他:“其实我还有很多知识不懂,还要跟在座的讲者多学习。”童欣的谦卑与好学,给韩晓光的心中留下了很深的印象。他事后告诉 AI 科技评论:“像童姥这样研究图形学研究了几十年的学者都这么谦虚,都还在不断学习,我才刚入门没几年,有什么理由懈怠呢?”
4 元宇宙的热与冷韩晓光对图形学的敬畏与虔诚,也延续到了他对元宇宙热潮的思考上。这两年,几乎所有计算机的从业者都在关注元宇宙,Facebook 更是直接改名为 Meta。许多原本将 AI 作为招牌的企业,也纷纷往元宇宙上靠边,与之相关的图形学技术也受到了极大的追捧。此前韩晓光一直在学术圈活动,但近年来,他也感受到了工业界对元宇宙、甚至图形学的关注。目前,韩晓光的 GAP 团队也在与企业界合作,研究如何用图形学、视觉等知识来做虚拟人或虚拟场景。元宇宙的一个基础理念,就是要将现实的物理世界数字化,将人、物体、场景等等在虚拟世界中尽可能真实地还原,当下正火的虚拟人与虚拟场景正是构建元宇宙不可缺少的部分。本质上来说,图形学技术就是“造假”,能辅助生成虚拟世界中的内容,如前面韩晓光用图形学生成数字化的场景(房间、桌子、椅子),而且真实度更高。这一点在游戏中可以作证:早年我们玩的马里奥游戏画面是像素格子,引入图形学的技术后,现在的游戏画面可以做到十分流畅、逼真。但同时,韩晓光在讨论元宇宙时,也时刻保持着一种冷静的态度:元宇宙是一个概念,它的热度或许过两年就会消退,但图形学的研究却是一个要持续进行的工作,因为这项技术的研究门槛很高,理论突破也很难。这不仅是韩晓光从早年追逐 SIGGRAPH 的经历中所感悟到的,也是他对图形学技术有清晰思考的结论。
图注:现任港中深助理教授的韩晓光
图形学确实可以帮助构造元宇宙,但当前的技术还未发展成熟,距离所有人都能在虚拟的数字世界中使用图形学工具来创作内容的临界点还有很长的路要走,可能是五年,也可能是十年。比如,韩晓光与团队就常讨论元宇宙中的交互问题。早期的图形学也是解决用户与计算机的交互:例如,人类用户操作鼠标,从左到右在物理空间中划一根线,计算机要如何基于这一简单操作来理解人类想要“画一根线”的意图,就是图形学要解决的问题。而在元宇宙中,图形学要解决的问题比用户简单地画一条线更复杂,当前的图形学技术还无法让大多数人只用很短的时间就能在数字世界中操作。可以设想一下:假如你要在游戏《塞尔达传说》的大草原中建一栋房子,难度有多大?除了算法的精确度与“恐怖谷效应”外,研发成本也是要考虑的问题。就拿虚拟人来说,当前各个公司打造虚拟人都需要人类建模师予以辅助,造价高昂。所以,在元宇宙的浪潮中,韩晓光看到了机会,也看到了挑战。他告诉 AI 科技评论,站在他的角度,他自然希望能够用图形学、计算机视觉等知识来降低虚拟人、虚拟场景的研发成本,改进算法精度等等,但这需要时间。资本的耐心往往是有限期的。不过对韩晓光来说,他本就是从图形学少人问津的时候走到门庭若市,即使元宇宙明天就消退,他也还是会坚守在原有的位置上,做他本该做的事情,就是踏踏实实地做科研罢了。