Redian新闻
>
4K画质3D合成视频,渲染速度提升30多倍,论文作者带你解读新研究

4K画质3D合成视频,渲染速度提升30多倍,论文作者带你解读新研究

公众号新闻


现实生活中,我们接触的大多数视频都是 2D 的。在观看这种视频时,我们是没有办法选择观看视角的,比如走到演员中间。近年来,VR、AR 设备的出现弥补了这一缺陷,它们提供的 3D 视频允许我们变换视角、甚至随意走动,沉浸感大大提升。

近段时间,基于神经辐射场的动态自由视点方法在渲染质量上取得了很大的进步,但由于这类方法很难避免神经网络查询和后向的射线步进算法,其在高分辨率下的渲染速度仍然是一个挑战。

为了解决这一问题,来自浙江大学、像衍科技和蚂蚁集团的研究者在一篇题为「4K4D: Real-Time 4D View Synthesis at 4K Resolution」的论文中,提出了一种名为 4K4D 的点云表示方法,大大提升了高分辨率 3D 动态场景合成的渲染速度。

这是一种支持硬件光栅化的 4D 点云表示:通过重新设计几何、外观和渲染算法,“4K4D” 在渲染阶段无需进行神经网络查询和射线步进,取得了前所未有的渲染速度。“4K4D” 的几何表示是基于 4D 特征网格构建的,因此点云的优化过程可被自然的规范化。此外,该研究还设计了一种新的混合外观模型,在保持渲染速度的同时大幅提高渲染质量。最后,该研究开发了一种可微的深度剥离算法以有效的从多目 RGB 视频中学习所提出的模型。

实验表明,在单卡 4090 上,本文方法可在 1080P 分辨率的人体数据集上达到 400FPS,并在 4K 分辨率的全场景数据集上保持 80FPS。在提升渲染速度近 30 倍的情况下保持最佳的渲染质量。

为了更好的帮助大家了解这项研究,机器之心最新一期线上分享邀请到了论文作者之一徐震,为大家解读他们近期的工作 4K4D。


分享主题:4K4D:4K 分辨率下动态 3D 场景的实时自由视点合成

嘉宾简介:徐震是浙江大学 CAD&CG 实验室的二年级博士生,是实验室三维视觉课题组的成员,师从周晓巍研究员。他的主要研究方向是动态自由视点合成,动态场景重建与数字人算法。

分享摘要:本次分享介绍的是在 3D 动态实时自由视点合成问题上的最新工作:“4K4D:4K 分辨率下动态 3D 场景的实时自由视点合成”。“4K4D” 是一种可在 4K 分辨率下高保真的渲染动态 3D 场景的自由视点合成算法。

相关链接:

  • 论文链接:https://arxiv.org/abs/2310.11448
  • 项目链接:https://zju3dv.github.io/4k4d/
  • GitHub 链接:https://github.com/zju3dv/4K4D

直播间:关注机器之心机动组视频号,立即预约直播。


交流群:本次直播有 QA 环节,欢迎加入本次直播交流群探讨交流。



机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动欢迎所有 AI 领域技术从业者加入
  • 点击阅读原文,访问机动组官网,观看往期回顾;

  • 关注机动组服务号,获取每周直播预告


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
假期涨价60多倍,民宿“节日保护价”合理吗网络规模、训练学习速度提升,清华团队在大规模光电智能计算方向取得进展男女平等---还要等多久?一张照片生成视频,张嘴、点头、喜怒哀乐,都可以打字控制风雨之夜澳铸币局发行女王纪念币,民众排队抢购!“身价”飙升700多倍,专家:恐将绝版联手 OpenAI 最强竞对展开生成式 AI 反击战:亚马逊云科技将 S3 写入速度提升 10 倍、推出全新三层技术栈Gen-2颠覆AI生成视频!一句话秒出4K高清大片,网友:彻底改变游戏规则纽约电费暴涨,大幅度提升9%,天然气提升8.5%!线上活动邀请 | 聚焦衍生品估值调整:解读新规、展望未来速度提升30%,Astro 3.0正式发布红色日记 10.21-31爆火!清华提出LCM火了!让实时文字生成图像速度提升5-10倍,浏览超百万!性价比提升30%+,火山引擎第三代AMD实例ECS g3a邀测上线4K画质3D合成视频不再卡成幻灯片,新方法将渲染速度提高了30多倍实时文生图速度提升5-10倍,清华LCM/LCM-LoRA爆火,浏览超百万、下载超20万“九章三号”来了!速度提升一百万倍,再创世界纪录【租房】1.1入住|翻新|优质3b2b 4200夫妻联手一年内性侵狗狗5次,还拍成视频,最终被捕了!一张邮票200万!24美分的“颠倒飞机”天价售出 身价翻涨8300多倍高清视频竟不是真的,几张照片渲染的3D场景让你难辨真伪我们的一年(6)外星世界外星人有史以来最快的半导体,能将芯片速度提升千倍“网文作者文化水平不高的瞬间...”看完我傻眼了!《编织梦幻的人·恩斯特篇之二》骁龙8 Gen 3处理器发布:CPU性能提升30%、GPU提升25%报名即将截止 | 聚焦衍生品估值调整:解读新规、展望未来CVPR 2023最佳论文作者李弘扬:端到端自动驾驶的前景与挑战只改了五行代码接口吞吐量提升了 10 多倍性价比提升30%+,火山引擎第三代AMD实例 ECS g3a邀测上线麒麟软件虚拟 GPU 方案 V2.0 发布,3D 渲染性能提升至 80% 以上离谱!民宿价格暴涨60多倍,商家自己也蒙了……单点端到端文本检测识别框架速度提升19倍!华科、华南理工等联合发布SPTS v2Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快付费成本降80%、首日ROI提升300%,IAP小游戏真火了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。