复旦发布公开匿名评测平台：3D生成模型同台竞技，魁首究竟花落谁家！

近两年，得益于 Diffusion 模型在 2D 领域取得的巨大成功以及 Objaverse 系列大规模 3D 数据集的开源，3D 物体生成领域已经进入迅速发展阶段，3D 生成模型数量激增。那么，他们的生成质量究竟如何呢？

目前已有的 3D 评测体系大多采用基于 Clip 的方法，在准确性、全面性和鲁棒性方面面临着许多挑战。基于学习的自动评测体系则受到数据的制约，另一方面，语言和图像领域为我们提供了人工评测方式的新思路。

同时，为了给社区提供一些直觉上的启发，我们推出 3DGen-Arena，一个公开、匿名的评测平台，集成了目前流行的 19 个开源 3D 生成模型（包括 9 个文生 3D 模型和 13 个图生 3D 模型，详情参看下图）。在展示形式上，我们同时提供 3D 资产的法线图、无纹理几何图、以及贴纹理 RGB 图的 360° 环绕视频。通过将几何和纹理解耦开来，满足参与者不同的关注重点。

👇👇👇 快来pick你喜欢的模型吧！

鉴于 3D 生成任务的复杂性，我们认为单一的评价维度并不能够满足所有需求。因此，我们划分为了以下 5 个独立的维度，进行多维度、全方位的评估，并沿用两两比较的方式，为所有参与的模型确定排名顺序。

1. 几何合理性：一个优秀的 3D 生成模型需要具备广泛且合理的 3D 几何先验知识。

2. 几何精细度：提升几何精细度是提升 3D 生成质量的重要方向。注意到，现有的技术在生成细节的同时往往无法避免噪声的引入，因此，我们认为将精细度和合理性解耦开来，是需要的。

3. 纹理质量：纹理贴图的质量将直接影响 3D 资产的视觉效果，主要包括纹理贴图的美学水平、视角间一致性程度、以及是否存在伪影。

4. 几何-纹理一致性：在真实世界中，几何-纹理的一致性常常被忽略。但在生成过程中，我们发现并不总是能保证一致的贴图。

5. 文本/图像- 3D 一致性：与输入条件相一致是条件生成任务的基本要求。

除了匿名模型投票外，我们还允许参与者指定模型进行比较，以及与单个模型交互，满足社区的多样需求。考虑到部分文生 3D 模型漫长的训练时长，以及我们复杂的数据后处理，目前 3DGen-Arena 暂不支持开放式输入的在线生成。

但是，我们为社区准备了 1w+ 个 3D 模型，分别由 1k+ 条不同的 prompt 引导生成（文生 3D 和图生 3D 各 500 余条），涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等 6 大基础类别，囊括了绝大多数的常见物品。

另外，为了观察 3D 生成模型对 prompt 复杂程度的敏感程度，除了单个物体生成外，我们进一步设计了不同物体间的多种排列组合方式，交互方式，以及一些“微场景”。

3D 生成领域是 3D 视觉领域的重要分支，无论是在学界还是业界，都有着广泛的应用前景和发展潜力。面对生成模型的不断推陈出新，一个全面、有效、鲁棒的评价体系是迫切需要的。一方面， 通过质量评测，深入理解现有生成模型的优缺点，有助于挖掘潜在的发展方向，进而指导模型改进和新算法的开发，不断探索 AIGC 的能力边界；另一方面，多维度的 3D 质量评测对实践应用有指导性作用， 便于针对不同的下游需求，把握关键维度，权衡次要维度。

现阶段，自动评价体系的提出仍面临极大挑战，需借助人工评测的帮助。如果你正在从事 3D 生成领域，或者对 3D 生成任务感兴趣，欢迎持续关注并使用我们的平台：

https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

我们将继续增添更多的开源、甚至闭源模型；定期维护、更新排名榜；上线支持开放式输入的在线生成服务，敬请期待！

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧