3D 版 SORA 来了！DreamTech 推出全球首个原生 3D-DiT 大模型 Direct3D

文章预览

机器之心发布 机器之心编辑部 2024 年 5 月，DreamTech 官宣了其高质量 3D 生成大模型 Direct3D，并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。 链接： https://arxiv.org/abs/2405.14832 这是首个公开发布的原生三维生成路线的 3D 大模型，通过采用 3D Diffusion Transformer (3D-DiT)，解决了长期以来困扰行业的高质量三维内容生成难题。 坚持原生 3D 技术路线并取得突破 此前，3D AIGC 通常采用的技术路线是 2D-to-3D lifting，即通过 2D 图像模型升维得到 3D 模型，代表性方案包括早期以 Google 公司提出的 DreamFusion 为代表的 Score Distillation Sampling (SDS) ，以及以 Adobe 公司提出的 Instant3D 为代表的 Large Reconstruction Model (LRM)。虽然 3D 数据被逐步引入模型训练过程以提升质量，但 2D 升维技术存在多头多面、空腔、遮挡等固有问题，现有解决方案难以 ………………………………