Stability AI与VAST推出TripoSR:快速3D建模新时代,0.5秒生成3D模型

慈云数据 2024-03-18 技术支持 57 0
前言

人工智能领域,3D内容生成技术正迅速成为创新的前沿。最近,Stability AI与华人团队VAST联合推出的TripoSR模型,标志着3D建模进入了一个新的快速时代。此次合作不仅展示了技术的飞跃发展,也为开发者和创意工作者提供了前所未有的便利。

  • Huggingface模型下载:https://huggingface.co/stabilityai/TripoSR

  • AI快站模型免费加速下载:https://aifasthub.com/models/stabilityai/TripoSR

    技术突破

    TripoSR模型能在仅需0.5秒的时间内,从单张图片生成高质量的3D模型,而且无需GPU支持就能运行。这一创新的背后是一系列复杂的算法和数据处理技术的结合。TripoSR的灵感来源于Adobe于2023年11月提出的LRM技术,该技术通过将3D模型生成任务转化为序列到序列的翻译任务,实现了快速且高质量的3D内容生成。

    LRM 突破性地将图生 3D 模型任务表述成了一个序列到序列的翻译任务 —— 把输入图像和输出的 3D 模型分别想象成两种不同的语言,图生 3D 任务可以被理解为把图像语言翻译成 3D 模型语言的过程。图像语言中的 “单词”(类比语言模型的 token 和视频模型的 patch)是用户输入图像切分成的一个个小块;而在 LRM 方法中,3D 模型语言的 “单词” 是一种被称为 “三平面(triplane)” 的三维表示中的一个个小块,LRM 做的事情就是把图像语言中的 “单词” 翻译成 3D 模型语言中的 “单词”,实现输入图像输出 3D 模型。

    在 transformer 架构的支撑下,LRM 在一百余万公开三维数据上进行了训练,展示出了现象级的图生 3D 效果和效率,因此在学界、业界均引起了很大的轰动。然而其相关代码和模型均不开源,巨大的训练代价(128 块 A100 运行一周)也令小型研究组织望而生畏,这些因素极大阻碍了该项技术的平民化发展。

    本次 Tripo AI 和 Stability AI 联合共同推出了首个 LRM 的高质量开源实现 - TripoSR,可以几乎实时根据用户提供的图像生成高质量的三维模型,极大地填补了 3D 生成式人工智能领域的一个关键空白。

    技术优势

    TripoSR模型不仅在速度上超越了现有的图像到3D模型的技术,其生成的3D模型在质量上也有显著提升。通过对Objaverse数据集的精细筛选和渲染,以及模型和训练的技术改进,TripoSR在有限训练数据中展现了出色的泛化能力和3D重建的保真度。

    应用领域

    TripoSR模型的推出,为电影制作、游戏开发、工业设计和建筑规划等领域带来了新的机遇。快速生成3D模型的能力使得从创意构思到成品展示的过程大大缩短,为行业提供了巨大的时间和成本效益。此外,无需GPU的特性使得更多小型团队和个人开发者能够进入此前成本较高的3D内容创作领域。

    未来展望

    随着TripoSR模型的开源,3D内容生成领域预计将迎来快速发展的新阶段。Stability AI和VAST团队的合作不仅推动了技术进步,也为整个行业提供了新的思路和可能性。展望未来,随着技术的不断完善和应用的深入,3D内容生成将在更多领域发挥重要作用,开启更加丰富多彩的数字世界。

    通过这项创新,Stability AI与VAST不仅定义了3D建模技术的新标准,也为未来的数字创作和虚拟现实提供了强大的基础。随着TripoSR模型的应用不断拓展,我们有理由相信,快速、高效、高质量的3D内容生成将成为新常态,进一步推动创意产业和数字经济的发展。

    模型下载

    Huggingface模型下载

    https://huggingface.co/stabilityai/TripoSR

    AI快站模型免费加速下载

    https://aifasthub.com/models/stabilityai/TripoSR

微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon