Rohan Paul
@rohanpaul_ai
这对于开放 3D 生成非常有用。去年的尖端技术,今年开源
@Hi3D_AI 开源了 Hi3D v1.0(以前称为 Sparc3D),这是一种图像到 3D 模型,可以从各个角度结合在一起,并且在发布之前已经在 Hi3D 的实时产品中运行。
> 任何人都可以在自己的服务器上私下运行它,将其连接到他们的内部系统,并在其之上为其行业构建工具和应用程序。
> 代码和权重位于 GitHub 和 Hugging Face 上,免费使用,包括商业用途,
大多数图像转 3D 模型都是根据正面的外观来判断的,因此背面、底部以及翅膀、角和手柄等薄部件通常会出现斑点、破损或缺失。
Hi3D v1.0 获取图像加上粗略的草图形状(来自另一个模型的“粗网格”),并以 512、1024 和 1536 分辨率分 3 遍进行锐化。
这里的分辨率意味着物体周围的空间被分割成称为体素的微小立方体,基本上是 3D 像素,1536 意味着每边有 1536 个立方体。
完整的网格将容纳超过 3.6B 的立方体,因此模型工作稀疏,仅接触表面附近的立方体并跳过空的空气和内部的固体。
在每次传递中,“自修剪”解码器都会以 8 倍精细的比例重建表面,并丢弃空的立方体。
训练数据从 50 万个增加到约 200 万个精选 3D 资产。
与其他 8 个图像转 3D 模型(包括 TRELLIS.2 和 Hunyuan3D-2.1)相比,它在多视图保真度 (0.75) 和细节丰富度 (0.841) 方面得分最高,多视图保真度通过 6 个摄像机角度检查形状是否保持一致且完整,细节丰富度 (0.841) 对精细表面浮雕和小零件进行分级。
它还保持了 90% 的切片成功率,即 3D 打印机软件可以切割成打印层的模型份额,而 Pixal3D(唯一的其他模型,为 1536)为 7%,TRELLIS.2 为 17%。
在 13 名具有专业 3D 经验的人进行的 562 次并行评分中,Hi3D v1.0 的选择率为 83.5%。
它仅输出形状(无颜色或纹理),需要 NVIDIA GPU,并且代码和权重可免费用于商业用途,最多可容纳 20 万每月用户或每月收入 100 万美元。
Hi3D 1.0现已开源
https://www.hi3d.ai/hi3d-1-0-open-source