「小墨是前端」专注分享前端技术，推荐优秀的开源项目，展示 Github、Gitee 上的创意作品，带你深入前端底层，一起成长。#前端 #开源项目 #GitHub #TRELLIS #3D生成
大家好啊，我是你们的老朋友小墨！最近，我在 GitHub 瞎逛的时候，发现了一个来自微软的宝藏项目，必须得拿出来和大家分享一下！这个工具的名字叫做 TRELLIS，一个超级强大的 3D 内容生成模型。想象一下，只要你给它一段文字描述，或者一张图片，它就能给你变出一个栩栩如生的 3D 模型出来，简直不要太酷！
简介：TRELLIS 是什么来头？
TRELLIS，这个名字听起来就很有科技感，它是一个大型 3D 资产生成模型。所谓“大型”，可不是吹的，人家可是基于一个包含 50 万个多样化对象的庞大数据集训练出来的，参数量高达 20 亿！说人话就是，TRELLIS 见多识广，肚子里有货，能生成各种各样的 3D 模型，而且质量还贼高！
用官方的话说，TRELLIS 的核心是一个叫做统一结构化潜变量（Structured LATent，简称 SLAT）的表示，以及为其量身定制的整流变换器（Rectified Flow Transformers）。简单来说，SLAT 就像是一个 3D 模型的“DNA”，可以被解码成各种不同的输出格式，比如辐射场（Radiance Fields）、3D 高斯（3D Gaussians）和网格（meshes）。而整流变换器呢，则是负责生成这个“DNA”的幕后功臣。
功能特点：TRELLIS 有啥厉害的？
- 生成质量高：TRELLIS 生成的 3D 模型，细节满满，无论是形状还是纹理，都相当逼真。
- 支持多种输入输出：TRELLIS 不仅支持文本输入，还支持图片输入。并且，它可以生成多种不同的 3D 表示形式，你可以根据自己的需要选择合适的格式，简直不要太贴心！
- 灵活编辑：这可太牛了！TRELLIS 生成的模型不是死板的，你可以对它进行编辑，比如生成同一个物体的不同变体，或者对模型的局部进行修改。
使用方式：三步走，玩转 TRELLIS！
想要体验 TRELLIS 的魔力？简单几步就能搞定！
- 安装环境：按照 GitHub 上的说明，先把环境配置好，准备一个至少有 16GB 显存的 NVIDIA 显卡。
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
. ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast这个过程可能需要等一会，别着急，好东西值得等待！
- 加载模型：TRELLIS 提供了预训练模型，你可以直接从 Hugging Face 上加载，或者下载到本地再加载。目前已开放的是基于图像的TRELLIS-image-large模型。
from trellis.pipelines import TrellisImageTo3DPipeline
# 从 Hugging Face 加载模型
pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
pipeline.cuda()- 生成模型：准备好你的输入（图片或文本），然后运行代码，见证奇迹的时刻！
import imageio
from PIL import Image
from trellis.utils import render_utils
# 加载一张图片
image = Image.open("assets/example_image/T.png")
# 运行 pipeline
outputs = pipeline.run(image, seed=1)
# 渲染输出结果
video = render_utils.render_video(outputs['gaussian'][0])['color']
imageio.mimsave("sample_gs.mp4", video, fps=30)执行完代码，你就能得到一个 sample_gs.mp4 文件，里面是一个 3D 高斯表示的视频。是不是超级简单？
项目动态
我看了下，这个项目最近还挺活跃的，开发者们正在紧锣密鼓地完善它。比如前几天，他们刚刚实现了多图像条件输入功能，并且新增了高斯导出选项。不过，多图像条件输入功能目前还不是最佳状态，对某些输入图像可能效果不太好，但后续应该会持续优化。
项目地址
https://github.com/microsoft/TRELLIS
总结
TRELLIS 是一个非常有潜力的 3D 生成工具，它不仅功能强大，而且使用方便，对我们开发者来说，简直就是福音啊！虽然目前还有一些需要完善的地方，但我相信，随着项目的不断发展，TRELLIS 一定会变得越来越好用。
创作不易，欢迎大家关注、点赞、收藏、转发！我会继续分享高质量的干货和前沿的技术，给大家提供更多有价值的内容！” #技术分享 #人工智能 #AIGC #3D #编程