Modly:把图片变 3D 模型这件事,能不能完全跑在本地 GPU 上
一个看起来”没什么了不起”的项目
lightningpixel/modly 的描述看起来很简单:
> Desktop app to generate 3D models from images using local AI — runs entirely on your GPU
图片转 3D 模型这件事,Tripo、Meshy、Rodin 这些在线服务已经做了很久了。为什么一个本地版值得 +221 stars 上 trending?
答案藏在三个细节里。
细节一:它不是”一个模型”,是”一个工作流引擎”
看 README 的 Extension System 部分,你会发现 Modly 的真正定位不是”跑某个模型”,而是”一个可以插任意模型的 3D 生成工作流引擎”。
目前支持的官方扩展:
| 扩展 | 模型 |
|---|---|
| hunyuan3d-mini-extension | Hunyuan3D 2 Mini |
| hunyuan3d-mini-turbo-extension | Hunyuan3D 2 Mini Turbo |
| hunyuan3d-mini-fast-extension | Hunyuan3D 2 Mini Fast |
| triposg-extension | TripoSG |
| trellis2-gguf-extension | Trellis2 GGUF |
注意:这些扩展来自不同的研究团队(腾讯、Tripo、Stanford),但都能在 Modly 里统一运行。这意味着用户不需要为每个模型装一套独立软件,也不需要学不同的 API。
更关键的是 README 里提到的 Workflows:
> Image -> Generate Mesh -> Add to Scene
这不是”点一下生成”的玩具,是可视化工作流——你可以把多个步骤串起来,比如”图片 → 生成 mesh → 平滑 → 减面 → 导出”。每个步骤可以换不同模型。
细节二:GGUF 量化,让大模型跑在消费级 GPU 上
扩展列表里的 trellis2-gguf-extension 特别值得注意。GGUF 是 llama.cpp 生态的量化格式,原本用于让大语言模型在普通电脑上运行。Modly 把它用到了 3D 生成模型上。
Trellis2 是一个高质量的 3D 生成模型,但完整版需要大量显存。GGUF 量化后,可以在消费级 GPU(比如 8GB 显存的 RTX 4060)上运行。这是”模型本地化”的关键技术路径——不是让用户买专业显卡,而是让现有设备能跑。
细节三:CLI 接口,让 Agent 能调用
README 最后一段提到了 Modly CLI:
python tools/modly-cli/agent.py generate –image ./input.png –output ./export.glb
这个设计意味着 Modly 不只是桌面应用,它还能被 AI Agent 调用。一个 Claude Code 或 Codex Agent 可以通过 CLI 把图片扔给 Modly,等它生成 3D 模型,然后继续处理。
这和 obsidian-skills 是同一个思路——给 AI Agent 提供操作工具的接口。区别在于 obsidian-skills 用的是 Agent Skills 规范,Modly 用的是传统 CLI。但两者都意识到:未来工具的价值不只在于人能用,还在于 Agent 能调用。
为什么”本地”这件事重要?
图片转 3D 模型的在线服务通常按次收费,每次几毛到几块不等。对于个人开发者或小工作室,这个成本会累积。但更关键的不是钱,而是:
1. 数据隐私:产品原型图、设计稿不想上传到第三方服务 2. 迭代速度:本地生成不需要等网络传输,调参后立刻看到结果 3. 离线能力:没有网络也能干活
Modly 的定位是”给需要批量生成 3D 模型、又不想用云服务的人”。
和 ComfyUI 的关系
README 提到:
> experimental comfy-image / experimental generate-from-workflow are external ComfyUI orchestration helpers
Modly 可以调用 ComfyUI 作为后端。这意味着如果你已经在 ComfyUI 里搭好了 3D 生成工作流,Modly 可以作为更友好的前端。ComfyUI 的节点图强大但对非技术用户不友好,Modly 提供了更简洁的 UI 层。
一个值得追问的问题
Modly 的扩展系统很灵活,但有个问题:每个扩展都需要用户手动从 GitHub 安装。这和 ComfyUI 的 Custom Nodes 机制类似——灵活但门槛高。
如果 Modly 想触达更广的用户群,它需要一个”扩展市场”——一键安装、版本管理、依赖检查。目前 README 描述的流程是”输入 GitHub URL → 确认 → 下载模型”,对技术用户够用,对普通用户还是有点门槛。
对行业的启示
Modly 代表了一个趋势:AI 生成工具正在从”在线服务”走向”本地应用”。
这个路径和图像生成走过的路一样——Midjourney 在线火爆,然后 Stable Diffusion 让本地生成成为可能,最后 ComfyUI 把工作流引擎化。3D 生成正在走同样的路,只是晚了两年。
Modly 的位置类似于 3D 生成领域的 ComfyUI——不是做最好的模型,而是做最好的”模型运行器”。
数据
– 仓库:lightningpixel/modly – 今日 +221 stars – 平台:Windows、Linux、Apple Silicon macOS – 技术栈:TypeScript(前端)+ Python(后端 FastAPI) – 许可证:未在 README 明确标注 – 官网:modly3d.app
—
Modly 的核心赌注是:3D 生成正在重走图像生成的路——从云端走向本地,从”一个模型”走向”工作流引擎”。如果赌对了,它就是 3D 生成领域的 ComfyUI。
