SAM 3D 常见问题解答

什么是 SAM 3D 与原始 SAM 之间的区别？

原始的 SAM（Segment Anything Model）是一种通用的图像分割框架，可为任何查询对象预测像素掩码。SAM 3D 在此基础上加入了体素推理，能够从单张 2‑D 图像重建 3‑D 几何、纹理和姿态。虽然 SAM 仅生成 2‑D 掩码，SAM 3D 则输出可完整渲染的网格，支持 .OBJ、.GLB 以及新推出的 Meta‑Momentum Human Rig（MHR）格式用于人类身体。这使得从照片到交互式 3‑D 资产的无缝转化成为可能。

SAM 3D 能处理视频输入吗？

SAM 3D 主要针对静止图像；它并未原生处理多帧视频流。然而，你可以逐帧应用模型，得到一系列 3‑D 网格。对于实时视频管线，用户通常将模型嵌入自定义流程，逐帧捕获、为每帧触发模型，并利用外部时序一致性工具拼接生成的网格。

该模型是否开放源码，可用于商业用途？

是的。SAM 3D 以 Apache 2.0 许可证发布，允许在商业产品中免费使用、修改和分发。所有预训练权重和推理代码均公开可用，除了标准许可证声明外，无需支付任何版税或使用费。用户可将 SAM 3D 函数嵌入专有流程，或将导出的 3‑D 资产整合到商业游戏、AR/VR 体验或电商平台。

运行 SAM 3D 需要什么硬件？

官方参考系统建议使用至少 12 GB VRAM 的 NVIDIA GPU，以完成全规模推理；但在 CPU 上运行较小图像时也可工作，延迟更高。用户已在消费者级 GPU（RTX 3060/3070，约 7 GB VRAM）上部署模型，处理中等分辨率图像。云端部署（AWS、GCP、Azure）利用 GPU 实例可将处理速度提升数十倍，在大数据集上实现实时使用。

SAM 3D Body 中的 MHR 格式是什么？

MHR（Meta Momentum Human Rig）是一种开源网格格式，专为人类身体重建而设计。它将骨骼层级与软组织表面网格分离，便于绑定、动画和物理模拟。MHR 文件包含关节位置数据、逆向运动学约束以及适合导入 Unity、Unreal Engine 或 Blender 的表面几何，简化了 3‑D 人体动画流水线。

我在哪里可以下载 SA‑3DAO 数据集？

SA‑3DAO（SAM 3D Artist Objects）数据集包含超过 100 万张真实世界图像，已用经过验证的 3‑D 网格标注，公开可用并采用开源许可。研究者可直接从项目的 Hugging Face 仓库或官方 GitHub 发布页下载。数据集包含图像和网格链接，格式化方便用于训练新模型或微调现有 SAM 3D 权重。

---

SAM 3D 在重建对象时如何处理遮挡？

SAM 3D 采用先进的推理逻辑，能够为部分遮挡的对象推断可行的背面几何。通过利用数百万注释样本学习到的先验，模型会在保持语义一致性的同时“虚构”缺失的网格部分。这使得即使关键部件不可见，也能实现精确重建，输出完整可渲染的 3‑D 网格。

SAM 3D 支持哪些 3‑D 输出格式？

重建后，SAM 3D 可以导出多种行业标准格式：.OBJ 用于静态几何，.GLB/GLTF 以高效实时渲染，FBX 用于更广泛的 3‑D 管线，以及 MHR 用于人体。用户可立即将其导入 Blender、Unity、Unreal Engine，或嵌入基于 Web 的查看框架。

SAM 3D 在现代 GPU 上的典型推理速度是多少？

在单张 RTX 3090 GPU 上，SAM 3D 在 512×512 RGB 图像上大约需要 1–2 秒，生成高保真网格。推理时间随图像分辨率线性增长；1000×1000 图像可能需要 4–5 秒。CPU 推理可行，但速度更慢，8 核 Intel i9 处理器约需 15–20 秒每张图像。批处理及基于 GPU 的管线可降低高吞吐量场景的延迟。

SAM 3D Body 的人体姿态估计有多准确？

SAM 3D Body 取得了最先进的精度，在挑战性姿势和遮挡场景下优于现有方法。对 Human3.6M、MPII 等标准人体姿态数据集的基准测试显示，每个关节的平均误差低于 3 cm，且对地面真值网格的拟合更优。MHR 格式中骨架结构与软组织的分离进一步提升了可解释性和动画保真度。

SAM 3D 能否集成到 Blender 进行自动化资产创建？

可以。SAM 3D 资产可通过 .OBJ 或 .GLTF 导入 Blender。Blender 插件或脚本可自动化导入、材质分配和场景布局流程。用户还可以利用 Blender 的雕刻工具进一步完善几何，或使用 MHR 文件中内置的骨架为人体网格绑定。Python 集成也可实现端到端流水线：运行 SAM 3D 推理并立即在 Blender 中打开进行后处理。

• SAM 3D 是一款基于网页的工具，可以仅凭一张 RGB 图像生成高质量的 3D 模型，支持任意物体和人物，采用 Meta 的开源 SAM 3D 模型。
• 访问 SAM 3D Playground 或者从 SAM 3D GitHub 克隆仓库，开始交互式会话。
• 在浏览器中上传任何标准 RGB 图像；截图占位符会在右上角显示上传按钮。
• 点击感兴趣的区域，SAM 3D 会自动生成分割掩码，以确认所选对象或人物。
• 点击“Generate 3D Mesh”，模型会推断几何、纹理和姿态，几秒钟内生成高质量网格，在预览窗格中可见。
• 检查渲染网格，评估遮挡处理和造型精度；放大视图显示光照和角度变化下的一致性。
• 以标准格式 (.OBJ、.GLB 或 MHR) 导出资产；下载链接会显示在预览下方，可在 Blender、Unity 或 Unreal 中使用。
• 若需程序化使用，可从 SAM3D GitHub 仓库加载 SAM 3D Body 或 Objects 模型，使用 “predict” API 传入图像张量和掩码。