SAM 3D 的常見問題解答
SAM 3D 與原始 SAM 之間有什麼區別？
原始的 SAM (Segment Anything Model) 是一種通用圖像分割框架，可為任何被查詢的物件預測像素遮罩。SAM 3D 在此基礎上擴充了體素推理，能於單張 2‑D 圖像中重建 3‑D 幾何、紋理與姿勢。雖然 SAM 僅產生 2‑D 遮罩，SAM 3D 則輸出可完整渲染的網格，支援 .OBJ、.GLB 以及專為人體設計的新 Meta‑Momentum Human Rig (MHR) 格式，實現從照片到互動式 3‑D 資產的無縫過渡。
SAM 3D 能處理影片輸入嗎？
SAM 3D 主要針對靜止影像；它並未原生處理多幀影片流。然而，你可以逐幀套用模型，產生一連串 3‑D 網格。對於即時影片管線，使用者通常將模型嵌入自訂工作流程，逐幀擷取、為每幀觸發模型，並利用外部時序一致性工具拼接生成的網格。
模型是否開源，可供商業使用？
是的。SAM 3D 以 Apache 2.0 许可证發布，允許在商業產品中免費使用、修改與分發。所有預訓練權重與推理程式碼均公開可用，除標準授權聲明外，無需支付任何版稅或使用費。使用者可將 SAM 3D 功能嵌入專有流程，或將匯出的 3‑D 資產整合於商業遊戲、AR/VR 體驗或電商平台。
執行 SAM 3D 需要什麼硬體？
官方參考系統建議使用至少 12 GB VRAM 的 NVIDIA GPU 以完成全規模推理；但在 CPU 上執行較小影像時亦可工作，延遲更高。使用者已於消費級 GPU（RTX 3060/3070，約 7 GB VRAM）上部署模型，處理中等解析度影像。雲端部署 (AWS、GCP、Azure) 利用 GPU 實例可將處理速度提升數十倍，於大資料集上實現即時使用。
SAM 3D Body 中的 MHR 格式是什麼？
MHR (Meta Momentum Human Rig) 是一種開源網格格式，專為人體重建而設計。它將骨骼層級與軟組織表面網格分離，便於绑定、動畫與物理模擬。MHR 檔案包含關節位置資料、逆向運動學約束與適合匯入 Unity、Unreal Engine 或 Blender 的表面幾何，簡化 3‑D 人體動畫工作流。
我在哪裡能下載 SA‑3DAO 資料集？
SA‑3DAO (SAM 3D Artist Objects) 資料集包含超過 100 萬張真實世界圖像，已使用經驗證的 3‑D 網格標註，公開可用並採用開源授權。研究人員可直接自 Hugging Face 專案倉庫或官方 GitHub 發行頁下載。資料集涵蓋圖像與網格鏈接，已格式化方便用於訓練新模型或微調現有 SAM 3D 權重。
SAM 3D 在重建物件時如何處理遮擋？
SAM 3D 采用先進的推理邏輯，能為部分遮擋的物件推斷可行的背面幾何。藉由利用數百萬標註樣本學習到的先驗，模型會在保持語義一致性的同時「虛構」缺失的網格部分，使得即使關鍵部件不可見亦能進行精確重建，輸出完整可渲染的 3‑D 網格。
SAM 3D 支援哪些 3‑D 輸出格式？
重建後，SAM 3D 可匯出多種行業標準格式：.OBJ 用於靜態幾何，.GLB/GLTF 以高效即時渲染，FBX 用於更廣泛的 3‑D 管線，以及 MHR 用於人體。使用者即能將其匯入 Blender、Unity、Unreal Engine 或嵌入基於 Web 的查看框架。
在現代 GPU 上，SAM 3D 的典型推理速度為多少？
在單張 RTX 3090 GPU 上，SAM 3D 於 512×512 RGB 圖像大約需 1–2 秒，生成高保真網格。推理時間隨圖像解析度線性成長；1000×1000 圖像可能需要 4–5 秒。CPU 推理雖可行但速度更慢，8 核 Intel i9 處理器約需 15–20 秒每張圖像。批次處理與 GPU 基礎管線可降低高吞吐量場景的延遲。
SAM 3D Body 的人體姿勢估計多準確？
SAM 3D Body 取得了最先進的精度，在挑戰性姿勢與遮擋情境下優於現有方法。對 Human3.6M、MPII 等標準人體姿勢資料集的基準測試顯示，每個關節的平均誤差低於 3 cm，且對地面真值網格的擬合更優。MHR 格式中骨架結構與軟組織的分離進一步提升可解釋性與動畫保真度。
SAM 3D 能否整合至 Blender 進行自動化資產建立？
可以。SAM 3D 資產可透過 .OBJ 或 .GLTF 匯入 Blender。Blender 插件或腳本可自動化匯入、材質分配與場景布局流程。使用者還可利用 Blender 的雕刻工具進一步完善幾何，或使用 MHR 檔案中內建骨架為人體網格绑定。Python 集成亦可實現端到端流水線：執行 SAM 3D 推理並立即於 Blender 中開啟進行後處理。
如何使用 SAM 3D
- SAM 3D 是一款基於網頁的工具，能夠從單張 RGB 圖像生成高品質的 3D 模型，支援任意物體和人體，並使用 Meta 的開源 SAM 3D 模型。
- 前往 SAM 3D Playground，或從 SAM 3D GitHub 下載倉庫以啟動互動式會話。
- 在瀏覽器中上傳任何標準 RGB 圖像；右上角會顯示一個截圖佔位符，顯示上傳按鈕。
- 點選感興趣區域；SAM 3D 會自動生成分割遮罩，以確認所選的物件或人物。
- 按下「Generate 3D Mesh」按鈕；模型會推斷幾何、紋理與姿態，在數秒內提供高品質網格，並可在預覽窗格中查看。
- 檢查渲染後的網格，以評估遮蔽處理和形狀精度；近距離觀察可顯示不同光照與角度下的連貫性。
- 以標準格式（.OBJ、.GLB 或 MHR）匯出資產；下載連結會顯示在預覽下方，可直接導入 Blender、Unity 或 Unreal。
- 如需編程使用，請從 SAM3D GitHub 倉庫載入 SAM 3D Body 或 Objects 模型，調用「predict」API 並傳入圖像張量與遮罩。
