SAM 3D

단일 이미지에서의 3D 재구성

한 장의 RGB 사진으로부터 상세한 메쉬, 텍스처, 포즈 데이터를 생성하여 디자인, 전자상거래, 대화형 장면 등에 고품질 3D 모델을 즉시 만들 수 있습니다.

대화형 프롬프트 선택

사용자가 객체나 사람을 클릭하면 분할 마스크를 확인하고 재구성할 요소를 제어할 수 있어 작업 흐름을 간소화하고 오류를 줄입니다.

실시간 빠른 추론

로컬 GPU 없이 수 초 만에 이미지를 처리하며 브라우저 기반 환경을 제공해 설치 없이 자산 생성을 가속화합니다.

씬 인식형 객체 재구성

혼잡한 실제 환경을 처리하며 개별 객체의 기하학과 레이아웃을 추론합니다. “룸에서 보기” 애플리케이션 및 씬 편집에 유용합니다.

Meta Momentum Human Rig (MHR)로 인물 디지털화

뼈대 구조를 연성 조직에서 분리해 가려짐이나 비전형 포즈에서도 애니메이션 가능한 3D 인간 모델을 만듭니다.

표준 3D 포맷으로 내보내기

.obj, .glb, MHR 형식의 메쉬를 제공해 Blender, Unity, Unreal Engine 등으로 원활하게 가져올 수 있습니다.

견고한 가려짐 처리

부분적으로 가려진 물체에 대해 실현 가능한 뒤쪽 기하학을 추론해 낮은 조명이나 심한 가려짐 상황에서도 정밀도를 유지합니다。

• E‑commerce 제품 디자이너: SAM 3D를 사용해 사진으로부터 사실적인 3D 제품 모델을 생성해 가상 방 내 시뮬레이션 기능을 구현합니다.
• 게임 개발자: SAM 3D Body를 활용해 정지 이미지에서 정확한 포즈와 움직일 수 있는 인간 캐릭터를 만들어 VR에 적용합니다.
• AR 교육 플랫폼: SAM 3D Objects를 통합해 복잡한 실제 물체를 재구성, 상호작용 학습 모듈에 제공합니다.
• 건축 렌더러: SAM 3D를 이용해 단일 사진에서 고품질 인테리어 가구 3D 메쉬를 생산해 정밀한 장면 시각화를 지원합니다.
• 스포츠 분석가: SAM 3D Body로 이벤트 사진에서 선수의 포즈를 디지털화해 성능 평가에 활용합니다.

SAM 3D와 원본 SAM의 차이점은 무엇인가요?

원본 SAM(Segment Anything Model)은 질의 객체에 대한 픽셀 마스크를 예측하는 범용 이미지 세분화 프레임워크입니다. SAM 3D는 이 기반에 볼륨 추론을 추가하여, 단일 2‑D 이미지에서 3‑D 지오메트리, 텍스처, 그리고 포즈를 재구성합니다. SAM은 2‑D 마스크만 생성하지만, SAM 3D는 .OBJ, .GLB 및 Meta‑Momentum Human Rig(MHR) 포맷과 같은 완전 렌더 가능한 메쉬를 출력해, 사진에서 상호작용 3‑D 자산으로의 매끄러운 전환을 가능하게 합니다.

SAM 3D는 비디오 입력을 처리할 수 있나요?

SAM 3D는 정지 이미지용으로 설계되었으며, 다중 프레임 비디오 스트림을 원시적으로 처리하지는 못합니다. 그러나 각 비디오 프레임을 개별적으로 처리하여 3‑D 메쉬 시퀀스를 재구성할 수 있습니다. 실시간 비디오 파이프라인의 경우, 사용자는 일반적으로 모델을 커스텀 워크플로에 통합하여 개별 프레임을 캡처하고, 각 프레임에 대해 모델을 호출한 뒤, 외부 시간 일관성 도구를 사용해 결과 메쉬를 연결합니다.

모델이 상업용으로 오픈소스인가요?

예. SAM 3D는 Apache 2.0 라이선스로 공개되어 있어 상업 제품에서 무료로 사용, 수정 및 재배포가 가능합니다. 모든 사전 훈련 가중치와 추론 코드는 공개적으로 제공되며, 표준 라이선스 고지 외에는 로열티나 사용료가 부과되지 않습니다. 사용자는 SAM 3D 기능을 독자적인 파이프라인에 삽입하거나, 내보낸 3‑D 애셋을 상업 게임, AR/VR 경험, 전자상거래 플랫폼에 통합할 수 있습니다.

SAM 3D를 실행하려면 어떤 하드웨어가 필요합니까?

공식 참조 시스템은 12 GB VRAM 이상의 NVIDIA GPU를 권장하지만, CPU에서도 작은 이미지에 대해 추론이 가능하며 지연 시간은 더 큽니다. 사용자들은 RTX 3060/3070(약 7 GB VRAM)과 같은 소비자 GPU에서도 중간 해상도의 이미지를 처리하는 데 성공했습니다. AWS, GCP, Azure와 같은 클라우드 배포는 GPU 인스턴스를 활용해 수십 배 가속화하여 대규모 데이터셋에서 실시간 사용을 가능하게 합니다.

SAM 3D Body에 언급된 MHR 포맷이란 무엇인가요?

MHR(Meta Momentum Human Rig)은 인간 바디 리컨스트럭션을 위해 특별히 설계된 오픈소스 메쉬 포맷입니다. 골격 계층과 부드러운 조직 표면 메쉬를 분리하여 리깅, 애니메이션, 물리 시뮬레이션을 용이하게 합니다. MHR 파일은 관절 위치 데이터, 역운동학 제약, 그리고 Unity, Unreal Engine, Blender 같은 엔진에 가져올 수 있는 표면 지오메트리를 포함하여 3‑D 인간 애니메이션 파이프라인을 단순화합니다.

SA‑3DAO 데이터셋은 어디에서 다운로드할 수 있나요?

SA‑3DAO(SAM 3D Artist Objects) 데이터셋은 100만 장이 넘는 실제 이미지와 검증된 3‑D 메쉬를 포함하며, 오픈소스 라이선스로 공개됩니다. 연구원들은 Hugging Face 리포지터리 또는 공식 GitHub 릴리스 페이지에서 직접 다운로드할 수 있습니다. 데이터셋은 이미지와 메쉬 링크를 모두 포함하고 있어, 새로운 모델 훈련이나 기존 SAM 3D 가중치 파인튜닝에 적합합니다.

SAM 3D는 재구성할 때 오클루젼을 어떻게 처리합니까?

SAM 3D는 고급 추론 로직을 도입해 부분적으로 가려진 객체의 실루엣 뒤쪽 지오메트리를 추정합니다. 수백만 개의 주석 샘플에서 학습된 사전 정보를 활용해 모델은 의미적 일관성을 유지하면서 부족한 메쉬 부분을 “환각”합니다. 이는 핵심 부품이 보이지 않아도 정확한 재구성이 가능하도록 하여, 렌더링 또는 후속 처리를 위한 완전한 3‑D 메쉬를 제공합니다.

SAM 3D에서 지원되는 3‑D 출력 형식은 무엇인가요?

재구성 후 SAM 3D는 산업 표준 포맷으로 여러가지로 내보낼 수 있습니다: .OBJ는 정적 지오메트리, .GLB/GLTF는 실시간 렌더링, FBX는 보다 폭넓은 3‑D 파이프라인, 그리고 MHR은 인간 바디에 해당합니다. 이러한 옵션은 Blender, Unity, Unreal Engine 등으로 즉시 통합하거나, 웹 기반 뷰어 프레임워크에 삽입할 수 있게 합니다.

최신 GPU에서 SAM 3D의 전형적인 추론 속도는 어떻게 되나요?

RTX 3090 단일 GPU에서 SAM 3D는 512×512 RGB 이미지를 약 1–2초에 처리하고 고품질 메쉬를 생성합니다. 추론 시간은 해상도에 비례하며, 1k×1k 이미지는 4–5초가 소요될 수 있습니다. CPU 추론도 가능하지만 8코어 Intel i9 프로세서에서는 15–20초가 걸립니다. 배치 처리 및 GPU 기반 파이프라인은 고처리량 시나리오에서 지연을 낮출 수 있습니다.

SAM 3D Body의 인간 포즈 추정 정확도는 어느 정도인가요?

SAM 3D Body는 기존 방법을 능가하는 최첨단 정확도를 달성합니다. Human3.6M, MPII 등 표준 인간 포즈 데이터셋에서 평균 관절 오차가 3 cm 이하이며, 실제 메쉬와의 적합성이 뛰어납니다. MHR 포맷에서 골격 구조와 부드러운 조직을 분리하면 해석 가능성과 애니메이션 화질이 강화됩니다.

SAM 3D를 Blender에 통합해 자동 자산 생성을 할 수 있나요?

가능합니다. SAM 3D 자산은 .OBJ 또는 .GLTF 익스포트로 Blender에 가져올 수 있습니다. Blender 애드온 또는 스크립트를 사용해 가져오기, 재질 할당, 장면 배치를 자동화할 수 있습니다. 사용자는 추가로 Blender의 조각 도구로 지오메트리를 개선하거나 MHR 파일의 내장 골격을 사용해 인간 메쉬를 리그할 수 있습니다. Python 통합도 가능해, SAM 3D 추론을 실행하고 즉시 Blender에서 후처리를 수행하는 엔드‑투‑엔드 파이프라인을 구축할 수 있습니다.

• SAM 3D는 웹 기반 툴로, 단일 RGB 이미지에서 고품질 3D 모델을 생성합니다. Meta의 오픈소스 SAM 3D 모델을 활용해 임의의 객체와 인간 신체를 지원합니다.
• SAM 3D Playground로 이동하거나 SAM 3D GitHub에서 저장소를 복제해 대화형 세션을 시작합니다.
• 브라우저에서 일반 RGB 이미지를 업로드하세요. 스크린샷 자리 표시자가 상단 모서리에 업로드 버튼을 표시합니다.
• 관심 영역을 클릭하면 SAM 3D가 자동으로 분할 마스크를 생성해 선택한 객체나 사람을 확인합니다.
• "Generate 3D Mesh" 버튼을 누르면 모델이 기하학, 질감 및 포즈를 추론해 수초 이내에 고품질 메쉬를 제공하며, 미리 보기 영역에 표시됩니다.
• 렌더링된 메쉬를 검사하여 가려짐 처리와 형태 정확성을 평가하세요. 클로즈업 화면에서는 조명과 각도 변화에 대한 일관성이 드러납니다.
• 자산을 표준 포맷(.OBJ, .GLB 또는 MHR)으로 내보내기; 다운로드 링크는 미리보기 아래에 표시되어 Blender, Unity 또는 Unreal에서 사용할 수 있습니다.
• 프로그래밍적으로 사용하려면 SAM3D GitHub 저장소에서 SAM 3D Body 또는 Objects 모델을 로드하고, 이미지 텐서와 마스크를 이용해 "predict" API를 호출합니다.