SAM 3D

Reconstrucción 3D a partir de una sola imagen

Genera mallas detalladas, texturas y datos de pose a partir de una foto RGB, permitiendo la creación instantánea de modelos 3D de alta fidelidad para diseño, comercio electrónico e interacciones visuales。

Selección interactiva de prompts

Permite a los usuarios hacer clic en objetos o personas, confirmar las máscaras de segmentación y controlar qué elemento se reconstruye, agilizando los flujos de trabajo y reduciendo errores。

Inferencia rápida en tiempo real

Procesa imágenes en segundos sin GPU local, ofreciendo una experiencia basada en el navegador que elimina la configuración y acelera la generación de activos。

Reconstrucción consciente de la escena para objetos

Gestiona entornos reales desordenados, infiriendo la geometría y disposición de objetos individuales, útil para aplicaciones «Vea en la habitación» y edición de escenas。

Digitalización humana con Meta Momentum Human Rig (MHR)

Separa la estructura esquelética de los tejidos blandos para crear modelos 3‑D animables incluso con oclusión o posturas poco habituales。

Exportar a formatos estándar 3D

Proporciona mallas en .OBJ, .GLB y el formato MHR, lo que permite importar sin problemas en Blender, Unity, Unreal Engine y otros pipelines。

Atención robusta al oclusión

Predice una geometría posterior plausible para objetos parcialmente ocultos, manteniendo la fidelidad incluso en escenarios de poca luz o con alta oclusión。

• Diseñadores de productos para e‑commerce: emplea SAM 3D para generar modelos 3D realistas a partir de fotos y habilitar la vista virtual del producto en el salón.
• Desarrolladores de videojuegos: utiliza SAM 3D Body para crear personajes humanos con poses precisas y animables a partir de imágenes estáticas para VR.
• Plataformas de educación AR: integra SAM 3D Objects para reconstruir artefactos complejos del mundo real y usarlos en módulos de aprendizaje interactivo.
• Renderistas arquitectónicos: emplea SAM 3D para producir mallas 3D de mobiliario interior de alta fidelidad a partir de una sola foto, garantizando una visualización precisa del escenario.
• Analistas deportivos: aprovecha SAM 3D Body para digitalizar las poses de atletas capturadas en fotos de eventos y revisarlas en términos de rendimiento.

¿Cuál es la diferencia entre SAM 3D y el SAM original?

El SAM original (Segment Anything Model) es un marco de segmentación de imágenes de propósito general que predice máscaras de píxeles para cualquier objeto solicitado. SAM 3D amplía esta capacidad añadiendo inferencia volumétrica, lo que permite reconstruir la geometría 3‑D, la textura y la pose a partir de una sola imagen 2‑D. Mientras que SAM produce únicamente máscaras 2‑D, SAM 3D genera mallas totalmente renderizables en formatos como .OBJ, .GLB y el nuevo formato Meta‑Momentum Human Rig (MHR) para cuerpos humanos. Esto permite una transición fluida de la foto a un activo 3‑D interactivo.

¿Puede SAM 3D manejar entradas de vídeo?

SAM 3D está diseñado para imágenes estáticas; no procesa nativamente flujos de vídeo multi‑cuadro. Sin embargo, puede aplicarse cuadro a cuadro en cada fotograma del vídeo, reconstruyendo una secuencia de mallas 3‑D. Para pipelines de vídeo en tiempo real, los usuarios típicamente integran el modelo en un flujo de trabajo personalizado que captura fotogramas individuales, solicita el modelo para cada cuadro y combina las mallas resultantes usando herramientas externas de consistencia temporal.

¿El modelo es de código abierto para uso comercial?

Sí. SAM 3D se publica bajo la licencia Apache 2.0, que permite el uso, la modificación y la redistribución gratuitos en productos comerciales. Todos los pesos pre‑entrenados y el código de inferencia están disponibles públicamente, y no se cobran royalties ni tarifas de atribución más allá del reconocimiento estándar de la licencia. Los usuarios pueden integrar funciones SAM 3D en flujos de trabajo propietarios o incorporar los activos 3‑D exportados en videojuegos comerciales, experiencias AR/VR o plataformas de comercio electrónico.

¿Qué hardware se requiere para ejecutar SAM 3D?

El sistema de referencia oficial de SAM 3D recomienda una GPU NVIDIA con al menos 12 GB de VRAM para inferencias a escala completa, aunque la inferencia también puede ejecutarse en la CPU para imágenes más pequeñas con mayor latencia. Los usuarios han desplegado el modelo con éxito en GPUs de consumo (RTX 3060/3070) con ~7 GB de VRAM para imágenes de resolución moderada. Despliegues en la nube (AWS, GCP, Azure) con instancias GPU aceleran el procesamiento por varios órdenes de magnitud, permitiendo uso en tiempo real en grandes conjuntos de datos.

¿Qué es el formato MHR mencionado en SAM 3D Body?

MHR (Meta Momentum Human Rig) es un formato de malla de código abierto específicamente diseñado para reconstrucciones de cuerpos humanos. Separa la jerarquía esquelética de la superficie de tejido blando, lo que facilita el rigging, la animación y la simulación física. Los archivos MHR contienen datos de posición de articulaciones, restricciones de cinemática inversa y una geometría superficial adecuada para importar en motores como Unity, Unreal Engine o Blender, agilizando los pipelines de animación para humanos 3‑D.

¿Dónde puedo descargar el conjunto de datos SA‑3DAO?

El conjunto de datos SA‑3DAO (SAM 3D Artist Objects) contiene más de 1 millón de imágenes del mundo real anotadas con mallas 3‑D verificadas y está disponible públicamente bajo una licencia de código abierto. Los investigadores pueden descargar el conjunto directamente desde el repositorio de Hugging Face del proyecto o de la página oficial de lanzamientos de GitHub. El conjunto incluye enlaces tanto a imágenes como a mallas y está formateado para facilitar el entrenamiento de nuevos modelos o el ajuste fino de los pesos existentes de SAM 3D.

¿Cómo maneja SAM 3D las oclusiones al reconstruir objetos?

SAM 3D incorpora lógica de inferencia avanzada que infiere geometría plausible trasera para objetos parcialmente ocluidos. Aprovechando priorizaciones aprendidas de millones de ejemplos anotados, el modelo genera secciones de malla faltantes mientras mantiene la consistencia semántica. Este enfoque permite reconstrucciones precisas incluso cuando partes críticas de un objeto están fuera de vista, resultando en mallas 3‑D completas aptas para renderizado o procesamiento posterior.

¿Qué formatos de salida 3‑D admite SAM 3D?

Después de la reconstrucción, SAM 3D puede exportar activos en varios formatos estándar de la industria: .OBJ para geometría estática, .GLB/.GLTF para renderizado eficiente en tiempo real, .FBX para pipelines 3‑D más amplios y el formato MHR para cuerpos humanos. Estas opciones permiten una integración inmediata en aplicaciones 3‑D populares como Blender, Unity o Unreal Engine, así como en visualizadores basados en la web.

¿Cuál es la velocidad típica de inferencia de SAM 3D en una GPU moderna?

En una única GPU RTX 3090, SAM 3D procesa una imagen RGB de 512×512 en aproximadamente 1–2 segundos, generando una malla de alta fidelidad. El tiempo de inferencia escala linealmente con la resolución; una imagen de 1k×1k puede requerir 4–5 segundos. La inferencia en CPU es posible, pero más lenta, y necesita 15–20 segundos por imagen en un procesador Intel i9 de 8 núcleos. El procesamiento por lotes y pipelines basados en GPU pueden reducir la latencia en escenarios de alto throughput.

¿Qué tan precisa es la estimación de la pose humana en SAM 3D Body?

SAM 3D Body alcanza una precisión de vanguardia, superando a métodos existentes en poses desafiantes y escenarios de oclusión. Las métricas en conjuntos de datos estándar de pose humana (por ejemplo, Human3.6M, MPII) muestran un error medio por articulación inferior a 3 cm y una adaptación superior a las mallas de referencia. La separación de la estructura esquelética y el tejido blando en el formato MHR mejora aún más la interpretabilidad y la fidelidad de la animación.

¿Se puede integrar SAM 3D en Blender para la creación automática de activos?

Sí. Los activos SAM 3D pueden importarse a Blender mediante los exportadores .OBJ o .GLTF. Los complementos o scripts de Blender pueden automatizar la importación, la asignación de materiales y la colocación en la escena. Los usuarios pueden refinar aún más la geometría con las herramientas de escultura de Blender o riggear las mallas humanas utilizando el esqueleto incluido en el archivo MHR. La integración con Python también es posible, permitiendo pipelines de extremo a extremo que ejecutan la inferencia SAM 3D y abren inmediatamente Blender para el postprocesamiento.

• SAM 3D es una herramienta basada en la web que produce modelos 3D de alta fidelidad a partir de una sola imagen RGB, soportando objetos arbitrarios y cuerpos humanos mediante los modelos SAM 3D de código abierto de Meta.
• Navegue al Playground de SAM 3D o clone el repositorio desde GitHub de SAM 3D para iniciar una sesión interactiva.
• Cargue cualquier imagen RGB estándar en el navegador; se mostrará un marcador de posición con la captura de pantalla que indica el botón de carga en la esquina superior.
• Haga clic en la zona de interés; SAM 3D genera automáticamente una máscara de segmentación para confirmar el objeto o la persona seleccionada.
• Presione “Generate 3D Mesh”; el modelo infiere geometría, textura y postura, entregando un malla de alta calidad en segundos, visible en el panel de vista previa.
• Inspeccione la malla renderizada para evaluar el manejo de occlusión y la precisión de la forma; las vistas en primer plano revelan la consistencia bajo distintas iluminaciones y ángulos.
• Exporte el activo en formatos estándar (.OBJ, .GLB o MHR); el enlace de descarga aparece debajo de la vista previa para su uso en Blender, Unity o Unreal.
• Para uso programático, cargue el modelo SAM 3D Body o Objects desde el repositorio de GitHub de SAM3D, llamando a la API “predict” con el tensor de imagen y la máscara.