SAM 3D preguntas frecuentes

¿Cuál es la diferencia entre SAM 3D y el SAM original?

El SAM original (Segment Anything Model) es un marco de segmentación de imágenes de propósito general que predice máscaras de píxeles para cualquier objeto solicitado. SAM 3D amplía esta capacidad añadiendo inferencia volumétrica, lo que permite reconstruir la geometría 3‑D, la textura y la pose a partir de una sola imagen 2‑D. Mientras que SAM produce únicamente máscaras 2‑D, SAM 3D genera mallas totalmente renderizables en formatos como .OBJ, .GLB y el nuevo formato Meta‑Momentum Human Rig (MHR) para cuerpos humanos. Esto permite una transición fluida de la foto a un activo 3‑D interactivo.

¿Puede SAM 3D manejar entradas de vídeo?

SAM 3D está diseñado para imágenes estáticas; no procesa nativamente flujos de vídeo multi‑cuadro. Sin embargo, puede aplicarse cuadro a cuadro en cada fotograma del vídeo, reconstruyendo una secuencia de mallas 3‑D. Para pipelines de vídeo en tiempo real, los usuarios típicamente integran el modelo en un flujo de trabajo personalizado que captura fotogramas individuales, solicita el modelo para cada cuadro y combina las mallas resultantes usando herramientas externas de consistencia temporal.

¿El modelo es de código abierto para uso comercial?

Sí. SAM 3D se publica bajo la licencia Apache 2.0, que permite el uso, la modificación y la redistribución gratuitos en productos comerciales. Todos los pesos pre‑entrenados y el código de inferencia están disponibles públicamente, y no se cobran royalties ni tarifas de atribución más allá del reconocimiento estándar de la licencia. Los usuarios pueden integrar funciones SAM 3D en flujos de trabajo propietarios o incorporar los activos 3‑D exportados en videojuegos comerciales, experiencias AR/VR o plataformas de comercio electrónico.

¿Qué hardware se requiere para ejecutar SAM 3D?

El sistema de referencia oficial de SAM 3D recomienda una GPU NVIDIA con al menos 12 GB de VRAM para inferencias a escala completa, aunque la inferencia también puede ejecutarse en la CPU para imágenes más pequeñas con mayor latencia. Los usuarios han desplegado el modelo con éxito en GPUs de consumo (RTX 3060/3070) con ~7 GB de VRAM para imágenes de resolución moderada. Despliegues en la nube (AWS, GCP, Azure) con instancias GPU aceleran el procesamiento por varios órdenes de magnitud, permitiendo uso en tiempo real en grandes conjuntos de datos.

¿Qué es el formato MHR mencionado en SAM 3D Body?

MHR (Meta Momentum Human Rig) es un formato de malla de código abierto específicamente diseñado para reconstrucciones de cuerpos humanos. Separa la jerarquía esquelética de la superficie de tejido blando, lo que facilita el rigging, la animación y la simulación física. Los archivos MHR contienen datos de posición de articulaciones, restricciones de cinemática inversa y una geometría superficial adecuada para importar en motores como Unity, Unreal Engine o Blender, agilizando los pipelines de animación para humanos 3‑D.

¿Dónde puedo descargar el conjunto de datos SA‑3DAO?

El conjunto de datos SA‑3DAO (SAM 3D Artist Objects) contiene más de 1 millón de imágenes del mundo real anotadas con mallas 3‑D verificadas y está disponible públicamente bajo una licencia de código abierto. Los investigadores pueden descargar el conjunto directamente desde el repositorio de Hugging Face del proyecto o de la página oficial de lanzamientos de GitHub. El conjunto incluye enlaces tanto a imágenes como a mallas y está formateado para facilitar el entrenamiento de nuevos modelos o el ajuste fino de los pesos existentes de SAM 3D.

---

¿Cómo maneja SAM 3D las oclusiones al reconstruir objetos?

SAM 3D incorpora lógica de inferencia avanzada que infiere geometría plausible trasera para objetos parcialmente ocluidos. Aprovechando priorizaciones aprendidas de millones de ejemplos anotados, el modelo genera secciones de malla faltantes mientras mantiene la consistencia semántica. Este enfoque permite reconstrucciones precisas incluso cuando partes críticas de un objeto están fuera de vista, resultando en mallas 3‑D completas aptas para renderizado o procesamiento posterior.

¿Qué formatos de salida 3‑D admite SAM 3D?

Después de la reconstrucción, SAM 3D puede exportar activos en varios formatos estándar de la industria: .OBJ para geometría estática, .GLB/.GLTF para renderizado eficiente en tiempo real, .FBX para pipelines 3‑D más amplios y el formato MHR para cuerpos humanos. Estas opciones permiten una integración inmediata en aplicaciones 3‑D populares como Blender, Unity o Unreal Engine, así como en visualizadores basados en la web.

¿Cuál es la velocidad típica de inferencia de SAM 3D en una GPU moderna?

En una única GPU RTX 3090, SAM 3D procesa una imagen RGB de 512×512 en aproximadamente 1–2 segundos, generando una malla de alta fidelidad. El tiempo de inferencia escala linealmente con la resolución; una imagen de 1k×1k puede requerir 4–5 segundos. La inferencia en CPU es posible, pero más lenta, y necesita 15–20 segundos por imagen en un procesador Intel i9 de 8 núcleos. El procesamiento por lotes y pipelines basados en GPU pueden reducir la latencia en escenarios de alto throughput.

¿Qué tan precisa es la estimación de la pose humana en SAM 3D Body?

SAM 3D Body alcanza una precisión de vanguardia, superando a métodos existentes en poses desafiantes y escenarios de oclusión. Las métricas en conjuntos de datos estándar de pose humana (por ejemplo, Human3.6M, MPII) muestran un error medio por articulación inferior a 3 cm y una adaptación superior a las mallas de referencia. La separación de la estructura esquelética y el tejido blando en el formato MHR mejora aún más la interpretabilidad y la fidelidad de la animación.

¿Se puede integrar SAM 3D en Blender para la creación automática de activos?

Sí. Los activos SAM 3D pueden importarse a Blender mediante los exportadores .OBJ o .GLTF. Los complementos o scripts de Blender pueden automatizar la importación, la asignación de materiales y la colocación en la escena. Los usuarios pueden refinar aún más la geometría con las herramientas de escultura de Blender o riggear las mallas humanas utilizando el esqueleto incluido en el archivo MHR. La integración con Python también es posible, permitiendo pipelines de extremo a extremo que ejecutan la inferencia SAM 3D y abren inmediatamente Blender para el postprocesamiento.

• SAM 3D es una herramienta basada en la web que produce modelos 3D de alta fidelidad a partir de una sola imagen RGB, soportando objetos arbitrarios y cuerpos humanos mediante los modelos SAM 3D de código abierto de Meta.
• Navegue al Playground de SAM 3D o clone el repositorio desde GitHub de SAM 3D para iniciar una sesión interactiva.
• Cargue cualquier imagen RGB estándar en el navegador; se mostrará un marcador de posición con la captura de pantalla que indica el botón de carga en la esquina superior.
• Haga clic en la zona de interés; SAM 3D genera automáticamente una máscara de segmentación para confirmar el objeto o la persona seleccionada.
• Presione “Generate 3D Mesh”; el modelo infiere geometría, textura y postura, entregando un malla de alta calidad en segundos, visible en el panel de vista previa.
• Inspeccione la malla renderizada para evaluar el manejo de occlusión y la precisión de la forma; las vistas en primer plano revelan la consistencia bajo distintas iluminaciones y ángulos.
• Exporte el activo en formatos estándar (.OBJ, .GLB o MHR); el enlace de descarga aparece debajo de la vista previa para su uso en Blender, Unity o Unreal.
• Para uso programático, cargue el modelo SAM 3D Body o Objects desde el repositorio de GitHub de SAM3D, llamando a la API “predict” con el tensor de imagen y la máscara.