SAM 3D

Reconstruction 3D à partir d’une seule image

Génère des maillages détaillés, des textures et des données de pose à partir d’une seule photo RGB, permettant une création instantanée de modèles 3D à haute fidélité pour le design, le commerce électronique et les scènes interactives。

Sélection de prompts interactive

Permet aux utilisateurs de cliquer sur des objets ou des personnes, de confirmer les masques de segmentation et de contrôler quel élément sera reconstruit, simplifiant le flux de travail et réduisant les erreurs。

Inférence rapide en temps réel

Traite les images en quelques secondes sans GPU local, offrant une expérience basée sur le navigateur qui élimine le besoin de configuration et accélère la génération d’actifs。

Reconstruction consciente du contexte pour les objets

Gère les environnements réels encombrés, en inférant la géométrie et la disposition des objets individuels, utile pour les applications « Voir dans la pièce » et l’édition de scènes。

Digitalisation humaine avec le Meta Momentum Human Rig (MHR)

Sépare la structure squelettique des tissus mous pour produire des modèles humains 3D animables même en présence d’occlusion ou de postures non conventionnelles。

Export vers des formats 3D standard

Fournit des maillages en .OBJ, .GLB et au format MHR, permettant une importation transparente dans Blender, Unity, Unreal Engine et d’autres pipelines。

Gestion robuste de l’occlusion

Infère une géométrie arrière plausible pour les objets partiellement cachés, maintenant la fidélité même dans des scénarios de faible éclairage ou d’occlusion lourde。

• Concepteurs de produits e‑commerce : utilisez SAM 3D pour générer des modèles 3D réalistes à partir de photos, afin de proposer un aperçu virtuel à l’intérieur de la maison.
• Développeurs de jeux vidéo : mise en œuvre de SAM 3D Body pour créer des personnages humains pose‑exacte et animables à partir d’images fixes, à destination du VR.
• Plateformes d’éducation AR : intégrez SAM 3D Objects pour reconstruire des artefacts complexes du monde réel, à utiliser dans des modules d’apprentissage interactifs.
• Rendus architecturaux : utilisez SAM 3D pour produire des maillages 3D haute‑fidélité de meubles d’intérieur d’une seule photo, afin d’obtenir une visualisation précise de la scène.
• Analystes sportifs : exploitez SAM 3D Body pour numériser les poses des athlètes à partir d’photos d’évènements afin d’évaluer les performances.

Quelle est la différence entre SAM 3D et le SAM original ?

Le SAM original (Segment Anything Model) est un cadre de segmentation d'images à usage général qui prédit des masques pixels pour tout objet demandé. SAM 3D étend cette capacité en ajoutant une inférence volumétrique, permettant la reconstruction de la géométrie 3‑D, de la texture et de la pose à partir d'une seule image 2‑D. Alors que SAM ne produit que des masques 2‑D, SAM 3D génère des maillages entièrement rendables au format .OBJ, .GLB et le nouveau format Meta‑Momentum Human Rig (MHR) pour corps humains. Cela permet une transition fluide de la photo à un actif 3‑D interactif.

SAM 3D peut-il gérer des entrées vidéo ?

SAM 3D est conçu pour les images fixes ; il ne traite pas nativement les flux vidéo multi‑cadres. Cependant, il peut être appliqué image par image à chaque cadre de la vidéo, reconstruisant une séquence de maillages 3‑D. Pour les pipelines vidéo en temps réel, les utilisateurs intègrent généralement le modèle dans un flux de travail personnalisé qui capture des images individuelles, demande le modèle pour chaque cadre et assemble les maillages résultants à l'aide d'outils externes de cohérence temporelle.

Le modèle est-il open source pour un usage commercial ?

Oui. SAM 3D est publié sous licence Apache 2.0, qui autorise l'utilisation, la modification et la redistribution gratuites dans des produits commerciaux. Tous les poids pré‑entraînés et le code d'inférence sont disponibles publiquement, et aucune redevance ni frais d'attribution supplémentaires ne sont requis au-delà de la reconnaissance standard de licence. Les utilisateurs peuvent intégrer les fonctions SAM 3D dans des pipelines propriétaires ou incorporer les actifs 3‑D exportés dans des jeux commerciaux, des expériences AR/VR ou des plateformes de commerce électronique.

Quel matériel est nécessaire pour exécuter SAM 3D ?

Le système de référence officiel de SAM 3D recommande une carte GPU NVIDIA avec au moins 12 GB de VRAM pour une inférence à l'échelle complète, bien que l'inférence puisse également être exécutée sur le CPU pour des images plus petites avec une latence plus élevée. Les utilisateurs ont réussi à déployer le modèle sur des GPU grand public (RTX 3060/3070) avec environ 7 GB de VRAM pour des images de résolution moyenne. Les déploiements cloud (AWS, GCP, Azure) avec des instances GPU accélèrent le traitement de plusieurs ordres de magnitude, permettant un usage en temps réel sur de grands ensembles de données.

Qu'est-ce que le format MHR mentionné dans SAM 3D Body ?

MHR (Meta Momentum Human Rig) est un format de maillage open‑source spécifiquement conçu pour les reconstructions de corps humains. Il sépare la hiérarchie squelettique de la surface de tissu mou, facilitant le rigging, l'animation et la simulation physique. Les fichiers MHR contiennent des données de position des articulations, des contraintes de cinématique inverse et une géométrie de surface adaptée à l'importation dans des moteurs tels que Unity, Unreal Engine ou Blender, rationalisant ainsi les pipelines d'animation pour les humains 3‑D.

Où puis-je télécharger l'ensemble de données SA‑3DAO ?

Le jeu de données SA‑3DAO (SAM 3D Artist Objects) comprend plus d'un million d'images du monde réel annotées avec des maillages 3‑D vérifiés et est disponible publiquement sous licence open source. Les chercheurs peuvent télécharger l'ensemble directement depuis le dépôt Hugging Face du projet ou la page officielle des versions sur GitHub. Le jeu contient des liens vers les images et les maillages, et est formaté pour faciliter l'entraînement de nouveaux modèles ou l'affinage des poids existants de SAM 3D.

Comment SAM 3D gère-t-il les occlusions lors de la reconstruction d'objets ?

SAM 3D intègre une logique d'inférence avancée qui infère une géométrie de retour plausible pour les objets partiellement occultés. En tirant parti des priorités apprises à partir de millions d'exemples annotés, le modèle hallucine les sections de maillage manquantes tout en conservant la cohérence sémantique. Cette approche permet des reconstructions précises même lorsque des parties critiques d'un objet sont hors champ, aboutissant à des maillages 3‑D complets adaptés au rendu ou au traitement ultérieur.

Quels formats de sortie 3‑D sont pris en charge par SAM 3D ?

Après reconstruction, SAM 3D peut exporter des actifs dans plusieurs formats standard de l'industrie : .OBJ pour la géométrie statique, .GLB/.GLTF pour un rendu efficace en temps réel, .FBX pour des pipelines 3‑D plus larges et le format MHR pour les corps humains. Ces options permettent une intégration immédiate dans des applications 3‑D populaires telles que Blender, Unity ou Unreal Engine, ainsi que dans des frameworks de visualiseurs Web.

Quelle est la vitesse d'inférence typique de SAM 3D sur une GPU moderne ?

Sur une seule GPU RTX 3090, SAM 3D traite une image RGB de 512×512 en environ 1–2 secondes, produisant un maillage haute fidélité. Le temps d'inférence se scale linéairement avec la résolution ; une image de 1 k×1 k peut nécessiter 4–5 secondes. L'inférence en CPU est possible, mais plus lente, nécessitant 15–20 secondes par image sur un processeur Intel i9 à 8 cœurs. Le traitement par lots et les pipelines basés sur GPU peuvent réduire la latence dans des scénarios à haut débit.

Quelle est la précision de l'estimation de pose humaine dans SAM 3D Body ?

SAM 3D Body atteint une précision de pointe, surpassant les méthodes existantes dans des poses difficiles et des scénarios d'occlusion. Les benchmarks sur des ensembles de données de pose humaine standard (par ex., Human3.6M, MPII) montrent une erreur moyenne par articulation inférieure à 3 cm et un meilleur ajustement par rapport aux maillages de référence. La séparation de la structure squelettique et du tissu mou dans le format MHR améliore davantage l'interprétabilité et la fidélité de l'animation.

SAM 3D peut-il être intégré dans Blender pour la création automatique d'actifs ?

Oui. Les actifs SAM 3D peuvent être importés dans Blender via les exportateurs .OBJ ou .GLTF. Les add‑ons ou scripts Blender peuvent automatiser l'importation, l'assignation de matériaux et la mise en scène. Les utilisateurs peuvent raffiner davantage la géométrie avec les outils de sculpture de Blender ou riggear les maillages humains en utilisant le squelette inclus dans le fichier MHR. L'intégration Python est également possible, permettant des pipelines end‑to‑end qui exécutent l'inférence SAM 3D puis ouvrent immédiatement Blender pour le post‑traitement.

• SAM 3D est un outil web qui génère des modèles 3D haute fidélité à partir d’une seule image RGB, prenant en charge des objets arbitraires et des corps humains grâce aux modèles SAM 3D open‑source de Meta.
• Accédez au Playground SAM 3D ou clonez le dépôt depuis GitHub de SAM 3D pour démarrer une session interactive.
• Téléchargez n’importe quelle image RGB standard dans le navigateur ; un espace réservé de capture d’écran affiche le bouton de téléchargement dans le coin supérieur.
• Cliquez sur la zone d’intérêt ; SAM 3D génère automatiquement un masque de segmentation pour confirmer l’objet ou la personne choisi.
• Appuyez sur « Generate 3D Mesh » ; le modèle infère la géométrie, la texture et la pose, délivrant un maillage de haute qualité en quelques secondes, visible dans le volet d’aperçu.
• Examinez le maillage rendu pour évaluer la gestion des occlusions et la précision de la forme ; les vues rapprochées montrent la cohérence en fonction de l’éclairage et des angles.
• Exportez l’asset dans les formats standard (.OBJ, .GLB ou MHR) ; le lien de téléchargement apparaît sous le volet d’aperçu pour une utilisation dans Blender, Unity ou Unreal.
• Pour une utilisation programmée, chargez le modèle SAM 3D Body ou Objects à partir du dépôt SAM3D GitHub et appelez l’API « predict » avec le tenseur d’image et la masque.