TripoSR : Synthèse rapide d'objets 3D à partir d'images uniques
Introduction
Ce billet de blog présente TripoSR, un nouveau modèle de reconstruction 3D utilisant une architecture de transformeur pour réaliser une génération rapide d'images 3D en avance directe, introduit par Stability AI. TripoSR est capable de produire un maillage 3D à partir d'une seule image en moins de 0,5 seconde. Construite sur la base de l'architecture réseau du grand modèle de reconstruction (LRM), TripoSR intègre des améliorations significatives dans le traitement des données, la conception du modèle et les méthodologies d'entraînement. Les évaluations réalisées sur des ensembles de données disponibles publiquement montrent que TripoSR surpasse les autres alternatives open source à la fois quantitativement et qualitativement. Publié sous licence MIT, TripoSR vise à fournir aux chercheurs, développeurs et créatifs des avancées de pointe en IA générative 3D.
Cet article fournit également une démonstration de TripoSR utilisant la plateforme Paperspace et en utilisant le GPU NVIDIA RTX A6000. Le NVIDIA RTX A6000 est connu pour sa puissante capacité de calcul visuel et la nouvelle précision Tensor Float 32 (TF32) offre jusqu'à 5 fois le débit d'entraînement par rapport à la génération précédente. Cette performance accélère l'entraînement des modèles d'IA et de science des données sans nécessiter de modifications de code.
Aperçu du modèle
TripoSR est un modèle de pointe pour la reconstruction d’objets 3D à partir d’images uniques. Il s’appuie sur l’architecture transformer, améliorée avec des techniques innovantes. La conception de TripoSR est basée sur le modèle de reconstruction large (LRM). En utilisant un transformeur visuel pré-entraîné (DINOv1) pour l’encodage des images, TripoSR capture à la fois les caractéristiques globales et locales, essentielles pour la reconstruction 3D. Son décodeur transforme ces caractéristiques encodées en une représentation 3D compacte, capable de gérer des formes et des textures complexes. Notamment, TripoSR ne dépend pas de paramètres de caméra explicites, ce qui lui permet de s’adapter à divers scénarios réels sans informations précises sur la caméra. Cette flexibilité renforce sa robustesse à la fois pendant l’entraînement et l’inférence. Comparé à son prédécesseur LRM, TripoSR introduit des avancées significatives, que nous explorerons davantage.
Configuration du modèle de TripoSR
Deux des principales améliorations des données qui ont été intégrées lors des collectes de données d'entraînement sont :-
1.) Curation des données :- Sous-ensemble soigneusement sélectionné du jeu de données Objaverse, cela a conduit à une amélioration de la qualité des données d'entraînement.
2.) Rendu des données :- Une large gamme de méthodes de rendu des données a été intégrée pour mieux imiter la distribution des images du monde réel. Cette approche renforce la capacité du modèle à généraliser, même lorsqu'il est entraîné uniquement sur le jeu de données Objaverse.
Optimisation du canal triplan
L'un des ajustements apportés pour améliorer l'efficacité du modèle et ses performances a été l'agencement des canaux dans la représentation triplane-NeRF. Cette étape est cruciale pour utiliser efficacement la mémoire GPU pendant l'entraînement et l'inférence. C'est particulièrement important car le rendu volumique est intensif en calculs. Le nombre de canaux influence également la capacité du modèle à reconstruire des images détaillées et de haute qualité. Après des expérimentations, nous avons décidé d'utiliser 40 canaux. Cette configuration nous permet d'entraîner avec des tailles de lot plus grandes et des résolutions plus élevées tout en maintenant une faible utilisation de la mémoire pendant l'inférence.
Comparaison avec le modèle SOTA (Source)
Résultats de recherche sur TripoSR
TripoSR a été évalué par rapport aux méthodes SOTA précédentes en utilisant deux ensembles de données et des métriques de reconstruction 3D. Deux ensembles de données publics, GSO et OmniObject3D, ont été considérés pour les évaluations. De plus, 300 objets divers ont été choisis dans chaque ensemble de données afin de garantir une évaluation équitable. En convertissant les représentations 3D implicites en maillages et en comparant à l'aide de métriques telles que la distance de Chamfer et le F-score, TripoSR a surpassé toutes les méthodes précédentes en termes de précision.
TripoSR est également rapide, ne prenant qu’environ 0,5 seconde pour générer un maillage 3D à partir d’une seule image. Comparé à d’autres techniques, c’est l’un des plus rapides tout en maintenant la plus haute précision.
Dans les comparaisons visuelles, TripoSR produit des reconstructions mieux formées et texturées par rapport à d'autres méthodes. Alors que certaines méthodes ont du mal avec la douceur ou l'alignement, TripoSR capture bien les détails complexes.
Comparaison avec le LRM Open source (Source)
Exécuter TripoSR
Lançons le modèle et utilisons-le pour générer des images 3D. Nous commencerons par vérifier les spécifications du GPU :-
!nvidia-smi
1. Cloner le dépôt
Pour commencer, clonez le dépôt pour obtenir les fichiers nécessaires
!git clone https://github.com/VAST-AI-Research/TripoSR.git
cd TripoSR/2. Mettez à jour ‘setuptools’ et installez les packages nécessaires en utilisant ‘pip’
!pip install --upgrade setuptools!pip install -r requirements.txt3. Une fois que les bibliothèques requises sont installées, lancez l'application gradio
!python gradio_app.pyCe bloc de code générera l'URL publique et l'URL locale, cliquez sur le lien et vous serez redirigé vers l'application gradio.
De plus, le bloc de code générera l'application Gradio directement dans le carnet lui-même, mettant en avant l'une des fonctionnalités intéressantes de la création d'une application Gradio.
Conclusion
Dans cet article, nous présentons TripoSR, un modèle de reconstruction 3D à propagation avant open-source de pointe. Le modèle est basé sur une architecture de transformateur et est développé sur le réseau LRM. Ce dernier modèle image-vers-3D est conçu pour répondre aux besoins croissants des professionnels du divertissement, du jeu, du design industriel et de l'architecture. Il offre des sorties réactives, permettant une visualisation détaillée des objets 3D.
Nous espérons que vous avez apprécié lire cet article ainsi que la démonstration de Paperspace sur l'application gradio.
Références
- Article de recherche original
- Stabilité ai
Merci d'apprendre avec la communauté Linux-Console.net.