Meta lance une intelligence artificielle (IA) générative capable de créer des objets 3D à partir de commandes textuelles. Cette technologie donne un rendu fidèle au niveau des formes et des textures, et cela en moins d’une minute. Elle pourrait servir à des secteurs comme les jeux vidéo et la réalité virtuelle.
Meta, maison-mère de Facebook et Instagram, a les idées pleines la tête, notamment en matière d’intelligence artificielle. Elle vient de présenter une IA générative (type ChatGPT) capable de créer des objets 3D à partir de commandes textuelles. Cette technologie est baptisée 3D Gen. Tirant parti d’algorithmes avancés d’apprentissage automatique, elle affiche un rendu fidèle au niveau des formes et des textures, et cela en moins d’une minute.
L’outil IA de Meta combine deux modèles existants
3D Gen représente les objets 3D simultanément et de trois façons : dans l’espace de vue, dans l’espace volumétrique et dans l’espace UV (ou de texture). Ce qui permet de produire une meilleure qualité par rapport à d’autres IA existantes (Adobe Firefly et Midjourney), et ce à une vitesse 3 à 10 fois supérieure. Cet outil combine deux modèles de Meta déjà disponibles, à savoir AssetGen qui génère des objets 3D, et TextureGen, qui s’occupe de la texturation.
Meta veut générer des objets 3D de meilleure qualité
L’union de ces deux systèmes permet de générer des objets 3D de meilleure qualité pour les contenus immersifs. AssetGen, en particulier, créer bun objet 3D avec le rendu basé sur la physique (PBR) à partir d’une invite, et cela dans les 30 premières secondes. Par rapport aux solutions qui intègrent l’ombrage dans l’apparence de l’objet 3D, ce modèle produit des matériaux de rendu physique prenant en charge un rééclairage réaliste.
Reconstruction des couleurs et de la rugosité en 3D
Dans le détail, AssetGen génère d’abord plusieurs vues de l’objet avec des canaux d’apparence dits ombrés et albédo factorisés. Ensuite, l’algorithme reconstruit les couleurs, la métallurgie et la rugosité, en utilisant une perte d’ombrage différée pour une supervision efficace. Dans un second temps, il convertit l’image en 3D en s’appuyant sur un reconstructeur 3D (surnommé MetaILRM) et un raffineur de texture qui récupère les détails manquants des vues d’entrée.
3D Gen de Meta optimise la texture d’objets en 3D
Pour ce qui concerne le TextureGen, ce modèle 3D optimise la texture de l’objet généré dans les 20 secondes suivantes. Il fournit des données textuelles supplémentaires pour retexturer des formes 3D déjà créées ou des objets 2D. Aussi, il apporte des améliorations capables de mettre à l’échelle n’importe quelle texture selon un rapport arbitraire. Le système peut produire des textures d’une résolution de 4 000 pixels.
Une technologie qui pourrait servir au monde des jeux vidéo
D’après Meta, 3D Gen servira, à terme, de pont entre le contenu généré par l’intelligence artificielle et les flux de travail 3D professionnels. L’IA sera également une aide précieuse dans plusieurs secteurs, à commencer par celui des jeux vidéo, de la réalité virtuelle, du graphisme ou encore de l’architecture. Dans le gaming, en particulier, cet algorithme permettra de créer des environnements plus détaillés et réalistes (paysages, des bâtiments etc.) ainsi que des personnages complexes.
