Pierre T.
UNE AVANCÉE MAJEURE DANS LA REPRÉSENTATION DE SCÈNES
Les méthodes comme DeepSDF et SRNs ont permis d’encoder des objets et des scènes 3D dans les poids d’un réseau de neurones à propagation avant, constituant ainsi une représentation implicite de données 3D à la fois précise et haute résolution. Toutefois, les approches existantes ne parviennent pas à capturer avec suffisamment de fidélité des scènes complexes et réalistes. Les représentations discrètes (par exemple, des maillages triangulaires ou des grilles voxel) offrent une représentation plus précise, à condition que la mémoire disponible soit suffisante.
C’est là que les champs de radiance neuronaux (NeRFs) interviennent. Ils utilisent un réseau de neurones à propagation avant pour modéliser une représentation continue de scènes et d’objets sous la forme de champs radiants. Cette représentation est un peu différente de celles proposées précédemment. Les NeRFs cartographient une coordonnée à cinq dimensions, qui comprend la position spatiale et la direction de visualisation, afin de produire une densité volumique et une couleur RVB dépendant du point de vue. En accumulant cette densité et ces informations d’apparence d’une vue à l’autre et d’un emplacement à l’autre, on peut générer des vues de scènes d’un réalisme photographique saisissant.
Les NeRFs peuvent être entraînés à partir d’un ensemble d’images (et de leurs positions de caméra associées) d’une scène sous-jacente, comme les SRNs. Les rendus obtenus avec les NeRFs sont nettement supérieurs en termes de qualité et de quantité. Ils peuvent même capturer des effets complexes tels que les réflexions dépendant du point de vue sur la surface d’un objet. En représentant les scènes implicitement dans les poids d’un réseau de neurones à propagation avant, on obtient une précision équivalente à celle des représentations de scènes discrètes sans coûts prohibitifs liés à la mémoire.
CE QUE LES NEURONES RADIANTS PERMETTENT DE FAIRE
Les NeRFs permettent des reconstructions 3D incroyablement précises de scènes à partir de points de vue arbitraires. La qualité des représentations de scènes produites par les NeRFs est incroyable. La plupart des concepts nécessaires à la compréhension des NeRFs ont été abordés dans des publications précédentes sur le sujet. Au lieu d’utiliser directement des coordonnées (x, y, z) en entrée d’un réseau neuronal, les NeRFs les convertissent en plongements de positionnement de dimension supérieure. Les NeRFs modélisent les champs de radiance avec des réseaux de neurones à propagation avant.
La représentation résultante est une fonction vectorielle à cinq dimensions qui prend en entrée une coordonnée spatiale (x, y, z) et une direction de visualisation en deux dimensions. La sortie de cette fonction a deux composantes : une densité volumique et une couleur RVB. La couleur dépend du point de vue, ce qui permet aux NeRFs de capturer des réflexions et d’autres effets d’apparence dépendant du point de vue.
Les NeRFs sont entraînés à représenter une seule scène à la fois et sont évalués sur plusieurs ensembles de données d’objets synthétiques et réels. Ils surpassent les alternatives existantes en termes de qualité et de quantité.
