Germain
SOFTWARE CRÉE DE TOUTES NOUVELLES VUES À PARTIR DE VIDÉOS EXISTANTES
Un logiciel appelé DynIBar, développé par des chercheurs de l’Université Cornell et de Google Research, pourrait prochainement permettre aux cinéastes de stabiliser des vidéos instables, de changer de points de vue et de créer des effets de zoom, de ralenti et d’arrêt sur image, sans avoir à filmer de nouvelles séquences. DynIBar synthétise de nouvelles vues en utilisant les informations des pixels de la vidéo originale, et fonctionne même avec des objets en mouvement et des prises de vue instables. Cette avancée majeure dépasse les résultats obtenus précédemment, qui ne fournissaient que quelques secondes de vidéo et rendaient souvent les sujets en mouvement flous ou déformés.
Le code de cette recherche est disponible gratuitement, bien que le projet en soit à un stade précoce et n’ait pas encore été intégré dans des outils de montage vidéo commercialisés. Noah Snavely, chercheur chez Google Research et professeur associé en informatique à Cornell Tech et au Cornell Ann S. Bowers College of Computing and Information Science, se dit très enthousiaste quant aux futures applications potentielles, aussi bien personnelles que professionnelles.
Lors de la conférence 2023 IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes, qui s’est déroulée le 20 juin, cette recherche intitulée “DynIBaR: Neural Dynamic Image-Based Rendering” a reçu une mention honorable pour le meilleur article. Zhengqi Li, titulaire d’un doctorat, a été l’auteur principal de l’étude.
Cette avancée est une réponse aux progrès réalisés ces dernières années dans les méthodes de synthèse de vues, permettant de rendre de nouvelles vues d’une scène à partir d’une collection d’images capturant cette scène sous différents angles. Cependant, la plupart de ces méthodes échouent lorsqu’il y a des mouvements de personnes, d’animaux ou d’arbres par exemple, ce qui pose problème car de nombreuses choses intéressantes dans le monde sont en mouvement.
L’algorithme DynIBar simplifie le problème mathématique complexe en utilisant une approche de rendu graphique développée dans les années 1990, appelée rendu d’images basé sur les informations de l’image. Cette méthode permet de générer de nouvelles images en modifiant et en recombinant les parties d’une scène capturée par des images. Ainsi, la complexité est principalement stockée dans l’image source et peut être chargée plus rapidement.
Malgré cette avancée, ces fonctionnalités ne seront pas disponibles sur les smartphones dans un avenir proche. Le logiciel prend plusieurs heures pour traiter seulement 10 ou 20 secondes de vidéo, même sur un ordinateur puissant. À court terme, cette technologie pourrait être plus adaptée à une utilisation dans des logiciels de montage vidéo hors ligne.
La prochaine étape consistera à trouver comment créer de nouvelles images lorsque les informations des pixels font défaut dans la vidéo d’origine, par exemple lorsque le sujet se déplace trop rapidement ou lorsque l’utilisateur souhaite faire pivoter le point de vue de 180 degrés. Les chercheurs envisagent d’incorporer des techniques d’intelligence artificielle générative, telles que les générateurs de texte vers image, pour combler ces lacunes.
Pour compléter cette recherche, Forrester Cole et Richard Tucker de Google Research ont également contribué à l’étude.
Pour plus d’informations, veuillez consulter les références suivantes :
– DynIBar : https://dynibar.github.io/
– Code de recherche : https://github.com/google/dynibar
– Noah Snavely : https://www.cs.cornell.edu/~snavely/
– Méthode de rendu d’images basée sur les informations de l’image : https://ibrnet.github.io/
