La bourse est fermée

Google révolutionne la capture de personnes en 3D avec Relightables

Fabrice Auclert, Journaliste

Filmer des acteurs en 3D pour les intégrer ensuite dans des scènes pose de nombreux défis techniques. Contrairement à un personnage de synthèse, l’image capturée d’une personne réelle est difficilement modifiable. L’un des principaux défauts de la capture volumétrique se situe au niveau de la lumière. L’angle, l’intensité et la qualité de la lumière utilisée pendant la capture ne correspondra pas à celle de la scène dans laquelle le modèle sera ajouté.

Dans un projet baptisé The Relightables, une équipe de chercheurs a trouvé une solution sous la forme d’un énorme dôme rempli de lumières LED. En variant ces lumières selon un motif prédéfini, ils ont été capables de générer un modèle en trois dimensions dont il est possible de changer l’éclairage pour se conformer à n’importe quelle scène.

Cette innovation pourrait révolutionner le cinéma, comme l'a fait le fond vert en son temps. © Google

Un flux de données de 65 Go à la seconde

Le dôme est équipé d’un total de 90 caméras de 12,4 mégapixels fonctionnant à 60 hertz, dont 58 caméras RGB et 32 caméras infrarouges, afin de capturer le sujet sous tous les angles pour générer le modèle 3D. Les sujets sont accompagnés par 331 lumières, chacune composée de 63 diodes LED, synchronisées avec les caméras. Avec tous ces flux vidéo, le système produit un total impressionnant de 65 Go de données à la seconde. C'est comme si on remplissait la mémoire de l'iPhone 11 à chaque seconde...

Les lumières alternent deux motifs d’éclairage, un gradient et un gradient inversé, ce qui permet de capturer le sujet presque simultanément sous deux éclairages différents. Les chercheurs s’appuient ensuite sur l’intelligence artificielle pour générer une vidéo volumétrique à partir des 90 flux vidéo et combiner les deux éclairages afin de créer un modèle dont il sera possible de modifier l’éclairage à la volée.

Cette bulle composée de lumières LED permet d'éclairer le sujet de deux manières différentes, et c'est l'intelligence artificielle qui...

> Lire la suite sur Futura