Dans cet article, le CDRIN fait un tour d’horizon de la recherche appliquée incrémentale du chercheur-programmeur Olivier Therrien et ses collaborateurs portant sur l’illumination globale en temps réel (global illumination) afin d’accroître le réalisme des scènes 3D.
En bref: Le chercheur-programmeur du CDRIN Olivier Therrien étudie l'illumination globale en temps réel sur les scènes 3D. Son but? Générer des images de meilleure qualité graphique dans les jeux vidéo afin de les rendre plus immersifs, dynamiques et beaux. La seconde phase du projet de recherche, réalisé en collaboration avec Yannick Levesque, enseignant de physique au Cégep de Matane, lui a permis de proposer en 2021 une nouvelle technique de traçage de rayon en temps réel (Screen Space Ray Tracing ou SSRT) pour simuler l’éclairage indirect en utilisant les masques binaires de visibilité (bitmask) de manière plus optimale. Le SSRT2 fait l’objet d’un article scientifique, rédigé avec Yannick Levesque et Guillaume Gilet, professeur en informatique de l’Université de Sherbrooke, est publié dans le journal The Visual Computer, du groupe Springer.
- Vous êtes chercheur et impatient de nous lire? La version non-éditée de notre essai est en ligne sur Arxiv en accès libre.
- Envie de tester l’outil? Retrouvez le SSRT3 sur Unity Assets Store.
- Lire la présentation d'Olivier Therrien au CG Spotlight #5 de Montreal ACM SIGGRAPH.
De la recherche appliquée incrémentale sur l'illumination globale (global illumination) en temps réel
Notre premier prototype de simulation de l'éclairage indirect en temps réel dans une scène 3D a été développé en 2018 par le chercheur-programmeur Olivier Therrien, alors qu’un partenaire-client dans le domaine du jeu nous a lancé le défi d’élaborer une solution innovante d'illumination globale en temps réel.
Constatant le grand potentiel du procédé, d’abord imaginé pour l’industrie du jeu vidéo, notre équipe poursuivra de son côté la recherche et le développement. Mais pour repousser les limites de la technologie, il faut parfois recommencer à neuf! Le premier SSRT (Screen Space Ray Tracing) est développé avec Jonathan Rousseau, enseignant en informatique au Cégep de Matane, et se basait sur la technique Ground Truth Ambiant Occlusion (GTAO).
Puis, c’est en adoptant une toute nouvelle approche que le SSRT2 sera conçu en 2021, en collaboration avec Yannick Levesque, enseignant de physique au Cégep de Matane. Le SSRT2 combine désormais les masques binaires de visibilité à la méthode basée sur les horizons telles que le GTAO et le HBAO (Horizon-Based Ambiant Occlusion). Résultat? Une performance du rendu en temps réel accrue, et un photoréalisme plus crédible.
Plus encore, les importantes avancées de la recherche nous ont donné l'occasion de contribuer à la littérature scientifique en images de synthèse. L’article scientifique Screen Space Indirect Lighting With Visibility Bitmask, qui paraitra dans le journal The Visual Computer au cours de 2023, explique de manière détaillée les travaux sur les masques binaires de visibilité. Les auteurs sont Olivier Therrien, Yannick Levesque et Guillaume Gilet, professeur en informatique de l’Université de Sherbrooke.
Le masque binaire de visibilité pour rompre avec la tradition des méthodes SSGI
Notre recherche sur l'illumination globale en temps réel porte sur l'introduction du masque binaire (bitmask) de visibilité dans la méthode basée sur les horizons. La nouvelle approche réduit considérablement le bruit dans une scène 3D tout en améliorant la gestion de l’épaisseur des surfaces, simulant parfaitement la trajectoire de la lumière derrière les objets minces.
Cette technique permet d’obtenir une qualité de rendu qui s’approche des résultats de la technique de lancer de rayon (Path Tracing), tout en étant beaucoup plus performante et ne requérant pas les fonctionnalités de la technique du traçage de rayon (Ray Tracing).
Autrement dit, l’algorithme proposé pour calculer les effets de la lumière à partir des pixels de l’écran sur des surfaces reproduit avec une plus grande exactitude la réflexion de la lumière dans une scène 3D.
Avec le procédé d'Olivier et ses collaborateurs, la simulation du comportement de la lumière ambiante (les rebonds et les jeux d’ombre et de lumière indirecte) en temps réel sont plus réalistes. L'effet visuel généré étant plus fidèle à la réalité, la qualité du rendu est aussi plus crédible!
Les capacités de la méthode ont été testées sur plusieurs applications de type SSGI, telles que l'occlusion ambiante, l'occlusion ambiante directionnelle et l'éclairage diffus indirect.
Une approche originale plus performante pour des effets visuels épatants
Dans notre technique, la lumière provenant de l'extérieur de l'écran est estimée grâce à des sondes, telles que la sonde de réflexion (reflection probe) ou encore la sonde lumineuse (light probe), il en résulte un éclairage plus uniforme.
De plus, nous avons amélioré la qualité de la reconstruction de la géométrie locale, plus spécifiquement sur les surfaces minces en traitant le tampon de profondeur (deph buffer) comme un ensemble d’échantillons non connectés, associés chacun à une épaisseur quelconque.
L'algorithme proposé est facile à comprendre et à mettre en œuvre sur les GPU modernes et peut être intégré dans n'importe quelle technique de type horizon-based avec seulement une légère surcharge de performances. Cette méthode peut également être utilisée pour améliorer l'échantillonnage de la lumière ambiante en tenant compte de la trajectoire de l'occlusion lors de l'intégration de la lumière ambiante.
À qui ça sert?
À tous les développeurs de jeu vidéo à la recherche d’un réalisme amélioré dans la création de scènes 3D. L'outil peut également aider les designers à augmenter le photoréalisme dans le cinéma d’animation ou encore à améliorer les effets visuels du rendu dans le domaine architectural, la conception industrielle, la santé, l’automobile et le marketing, en plus d’aider à optimiser les processus de production.
La suite
Actuellement en cours, la troisième et peut-être dernière phase permettra au chercheur-programmeur de couvrir l’ensemble de l'illumination globale (global illumination) en introduisant la composante spéculaire (réflexion spéculaire), ce qui complétera l’étude sur cette méthode.
Qui sont les chercheurs?
Olivier Therrien: Au sein du CDRIN Olivier est un programmeur R&D spécialisé dans le rendu 3D, et a comme mandat d'améliorer la qualité visuelle ainsi que le réalisme des applications temps réel tel que les jeux vidéo et les outils de visualisation. Ses intérêts de recherche portent notamment sur le Path Tracing et l’illumination globale en temps réel. Avant d'intégrer le CDRIN, il a travaillé comme programmeur graphique chez Ubisoft et Activision sur les jeux AAA.
Yannick Levesque: Le chercheur a complété un baccalauréat à l'Université de Sherbrooke en sciences physiques en 2018. Il a fait une maîtrise en physique avec comme sujet d'étude l'optique de matériaux laser. Par la suite, il a travaillé comme assistant de recherche à l'ISMER principalement sur la modélisation du mouvement des glaces dans Arctique. Il travaille comme enseignant en physique au Cégep de Matane et collabore régulièrement à des projets de recherche avec le CDRIN.
Guillaume Gilet: Professeur en informatique à l'Université de Sherbrooke depuis 2021, il a obtenu un doctorat de l'Université de Strasbourg en 2009 et a travaillé à l'Université de Limoges comme professeur-adjoint. Ses recherches portent sur la génération procédurale, le rendu en temps réel, l'altération et les phénomènes naturels des mondes virtuels.
Partenaires
SSRT3: Depix, La Guilde du jeu vidéo du Québec, Sabotage et Zea
Partenaire financier
Ministère de l'Éducation et de l'Enseignement Supérieur, Programme d'aide à la recherche et au transfert (PART) - volet innovation technologique
CONTACT
Le SSRT3 vous intéresse? Notre équipe passionnée et expérimentée répond à vos questions.