Rédaction
Date
Compte rendu de la participation du CDRIN au SIGGRAPH 2025, entre présentation technique, échanges sur les technologies émergentes et veille sectorielle.
Présent au SIGGRAPH 2025, le CDRIN y a mis en avant son savoir-faire en recherche appliquée. Olivier Therrien, programmeur-chercheur en rendu, a présenté l’atelier Optimizing Real-Time Gaussian Splat Rendering for Mobile and Standalone VR dans le cadre du programme Labs. En parallèle, Julien Coll, codirection générale et opérations, a renforcé les échanges avec la communauté de Vancouver et préparé le terrain pour de futures collaborations.
Le SIGGRAPH a aussi été l’occasion pour le CDRIN de nourrir le dialogue entre recherche appliquée et production. Entre discussions avec des sommités internationales du rendu, Olivier Therrien a exploré de nouvelles pistes, dont le ReSTIR, une approche prometteuse pour accélérer le lancer de rayons sans compromettre la qualité d’image.
Au-delà des avancées techniques, la présence du CDRIN à Vancouver a permis d’observer de près l’évolution des besoins de l’industrie et de consolider des liens avec des partenaires stratégiques. Une perspective essentielle pour mieux arrimer les projets de recherche appliquée aux réalités de production et soutenir la compétitivité du secteur.
Retour sur l’atelier du CDRIN au SIGGRAPH
Au SIGGRAPH 2025, l’atelier Optimizing Real-Time Gaussian Splat Rendering for Mobile and Standalone VR donné par Olivier Therrien, programmeur-chercheur en rendu du CDRIN et présenté dans le cadre du programme Labs, a fait salle comble.
L’intérêt marqué pour le sujet confirme la place croissante des techniques de rendu temps réel hybrides, capables d’offrir un bon équilibre entre qualité visuelle et performance sur plateformes limitées.
Les participants et participantes ont pu découvrir des optimisations concrètes pour le rendu temps réel, adaptées aux plateformes mobiles et aux casques VR autonomes.
Comme l’explique Olivier Therrien:
« Le défi technique principal était l’optimisation du rendu, car les casques de VR standalone ou les appareils mobiles ne sont pas très performants. Plus précisément, le principal problème est l’overdraw, c’est à dire le fait qu’une grande quantité de fragments sont rendus les uns par-dessus les autres pour chaque pixel. J’ai donc proposé dans l’atelier une foule d’optimisations qui permettent de réduire l’overdraw. Grâce à ces optimisations, le rendu peut fonctionner en temps-réel directement sur le Quest 3, sans compromis sur la fluidité et la qualité. »
Gaussian Splatting : performances et applications VR
Les Gaussian Splats sont devenus la référence pour certaines applications VR et VFX, supplantant des méthodes comme les NeRF. L’avantage principal de cette approche, que les experts visent à rendre fonctionnelle sur toutes les plateformes, est qu’elle permet de visualiser des environnements 3D complexes en temps réel, un peu comme visiter une “photo 3D immersive”.
« En VR autonome, l’intérêt est de pouvoir visiter virtuellement des lieux existants. Les Gaussian Splats permettent une expérience fluide et immersive sur des plateformes limitées », précise Olivier.
Toutefois, ces techniques restent complémentaires aux triangles dans les pipelines AAA, notamment pour l’éclairage dynamique et les surfaces opaques. Elles offrent un rendu optimisé pour éléments fins comme le poil, la végétation ou la fumée.
Selon Olivier Therrien, « il n’est pas clair en ce moment si les Gaussian Splats peuvent s’appliquer à une majorité de jeux vidéo. Le plus grand problème est que l’éclairage et les propriétés de matériaux sont fusionnés ensemble, il n’est donc pas possible de rééclairer une scène ou des objets en Gaussian Splat de façon dynamique, ce qui est nécessaire pour la plupart des jeux. »
Les recherches sur le sujet se multiplient, laissant entrevoir un développement futur de cette approche. Pour l’instant, les triangles demeurent la meilleure représentation pour les surfaces opaques, mais certains éléments comme le poil, la végétation fine ou la fumée pourraient tirer profit des Gaussian Splats pour accroître leur fidélité visuelle.
« Dans le domaine du VFX, certaines compagnies utilisent des Gaussian Splats afin de scanner des objets trop complexes pour de la photogrammétrie traditionnelle, comme les poils et les objets semi-transparents. Meta permet aux utilisateurs de Quest 3 de scanner leur environnement directement depuis le casque, puis effectue une reconstruction sur ses serveurs avant de finalement diffuser un rendu immersif en Gaussian Splats en temps réel (application Hyperscape). On peut imaginer que prochainement le rendu pourra être réalisé directement sur le casque, car le streaming depuis le cloud est très coûteux. », Olivier Therrien
ReSTIR et optimisation du lancer de rayons
Au SIGGRAPH, Olivier a également exploré le ReSTIR, une approche statistique pour le ray tracing qui améliore la qualité d’image tout en réduisant le bruit.
« Le papier qui m’a le plus interpellé est Histogram Stratification for Spatio-Temporal Reservoir Sampling, par le chercheur Corentin Salaün. Il décrit une méthode à la fois simple à comprendre et à mettre en œuvre, qui permet de réduire le bruit dans un rendu basé sur le path tracing encore plus efficacement qu’un ReSTIR classique. »
L’approche ReSTIR se distingue des méthodes habituelles de denoising, car il ne s’agit pas simplement d’un flou intelligent appliqué sur l’image, mais d’une réintégration statistique non-biaisée des échantillons. L’avantage est de préserver les détails fins tout en et restant fidèle à la référence. Cela dit, ReSTIR n’enlève pas totalement le bruit dans l’image, il est toujours nécessaire d’appliquer une passe de denoising subséquente. La méthode est déjà utilisée en production dans certains jeux comme Cyberpunk 2077, pour la lumière directe (ReSTIR DI) ainsi que pour les améliorer les rebonds de lumière diffuse indirecte (ReSTIR GI).
De plus, les discussions avec Chris Whyman, créateur de ReSTIR, ont permis de clarifier des stratégies avancées et de comparer différentes méthodes de sampling et de réduction de bruit. Olivier Therrien ajoute: « C’est particulièrement marquant pour moi, car j’ai pu en apprendre davantage sur le processus de recherche ayant conduite à cette découverte ».
Cette exploration soulève des questions sur l’évolution du rendu dans les jeux vidéo : assistons-nous à une convergence entre rastérisation, ray tracing et Splatting? Quel rôle joue l’IA dans cette évolution ?
« Pour la rastérisation et le ray tracing, la convergence est déjà visible : le ray tracing est aujourd’hui supporté et parfois nécessaire dans les jeux AAA, tandis que la rastérisation reste privilégiée pour ses performances. Les Gaussian Splats, en revanche, représentent une évolution orthogonale : un changement de représentation géométrique qui pourrait compléter, à terme, les triangles. Ces splats peuvent être rastérisés ou rendus via le ray tracing. Quant à l’IA, elle est désormais omniprésente : la plupart des jeux utilisent des upscalers et denoisers basés sur l’IA, comme le DLSS, et les neural shaders apparaissent déjà à l’horizon.», explique le chercheur-programmeur.
Neural Shading : vers des matériaux réalistes et optimisés
Le SIGGRAPH 2025 a également mis en lumière les techniques de Neural Shading qui permettent de reproduire des matériaux complexes en temps réel sans calcul physique complet.
« Véritable eye-opener, le cours An Introduction to Neural Shading au SIGGRAPH a révélé toute la polyvalence des méthodes neurales et laisse entrevoir le futur du rendu », exprime Olivier Therrien.
Les matériaux ultra-réalistes comme ceux qu’on retrouve au cinéma sont d’une complexité redoutable: ils combinent plusieurs couches composées de différents modèles de réflexion (BRDF). Ce niveau de détail est trop couteux pour le rendu en temps réel.
« Les neural shaders, eux, apprennent à imiter ces matériaux de manière fidèle, mais à un coût significativement moindre. En quelques sortes, c’est un peu comme si on pré-calculait un graph de shaders complexe dans une représentation optimisée et compacte. »
Cette approche ouvre aussi la porte à une nouvelle façon de numériser des matériaux complexes réels: on peut désormais les scanner et les représenter avec précision sans devoir maîtriser tous les fondements physiques et mathématiques sous-jacents.
« La création de matériaux réalistes est facilitée, car celle-ci devient plus accessible, plus rapide, et surtout plus démocratisée. Ces méthodes sont promises à transformer les pipelines de production. »
Dans les prochaines années, la complexité des shaders, matériaux et textures va continuer de croître, rapprochant les pipelines de production de ceux du cinéma et des effets visuels (VFX). Le moteur de jeu ou les outils de création (DCC) se chargeront ensuite de convertir ces matériaux en représentations neurales optimisées, prêtes à être utilisées en production interactive.
Outils et langages pour la R&D appliquée
Parmi les outils présentés, le langage de shader Slang combiné à la librairie SlangPy s’annonce être un outil particulièrement prometteur pour la recherche et le développement, selon Olivier Therrien.
Slang introduit des fonctionnalités de programmation modernes dans les shaders, surtout en offrant une auto-différentiation native, qui pourrait faciliter la création de nouveaux algorithmes basés sur la descente de gradient directement dans le pipeline graphique.
L’intégration Python via SlangPy permet de facilement connecter Slang avec les bibliothèques existantes et avec l’état de l’art du machine learning. C’est un pont naturel entre les moteurs de rendu et les outils de recherche.
Veille stratégique et rayonnement du CDRIN
Au-delà du contenu technique, la présence du CDRIN au SIGGRAPH a renforcé ses liens avec la communauté de la création numérique de Vancouver et d’ailleurs, et permis de rapprocher les innovations des studios et partenaires potentiels. Être sur place, au cœur de la communauté créative de Vancouver et d’ailleurs dans le monde, permet à l’équipe du CDRIN de mieux saisir les enjeux réels des studios, d’observer les usages et d’identifier les technologies à fort potentiel pour l’avenir. Cette veille active nourrit directement la vision du CDRIN, qui conjugue expertise québécoise et standards internationaux.
« L’essor de l’IA appliquée aux pipelines de production est un véritable tournant par rapport aux années précédentes. On observe aussi une adoption rapide des technologies de type Gaussian Splatting, utilisées à différents niveaux de production », Julien Coll, codirection générale et opérations
Les échanges avec le Royaume-Uni et la Colombie-Britannique confirment l’intérêt croissant pour le modèle québécois de R&D appliquée. Le CDRIN se positionne ainsi comme un maillon essentiel entre recherche et industrie, facilitant le co-développement et stimulant l’innovation technologique au Québec et au-delà.
Ce rayonnement de l’expertise québécoise permet d’envisager des ambitions encore plus larges : faire de Montréal une destination SIGGRAPH, offrir aux étudiants et étudiantes et aux acteurs locaux un accès direct aux innovations de pointe, accélérer le transfert de connaissances entre recherche et industrie.
Lexique technique
Pré-calculer
Opération consistant à générer ou figer à l’avance des calculs complexes (rendu, éclairage, textures, graphes de shaders) pour accélérer l’exécution en temps réel.
Graph de shaders
Structure nodale décrivant les interactions entre textures, matériaux et effets visuels dans un moteur de rendu. Chaque nœud représente une opération ou une propriété visuelle.
Neural shader
Shader entraîné par apprentissage automatique pour reproduire ou accélérer le rendu de matériaux, d’éclairages ou d’effets visuels, tout en réduisant la charge de calcul.
Gaussian splatting
Méthode de rendu 3D basée sur des nuages de points flous (gaussiennes) qui permettent de représenter des scènes complexes sans géométrie maillée classique.
Pipeline temps réel mobile
Chaîne optimisée de traitement graphique permettant le rendu instantané sur appareils mobiles, avec contraintes fortes de performance.
Optimisation
Ensemble de techniques visant à améliorer les performances et réduire les coûts de calcul dans les systèmes de rendu.
Apprentissage automatique (machine learning)
Méthodes utilisant des algorithmes pour apprendre des modèles à partir de données, appliquées ici à l’amélioration et l’accélération du rendu graphique.
Rendu volumétrique
Technique de rendu d’éléments 3D avec une représentation en volume (nuages de points, voxels) pour simuler des phénomènes comme la fumée, la lumière diffusée, etc.
