Revenir au site

Rendu volumétrique d'imagerie médicale dans un engin de jeu

Radiologie immersive

30 septembre 2020

Luxsonic est une compagnie qui développe des technologies immersives pour le domaine médical. Leur logiciel SieVRt permet de visualiser des radiographies volumétrique en VR, à des fins d'éducation, d'entrainement, et de soins de la santé.

Luxsonic a mandaté le CDRIN pour faire de la recherche sur le rendu volumétrique, notamment au niveau de la réduction de bruit dans l'image et de l'amélioration des performances.

Convolution et réduction de bruit dans l'image

Le CDRIN a réalisé une preuve de concept de convolution volumétrique (qui s'apparente à un flou gaussien) par nuanceur de calcul permettant d'amoindrir la présence de bruit haute fréquence indésirable.

Scan de la cage thoracique.

L'image de gauche est le résultat sans convolution, et contient beaucoup de bruit dans l'image (les petits points gris un peu partout).

L'image de droite est avec la convolution, on voit que le bruit dans l'image a disparu pour laisser seulement l'information pertinente du scan.

On remarque qu'une grande partie du bruit indésirable a été enlevée tout autour du scan. Cela permet aussi d'éliminer du scintillement indésirable lorsque le casque de réalité virtuelle bouge. 

Amélioration des performance du ray marching

L'affichage d'un scan volumétrique est très gourmand en performance. Des rayons doivent être lancés dans la scène pour chaque pixel de l'écran, en prenant un grand nombre d'échantillons le long des rayons. Puisque la qualité de l'image est primordiale, il est peu souhaitable d'appliquer des optimisations qui risquent d'introduire du biais dans l'image.

Graphique affichant les performances de l'algorithme au niveau CPU et GPU.

Le CDRIN a appliqué des optimisations au niveau du nuanceur de pixel afin de réduire le nombre d'instructions et le transfert de mémoire, ce qui a permis d'améliorer les performances du rendu.

Superposition de scans

Parfois il est souhaitable de visualiser deux scans simultanément afin de les comparer. Typiquement cela doublerait le temps de rendu. Le CDRIN a développé une amélioration au système de rendu afin de pré-fusionner les scans, et permettre de les rendre à la même vitesse qu'un seul.

Nous avons aussi investigué des méthodes pour permettre de modifier la forme des scans afin de les aligner entre eux, même lorsque leur forme diffère.

Gauche : deux scans différents qui présentent des problèmes d'alignement lorsque superposés.

Droite : Les même deux scans qui ont été déformés afin d'être alignés correctement lorsque superposés.

La formation virtuelle en santé

Le CDRIN est fier de continuer sa collaboration avec Luxsonic pour le bénéfice des soins et de l'éducation en santé au Canada. Fort de son expérience des médias numériques, le CDRIN peut partager son savoir-faire dans les techniques de rendu photoréaliste et dans leur optimisation pour les plateformes de simulation de pointe comme la réalité virtuelle. Ensemble, le CDRIN et Luxsonic peuvent contribuer à repousser les limites de la représentation virtuelle de l'être humain, afin d'offrir aux professionnels de la santé de demain des outils de formation engageants et immersifs.

Équipe de projet

  • Olivier Therrien, programmeur R-D en rendu
  • Pierre-Olivier Roy, chargé de projet

Partenaire financier