La modélisation photoréaliste d’environnements permet de visualiser des milieux naturels comme une mine et une berge afin de créer des situations authentiques immersives.
Il s’agit donc de visualiser et de traiter des données comme les nuages de points dans un contexte de situations authentiques immersives en technologie minérale et en aménagement du territoire. Conserver le photoréalisme de l’environnement constitue un enjeu important.
Les défis :
- Trouver une manière simple et rapide de reproduire un environnement de manière précise.
- Obtenir un rendu photoréaliste pouvant être modélisé et intégré dans un moteur de jeu afin de créer un environnement immersif.
C’est ici que le CDRIN entre en scène avec l’imagerie numérique et la réalité virtuelle! Les programmeurs du CDRIN ont participé au traitement des données et à leur intégration dans un moteur de jeu.
Ce projet répond à des besoins de formation, mais sert également le milieu des entreprises.
Point de départ : un défi pédagogique
Le programme de Technologie minérale du Cégep de Thetford se bute à de nombreux obstacles quand vient le temps d’amener les étudiants dans les mines. L’accès restreint aux sites miniers, le coût des équipements et les risques en santé et sécurité limitent les possibilités d’offrir des situations d’apprentissage et d’évaluation concrètes. Le même problème se vit également au Cégep de Matane du côté du programme d’Aménagement du territoire et d’urbanisme avec les sites côtiers.
Créer un environnement d’apprentissage virtuel pour donner l’impression aux étudiants d’y être réellement permet de bonifier les programmes de formation collégiale avec une approche innovante.
Ce projet ouvre la porte à de multiples possibilités pédagogiques, mais répond également à des besoins du milieu des entreprises. Notamment, la modélisation photoréaliste d’une galerie souterraine ou d’une berge améliore les données etassure un meilleur suivi de ces milieux en constante évolution.
La solution : ce qui a été développé
De l’acquisition d’images des milieux naturels à la création d’un jeu où les environnements 3D modélisés impliquant la réalité virtuelle font vivre des expériences immersives, il y a tout un processus.
Voici les grandes étapes de ce projet :
1. Acquisition de données sur le terrain avec caméra et drone
La reconstruction photoréaliste s’effectue à partir des photographies des milieux naturels à l’aide d’une caméra fixée sur un drone. Cette première étape permet de développer un protocole d’acquisition d’images.
Steve Normand, Robert Baronet et Roch Guèvremont (enseignants au Cégep de Matane) préparent les appareils pour une séance photo.
Une acquisition optimale des images pour en faire un traitement repose sur plusieurs facteurs.
- Le moment de l’année où lesphotos l’équipe prend les photos : pour la berge, la période de juin à septembre facilite l’identification des espèces végétales.
- Les marées : pour les besoins du projet, il fallait attendre la marée basse.
- Les conditions météorologiques : des images captées une journée de juin nuageuse et sans vent facilitent le traitement par la suite.
2. Reconstruction 3D
Une fois captées, les images doivent être analysées et traitées pour recréer les environnements 3D de manière photoréaliste.
La première étape consiste à modéliser les données. Voici un exemple de modélisation des photographies d’une mine à ciel ouvert.
Photo prise par drone Mavic 2 Pro en vol semi-automatisé
Modélisation des photos prises par drone Mavic 2 Pro en vol semi-automatisé
Plusieurs enjeux doivent être considérés, notamment la lumière et les textures.
Afin de déterminer la meilleure façon de procéder, les enseignants du Cégep de Thetford et leur stagiaire ont travaillé avec les programmeurs du CDRIN pour tester deux logiciels de traitement d’images : Pix4D et Reality Capture. Le choix s’est arrêté sur le second.
3. Intégration du modèle dans Unity
À cette étape du projet, il est temps de prendre les images modélisées pour les intégrer dans un univers 3D.
La première image montre la photo captée par drone; la seconde, la représentation dans Unity.
Voici plus en détails comment l’équipe aprocédé :
a) Grâce au logiciel Agisoft Delighter, il est possible de retirer la lumière, mais le logiciel exige beaucoup de mémoire vive. Pour contourner le problème, l’outil d’automatisation Objremapper développé au CDRIN s’avère utile, car il fragmente le modèle en plus petits morceaux.
Voici un exemple d’un fragment d’image retravaillé par l’outil d’automisation Objremapper, développé au CDRIN.
b) Il faut ensuite passer le tout dans le logiciel XNormal afin de générer une “normal map”, une "heightmap" et une “ambiant occlusion map”. Lors de cette étape, il est recommandé de générer les textures en demi-résolution et de fragmenter en plus petits segments avec Objremmaper.
c) La prochaine étape est la simplification avec l’outil Simplygon. Un premier niveau de simplification sans modification permet de retirer les crevasses et d’améliorer la dégradation des jointures. Il faut cependant réutiliser Objremapper pour uniformiser les textures.
d) Le tout est finalement envoyé dans Unity avec un script qui génère les matériaux des textures importées, les blocs de la scène en basse qualité et la configuration pour la mise à jour dynamique où les blocs sont d’abord chargés en basse qualité pour entrer dans la mémoire vive. Le niveau de qualité est rehaussé itérativement. Deux modes sont possibles: sans éclairage ou effet ainsi qu’avec éclairage. Toutefois, le mode avec éclairage est incompatible pour l’instant avec l’ajustement dynamique de la qualité.
3. Exploration des données
La visualisation créée à partir des données topométriques et l’intégration dans un univers 3D permettent une compréhension accrue du terrain. Il s’agit d’une expertise nouvelle dans le secteur minier ou l’aménagement du territoire. Ces nouvelles connaissances, développées grâce au partenariat entre le CDRIN, le Cégep de Thetford et celui de Matane, sont à la fois utiles pour la recherche, l’enseignement et l’industrie.
4. Le passage à la réalité virtuelle
Le stagiaire, Thomas Ethève, a eu la tâche d’intégrer les résultats en réalité virtuelle sur le casque Oculus Quest. L’utilisateur peut visualiser et naviguer sur le terrain de manière fluide et intuitive. Le tout est présenté comme dans un modèle de jeu et il est possible deprendre des notes sur l’image.
Des acquis importants en réalité virtuelle et en photogrammétrie
Dans le milieu de l’éducation
Le Cégep de Matane ainsi que le programme de Technologie minérale du Cégep de Thetford veulent être au goût du jour en ce qui concerne les nouvelles technologies. La réalisation de ce projet a permis de développer des connaissances plus approfondies en réalité virtuelle et en photogrammétrie : des atouts importants pour ces programmes de formation.
Les connaissances acquises au cours de ce PART viennent bonifier les programmes de formation impliqués et leur permettent d’être en avance par rapport aux pratiques de l’industrie.
Les notions de visualisation 3D présentent une nouvelle forme d’utilisation des données acquises par le technicien dans le cadre des ses fonctions. Une fois sur le marché du travail, il peut en faire bénéficier les entreprises.
Des étudiants ont également participé aux travaux de recherche.
Dans le milieu de l’industrie
Une toute nouvelle façon d’exploiter les données a été créée. En effet, les constats démontrent que les données recueillies dans les entreprises minières peuvent être utilisées pour créer des environnements virtuels.
Il sera donc possible pour les industries partenaires de s’inspirer des ces avancées et d’améliorer le processus actuel afin de transférer leurs données terrain vers la réalité virtuelle.
Équipe de projet
Chercheurs responsables :
- Tommy Brière, chercheur R-D au CDRIN
- Nadia Paquet, enseignante-chercheuse, programme de Technologie minérale au Cégep de Thetford
- Jean-François Huard, enseignant-chercheur, Technologie minérale au Cégep de Thetford
- Marie-Danièle Ouellet, enseignante-chercheuse, programme d’Aménagement du territoire et urbanisme au Cégep de Matane
- Roch Guèvremont, enseignant-chercheur, programme d’Aménagement du territoire et urbanisme au Cégep de Matane
- Steve Normand, enseignant-chercheur, programme d’Aménagement du territoire et urbanisme au Cégep de Matane
- Robert Baronet, enseignant-chercheur, programme de Photographie au Cégep de Matane
Étudiants impliqués :
- Thomas Éthève, stagiaire, étudiant au Cégep de Matane
- Alexis Bernier, stagiaire, étudiant au Cégep de Matane
Partenaires:
Partenaire financier :
Lire plus: