Localisation sur site basée sur le flux vidéo pour l’usage de la réalité augmentée dans le BTP

Mots clés

Vision 3D, réalité augmentée, BIM, reconnaissance d’image, IFC, machine learning, deep learning, analyse de scène, détection d’objets.

Contexte

Un des problèmes majeurs pour le développement des technologies de réalité augmentée sur site concerne les contraintes fortes des environnements visités : conditions d’éclairage variables et difficilement prévisibles, présence de matériaux réfléchissants (ex. métaux), absence de couleurs ou de textures, environnements changeants.

Ce problème est encore plus important quand l’environnement en question est un chantier de construction : phases de chantiers en évolution, positionnements temporaires ou déplacement d’éléments, etc.

Les enjeux des applications de réalité augmentée dans le BTP sont doubles :

  1. Localiser le dispositif de réalité augmentée (tablette, smartphone, casque, etc.) sur site (i.e. à grande échelle) de manière précise en temps réel ;
  2. Augmenter de manière précise (au centimètre) les objets (i.e. à petite échelle) nécessaires à la conduite du chantier ou à l’exploitation du site.

Sujet de thèse ITMLD-BiB Mars 2021(finale)

Dans ces environnements inconnus, non contrôlés (éclairage, scène) et sans couverture GPS, les outils existants de réalité augmentée éprouvent des difficultés à fonctionner et ne répondent qu’à une partie de ces enjeux. Pour parvenir à déployer ce type d’applications avec la meilleure qualité de service possible, l’utilisation de techniques de vision par ordinateur est nécessaire, mais des verrous importants restent encore à lever notamment au niveau de l’algorithmie de recalage réel/virtuel et des systèmes de localisation et d’interaction, surtout dans le contexte de terminaux mobiles.

Grâce aux avancées dans le domaine de l’intelligence artificielle (IA) à travers le Machine Learning, leurs applications, de l’analyse de données à la vision par ordinateur et à la reconnaissance d’objets, ont récemment contribué à révolutionner de nombreux domaines industriels. Cependant, les avantages de ces outils n’ont pas encore été, ou peu, perçus dans leur plein potentiel dans le BTP.

L’objectif étant d’assurer la continuité numérique des informations entre les étapes de conception, de construction et de maintenance d’un bâtiment grâce à la technologie de réalité augmentée et en utilisant les techniques de machine learning.

Défis et objectifs

L’objectif principal de la thèse est de proposer des solutions innovantes de localisation en environnement changeant (chantiers de construction) afin de permettre à l’utilisateur d’interagir en réalité augmentée avec la maquette de chantier le plus précisément possible tout en utilisant un appareil mobile grand public (smartphone, tablette).

L’intérêt est de pouvoir fournir à l’utilisateur un produit accessible qui ne nécessite qu’un appareil mobile. Actuellement, une application développée par Bloc in Bloc a comme fonction principale de superposer une maquette numérique issue d’un modèle 3D BIM (Building Information Modeling) sur une scène réelle capturée dans un flux vidéo. Dans cette application, l’utilisateur définit manuellement sa position dans la scène, ce qui est encombrant et en plus ne garantit pas un alignement fiable à 100%.

Après étude des techniques existantes de localisation (SLAM visuel, Structure From Motion, zones d’intérêts, etc.), le/la doctorant(e) proposera une solution hybride de localisation intérieure la plus précise possible et en temps réel. La thèse portera également sur la reconnaissance d’objets dans le flux vidéo de réalité augmentée afin de superposer le modèle 3D numérique de l’ouvrage sur le réel et de présenter des informations pertinentes pour des tâches requérant une précision fine. Un scénario d’application consisterait par exemple à afficher, sur un chantier, un ensemble d’informations concernant les non-conformités affectant un élément de l’ouvrage à un utilisateur, en le conseillant sur des points de vigilance pertinents.

Enfin, l’intégration d’IA à travers le Machine Learning dans le processus BIM peut réduire les erreurs humaines et accélérer le temps nécessaire au traitement des données. Cette combinaison d’IA et BIM est important au profil du concept de construction 4.0 qui commence progressivement à s’imposer. Il est donc essentiel de considérer le potentiel impact de l’IA sur le BIM, en utilisant des techniques récentes de Machine Learning pour le traitement des informations notamment visuelles.

Les développements seront réalisés sur des systèmes mobiles iOS, Android et éventuellement HoloLens.

Ces travaux de thèse seront menés en coopération étroite entre le CERI Systèmes Numériques d’IMT à Villeneuve d’Ascq et Bloc in Bloc à Nantes. Les choix algorithmiques se feront en cohérence avec les services utilisés par Bloc in Bloc en mobilité. L’intégration dans une application réelle et des tests en situation seront réalisés dans le cadre de cette thèse.

Lieux de la thèse : IMT Lille Douai (site de Villeneuve d’Ascq) et Bloc in Bloc ( Orvault).

IMT Lille Douai

Ecole sous tutelle du ministère en charge de l’économie et des finances, et école de l’Institut Mines Télécom, IMT Lille Douai a 3 missions principales : former des ingénieurs responsables aptes à résoudre les grandes problématiques du XXIème siècle ; mener des recherches débouchant sur des innovations à haute valeur ajoutée ; soutenir le développement des territoires notamment en facilitant l’innovation et les créations d’entreprises. IMT Lille Douai a l’ambition de devenir un acteur majeur des grandes transformations industrielles, numériques et environnementales du XXIème siècle en combinant, tant dans ses enseignements et que dans sa recherche, les sciences de l’ingénieur et les technologies du numérique. Son Centre d’Enseignement, Recherche et Innovation (CERI) Systèmes Numériques développe un enseignement de haut niveau et une recherche d’excellence en Sciences et Technologies du Numérique et dans les Processus pour l’Industrie et les Services.

Bloc in Bloc

Bloc in Bloc a pour mission d’augmenter le jumeau numérique du BTP afin de le rendre mobile, vivant et accessible à tous.

Entreprise, Filiale de GEODESIAL Group située à Orvault en périphérie de Nantes, notre travail se concentre sur la recherche, l’innovation et la valorisation des nouvelles technologies au service des professionnels du BTP, le tout dans un programme de coopération openBIM.

Notre solution propose un service cloud et une application mobile qui permet de visualiser, interagir et coopérer en mobilité avec les maquettes numériques en AR ou VR.

Bloc in Bloc prend également en charge le développement de la plateforme SaaS et des services cloud du groupe.

Profil recherché

  • Étudiant(e) titulaire d’un diplôme d’ingénieurs ou Master 2 en informatique
  • Fort intérêt pour les technologies de réalité augmentée et virtuelle
  • Connaissances en vision par ordinateur et en intelligence artificielle (Deep Learning)
  • Appétence pour le développement informatique, et les plateformes mobiles (iOS, Android)
  • Envie de s’investir dans un projet de recherche à fort potentiel applicatif et pouvant déboucher sur des applications concrètes pendant la thèse.
  • Connaissances en mathématique (optimisation, statistique)
  • Connaissances de moteurs de jeux (Unity 3D, Unreal Engine…) est appréciée.

Pour postuler

Le/la candidat(e) devra fournir : une lettre de motivation pour le sujet et l’engagement dans une thèse de doctorat, un CV, une copie de ses derniers diplômes et ses résultats académiques, et au moins une lettre de recommandation ou le contact d’une personne de référence (enseignant en master, encadrant de stage de master, etc.)