Ingénieur d'étude « Fusion de données caméra et lidar pour détection et suivi de piétons ».

La personne recrutée travaillera dans la thématique n°2 du défi clé, « la ville qui pardonne », qui concerne l’infrastructure urbaine connectée protectrice des personnes vulnérables. Le travail consiste à développer les méthodes d’analyse du déplacement des usagers vulnérables, particulièrement les piétons, exploitant les données recueillies par une infrastructure de capteurs équipant le campus de l’Université Paul Sabatier. Cette infrastructure est constituée de plusieurs caméras, de lidars, et de moyens de comptages.
L’objectif de ce travail est de contribuer à la mise au point d’une infrastructure de capteurs connectés, capable de suivre et d’anticiper les déplacements des usagers vulnérables, et de proposer une estimation du risque (de collision ou de traversée de route) avec un horizon temporel suffisant (quelques secondes) pour éviter les accidents.
Pour mener à bien cet objectif, la personne recrutée devra intervenir au début de la chaîne de traitement, et mettre en place les algorithmes nécessaires à la transformation des données brutes en données utilisables pour la modélisation des déplacements.
La personne recrutée aura pour mission d'assister les chercheurs dans les tâches suivantes :
· A partir des données brutes (ou prétraitées) issues de capteurs vidéo et lidars, fournies par les équipes, il s’agira de proposer et d’implémenter des méthodes issues de la littérature pour
o Identifier des objets mobiles avec une caméra (algorithmes de type Yolo).
o Re-identifier les objets mobiles détectés dans les différents champs de vision (notamment, re-identifier des personnes dans les 4 champs de vision d‘une caméra 360°).
o Repositionner les traces numériques obtenues dans un plan 2D (bird-view).
· Contribution à la constitution d’une « vérité terrain » destinée à l’apprentissage des modèles de détection des piétons, soit par annotation manuelle de séquences, soit via des approches numériques exploitant les données GPS de téléphones portables de participants volontaires.
· Etudier les possibilités d’amélioration des détections par ajout de capteurs, comme l’ajout d’un lidar. Il s’agira d’implémenter et d’adapter des algorithmes de la littérature pour la détection et le suivi des piétons exploitant données lidar + caméras (voir références ci-dessous).
·  Participer à la rédaction d’articles de recherche en liens avec ces données.

Références :
Mai, N. A. M., Duthon, P., Khoudour, L., Crouzil, A., & Velastin, S. A. (2021). 3D object detection with SLS-fusion network in foggy weather conditions. Sensors, 21(20), 6711. https://doi.org/10.3390/s21206711