postdoctorant - EventSpike - Asynchronous computer vision from event cameras (H/F)

Missions :
L'analyse vidéo est l'une des tâches fondamentales de la vision par ordinateur. L'approche dominante repose sur les réseaux de neurones profonds appliqués aux images RVB. Ces modèles présentent des inconvénients tels que : a) la nécessité de grandes quantités de données annotées, ce qui nécessite un travail humain important ; b) le coût informatique et donc énergétique important de ces approches ; et c) la redondance des informations visuelles entre deux images successives. Les réseaux de neurones à impulsions peuvent offrir une solution à ces problèmes, grâce à l'utilisation de règles d'apprentissage non supervisées inspirées de l'apprentissage biologique et à la possibilité de les implémenter sur des composants matériels à très basse consommation. Les caméras événementielles, qui ne communiquent que les variations d'intensité lumineuse, se positionnent comme une alternative pour capturer une scène lorsqu'un traitement efficace sur du matériel à faibles capacités de calcul est requis. L'objectif de ce projet est d'apporter une réponse conjointe en proposant des méthodes d'apprentissage faiblement supervisées basées sur des mécanismes d'apprentissage à impulsions qui exploiteront directement le flux d'impulsions généré par une caméra événementielle.

L'objectif principal est de développer de nouveaux modèles de réseaux de neurones à impulsions (SNN) capables de traiter directement l'information visuelle sous forme de trains d'impulsions. Les modèles proposés doivent être validés expérimentalement sur des bases de données de vision dynamique, en suivant les protocoles standards et les meilleures pratiques.
Activités :
Les travaux consisteront à :
• identifier les obstacles à la modélisation spatio-temporelle des mouvements épars et de faible intensité à l’aide de réseaux de neurones à impulsions, ainsi que les outils permettant de les surmonter ;
• développer des modèles capables de séparer les mouvements épars et de faible intensité du bruit de mesure de manière non supervisée et pouvant être mis en œuvre à l’aide de matériel à très faible consommation ;
• valider ces modèles sur des jeux de données standard d’analyse des expressions faciales ;
• capturer conjointement un jeu de données contenant à la fois des données standard (RVB) et des données à impulsions (DVS).
Contexte de travail :
L'équipe de recherche FOX fait partie du laboratoire CRIStAL (Université de Lille, CNRS), situé à Lille, en France. Nous nous concentrons sur l'analyse vidéo pour la compréhension du comportement humain. Plus précisément, nous développons des modèles spatio-temporels de mouvements pour des tâches telles que la détection d'événements anormaux, la reconnaissance des émotions et l'alignement des visages. Nous sommes également impliqués dans l'IRCICA (CNRS), un institut de recherche favorisant la recherche multidisciplinaire. À l'IRCICA, nous collaborons avec des informaticiens et des experts en ingén
Voir plus sur le site emploi.cnrs.fr...