Doctorant en optimisation, AutoML, configuration des algorithmes (H/F)

Sujet de thèse :
La prévalence croissante des flux de données dans les applications du monde réel nécessite le développement de techniques de configuration d'algorithmes efficaces et adaptatives. Les approches d'optimisation hors ligne traditionnelles ont du mal à suivre le rythme de la nature évolutive des flux de données, soulignant la nécessité de
nouvelles méthodes capables d'adapter dynamiquement les hyperparamètres en temps réel [1].
L'objectif de cette thèse de doctorat est de faire progresser le domaine de la configuration et de la sélection d'algorithmes de manière continue en étudiant des techniques qui optimisent en continu les modèles d'apprentissage automatique
à mesure que de nouvelles instances de données arrivent [2]. L'un des principaux objectifs sera de tirer parti du méta-apprentissage dans les flux de données
[3,4,5] pour améliorer le processus d'optimisation, permettant des ajustements d'hyperparamètres éclairés sur la base d'expériences passées sur des tâches similaires. En outre, cette recherche explorerait l'importance des hyperparamètres, en identifiant les paramètres qui ont l'impact le plus significatif sur les performances du modèle (en utilisant des techniques telles que l'analyse de sensibilité et les mesures d'importance des caractéristiques) [6]. L’identification des relations entre les hyperparamètres et les performances pourrait conduire à des stratégies d’optimisation plus ciblées et plus efficaces, réduisant la surcharge de calcul tout en accélérant
la convergence et en améliorant l’adaptabilité globale du modèle. Un domaine d’application principal de ce travail est l’optimisation de la boîte noire, où les algorithmes doivent être réglés sans connaissance explicite de la structure interne de la fonction objective. En intégrant des techniques de configuration adaptative à l’optimisation des hyperparamètres en temps réel, cette recherche vise à améliorer l’efficacité et l’efficience des modèles dans des environnements dynamiques. Les contributions attendues comprennent de nouvelles méthodologies pour la configuration et la sélection d’algorithmes en ligne, une compréhension plus approfondie de l’importance des hyperparamètres dans les contextes de streaming et des cadres pratiques qui peuvent être appliqués aux problèmes d’optimisation de la boîte noire. En fin de compte, ce travail vise à combler le fossé entre AutoML et les flux de données, permettant des systèmes d’apprentissage plus robustes, évolutifs et autonomes.

[1] Baratchi, M., Wang, C., Limmer, S., van Rijn, J. N., Hoos, H., Bäck, T., Olhofer, M.: Automated
machine learning: past, present and future. Artificial Intelligence Review, 2024
[2] Bahri, M., Bifet, A., Gama, J., Gomes H M., Maniu, S.: Data stream analysis: Foundations, major
tasks and tools. WIREs DMKD, 2021
[3] Rossi, André Luis Debiaso, et al. MetaStream: A meta-learning based method for periodic
algorithm selection in time-changing data.
Voir plus sur le site emploi.cnrs.fr...