Thèse Année : 2024

Online Distributed Learning : A Projection-Free Approach

Apprentissage distribué en ligne : une approche sans projection

Résumé

Distributed learning has been studied intensively in recent years due to its practicality for a wide range of applications where data transfer incurs high costs in terms of privacy and communication bandwidth. In this context, it is crucial to design algorithms that are suitable for edge devices with limited computational and communication capabilities, while still achieving optimal performance in a distributed setting. However, this is a challenging task as the algorithm's performance is dependent on multiple factors such as the overlay communication network, the computational capabilities, and the nature of the data on each device.The majority of research in distributed learning has focused on the offline setting, where data is stored locally and the objective function remains static throughout the learning process. However, this offline setting becomes unrealistic for many machine learning applications as data is generated in a continuous manner.In this thesis, we study the problem of distributed online learning, where multiple agents learn from streams of data generated at local devices to reach a consensus on a global objective function. We propose projection-free algorithms that are well-suited for a distributed setting. These algorithms are carefully designed to achieve optimal regret bounds for various scenarios of online and distributed learning, including delayed feedback, zeroth-order feedback for convex and non-convex functions.We conduct an extensive theoretical study and experimentally validate the performance of our algorithms by comparing them with existing ones on real-world problems. Furthermore, we provide an empirical study on the energy consumption of training federated learning (FL) on edge devices, taking into account data heterogeneity and the computation/communication trade-off when varying the number of devices and data partition.
L'apprentissage distribué a fait l'objet de recherches intensives ces dernières années en raison de sa praticité pour une large gamme d'applications où le transfert de données entraîne des coûts élevés en termes de confidentialité et de bande passante de communication. Dans ce contexte, il est crucial de concevoir des algorithmes qui conviennent aux périphériques de bord avec des capacités de calcul et de communication limitées, tout en atteignant des performances optimales dans un environnement distribué. Cependant, c'est une tâche difficile car les performances de l'algorithme dépendent de plusieurs facteurs tels que le réseau de communication, les capacités de calcul et la nature des données sur chaque périphérique. La majorité des recherches en apprentissage distribué ont porté sur le paramètre hors ligne, où les données sont stockées localement et la fonction objective reste statique tout au long du processus d'apprentissage. Cependant, ce paramètre hors ligne devient irréaliste pour de nombreuses applications d'apprentissage automatique car les données sont générées de manière continues.Dans cette thèse, nous étudions le problème de l'apprentissage en ligne distribué, où plusieurs agents apprennent à partir de flux de données générés sur des périphériques locaux pour atteindre un consensus sur une fonction objective globale. Nous proposons des algorithmes sans projection qui sont bien adaptés à un environnement distribué. Ces algorithmes sont conçus avec soin pour atteindre des bornes de regret optimales pour divers scénarios d'apprentissage en ligne et distribué, y compris le délai de feedback, le bandit feedback pour les fonctions convexes et non convexes.Nous menons une étude théorique approfondie et validons expérimentalement les performances de nos algorithmes en les comparant à des algorithmes existants sur des problèmes du monde réel. De plus, nous fournissons une étude empirique sur la consommation d'énergie de l'apprentissage fédéré sur des périphériques de bord, en tenant compte de l'hétérogénéité des données et du compromis entre calcul et communication lors de la variation du nombre de périphériques et de la partition des données.
Fichier principal
Vignette du fichier
NGUYEN_HUU_2024_archivage.pdf (3) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04959071 , version 1 (20-02-2025)

Identifiants

  • HAL Id : tel-04959071 , version 1

Citer

Tuan-Anh Nguyen Huu. Online Distributed Learning : A Projection-Free Approach. Artificial Intelligence [cs.AI]. Université Grenoble Alpes [2020-..], 2024. English. ⟨NNT : 2024GRALM033⟩. ⟨tel-04959071⟩
0 Consultations
0 Téléchargements

Partager

More