Des chercheurs en IA s’attaquent au problème de longue date de «l’hétérogénéité des données» pour l’apprentissage fédéré

IA

Les ensembles de données utilisés pour entraîner les algorithmes d’IA peuvent sous-représenter les personnes âgées. Crédit : Pixabay/CC0 Domaine public

Des chercheurs de la North Carolina State University ont développé une nouvelle approche de l’apprentissage fédéré qui leur permet de développer plus rapidement et plus précisément des modèles d’intelligence artificielle (IA) précis. Le travail se concentre sur un problème de longue date dans l’apprentissage fédéré qui se produit lorsqu’il existe une hétérogénéité significative dans les différents ensembles de données utilisés pour former l’IA.

L’apprentissage fédéré est une technique de formation à l’IA qui permet aux systèmes d’IA d’améliorer leurs performances en s’appuyant sur plusieurs ensembles de données sans compromettre la confidentialité de ces données. Par exemple, l’apprentissage fédéré pourrait être utilisé pour tirer parti des données privilégiées des patients de plusieurs hôpitaux afin d’améliorer les outils de diagnostic de l’IA, sans que les hôpitaux aient accès aux données sur les patients des autres.

L’apprentissage fédéré est une forme d’apprentissage automatique impliquant plusieurs appareils, appelés clients. Les clients et un serveur centralisé commencent tous par un modèle de base conçu pour résoudre un problème spécifique. À partir de ce point de départ, chacun des clients forme ensuite son modèle local à partir de ses propres données, modifiant le modèle pour améliorer ses performances. Les clients envoient ensuite ces “mises à jour” au serveur centralisé. Le serveur centralisé s’appuie sur ces mises à jour pour créer un modèle hybride, dans le but de faire en sorte que le modèle hybride fonctionne mieux que n’importe lequel des clients par lui-même. Le serveur central renvoie alors ce modèle hybride à chacun des clients. Ce processus est répété jusqu’à ce que les performances du système aient été optimisées ou atteignent un niveau de précision convenu.

“Cependant, parfois, la nature des données personnelles d’un client entraîne des modifications du modèle local qui ne fonctionnent bien que pour les propres données du client, mais ne fonctionnent pas bien lorsqu’elles sont appliquées à d’autres ensembles de données”, explique Chau-Wai Wong, auteur correspondant. d’un article sur la nouvelle technique et professeur adjoint de génie électrique et informatique à NC State. “En d’autres termes, s’il y a suffisamment d’hétérogénéité dans les données des clients, parfois un client modifie son modèle local d’une manière qui nuit réellement aux performances du modèle hybride.”

“Notre nouvelle approche nous permet de résoudre le problème d’hétérogénéité plus efficacement que les techniques précédentes, tout en préservant la confidentialité”, déclare Kai Yue, premier auteur de l’article et titulaire d’un doctorat. étudiant à NC State. « De plus, s’il y a suffisamment d’hétérogénéité dans les données des clients, il peut être effectivement impossible de développer un modèle précis à l’aide d’approches d’apprentissage fédéré traditionnelles. Mais notre nouvelle approche nous permet de développer un modèle précis, quelle que soit l’hétérogénéité des données.

Dans la nouvelle approche, les mises à jour que les clients envoient au serveur centralisé sont reformatées de manière à préserver la confidentialité des données, mais donnent au serveur central plus d’informations sur les caractéristiques des données pertinentes pour les performances du modèle. Plus précisément, le client envoie des informations au serveur sous la forme de matrices jacobiennes. Le serveur central branche ensuite ces matrices dans un algorithme qui produit un modèle amélioré. Le serveur central distribue ensuite le nouveau modèle aux clients. Ce processus est ensuite répété, chaque itération conduisant à des mises à jour du modèle qui améliorent les performances du système.

“L’une des idées centrales est d’éviter de former de manière itérative le modèle local chez chaque client, en laissant plutôt le serveur produire directement un modèle hybride amélioré basé sur les matrices jacobiennes des clients”, explique Ryan Pilgrim, co-auteur de l’article et ancien diplômé. étudiant à NC State. “Ce faisant, l’algorithme évite non seulement plusieurs cycles de communication, mais empêche également les mises à jour locales divergentes de dégrader le modèle.”

Les chercheurs ont testé leur nouvelle approche par rapport à des ensembles de données standard de l’industrie utilisés pour évaluer les performances d’apprentissage fédéré et ont découvert que la nouvelle technique était capable d’égaler ou de surpasser la précision de la moyenne fédérée, qui est la référence pour l’apprentissage fédéré. De plus, la nouvelle approche a pu correspondre à cette norme tout en réduisant d’un ordre de grandeur le nombre de cycles de communication entre le serveur et les clients.

“Par exemple, il faut une moyenne fédérée de 284 cycles de communication pour atteindre une précision de 85 % dans l’un des ensembles de données de test”, explique Yue. “Nous avons pu atteindre une précision de 85 % en 26 tours.”

“Il s’agit d’une nouvelle approche alternative à l’apprentissage fédéré, faisant de ce travail exploratoire”, déclare Wong. “Nous réorientons efficacement les outils analytiques pour la résolution de problèmes pratiques. Nous sommes impatients d’obtenir les commentaires du secteur privé et de la communauté de recherche sur l’apprentissage fédéré au sens large sur son potentiel.”

L’article, “Neural Tangent Kernel Empowered Federated Learning”, sera présenté à la 39e Conférence internationale sur l’apprentissage automatique (ICML), qui se tiendra à Baltimore, Maryland, du 17 au 23 juillet.


La technique ouvre la voie à la formation à l’IA dans les appareils sans fil


Plus d’information:
Kai Yue et al, Neural Tangent Kernel Empowered Federated Learning, arXiv (2022). arXiv:2110.03681 [cs.LG] arxiv.org/abs/2110.03681

Conférence : icml.cc/

Informations sur la revue :
arXiv

Fourni par l’Université d’État de Caroline du Nord

Citation: Des chercheurs en IA s’attaquent au problème de longue date de «l’hétérogénéité des données» pour l’apprentissage fédéré (11 juillet 2022) récupéré le 11 juillet 2022 sur https://techxplore.com/news/2022-07-ai-tackle-longstanding-heterogeneity-problem.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.