L’équipe rationalise les réseaux de neurones pour être plus apte à calculer sur des données cryptées

données cryptées

Crédit : Pixabay/CC0 domaine public

Cette semaine, lors de la 38e conférence internationale sur l’apprentissage automatique (ICML 21), des chercheurs du NYU Center for Cyber ​​Security de la NYU Tandon School of Engineering révèlent de nouvelles connaissances sur les fonctions de base qui déterminent la capacité des réseaux de neurones à faire des inférences sur données cryptées.

Dans l’article “DeepReDuce: ReLU Reduction for Fast Private Inference”, l’équipe se concentre sur les opérateurs linéaires et non linéaires, caractéristiques clés des infrastructures de réseau neuronal qui, selon l’opération, introduisent un lourd tribut en temps et en ressources de calcul. Lorsque les réseaux de neurones calculent sur des données cryptées, bon nombre de ces coûts sont encourus par la fonction d’activation linéaire rectifiée (ReLU), une opération non linéaire.

Brandon Reagen, professeur d’informatique et d’ingénierie et d’ingénierie électrique et informatique et une équipe de collaborateurs dont Nandan Kumar Jha, un Ph.D. et Zahra Ghodsi, une ancienne doctorante sous la direction de Siddharth Garg, a développé un framework appelé DeepReDuce. Il offre une solution grâce au réarrangement et à la réduction des ReLU dans les réseaux de neurones.

Reagen a expliqué que ce changement nécessite une réévaluation fondamentale de l’endroit et du nombre de composants distribués dans les systèmes de réseaux neuronaux.

“Ce que nous essayons de faire, c’est de repenser la conception des réseaux neuronaux”, a-t-il expliqué. « Vous pouvez ignorer une grande partie de ces opérations ReLU coûteuses en temps et en calcul tout en obtenant des réseaux très performants avec une durée d’exécution 2 à 4 fois plus rapide. »

L’équipe a découvert que, par rapport à l’état de l’art pour l’inférence privée, DeepReDuce améliorait la précision et réduisait le nombre de ReLU jusqu’à 3,5 % et 3,5 fois, respectivement.

L’enquête n’est pas seulement académique. Alors que l’utilisation de l’IA se développe parallèlement aux préoccupations concernant la sécurité des données personnelles, d’entreprise et gouvernementales, les réseaux de neurones effectuent de plus en plus de calculs sur des données cryptées. Dans de tels scénarios impliquant des réseaux de neurones générant des inférences privées (IP) sur des données cachées sans divulguer les entrées, ce sont les fonctions non linéaires qui exercent le « coût » le plus élevé en temps et en puissance. Étant donné que ces coûts augmentent la difficulté et le temps nécessaires aux machines d’apprentissage pour effectuer l’IP, les chercheurs ont eu du mal à alléger la charge que les ReLU exercent sur de tels calculs.

Le travail de l’équipe s’appuie sur une technologie innovante appelée CryptoNAS. Décrit dans un article antérieur dont les auteurs incluent Ghodsi et un troisième doctorat. étudiant, Akshaj Veldanda, CryptoNAS optimise l’utilisation des ReLUs car on pourrait réorganiser la façon dont les roches sont disposées dans un ruisseau pour optimiser le débit d’eau : il rééquilibre la distribution des ReLUS dans le réseau et supprime les ReLUs redondantes.

DeepReDuce développe CryptoNAS en rationalisant davantage le processus. Il comprend un ensemble d’optimisations pour la suppression judicieuse des ReLUs après les fonctions de réorganisation de CryptoNAS. Les chercheurs ont testé DeepReDuce en l’utilisant pour supprimer les ReLU des réseaux classiques, constatant qu’ils étaient capables de réduire considérablement la latence d’inférence tout en maintenant une grande précision.

Reagan, avec Mihalis Maniatakos, professeur adjoint de recherche en génie électrique et informatique, fait également partie d’une collaboration avec la société de sécurité des données Duality pour concevoir une nouvelle puce conçue pour gérer le calcul sur des données entièrement cryptées.


DeepONet : un modèle basé sur un réseau de neurones profonds pour approximer les opérateurs linéaires et non linéaires


Plus d’information:
DeepReDuce : réduction ReLU pour une inférence privée rapide, arXiv:2103.01396 [cs.LG] arxiv.org/abs/2103.01396

Fourni par la NYU Tandon School of Engineering

Citation: L’équipe rationalise les réseaux de neurones pour être plus apte à calculer sur des données cryptées (2021, 22 juillet) récupéré le 22 juillet 2021 à partir de https://techxplore.com/news/2021-07-team-neural-networks-adept-encrypted.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.