Bernas, M. Raphael (2024) Lipschitz Regularization for Neural Networks in High Dimension PRE - Projet de recherche, ENSTA.
Fichier(s) associé(s) à ce document :
| PDF Available under License Creative Commons Attribution. 2671Kb |
Résumé
La robustesse des réseaux de neurones est un enjeu crucial dans le domaine de l’apprentissage automatique, impactant diverses applications. De petites perturbations dans les données d’entrée peuvent affecter de manière significative la qualité des sorties, ce qui entraîne des problèmes en classification d’images, dans les véhicules autonomes, et en détection d’objets. Alors que l’apprentissage profond continue de croître en importance, ces problèmes pourraient représenter des risques de sécurité pour les systèmes reposant sur des réseaux neuronaux profonds. Pour remédier à cela, des méthodes de régularisation ont été développées afin d’assurer la robustesse des réseaux neuronaux profonds (DNN). L’une de ces méthodes consiste à pénaliser le modèle en fonction de sa constante de Lipschitz. Cependant, le calcul de cette constante est computationnellement infaisable, en particulier pour des dimensions élevées. Une méthode proposée par Bungert et al- dans CLIP : Cheap Lipschitz Training of Neural Networks- suggère de calculer la constante de Lipschitz sur un ensemble restreint déterminé par des méthodes adversariales. Ce travail vise à étendre les résultats trouvés par Bungert et al et à relever les défis rencontrés dans des dimensions plus élevées.
Type de document: | Rapport ou mémoire (PRE - Projet de recherche) |
---|---|
Mots-clés libres: | Constante de Lipschitz, Entrainement adversariale, Réseaux neuronaux, Robustesse, Sur-apprentissage, Haute dimension. |
Sujets: | Mathématiques et leurs applications |
Code ID : | 10063 |
Déposé par : | Raphaël BERNAS |
Déposé le : | 03 sept. 2024 10:02 |
Dernière modification: | 03 sept. 2024 10:02 |