École Nationale Supérieure de
Techniques Avancées

Résumé

Ce projet de recherche étend l’Instance-dependent Early Stopping (IES) en intégrant une planification dynamique des passes avant afin de réduire le coût computationnel dans les tâches de classification tout en maintenant les performances. IES utilise la différence seconde de la fonction de perte pour refléter la dynamique d’apprentissage propre à chaque instance et pour exclure de la rétropropagation les instances maîtrisées. Cependant, il faut encore effectuer une passe avant à chaque époque pour suivre la fonction de perte, ce qui peut représenter jusqu’à 25% du coût total. Dans ce projet, nous adaptons dynamiquement la fréquence des passes avant pour les instances maîtrisées en fonction de leur stabilité. Nous analysons ensuite l’efficacité de passer de la différence du second ordre à celle du premier ordre lors des phases avancées de l’entraînement. Enfin, nous explorons l’application de l’IES au réglage fin supervisé (SFT) des LLM et évaluons son impact sur l’efficacité de l’entraînement.