École Nationale Supérieure de
Techniques Avancées

Résumé

L’explicabilité (XAI) est née du besoin de rendre les prédictions des systèmes d’intelligence artificielle plus transparentes et interprétables, en particulier à mesure que les modèles gagnent en complexité. Ce besoin est particulièrement marqué dans le contexte de l’apprentissage profond (Deep Learning- DL), où les décisions des modèles sont souvent opaques. L’interprétabilité mécanistique, un sous-domaine de la XAI, cherche à relever ce défi en analysant la structure interne et le fonctionnement des grands modèles de langage (LLMs) afin d’expliquer leurs sorties. Cependant, la plupart des approches existantes se concentrent sur une analyse a posteriori, effectuée après l’entraînement, et peu d’entre elles ont exploré l’utilisation de méthodes mécanistiques pour suivre le processus d’apprentissage lui-même. Dans ce travail, nous étudions l’évolution des mécanismes internes d’un modèle au cours de l’entraînement, en utilisant le modèle EuroBERT et ses checkpoints intermédiaires. En appliquant des techniques d’interprétabilité mécanistique tout au long de la phase d’apprentissage, nous visons à extraire des observations sur la dynamique d’apprentissage des grands modèles de langage (LLMs), dans le but de contribuer à l’élaboration de cadres d’apprentissage plus structurés et à l’établissement d’une dynamique de l’apprentissage.