École Nationale Supérieure de
Techniques Avancées

Résumé

Ce document est un rapport technique qui a pour but de présenter le travail que j'ai effectué à l'ISIR lors de mon stage de fin d'études, dans le cadre de mon cursus à l'ENSTA. D'avril à octobre 2024, j'ai travaillé dans l'équipe MLIA sur le thème de la représentation des entités dans les grands modèles de langage récents. Ce travail s'inscrit dans la tendance vers des grands modèles de langage explicables et responsables pour la gestion des connaissances. Il y a en effet un effort croissant pour explorer les moyens d'expliquer et de gérer la façon dont les grands modèles de langage stockent et récupèrent les informations factuelles dans les textes qu'ils lisent et sur lesquelles ils s'entraînent. Mon stage et le doctorat qui suivra ont pour but de chercher dans cette direction. Je suis très fier d'annoncer que le travail que j'ai effectué dans le laboratoire au cours des six derniers mois a conduit à la rédaction d'un document de conférence qui sera soumis à la conférence annuelle du chapitre nord-américain de l'Association for Computational Linguistics. Le corps principal de ce document, à savoir les sections 6 à 15, ainsi que l'annexe, ont été rédigés à partir du contenu de l'article, qui est encore en cours de rédaction.