École Nationale Supérieure de
Techniques Avancées

Résumé

Au cours de mon stage, j’ai travaillé sur la problématique de la détection des hallucinations dans les grands modèles de langage, un obstacle majeur à leur déploiement fiable dans des applications réelles. Mon travail a porté sur la conception d’un cadre d’évaluation permettant de distinguer entre les hallucinations extrinsèques et intrinsèques, ainsi que sur l’extension d’un algorithme d’estimation d’incertitude basé sur l’attention grâce à de nouvelles stratégies d’agrégation de l'attention. J’ai évalué ces méthodes sur plusieurs modèles open-source et jeux de données de référence, en les comparant aux approches les plus avancées de l’état de l’art. Les résultats ont montré que les méthodes basées sur l’échantillonnage sont plus efficaces pour détecter les hallucinations extrinsèques, tandis que les approches proposées, basées sur l’attention, se révèlent plus adaptées aux hallucinations intrinsèques. Ce stage m’a permis d’acquérir une solide expérience dans la mise en place d’expérimentations à grande échelle, l’estimation d’incertitude et l’évaluation des LLMs, en collaboration avec des équipes académiques et industrielles. Un résultat marquant de ce travail a été l’acceptation d’un article de recherche issu de ces contributions.