Loriaux, Quentin (2024) Questions / Réponses : Les modèles de langue aidés par la recherche d’information ; détection du besoin de recherche PRE - Projet de recherche, ENSTA.
Fichier(s) associé(s) à ce document :
| PDF 1072Kb |
Résumé
Les modèles d’IA tels que ChatGPT font aujourd’hui partie de notre quotidien et nous nous fions parfois à tort aux connaissances qu’ils nous transmettent. Le champ des Questions/Réponses est le domaine dans lequel les chercheurs tentent d’améliorer la qualité et garantir la véracité de ce que génèrent ces modèles. C’est au sein de l’Université de Montréal que j’ai travaillé sur la question de comment améliorer la Génération Augmentée par Recherche (RAG) afin de rendre plus performantes les réponses des modèles aux questions, grâce à un apport extérieur de connaissances automatisé. J’ai dans un premier temps analysé le récent framework "DRAGIN" qui détermine dynamiquement la nécessité d’utiliser le RAG grâce au mécanisme d’attention. Dans un second temps, j’ai modifié ce framework pour créer une manière nouvelle de détecter ce besoin qui s’appuie sur la substitution de phrases. Ce nouveau framework que j’ai nommé DRAGINUS nécessitera encore d’être testé et amélioré afin de se démocratiser parmi les techniques du RAG.
Type de document: | Rapport ou mémoire (PRE - Projet de recherche) |
---|---|
Mots-clés libres: | Traitement du Langage Naturel (NLP), Grand Modèle de Langage (LLM), Recherche d’Information (IR), Génération Augmentée par la Recherche (RAG), fewshot, hallucination, attention |
Sujets: | Sciences et technologies de l'information et de la communication |
Code ID : | 10029 |
Déposé par : | Quentin LORIAUX |
Déposé le : | 28 août 2024 19:06 |
Dernière modification: | 28 août 2024 19:06 |