École Nationale Supérieure de
Techniques Avancées

Résumé

Jusqu’à présent, les systèmes de reconnaissance vocale automatiques avaient surtout été entrainés selon des objectifs de performance avec une grande quantité de données. Cependant, avec la volonté grandissante d’applications respectant plus la vie privée, la collecte standard de données pour améliorer les modèles de langage est devenue problématique. Ce rapport explore l’entrainement de modèles de langage basés sur des réseaux de neurones dans un environnement de données restreint. Il explore deux sources de données externes pour améliorer le modèle initial basé seulement sur des données étiquetées provenant des domaines cibles : les données étiquetées hors du domaine cible et les données non étiquetées dans le domaine cible. Il semble que les données du domaine cible mais non étiquetées soient plus bénéfiques pour le modèle de langage. Le modèle le plus performant est une triple interpolation linéaire combinant deux interpolations linéaires d’un modèle de langage n-gram et LSTM entraînés sur le même corpus. Le premier modèle d’interpolation est entrainé sur des données étiquetées du domaines cible et le second des données non-étiquetées du même domaine. Une nouvelle méthode de modulation de la fonction de perte utilisant les probabilités du réseau de confusion produit par le système de reconnaissance automatique du langage est explorée et se révèle prometteuse.