École Nationale Supérieure de
Techniques Avancées

Résumé

L'article rédigé au cours de ce stage propose un nouveau modèle acoustique profond de maillages de pièces en 3 dimensionnelles (3D) de pièces par le biais de codes latents interprétables par l'homme représentant des pièces virtuelles en boîte à chaussures qui servent d'entités intuitives et modifiables pour le traitement polyvalent du signal audio pour les lunettes intelligentes de réalité augmentée. pour les lunettes intelligentes de réalité augmentée. Bien que des maillages de pièces en 3D aient été utilisés pour générer des réponses impulsionnelles de pièces à des fins de génération de données simulées, le potentiel des représentations de maillage reste à explorer, en particulier pour les pièces complexes du monde réel dont les maillages ne sont pas exacts et sont estimés au moment de l'exécution. Nous utilisons des lunettes intelligentes avancées dotées d'une capacité de cartographie spatiale pour représenter dynamiquement une pièce réelle sous forme de maillages 3D tout en localisant l'emplacement de l'utilisateur dans la pièce. Compte tenu de cette configuration configuration spatiale, nous entraînons un réseau neuronal graphique avec une régularisation basée sur la physique et une méthode de source d'image différentiable pour déduire une pièce virtuelle de type boîte à chaussures qui a les mêmes caractéristiques de réverbération que la pièce réelle. Notre évaluation montre que notre modèle peut créer une telle pièce rectangulaire virtuelle à partir de maillages 3D d'une pièce de forme irrégulière. En outre, nous démontrons que les codes latents sont utiles pour conditionner un système de déréverbération appliqué à des données réelles capturées à l'aide du Microsoft HoloLens 2.