Modélisation auto-supervisée de la parole affective spontanée - DUMAS - Dépôt Universitaire de Mémoires Après Soutenance Accéder directement au contenu
Mémoires Année : 2022

Modélisation auto-supervisée de la parole affective spontanée

Résumé

Self-supervised pre-trained models using unlabeled data to extract representations have been widely explored in the field of automatic speech processing. This paper explores a new approach of extracting linguistic representations from transcriptions using pre-trained self-supervised models for time-continuous emotion recognition. We examined an alignment method to fit linguistic representations with time. Experimental results show that linguistic self-supervised representations can predict emotions in arousal and valence dimensions and achieve excellent results as acoustic self-supervised representations.
Les modèles auto-supervisés pré-entraîné utilisant des données non étiquetées pour extraire des représentations ont été largement exploré dans le domaine du traitement automatique de la parole. Ce mémoire explore une nouvelle approche consistant à extraire des représentations linguistiques des transcriptions à partir des modèles auto-supervisés pré-entraîné pour la reconnaissance des émotions de la parole spontanée en temps continu. Nous avons examiné une méthode d’alignement pour accorder les représentations linguistiques avec du temps. Les résultats des expérimentations montrent que les représentations auto-supervisées linguistiques peuvent prédire les émotions en dimension arousal et valence aussi bien que les représentations auto-supervisées acoustiques.
Fichier principal
Vignette du fichier
TONG Ziyi_M2_IDL.pdf (1.19 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

dumas-03516512 , version 1 (07-01-2022)

Identifiants

  • HAL Id : dumas-03516512 , version 1

Citer

Ziyi Tong. Modélisation auto-supervisée de la parole affective spontanée. Sciences de l'Homme et Société. 2022. ⟨dumas-03516512⟩
89 Consultations
118 Téléchargements

Partager

Gmail Facebook X LinkedIn More