Détection de la variation graphique dans une langue non standardisée : le cas des dialectes alsaciens
Résumé
Spelling variation is one of the key challenges for NLP on historical texts, especially for non-standard languages where there is no consensus on the convention of spelling, it is not possible to normalize these texts. In this paper, we explored the research on the detection of spelling variation in order to develop a system for the extraction of rules of spelling variation in Alsatian dialects. Based on the corpus of dramas from the MeThAL project, we presented the method for extracting rules of variation at the level of character n-grams : first extracting the character n-grams from the sub-corpus by statistical measures, then clustering the feature forms, finally aligning the different clusters and extracting the rules of variation and examples of variants.
La variation orthographique est l'un des principaux enjeux pour le TAL des textes historiques, notamment pour les langues non standardisées où l’absence d’une convention orthographique consensuelle ne nous permet pas de se référer à une norme. Dans ce mémoire, nous avons exploré les recherches portant sur l'identification de variantes orthographiques afin de concevoir un système destiné à l'extraction de règles de variation graphique dans les dialectes alsaciens. En se basant sur le corpus de pièces de théâtre provenant du projet MeThAL, nous avons présenté la méthode permettant d'extraire des règles de variantes au niveau des n-grammes de caractères : d'abord l'extraction des n-grammes de caractères du sous-corpus par des mesures statistiques, puis le regroupement des formes caractéristiques, enfin l'alignement des différents groupes de caractéristiques et l'extraction des règles et des exemples des variantes.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|