Abstract : Data-to-text generation is one of the most popular tasks in NLP. Data-to-text generation models can be divided into three categories : the first one is based on templates, the second is end-to-end models which can generate texts directly from data without any intermediate stage and the last one is pipeline models. Most data-to-text generation systems work on improving text fluency and grammatical correctness, disregarding control over text structure and length. However, control plays an important part in industrial NLG applications such as advertisements and product descriptions.
In this paper, we first introduce the task of data-to-text generation and the datasets often used in the task. Then we investigate state-of-the-art models, which takes up a big part of the paper. Finally, we apply different strategies of control in data-to-text generation systems particularly from the aspects of text structure and text length. Regarding text structure, we present an approach of alignment between input and target. It makes sure that the sentence count, the entity order and the distribution of input entites into sentences in both sides are the same. As for control over text length, we show two different approaches. One is to supply length constraint as input while the other is to force the end-of-sentence tag to be included at each step when using top-k decoding strategy. We propose four metrics to assess the degree to which these methods will affect a NLG system’s ability to control text structure and length. Our quantitative analyses demonstrate that all the methods enhance efficiently the system’s ability with a slight decrease in text fluency.
Résumé : La génération automatique de textes (GAT) à partir de données est l’une des tâches les plus importantes dans le domaine du TAL. Les méthodes de génération de textes les plus utilisés peuvent être divisés en trois catégories : la première est basée sur textes à trous, la seconde consiste en modèles neuronaux de bout-en-bout qui peuvent générer des textes directement à partir de données sans aucune étape intermédiaire, tandis que la dernière regroupe tous les modèles en pipeline. Avec l’émergence de l’apprentissage profond qui s’appuie sur des réseaux de neurones, la plupart des systèmes de GAT actuels améliorent continûment la fluidité et la qualité grammaticale du texte, s’intéressent peu au contrôle de la structure et de la longueur du texte. Cependant, le contrôle joue un rôle important dans les applications industrielles telles que les messages commerciaux et les descriptions de produit.
Dans ce mémoire, nous présentons d’abord la tâche de génération de textes à partir de données (ici sous forme de connaissances de type triplets RDF) et les ensembles de données souvent utilisés dans cette tâche. Nous présentons ensuite des modèles récents, qui occupent une grande partie du mémoire. Enfin, nous appliquons différentes stratégies de contrôle dans les systèmes, notamment en ce qui concerne la structure et la longueur du texte. Pour la structure du texte, nous présentons une approche d’alignement entre l’entrée et la cible. Elle permet de s’assurer que le nombre de phrases, l’ordre des entités et la distribution des entités dans le texte de sortie respectent ceux des données d’entrée. Quant au contrôle de la longueur du texte, nous présentons deux approches différentes. L’une consiste à fournir la contrainte de longueur en entrée tandis que l’autre consiste à forcer l’inclusion de la balise de fin de phrase lors de la phase de génération du réseau de neurones (décodage). Nous proposons quatre mesures pour évaluer à quel point ces méthodes affectent les capacités d’un système de la GAT à contrôler la structure et la longueur du texte. Nos analyses quantitatives démontrent que toutes les méthodes améliorent efficacement les capacités du système avec un impact minimal sur fluidité du texte.