Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances - Recherche d’Information et Synthèse d’Information Access content directly
Conference Papers Year : 2023

Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances

Abstract

Knowledge bases are key resources in a wide range of knowledge intensive applications. However, their incompleteness inherently limits their use and gives rise to the importance of their completion. To this end, an open-world view has recently been held in the literature by coupling the ability of knowledge bases to represent factual knowledge, with the abilities of pre-trained language models (PLMs) to capture high-level and contextual linguistic knowledge from large-scale text corpora. In this work, we propose a distillation framework for knowledge base completion where PLMs leverage soft labels in the form of entity and relations predictions provided by a knowledge base embedding model, while keeping their power of entity prediction over large-scale of texts. To better fit with the task of knowledge completion, we extend the traditional masked language modelling of PLMs toward predicting entities and related entities in context. Experiments using the knledge intensive tasks within the standard KILT evaluation benchmark shows the potential of our proposed approach.
Les bases de connaissances sont des ressources essentielles dans un large éventail d'applications à forte intensité de connaissances. Cependant, leur incomplétude limite intrinsèquement leur utilisation et souligne l'importance de les compléter. À cette fin, la littérature a récemment adopté un point de vue de monde ouvert en associant la capacité des bases de connaissances à représenter des connaissances factuelles aux capacités des modèles de langage pré-entraînés (PLM) à capturer des connaissances linguistiques de haut niveau et contextuelles à partir de corpus de textes. Dans ce travail, nous proposons un cadre de distillation pour la complétion des bases de connaissances où les PLMs exploitent les étiquettes souples sous la forme de prédictions d'entités et de relations fournies par un modèle de plongements de bases de connaissances, tout en conservant leur pouvoir de prédiction d'entités sur de grandes collections des textes. Pour mieux s'adapter à la tâche de complétion des connaissances, nous étendons la modélisation traditionnelle du langage masqué des PLM à la prédiction d'entités et d'entités liées dans le contexte. Des expériences utilisant les tâches à forte intensité de connaissances dans le cadre du benchmark d'évaluation KILT montrent le potentiel de notre approche.
Fichier principal
Vignette du fichier
461817.pdf (1.64 Mo) Télécharger le fichier
Origin : Publisher files allowed on an open archive

Dates and versions

hal-04131552 , version 1 (20-06-2023)

Licence

Attribution

Identifiers

  • HAL Id : hal-04131552 , version 1

Cite

Raphaël Sourty, Jose G. Moreno, François-Paul Servant, Lynda Tamine. Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances. 18e Conférence en Recherche d'Information et Applications -- 30e Conférence sur le Traitement Automatique des Langues Naturelles (CORIA TALN 2023), Jun 2023, Paris, France. pp.139-156. ⟨hal-04131552⟩
54 View
25 Download

Share

Gmail Facebook X LinkedIn More