Multi-label active learning applied to transformers architectures
Apprentissage actif multi-labels pour des architectures transformers
Résumé
Data annotation is crucial for machine learning, especially in technical domains, where the quality and quantity of annotated data significantly impact the effectiveness of trained models. Human annotation is costly, particularly for multi-label classification tasks, as instances may be associated with multiple labels. Active Learning (AL) aims to reduce annotation costs by intelligently selecting instances for annotation, rather than annotating randomly. Recent attention on transformers has highlighted the potential of AL in this context. Moreover, the fine-tuning mechanism, where only a few annotated data points are used to train the model for a new task, aligns well with the goal of AL to select the best data for annotation. We investigate the use of AL in the context of transformers for multi-label classification tasks. However, most AL strategies, when applied to these models, lead to excessive computational time, hindering their use in real-time human-machine interaction. To address this issue, we employ faster AL strategies based on uncertainty. First, we focus on applying six different AL strategies to two transformer models. Our work highlights that several uncertainty-based strategies do not outperform random sampling when applied to transformer models. To evaluate if these results stem from a bias in uncertainty-based strategies, we introduce a pre-clustering approach to add diversity to instance selection. Lastly, we tackle the practical challenges of implementing AL in industrial contexts. Particularly, the gap between AL cycles leaves idle time for annotators. To resolve this, we explore alternative instance selection methods aiming to maximize annotation efficiency by seamlessly integrating with the AL process. We start by adapting two existing methods to transformers, using random sampling and outdated AL cycle information, respectively. Then, we propose our innovative method based on instance annotation to rebalance label distribution. Our approach mitigates biases, improves model performance (up to 23% improvement on the F1 score), reduces strategy-dependent disparities (nearly 50% decrease in standard deviation), and decreases label imbalance (30% decrease in the mean imbalance ratio). Our work thus revives the promise of AL by demonstrating that its adapted integration into an annotation project results in improved performance of the final trained model.
L'annotation des données est cruciale pour l'apprentissage automatique, notamment dans les domaines techniques, où la qualité et la quantité des données annotées affectent significativement l'efficacité des modèles entraînés. L'utilisation de personnel humain est coûteuse, surtout lors de l'annotation pour la classification multi-labels, les instances pouvant être associées à plusieurs labels. L'apprentissage actif (AA) vise à réduire les coûts d'annotation en sélectionnant intelligemment des instances pour l'annotation, plutôt que de les annoter de manière aléatoire. L'attention récente portée aux transformers a mis en lumière le potentiel de l'AA dans ce contexte. De plus, le mécanisme de fine-tuning, où seules quelques données annotées sont utilisées pour entraîner le modèle sur une nouvelle tâche, est parfaitement en accord avec l'objectif de l'AA de sélection des meilleures données à annoter. Nous étudions donc l'utilisation de l'AA dans le contexte des transformers pour la tâche de classification multi-labels. Hors, la plupart des stratégies AA, lorsqu'elles sont appliquées à ces modèles, conduisent à des temps de calcul excessifs, ce qui empêche leurs utilisations au cours d'une interaction homme-machine en temps réel. Afin de pallier ce problème, nous utilisons des stratégies d'AA plus rapides, basées sur l'incertitude. D'abord, nous mettons l'accent sur l'application de six stratégies d'AA différentes sur deux modèles transformers. Nos travaux mettent en évidence qu'un certain nombre de stratégies basées sur l'incertitude ne surpassent pas l'échantillonnage aléatoire lorsqu'elles sont appliquées aux modèles transformers. Afin d'évaluer si ces résultats sont dûs à un biais des stratégies basées sur l'incertitude, une approche de pré-clustering est introduite pour ajouter de la diversité dans la sélection des instances. Enfin, nous nous penchons sur les défis pratiques de la mise en œuvre de l'AA dans des contextes industriels. Notamment, l'écart entre les cycles de l'AA laisse du temps inutilisé aux annotateurs. Pour résoudre ce problème, nous étudions des méthodes alternatives de sélection d'instances, visant à maximiser l'efficacité de l'annotation en s'intégrant de manière transparente au processus de l'AA. Nous commençons par adapter deux méthodes existantes aux transformers, en utilisant respectivement un échantillonnage aléatoire et des informations de cycle d'AA périmées. Ensuite, nous proposons notre méthode novatrice basée sur l'annotation des instances pour rééquilibrer la distribution des labels. Notre approche atténue les biais, améliore les performances du modèle (jusqu'à 23% d'amélioration sur le score F1), limite les disparités dépendantes de la stratégie (diminution de près de 50% de l'écart-type) et réduit le déséquilibre des libellés (diminution de 30% du ratio moyen de déséquilibre). Nos travaux ravivent ainsi la promesse de l'AA en montrant que son intégration adaptée dans un projet d'annotation se traduit par une amélioration des performances du modèle final entraîné.
| Origine | Version validée par le jury (STAR) |
|---|