Developing and implementing watershed-based classification algorithms for imbalanced datasets : an application to the detection of acute chest syndrome in patients with sickle cell disease
Développement et mise en œuvre d'algorithmes de classification par bassin versant basés sur des ensembles de données déséquilibrées : une application à la détection du syndrome thoracique aigu chez les patients atteints de drépanocytose
Résumé
Sickle cell disease is a rare, chronic and potentially fatal inherited disorder affecting red blood cells. In particular, acute chest syndrome (ACS) is a feared complication due to its association with increased mortality in hospitalized patients. To reduce this mortality, biomarker variables are examined on a patient's arrival in the emergency department, followed by a statistical prediction if the syndrome will occur. When making these statistical predictions, the use of conventional statistical methods or machine learning algorithms often leads to problems such as over-fitting and high variability. This is due to the detection of acute chest syndrome (ACS) being a typical example of an imbalanced classification problem. Our main objective is to find syndrome cases which represent a subset within the set of patients unaffected by ACS.The concept of imbalanced datasets is key in this context. A binary dataset is considered imbalanced when there is a significant disparity between the occurrences of the minority class (in our case, the occurrence of ACS) and the majority class (patients unaffected by ACS). Traditional machine learning techniques are generally designed under the assumption of balanced datasets. Consequently, their application to imbalanced datasets often produces non-optimal performance and introduces biases. Due to these challenges, a high number of methods, called imbalanced methods, have been designed and implemented.Nonetheless, our investigation unveiled the absence of an established framework to systematically compare distinct imbalanced methods. Furthermore, we will demonstrate that despite the profusion of methodologies, none of them yields an enhancement in the acute chest syndrome (ACS) detection. In response, a structured pipeline has been formulated to systematically assess and compare diverse imbalanced methods. Simultaneously, recognizing the inherent limitations of existing methodologies, an innovative approach using mathematical morphology with watershed approaches was proposed. The idea of combining mathematical morphology and watersheds is based on the fact that the detection of small objects in an image has been explored more algorithmically than the detection of small classes in a digital dataset. This concept is also based on the progressive correlation established between watersheds applied to images and their application in classification. Consequently, we designed three distinct algorithms based on watershed graph theory and hierarchical principles. The first algorithm is rooted in the traditional oversampling approach, while the second algorithm adopts a method centered on learning based metric optimization. Finally, the third algorithm introduces an in-place algorithm built on watershed hierarchies, specifically designed to reduce dependence on the dataset's structure.The findings highlight the efficacy of watershed-based imbalanced classification algorithms in improving the detection of acute chest syndrome (ACS). These algorithms effectively address concerns related to overfitting and variability, translating to better reproducibility. For instance, the watershed-based oversampling technique, known as WSSMOTE, reduced overfitting from 13.3% to 1.2%. Moreover, the applicability of these algorithms can be extended to real-world classification problems. In certain cases, these algorithms led to improvements in performance metrics. For example, the accuracy of type of glasses predictions was notably enhanced through the application of the watershed optimization metric learning method. This underlines the practical benefits and adaptability of the proposed watershed-based algorithms
La drépanocytose est une maladie héréditaire rare, chronique et potentiellement mortelle qui affecte les globules rouges. En particulier, le syndrome thoracique aigu (SCA) est une complication redoutée en raison de son association avec une mortalité accrue chez les patients hospitalisés. Pour réduire cette mortalité, les variables des biomarqueurs sont examinées à l'arrivée du patient au service des urgences, puis une prédiction statistique est effectuée pour déterminer si le syndrome se produira. Lors de la réalisation, l'utilisation de méthodes statistiques conventionnelles ou d'algorithmes d'apprentissage automatique conduit souvent à des problèmes tels que l'overfitting et la variabilité élevée. Cela est dû au fait que la détection du syndrome thoracique aigu (STA) est un exemple typique de problème de classification déséquilibrée. Notre principal objectif est de trouver des cas de syndrome qui représentent un sous-ensemble de l'ensemble des patients non affectés par le STA.Le concept d'ensembles de données déséquilibrés est essentiel dans ce contexte. Un ensemble de données binaires est considéré comme déséquilibré lorsqu'il existe une disparité significative entre les occurrences de la classe minoritaire (dans notre cas, l'occurrence du STA) et de la classe majoritaire (les patients non affectés par le STA). Les techniques traditionnelles d'apprentissage automatique sont généralement conçues dans l'hypothèse d'ensembles de données équilibrés. Par conséquent, leur application à des ensembles de données déséquilibrés produit souvent des performances non optimales. En raison de ces difficultés, un grand nombre de méthodes, appelées méthodes déséquilibrées, ont été conçues et mises en œuvre. Néanmoins, notre enquête a révélé l'absence d'un cadre établi pour comparer les différentes méthodes de déséquilibre. En outre, nous démontrerons qu'en dépit de la profusion de méthodes, aucune d'entre elles ne permet d'améliorer la détection de STA. En réponse, un pipeline structuré a été formulé pour évaluer et comparer systématiquement diverses méthodes de déséquilibre.Simultanément, reconnaissant les limites inhérentes aux méthodologies existantes, une approche innovante utilisant la morphologie mathématique et les approches par bassins versants a été proposée. L'idée de combiner la morphologie mathématique et les bassins versants repose sur le fait que la détection de petits objets dans une image a été explorée de manière plus algorithmique que la détection de petites classes dans un ensemble de données numériques.Ce concept est également basé sur la corrélation progressive établie entre les lignes de partage des eaux appliquées aux images et leur application dans la classification. Par conséquent, nous avons conçu trois algorithmes distincts basés sur la théorie du graphe des bassins versants et les principes hiérarchiques.Le premier algorithme est ancré dans l'approche traditionnelle du suréchantillonnage, tandis que le deuxième algorithme adopte une méthode centrée sur l'optimisation métrique basée sur l'apprentissage. Enfin, le troisième algorithme introduit un algorithme sur place fondé sur les hiérarchies des bassins versants, spécialement conçu pour réduire la dépendance à l'égard de la structure de l'ensemble de données.Les résultats mettent en évidence l'efficacité des algorithmes de classification déséquilibrée basés sur les bassins versants pour améliorer la détection du STA. Ces algorithmes répondent efficacement aux préoccupations liées à l'overfitting et à la variabilité, ce qui se traduit par une meilleure reproductibilité.Par exemple, la technique de suréchantillonnage basée sur les bassins versants, connue sous le nom de WSSMOTE, a permis de réduire le surajustement de 13,3% à 1,2%. En outre, l'applicabilité de ces algorithmes peut être étendue aux problèmes de classification du monde réel. Dans certains cas, ces algorithmes ont permis d'améliorer les mesures de performance
| Origine | Version validée par le jury (STAR) |
|---|