Evaluation of the performance of an artificial intelligence algorithm in predicting the need for biological testing upon admission to the emergency department
Évaluation des performances d’un algorithme d’intelligence artificielle pour prédire le recours à un bilan biologique dès l’admission aux urgences
Abstract
Introduction: with a growing number of emergency consultations in France, numerous solutions have already been implemented. The prescription of often exhaustive biological tests represents a significant portion of healthcare expenditures. Meanwhile, artificial intelligence as a decision- making aid is increasingly proving its value in the medical field. We aimed to determine whether a Deep Learning algorithm could be sufficiently effective in predicting the need for biological testing as early as the patient's admission to the emergency department. Materials and Methods: data from all adult patients admitted to the emergency department at Pellegrin Hospital, Bordeaux University Hospital, between January 1, 2018, and December 31, 2022, were collected using the Business Object software. A matching of four "training" patients for every one "test" patient was conducted. The models used for training and learning, based on the IOA pattern, were selected from the Hugging Face platform; MISTRAL-7B-v0.2-Instruct and GPT-Neo 2.7B were chosen. Results: a total of 210,822 eligible patients were included, with 168,657 patients assigned to the training set and 42,165 to the test set. Statistical performance analysis was conducted after one training epoch with the MISTRAL-7B-v0.2-Instruct model. With the GPT-Neo 2.7B model, more detailed results were obtained, with statistical performance assessed after three epochs on both the training and test samples. The two models achieved respective accuracy rates of 62.07% and 51.05% in matching actual outcomes. Discussion: due to disparate results, the presence of certain biases, and several missing initial data points, this study does not demonstrate a significant contribution of deep learning models in predicting the need for biological assessments upon patient admission to the emergency department. Further investigations are required to determine whether these models can be improved.
Introduction : devant un nombre croissant de consultation aux urgences en France avec de nombreuses solutions déjà mises en place, une prescription de bilan biologique parfois exhaustifs représentant une part importante des dépenses de santé et une intelligence artificielle comme aide à la prise de décision qui fait de plus en plus ses preuves dans le domaine médical ; nous nous sommes demandé si un algorithme de Deep Learning pourrait être assez performant pour prédire le recours à un bilan biologique dès l’admission aux urgences. Matériel et méthode : les données de l’ensemble des patients admis aux urgences adultes de l’hôpital Pellegrin au CHU de Bordeaux entre le 1er Janvier 2018 et le 31 décembre 2022 ont été recueillies grâce au logiciel Business Object. Un appariement de quatre patients « entrainement » pour un patient « test » a été réalisé. Les modèles utilisés pour l’entrainement et l’apprentissage, basé sur le motif IOA, ont été choisi sur le site Hugging Face ; MISTRAL-7B-v0.2-Instruct et GPT-Neo 2.7B. Résultats : 210822 patients éligibles et inclus ont été randomisés en 168657 patients pour l’entrainement et 42165 pour le test. Les performances statistiques de l’apprentissage ont été réalisées pour une epoch d’entrainement avec le modèle MISTRAL-7B-v0.2-Instruct. Avec le modèle GPT-Neo 2.7B les résultats extraits sont plus détaillés avec les performances statistiques de trois epochs sur l’échantillon d’entrainement puis de l’échantillon test. Les deux modèles avaient respectivement 62,07% et 51,05% de correspondance avec la réalité. Discussion : en raison des résultats disparates, des biais certains et plusieurs données initiales manquantes ; cette étude ne démontre pas de réel apport des modèles d’apprentissage profond dans la prédiction du recours à un bilan biologique dès l’admission des patients aux urgences. Des explorations complémentaires sont nécessaires pour voir si ces modèles sont perfectibles.