Mémoires Année : 2024

IA générative en médecine générale : attentes des professionnels et évaluation de modèles de langue sur le raisonnement diagnostique

Résumé

L'Intelligence Artificielle générative est en pleine expansion et la santé est un champ privilégié pour ses applications. Les attentes des médecins généralistes autour de ces technologies semblent mal cernées. Les travaux d'évaluation produits par ces mêmes médecins sont peu nombreux. Notre travail tente de répondre à cette double problématique. D'une part, nous avons réalisé une enquête auprès des médecins généralistes quant à leurs utilisations et attentes vis-à-vis de l’IA générative. D'autre part, nous avons testés des grands modèles de langues sur leur capacité à produire un raisonnement diagnostique de qualité. Un questionnaire a été diffusé auprès des médecins généralistes de la région Pays de La Loire durant l'été 2024. En parallèle, nous avons élaboré une banque de cas clinique qui ont été soumis à différents LLM (GPT-4, Llama3 et BioMistral) afin de les évaluer sur le raisonnement diagnostique. Nos résultats montrent une utilisation encore limitée des outils d'IA générative en pratique courante par les médecins généralistes. Les médecins interrogés attendent surtout de l'IA générative une aide quant aux tâches administratives et à l'analyse de données. Ils sont également demandeurs de formation sur le sujet. L'évaluation des réponses des modèles de langue, quant à elle, a montré une excellente performance de ces derniers sur la capacité à produire un raisonnement de qualité. Les modèles les plus grands semblent meilleurs que les autres. Nous avons aussi montré que les modèles étaient plus performants en anglais par rapport au français. D'autres travaux seront nécessaires afin d’évaluer les modèles de langue dans des situations se rapprochant plus de la pratique réelle. Notre méthodologie d'évaluation pourra être réutilisée pour d'autres travaux.

Fichier principal
Vignette du fichier
sid-ahmed_corvellecMED24.pdf (2.63 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

dumas-04918701 , version 1 (29-01-2025)

Licence

Identifiants

Citer

Sofiane Djillali Sid-Ahmed, Josselin Corvellec. IA générative en médecine générale : attentes des professionnels et évaluation de modèles de langue sur le raisonnement diagnostique. Médecine humaine et pathologie. 2024. ⟨dumas-04918701⟩
369 Consultations
1014 Téléchargements

Partager

  • More