Tests de concordance de scripts en évaluation sommative en internat de médecine générale à Rouen : fidélité inter-juge et réflexions sur l’élaboration du test

Résumé : Le test de concordance de scripts (TCS) est un outil d’évaluation répandu. Peu d’études sont disponibles en évaluation sommative. Certains débats persistent concernant l’étude insuffisante de la fidélité inter-juge, la trop grande confiance accordée au coefficient alpha, la nécessité ou non d’exclure les experts déviants et l’efficacité de certaines stratégies de réponse. Buts: Apprécier la fidélité inter-juge des TCS utilisés en évaluation sommative en DES de médecine générale à Rouen et discuter de l’impact de certains critères d’élaboration du test sur le classement des étudiants. Méthodes : Une analyse quantitative rétrospective des résultats aux TCS en DES de médecine générale à Rouen entre 2011 et 2016 a été effectuée. La fidélité inter-juge a été évaluée via le calcul de la corrélation intra-classe (ICC). L’impact sur le classement des étudiants a été évalué après amélioration du coefficient alpha, exclusion des experts déviants, éviction des réponses extrêmes, et utilisation des stratégies de réponses au hasard. Résultats : La fidélité inter-juge était excellente (ICC=0.984). L’amélioration de la cohérence interne du test modifiait le classement des étudiants mais pas l’exclusion des experts déviants. Les stratégies d’éviction des réponses extrêmes et de réponse au hasard se révélaient parfois efficaces. Conclusion : Le panel d’experts utilisé à Rouen en DES de médecine générale semble quantitativement et qualitativement adapté. Certaines améliorations concernant la construction des items pourraient être réalisées. Une méfiance devrait être accordée concernant l’interprétation du coefficient alpha. D’autres études sont nécessaires afin d’estimer quelles dimensions du raisonnement clinique sont mesurées par le TCS.
Type de document :
Mémoires
Médecine humaine et pathologie. 2016
Liste complète des métadonnées

Littérature citée [20 références]  Voir  Masquer  Télécharger

https://dumas.ccsd.cnrs.fr/dumas-01464604
Contributeur : Bibliothèque Universitaire Rouen <>
Soumis le : vendredi 10 février 2017 - 12:45:27
Dernière modification le : mardi 5 juin 2018 - 10:14:34
Document(s) archivé(s) le : jeudi 11 mai 2017 - 13:28:48

Identifiants

  • HAL Id : dumas-01464604, version 1

Citation

Aliénor Broutin Moussette. Tests de concordance de scripts en évaluation sommative en internat de médecine générale à Rouen : fidélité inter-juge et réflexions sur l’élaboration du test. Médecine humaine et pathologie. 2016. 〈dumas-01464604〉

Partager

Métriques

Consultations de la notice

131

Téléchargements de fichiers

116