Surgical technical skills : veterinary student self-assessment versus expert-assessment in a reproductible clinical training setting
Apprentissage de l'ovariectomie de convenance chez la chatte : intérêts et limites de l'auto-évaluation et de l'évaluation par l'encadrant
Abstract
Introduction. Identification by the surgeon of his/her technical strengths and weaknesses is of paramount importance to increase performance and procedure safety. Self-assessment thus represents an important skill in surgical training. The aim of the study was to compare self versus expert assessment in a reproducible clinical setting (ovariectomy in cats). Materials and methods. Forth and fifth year veterinary students having completed formal training were evaluated while performing an ovariectomy in cat, using a modified global rating scale by three senior surgeons. Eleven technical skills including surgical planning, exposure, suture, instrument and tissue handling, flow and knowledge of the procedure were rated, each on a 5-point Likert scale ranging from 1 (poor) to 5 (excellent). Supervisors and students completed the same rating scale. Concordance between self and supervisor’s scores were quantified by calculating Lin's concordance correlation coefficient and by using the Bland and Altman method. Results and Discussion. Self-assessment score was most of the time higher than supervisor’s score. The overall concordance was considered as “poor” (Lin’s CC of 0.28). Surgical planning and fluidity of the procedure showed the highest level of concordance (Lin’s CC of 0.32). Conclusion. This is the first study comparing self-assessment and supervisor’s assessment of veterinary students’ surgical technical skills in a clinical setting. Students (in particular the least performing ones) overestimated their technical performance emphasizing the fact that formal feedback is necessary to increase accuracy of self-assessment and subsequent technical performance.
L’identification par le chirurgien de ses points forts et des points sur lesquels il pourrait s’améliorer techniquement est essentielle à la pratique chirurgicale vétérinaire de qualité. La capacité à s’auto-évaluer représente donc une compétence importante au cours de la formation. L’objectif de cette étude était de comparer l’auto-évaluation des étudiants à l’évaluation des enseignants dans un contexte clinique sur support d’ovariectomies de chattes. Matériel et méthodes. Les étudiants de 4ème et 5ème année en formation au centre hospitalier universitaire vétérinaire d’Alfort s’auto-évaluaient à l’aide d’une grille de format Global Rate Scale modifié après la réalisation d’ovariectomies de chattes. Ces mêmes grilles étaient remplies par les vétérinaires en assistanat hospitalier qui les évaluaient. Onze points techniques parmi lesquels la planification, l’exposition, la suture, l’utilisation des instruments, la manipulation des tissus, la fluidité et les connaissances étaient notés sur une échelle de 1 (non acquis) à 5 (parfaitement acquis). La concordance entre les résultats obtenus par auto-évaluation et évaluation par les encadrants a été étudié à l’aide du coefficient de concordance de Lin et de la méthode de Bland & Altman. Résultats et discussion. Nous observons une surestimation des auto-évaluations par rapport aux évaluations. La concordance entre ces deux méthodes de mesure était “passable” (CC de Lin = 0,28). La meilleure concordance était obtenue sur la planification et la fluidité de l’intervention (CC de Lin = 0,32). Il s’agit de la première étude portant sur la compétence en technique chirurgicale apprise en contexte clinique comparant l’auto-évaluation à l’évaluation par les enseignants. Les étudiants (particulièrement ceux avec le plus de difficultés) surestimaient leurs capacités ce qui souligne la nécessité de la mise en place d’un retour pertinent et systématique pour améliorer la justesse de l’auto-évaluation et la progression en performance technique chirurgicale.
Origin | Files produced by the author(s) |
---|---|
Licence |
Copyright
|