• Les communications orales présentées en séance plénière sont consultables ici
• Les communications orales présentées en sous-groupes sont accessibles ici
• Les communications affichées sont présentées ici 
• Les ateliers sont résumés ici

Pour cette newsletter préestivale, coïncidant avec la période des partiels, examens et concours, quoi de plus adapté que de discuter évaluation?? 

La majorité des cursus en santé tend désormais à s’inscrire dans l’approche par compétences, y compris pour la phase dite «?pré-graduée?». C’est d’ailleurs là l’intention, entre autres, de la réforme du deuxième cycle des études médicales, en cours de déploiement.

Si l’intention est affichée, l’implémentation effective de cette approche, notamment lorsqu’il s’agit d’alignement pédagogique en termes de dispositifs d’évaluation, reste un challenge (quand ce n’est pas seulement un vœu pieux). 

Les activités professionnelles confiables (ou EPA, pour «?entrustable profesional activities?») ont été proposées comme une possible réponse à ce défi. Aux États-Unis, l’Association des Collèges de médecine a donc défini, dès 2013, un ensemble de 13 EPA dites «?centrales?» pour débuter l’équivalent de l’internat, quelle que soit la spécialité choisie. Ces EPA seraient la manifestation des compétences, et sont évaluées selon l’échelle suivante : prêt pour la supervision indirecte / En progression, mais pas encore prêt / Données ne montrant pas une progression vers la confiabilité. Dans le cadre de cette étude pilote, «?Le comité n’a pas pu prendre de décision?» était également une option de réponse possible. 

Cette modalité d’évaluation pour les étudiants «?pré-gradués?» est en cours d’implémentation et d’évaluation pilote dans plusieurs facultés. Quatre ont participé à cette première évaluation du dispositif, pour un ensemble de 349 étudiants. Dans chaque université, un comité d’évaluation formé aux EPA a été constitué, dont les modalités de fonctionnement étaient laissées au choix de chaque institution. Pour chaque étudiant ayant débuté en 2015, le comité s’est réuni en 2019, avant le début du programme d’internat, pour évaluer la confiabilité de ces EPA, en s’appuyant sur un ensemble de données recueillies au fil du temps selon une approche s’inscrivant dans les principes de l’évaluation programmatique. Cette dernière prévoit notamment la collecte au fil de l’eau, tout au long du curriculum, de données d’évaluation permettant de documenter la progression et le développement des compétences de chaque apprenant, analysées régulièrement et éventuellement complétées par des données d’évaluation ciblée supplémentaires, comme une multitude de pixels permettant d’obtenir la résolution la plus élevée possible de l’image vidéographique qui permettra la prise de décision concernant la certification. 

Les données de l'étude comportaient notamment des résultats d’évaluation en milieu professionnel («?workplace based assessment?» ou WBA) guidée par l’étudiant (c’est-à-dire sur sollicitation du superviseur par l’étudiant), et, selon les universités, des résultats d’ECOS, des écrits narratifs, des évaluations de fin de stage, ou encore des activités de simulation. Pour ces 349 étudiants, 2?415 décisions au total ont été prises (entre 4 et 13 EPA évaluées par étudiant). Aucun résultat de WBA n’était disponible pour documenter l’EPA dans 64 % des cas, et seulement 10 % des décisions d’évaluation pouvaient s’appuyer sur plus de 10 résultats de WBA. La disponibilité de traces d’évaluations en milieu professionnel n’était pas homogène pour toutes les EPA, certaines étant très représentées («?prioriser un diagnostic différentiel après une rencontre clinique?» et «?présenter oralement une rencontre clinique?») quand d’autres l’étaient peu ou pas («?reconnaître un patient nécessitant un soin urgent et initier l’évaluation/prise en charge?» ou encore «?obtenir un consentement éclairé avant des examens et/ou procédures?»). Pour 28 % des décisions (soit 685/2415), les comités d’évaluation ont estimé ne pas pouvoir prendre de décision. 

Qu’apporte cet article?? 

Avant tout, il documente de façon intéressante l’implémentation d’une innovation (ou, du moins, d’une novation) évaluative à grande échelle. Celle-ci s’inscrit dans le temps long : les auteurs rappellent que la phase pilote d’évaluation a débuté en 2015, que certaines universités «?test?» ont débuté en 2016, voire 2017, et qu’il s’agit d’un processus dynamique encore mouvant afin de répondre à des enjeux non seulement éducationnels (dans une perspective de pratiques éducatives fondées sur les données probantes), mais aussi tout simplement opérationnels, en termes d’outils numériques utilisés, par exemple. La généralisation et l’utilisation de ce dispositif pour prendre des décisions évaluatives à enjeux élevés ne se feront qu’après plusieurs années d’implémentation et d’évaluation dans une approche de recherche-action. 

Ensuite, s’il démontre que les universités ont réussi à implémenter et mettre en œuvre ce processus d’évaluation sur la base d’EPA pour la majorité des EPA, pour environ 1/3 des EPA à évaluer, aucune décision n’a pu être prise en raison de données d’évaluation insuffisantes. Ce résultat montre les défis soulevés pour mettre en œuvre une réelle évaluation programmatique. Des recherches comme celle présentée ici sont indispensables et permettent de documenter les scotomes du dispositif qui devront être corrigés ou constituer des points de vigilance. 

Par ailleurs, comme le soulignent bien les auteurs, la prise de décision concernant les EPA s’appuie majoritairement sur les évaluations en milieu professionnel. Or, dans cette étude pilote, la validité du dispositif de WBA reste peu ou pas documentée. Par ailleurs, cette modalité d’évaluation, dans le cadre d’une approche programmatique, nécessite un changement de culture des étudiants et des formateurs, tout en constituant un défi administratif et technique. Certaines prises de décision concernant les EPA s’appuyaient plutôt sur les autres outils d’évaluation (par exemple «?réaliser une anamnèse et un examen physique?» ou «?rendre compte d’une rencontre clinique dans le dossier médical du patient?»), notamment par manque de données issues du WBA. Cela soulève la question de l’alignement pédagogique : ces données de WBA manquent-elles, car les étudiants n’ont pas sollicité leurs superviseurs, ou bien parce que les stages, tels qu’organisés, et le rôle attendu des étudiants ne permettent pas réellement de développer et mettre en œuvre certaines compétences pourtant visées par le curriculum?? Cette question est par exemple posée pour l’EPA «?identifier les erreurs de système et contribuer à une culture de sécurité et d’amélioration?».

Enfin, une des questions que ne soulèvent pas les chercheurs est l’articulation effective de ces EPA avec le concept de compétences. En effet, les EPA telles que formulées constituent des tâches observables, impliquant la mobilisation et la combinaison d’une variété de ressources?; toutefois elles ne s’inscrivent pas en lien avec les différentes familles de situation : comment juger alors de la transférabilité, au sein d’une même famille de situation et dans les différentes familles de situation?? Comment éviter de basculer dans une fragmentation de la compétence lors de l’évaluation?? Sans apporter de réponse univoque, la méthode mise en œuvre ici constitue une perspective intéressante et pertinente, visant à s’appuyer sur des comités d’évaluation formés interprétant un ensemble de données d’évaluation effectuées par des évaluateurs divers à des temps également divers, par différents outils d’évaluation. 

L’argumentation de la validité de ce dispositif à travers un cadre théorique identifié, tel que le modèle de Kane, pourrait également apporter des réponses utiles pour la communauté scientifique et les formateurs.