Les examens constituent un outil majeur de l’évaluation des compétences individuelles des apprenant·es. Ils incitent fortement à l’apprentissage. Ils permettent d’assurer la qualité des filières de formation en réunissant des spécialistes pour réfléchir aux contenus à transmettre afin de répondre aux objectifs de formation. Les examens ont ainsi un impact positif sur le développement de ces objectifs. En somme, leur qualité reflète l’engagement des établissements de formation dans lesquels sont formées les jeunes générations.

En médecine, deux types d’examens tiennent une place prépondérante : l’examen clinique objectif structuré (ECOS) pour l’évaluation des actes médicaux et les questionnaires à choix multiple (QCM) pour celle des connaissances. Comment ces examens sont-ils conçus, réalisés et évalués ? C’est l’objet de cet article.

L’ECOS est un format axé sur la pratique. Il vise à évaluer les compétences cliniques acquises par les étudiant·es, qui se voient confrontés à d’authentiques problèmes cliniques (p. ex. une patiente se présente aux urgences avec de la toux et de la fièvre). Les préoccupations et symptômes sont incarnés de manière réaliste par des patients acteurs (ou patients simulés). Un ECOS est généralement constitué de huit à douze tâches cliniques, appelées « stations ». Les compétences des étudiant·es sont ainsi évaluées de manière indépendante, dans diverses situations cliniques et par plusieurs examinateur·trices, ce qui accroît sensiblement la fiabilité des résultats.

Conception et préparation : la mise au point d’un examen ECOS est un processus complexe, impliquant de nombreuses personnes issues de diverses disciplines. Lors d’une première étape, des spécialistes définissent, à la lumière des objectifs de formation de la filière concernée, les compétences cliniques à évaluer. C’est sur cette base que sont conçues les différentes stations simulant des scénarios spécifiques empruntés à la pratique médicale quotidienne. Il s’agit notamment du recueil des antécédents du·de la patient·e (anamnèse), de l’examen physique et de la décision quant aux suites à donner du point de vue diagnostic et thérapeutique. Pour chaque station, la communication professionnelle, centrée sur le·la patient·e, est un aspect essentiel. Il est important d’établir des descriptions de cas détaillées et des feuilles d’évaluation correspondant exactement au problème du·de la patient·e pour garantir que l’évaluation de la prestation sera équitable et fiable. Ensuite, dans le cadre du contrôle-qualité, qui se déroule en plusieurs étapes, les cas font l’objet d’une évaluation par les pairs. Leur qualité est également vérifiée dans le cadre d’ateliers communs entre expert·es des méthodes ECOS et cliniciens et cliniciennes d’expérience. Finalement, les cas sont approuvés par des commissions d’examen. Une fois les scénarios validés, les acteur·trices mènent un travail soigneux qui leur permettra de simuler avec constance les symptômes et comportements des patients standardisés au moment de l’ECOS, afin que l’épreuve se déroule dans les mêmes conditions pour l’ensemble des étudiant·es.

Réalisation : d’un point de vue logistique, un examen ECOS est une prouesse. Il faut prévoir les locaux, établir les emplois du temps, trouver, inviter et instruire suffisamment de personnes pour évaluer les épreuves. La durée de chaque station est précisément calibrée, et à l’issue du temps imparti, les étudiant·es passent à la station suivante. L’évaluation requiert non seulement des compétences professionnelles, mais également une formation à l’utilisation des outils d’évaluation, afin qu’une même prestation donne un même résultat. La prestation réalisée à l’examen est saisie de manière numérique à l’aune de critères prédéfinis.

Évaluation : après une épreuve, les feuilles d’évaluation, disponibles au format électronique, sont analysées. Des méthodes statistiques interviennent à ce stade pour assurer la fiabilité de l’examen et la pertinence des résultats des épreuves. L’enjeu est de repérer d’éventuelles anomalies telles que des critères d‘évaluation ambigus ou bien des notes inhabituellement hautes ou basses chez tel ou tel examinateur, et de les prendre en compte en faveur des étudiant·es. Les retours faits par les examinateur·trices et par les étudiant·e·s sont également analysés afin d’améliorer encore les différentes stations, et l’examen dans son ensemble.

Les examens QCM ayant démontré leur efficacité et leur objectivité, ils sont très répandus en médecine. Des questions de qualité, reflétant la complexité d’une situation de patient, permettent d’apprécier certaines compétences cognitives en lien avec la prise de décision clinique et la mise en pratique de connaissances médicales.

Conception et préparation : rédiger des QCM de grande qualité, c’est tout un art. Il s’agit de décrire une situation de patient de telle manière qu’on puisse clairement considérer que tel diagnostic est le plus vraisemblable, ou que telle décision médicale est, sans équivoque, la meilleure dans cette situation, sans toutefois que la marche à suivre soit d’emblée évidente. La formulation doit être claire pour qu’il n’y ait pas de malentendu. Les réponses proposées doivent couvrir à la fois la réponse correcte et plusieurs réponses plausibles en apparence, mais incontestablement moins bonnes. Comme ces « distracteurs » reprennent des idées reçues en lien avec la situation décrite, ils permettent de vérifier la bonne compréhension effective du problème. Une autre difficulté réside dans la nécessité de formuler les questions de manière à ne pas pointer involontairement la bonne réponse.

Réalisation : pour que l’examen garde tout son sens et permette donc d’évaluer des compétences, et pour que l’équité prévale, il convient d’éviter la triche sous toutes ses formes. Poser des règles du jeu claires, donner des instructions au début de l’épreuve, se faire remettre les appareils mobiles et prévoir un plan de salle garantissant assez de distance entre les personnes, peut y contribuer. L’examen doit également se dérouler dans le plus grand calme possible afin que règne la concentration. Les logiciels développés par l’IML permettent de saisir puis d’évaluer efficacement les QCM.

Évaluation : les résultats des examens sont communiqués aux étudiant·es après des contrôles rigoureux : de précises analyses d’items, avec calcul d’indicateurs statistiques tels que l’indice de difficulté ou la sélectivité, afin de mesurer la qualité des questions. Là aussi, les retours des étudiant·es et des examinateur·trices sont exploités avec soin, car ils donnent de précieuses clés d’amélioration de l’examen.

Les deux types d’examens doivent relever le même défi : comment assurer durablement la pertinence et la fiabilité des épreuves ? Un examen médicalement pertinent et qui fonctionne bien mesure mieux les compétences appropriées. Il incite en outre bien davantage à apprendre et à se préparer de manière optimale à son métier. Dans ce cas, comment améliorer sans cesse les épreuves et les actualiser ?

Le contenu des cas et des questions doit être constamment remis en question. Quels nouveaux contenus de formation l’examen doit-il intégrer du fait des évolutions de la société et de la médecine ? Lesquels peuvent disparaître parce qu’ils sont obsolètes ? Mais cela suppose de former régulièrement en didactique des examens les personnes qui conçoivent les épreuves et réalisent les évaluations. L’utilisation de logiciels et matériels d’examen de pointe, qui contribuent à l’efficacité de l’examen et à l’objectivité de l’évaluation des performances joue également un rôle majeur. Enfin, l’amélioration permanente des critères d’évaluation, soutenue par la recherche psychométrique, participe, elle aussi, de cet objectif.

La conception, la préparation, la réalisation et l’évaluation d’examens ECOS et de questionnaires à choix multiple sont un exploit d’une grande complexité, qui requiert une planification scrupuleuse et une expertise aux nombreuses facettes. L’application de normes reconnues et l’amélioration continue des contenus et méthodes permettent de concevoir des épreuves répondant aux exigences les plus élevées. Ces examens contribuent ainsi à former des médecins compétents et à les préparer à leur pratique professionnelle.

Centre de compétences national pour les prestations d’examen, l’IML participe activement depuis plus de 50 ans à plus de 240 examens en Suisse. Il fournit son expertise à l’université de Berne, à la Confédération et à bien d’autres clients pour concevoir, réaliser et évaluer des examens de grande qualité.

Publications

Schurter T, Escher M, Gachoud D, Bednarski P, Hug B, Kropf R, Meng-Hentschel J, König B, Beyeler C, Guttormsen S, Huwendiek S. Essential steps in the development, implementation, evaluation and quality assurance of the written part of the Swiss federal licensing examination for human medicine. GMS J Med Educ. 2022 Sep 15;39(4):Doc43. doi: 10.3205/zma001564.

Wagner FL, Feller S, Schmitz FM, Zimmermann PG, Krings R, Guttormsen S, Huwendiek S. Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam. GMS J Med Educ. 2022 Apr 14;39(2):Doc24. doi: 10.3205/zma001545.

Lahner FM, Schauber S, Lörwald AC, Kropf R, Guttormsen S, Fischer MR, Huwendiek S. Measurement precision at the cut score in medical multiple choice exams: Theory matters. Perspect Med Educ. 2020 Aug;9(4):220-228. doi: 10.1007/s40037-020-00586-0.

Monti M, Klöckner-Cronauer C, Hautz SC, Schnabel KP, Breckwoldt J, Junod-Perron N, Feller S, Bonvin R, Huwendiek S. Improving the assessment of communication competencies in a national licensing OSCE: lessons learned from an experts' symposium. BMC Med Educ. 2020 May 26;20(1):171. doi: 10.1186/s12909-020-02079-4.

Guttormsen, S., Beyeler, C., Bonvin, R., Feller, S., Schirlo, C., Schnabel, K. P., Schurter, T., & Berendonk, C. (2013). The new licencing examination for human medicine: from concept to implementation. Swiss Med Wkly, 143(w13897), 1–10.doi:10.4414/smw.2013.13897.