À l’automne 2008, un étudiant de la Haute école spécialisée de Rapperswil présentait à l’IML une application d’examens simple, mais installée sur un appareil inhabituel: l’iPhone 1, tout nouveau à l’époque. De premiers tests démontrèrent que la dimension et la résolution de l’appareil n’étaient pas adaptées pour afficher les check-lists complexes d’un examen ECOS.

Mais l’idée de fournir un appui numérique au processus d’examen des compétences cliniques (CC), jusque-là basé sur le papier et susceptible d’induire des erreurs, avait éveillé l’intérêt. À la suite de cela, nous avons rapidement développé, en étroite collaboration avec les expert·es de l’Unité des examens et de l’évaluation (AAE), divers prototypes d’applications ECOS, testés dans notre propre laboratoire d’utilisabilité.

L’analyse détaillée des besoins nous amena bientôt à ne plus nous en tenir aux seules spécifications logicielles, mais à élargir au matériel. Il s’avérait en effet qu’un grand nombre des appareils alors disponibles sur le marché n’étaient pas adaptés pour des examens d’une journée entière: des batteries qui se déchargeaient trop vite, des écrans trop brillants, et bien d’autres problèmes survenant avec les différents types d’équipements. Ainsi, le dessous d’un ordinateur portable chauffait tellement que la personne examinée risquait de se brûler la peau.

Par chance, c’est à ce moment-là que fut présenté le premier iPad. Très vite, il fut clair pour nous que cette tablette était supérieure à tous les matériels testés jusqu’alors, et que nous allions développer une application sur sa base.

De 2009 à 2013, le développement et l’introduction d’EOSCE (ou de ses prédécesseurs) furent soutenus par le programme d’encouragement «AAA-SWITCH». Le développement ultérieur s’est ensuite poursuivi, en collaboration avec la Haute école spécialisée de Rapperswil et ses développeurs, ainsi qu’avec divers partenaires d’application (facultés de médecine de Zurich, Bâle et Lausanne, ETH de Zurich, Haute école de santé de Berne). La solution EOSCE a été réalisée en trois phases, avant d’être intégrée au processus d’examen.

Pendant toute la phase de développement, nous avons tenu à ce que les applications présentent une utilisabilité optimale, que leur utilisation soit aussi simple, efficace et fiable que possible. Cette approche a surtout bénéficié aux examinatrices et examinateurs, soumis à une pression importante pendant les longues journées d’examen: c’est sur les candidat·es qu’il leur faut se concentrer, et non sur une application — conçue pour les aider à mener les évaluations.

Le développement a été accompagné par une équipe d’experts en utilisabilité de l’IML (https://www.usability.unibe.ch/) et de Rapperswil, qui ont systématiquement appliqué les principes de la conception centrée sur l’utilisateur (UCD). Chaque nouvelle version a d’abord été évaluée au laboratoire d’utilisabilité puis adaptée en conséquence.

Le projet a également bénéficié d’un accompagnement scientifique. Diverses études, aux résultats présentés dans des publications scientifiques, ont exploré maints aspects d’EOSCE: conception d’interaction de l’interface utilisateur, utilisation de l’application, acceptabilité de l’outil, effets pratiques du passage du papier aux examens électroniques notamment. Certains de ces travaux ont débouché sur des constats intéressants: ainsi, la charge cognitive est moindre lorsque les examinateurs/trices utilisent EOSCE, comparativement aux check-lists au format papier.

En 2012, nous sommes arrivés au stade de pouvoir faire passer de premiers examens de la faculté de Berne à l’aide d’EOSCE. Pendant la phase de lancement, des problèmes imprévus sont apparus à plusieurs reprises. Par exemple, la couverture WiFi était souvent si mauvaise dans les salles d’examen (qui étaient alors des bureaux au sein de la clinique que nous avons d’abord fait des tests avec nos propres routeurs WiFi, avant d’équiper EOSCE d’un mode hors connexion complet.

La manipulation des iPad, alors tout nouveaux, ne fit pas que des enthousiastes. Au début d’un examen, il nous fallut ainsi convaincre un examinateur, qui insistait pour garder des check-lists papier, d’utiliser l’iPad (le soir même, il repartit conquis, déclarant vouloir s’en acheter un, séance tenante). En peu de temps, les examinatrices et examinateurs se sont faits à la commande tactile, inhabituelle. Et les résultats des évaluations ont également montré que les utilisateurs/trices préfèrent le fonctionnement numérique avec EOSCE.

Une fois EOSCE établi à la faculté de médecine de Berne, d’autres facultés suisses ont fait appel à cette solution dans les années suivantes. Et la Suisse ne fut pas la seule à reconnaître les avantages de l’évaluation numérique: à l’international aussi, EOSCE a été demandé par différentes institutions.

En septembre 2017, l’outil était assez mûr pour que les examens fédéraux de médecine humaine basculent du papier vers EOSCE. L’organisation de ces examens sur cinq sites différents, en deux langues, étant beaucoup plus complexe qu’un examen facultaire, il a fallu adapter certaines étapes du processus existant.

Mais c’est précisément dans le cadre de cet examen que sont apparus les avantages d’une exécution par voie numérique: EOSCE rend bien plus simple et plus sûre la distribution des supports d’examen sur cinq sites; il permet de suivre de manière centralisée le déroulement de l’examen; il dispense de scanner les questionnaires, de sorte que l’évaluation peut commencer tout de suite après l’épreuve.

Depuis, EOSCE s’est imposé, à la fois pour des examens locaux et pour des examens en Suisse et à l’étranger. Mais après plus de 10 ans, nous avons dû nous rendre à l’évidence: la base de code des applications, souvent remaniée et étendue, est dépassée. Par ailleurs, les besoins des utilisateurs/trices sont de plus en plus divers, de sorte que nous avons décidé en 2020 de développer un système totalement nouveau.

En décembre 2021, «EOSCE Valuatic» a été publié. Ce système succède à EOSCE. Il laisse plus de liberté dans la conception des examens et des check-lists et offre beaucoup de nouvelles fonctionnalités. Déployé au cours de premiers examens, Valuatic a démontré sa grande fiabilité. Compte tenu également des nouvelles possibilités proposées, il a été accueilli avec enthousiasme.