Sie dienen der Sicherstellung der Qualität von Ausbildungsgängen, indem Sie Fachexpert:innen zusammenbringen, um zu reflektieren, was Studierende gemäss den Ausbildungszielen tatsächlich lernen sollten. Dadurch üben sie einen positiven Einfluss auf die Fortentwicklung der Ausbildungsziele aus. In der Summe spiegelt ihre Qualität das Engagement der Bildungseinrichtungen wider, an denen die Lernenden ausgebildet werden.

In der Medizin haben sich zwei Prüfungsarten als besonders bedeutsam herauskristallisiert: Das Objective Structured Clinical Examination (OSCE) als Format zur Beurteilung von ärztlichen Handlungen und die schriftliche Multiple-Choice-Prüfung zur Beurteilung des ärztlichen Wissens. Wie diese Prüfungen entwickelt, durchgeführt und ausgewertet werden, beschreibt dieser Artikel.

Das OSCE ist eine praxisorientierte Prüfungsform, die darauf abzielt, die von den Studierenden erworbenen klinischen Fähigkeiten zu bewerten. Im OSCE werden die Studierenden mit authentischen klinischen Problemen (z.B. eine Patientin kommt mit Husten und Fieber in die Notaufnahme) konfrontiert. Die Anliegen und Symptome werden dabei von Schauspieler:innen (Simulationspersonen) realitätsnah dargestellt. Ein OSCE besteht typischerweise aus acht bis zwölf klinischen Aufgaben, sogenannten Stationen. Dadurch werden die Kompetenzen der Studierenden in unterschiedlichen klinischen Situationen und von mehreren Prüfenden unabhängig beurteilt, was die Zuverlässigkeit der Prüfungsergebnisse deutlich erhöht.

Entwicklung und Vorbereitung: Die Entwicklung einer OSCE-Prüfung ist ein komplexer Prozess, an dem eine Vielzahl von Personen aus unterschiedlichen Fachdisziplinen beteiligt ist. Im ersten Schritt definieren Fachexpert:innen anhand der Ausbildungsziele des jeweiligen Studiengangs, welche klinischen Fertigkeiten geprüft werden sollen. Darauf aufbauend werden verschiedene Stationen konzipiert, die spezifische Szenarien aus dem medizinischen Arbeitsalltag simulieren. Dazu gehören das Erfassen der Krankengeschichte (Anamneseerhebung), die körperliche Untersuchung und die Entscheidung über das weitere diagnostische und therapeutische Vorgehen. Professionelle und patientenorientierte Kommunikation ist bei allen Stationen ein zentraler Aspekt. Die Entwicklung von detaillierten Fallbeschreibungen und von genau auf das Patientenproblem abgestimmten Bewertungsbögen ist wichtig, um eine faire und zuverlässige Beurteilung der Leistung der Studierenden durch die Prüfenden sicherzustellen. In der anschliessenden Qualitätskontrolle, die mehrere Schritte umfasst, werden die Stationen in einem Peer-Review-Verfahren überprüft. Zur Qualitätskontrolle gehören gemeinsame Workshops von OSCE-Methoden-Expert:innen und erfahrenen Kliniker:innen sowie die Begutachtung durch Prüfungskommissionen. Nach Fertigstellung der optimierten Patientenszenarien trainieren die Simulationspersonen intensiv, um Krankheitssymptome und Verhaltensweisen der standardisierten Patient:innen im OSCE konsistent darzustellen, damit alle Studierenden unter den gleichen Bedingungen geprüft werden.

Durchführung: Die fachgerechte Logistik einer OSCE-Prüfung ist eine Meisterleistung. Räumlichkeiten müssen organisiert, Zeitpläne erstellt und genügend Prüfende gefunden, eingeladen und eingewiesen werden. Jede Station hat eine exakt festgelegte Dauer, nach der die Studierenden zur nächsten Station weiterrotieren. Die Prüfenden müssen nicht nur fachlich kompetent sein, sondern auch in der Anwendung der Bewertungsinstrumente geschult werden, damit sie die Studierenden bei gleicher Prüfungsleistung gleich bewerten. Die erbrachte Prüfungsleistung wird anhand von vordefinierten Kriterien digital erfasst.

Auswertung: Nach einer Prüfung werden die elektronisch erfassten Bewertungsbögen analysiert. Hierbei kommen statistische Methoden zum Tragen, um die Messzuverlässigkeit der Prüfung und die Aussagekraft der Prüfungsergebnisse zu gewährleisten. Auffälligkeiten, wie missverständliche Bewertungskriterien oder ungewöhnlich hohe oder niedrige Bewertungen einzelner Prüfender, werden identifiziert und zugunsten der Studierenden berücksichtigt. Ausserdem werden die Rückmeldungen der Prüfenden und der Studierenden ausgewertet, um die einzelnen Stationen und die Prüfung als Ganzes für die Zukunft weiter zu verbessern.

Multiple-Choice-Prüfungen sind aufgrund ihrer Effizienz und Objektivität in der Medizin weit verbreitet. Mit hochwertigen Multiple-Choice-Fragen, die eine vielschichtige Patientensituation schildern, können kognitive Kompetenzen aus dem Bereich der klinischen Entscheidungsfindung und der Anwendung von ärztlichem Wissen gemessen werden.

Entwicklung und Vorbereitung: Die Entwicklung qualitativ hochwertiger Multiple-Choice-Fragen ist eine Kunst für sich. Eine Patientensituation muss so geschildert werden, dass eine bestimmte Diagnose klar als am wahrscheinlichsten angesehen werden darf, oder dass ein bestimmtes ärztliches Vorgehen in dieser Situation eindeutig als das beste gilt, ohne dass von vorneherein offensichtlich ist, was hier ärztlicherseits zu tun ist. Die Frage muss klar formuliert sein, um Missverständnisse zu vermeiden. Die Antwortmöglichkeiten müssen die korrekte Lösung und mehrere plausibel erscheinende, aber eindeutig weniger gute Antworten umfassen. Diese sogenannten «Ablenker» repräsentieren typische Fehlvorstellungen bezüglich der Situation der geschilderten Patientin und testen dadurch das tatsächliche Verständnis der Studierenden. Eine weitere Herausforderung besteht darin, Fragen so zu formulieren, dass sie keine ungewollten Hinweise auf die richtige Antwort enthalten.

Durchführung: Damit der Sinn der Prüfung, nämlich Kompetenzen der Studierenden zu messen, gewahrt bleibt und damit Fairness herrscht, müssen Abschreiben und andere unlautere Mittel vermieden werden. Klare Regeln, Anweisungen zu Beginn der Prüfung, die Abgabe mobiler Endgeräte und eine weitläufige, «luftige» Sitzordnung können dazu beitragen. Ein möglichst ruhiger und geordneter Ablauf wird angestrebt, damit sich die Studierenden ganz auf ihre Aufgabe konzentrieren können. Dank der vom IML entwickelten Software werden Multiple-Choice-Prüfungen effizient erfasst und ausgewertet.

Auswertung: Die Prüfungsergebnisse werden nach sorgfältigen Kontrollen den Studierenden mitgeteilt. Im Hintergrund werden detaillierte Item-Analysen durchgeführt, in denen statistische Kennzahlen wie Schwierigkeitsindex oder Trennschärfe berechnet werden, um die Qualität der Fragen zu bewerten. Auch hier geben Rückmeldungen von Studierenden und Prüfenden, die sorgfältig ausgewertet werden, wertvolle Hinweise für Verbesserungen der Prüfung.

Beide Prüfungsarten stehen vor der gleichen Herausforderung: Wie können Relevanz und Zuverlässigkeit der Prüfungen dauerhaft sichergestellt werden? Eine Prüfung, die medizinisch-fachlich Sinn macht und zuverlässig funktioniert, misst nicht nur die relevanten Kompetenzen der Studierenden besser, sondern bietet den Studierenden auch einen viel besseren Anreiz, gut zu lernen, um sich optimal auf den ärztlichen Beruf vorzubereiten. Wie also können Prüfungen kontinuierlich verbessert und immer auf dem neuesten Stand gehalten werden?

Dies muss in erster Linie auf inhaltlicher Ebene geschehen, in dem fortlaufend die Frage beantwortet werden muss, welche neuen Ausbildungsinhalte aufgrund des Wandels in Gesellschaft und Medizin zusätzlich in den Prüfungen abgebildet werden sollten, und welche wegfallen dürfen, weil sie veraltet sind. Dazu gehört aber auch die regelmässige Schulung in Prüfungsdidaktik derjenigen Personen, die Prüfungen erstellen und Prüfungsleistungen bewerten. Dazu gehört der Einsatz modernster Prüfungs-Soft- und -Hardware, womit die Effizienz der Prüfung und die Objektivierbarkeit der Beurteilung der Prüfungsleistungen unterstützt wird. Dazu gehören fortlaufende Verbesserungen an den Bewertungskriterien, die die psychometrische Forschung bereitstellt.

Entwicklung, Vorbereitung, Durchführung und Auswertung von OSCE- und Multiple-Choice-Prüfungen stellen eine komplexe Gesamtleistung dar, die sorgfältige Planung und vielschichtige Expertise erfordert. Durch Anwendung anerkannter Standards und durch kontinuierliche Verbesserung von Inhalt und Methodik werden Prüfungen so gestaltet, dass sie höchsten Ansprüchen gerecht werden. So tragen sie dazu bei, kompetente Ärztinnen und Ärzte auszubilden und diese auf die Berufspraxis vorzubereiten.

Das IML ist seit über 50 Jahren als nationales Kompetenzzentrum für Prüfungsdienstleistungen federführend an über 240 Prüfungen in der Schweiz beteiligt und bietet der Universität Bern, dem Bund und vielen weiteren Kunden seine Expertise an, um Prüfungen von hoher Qualität zu entwickeln, durchzuführen und zu analysieren.

Publikationen

Schurter T, Escher M, Gachoud D, Bednarski P, Hug B, Kropf R, Meng-Hentschel J, König B, Beyeler C, Guttormsen S, Huwendiek S. Essential steps in the development, implementation, evaluation and quality assurance of the written part of the Swiss federal licensing examination for human medicine. GMS J Med Educ. 2022 Sep 15;39(4):Doc43. doi: 10.3205/zma001564. eCollection 2022.

Wagner FL, Feller S, Schmitz FM, Zimmermann PG, Krings R, Guttormsen S, Huwendiek S. Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam. GMS J Med Educ. 2022 Apr 14;39(2):Doc24. doi: 10.3205/zma001545. eCollection 2022.

Lahner FM, Schauber S, Lörwald AC, Kropf R, Guttormsen S, Fischer MR, Huwendiek S Measurement precision at the cut score in medical multiple choice exams: Theory matters.  Perspect Med Educ. 2020 Aug;9(4):220-228. doi: 10.1007/s40037-020-00586-0.

Monti M, Klöckner-Cronauer C, Hautz SC, Schnabel KP, Breckwoldt J, Junod-Perron N, Feller S, Bonvin R, Huwendiek S. Improving the assessment of communication competencies in a national licensing OSCE: lessons learned from an experts' symposium. BMC Med Educ. 2020 May 26;20(1):171. doi: 10.1186/s12909-020-02079-4.

Guttormsen, S., Beyeler, C., Bonvin, R., Feller, S., Schirlo, C., Schnabel, K. P., Schurter, T., & Berendonk, C. (2013). The new licencing examination for human medicine: from concept to implementation. Swiss Med Wkly, 143(w13897), 1–10.doi:10.4414/smw.2013.13897.