Über einen französischen RCT

Non vitae sed machinae discimus?

Anlass für unsere Überlegungen ist ein einfach verblindeter randomisiert-kontrollierter Vergleich, den ein Autorenteam um Emma Lavigne et al. mit knapp 250 Medizinstudierenden in Montpellier und Nîmes unternommen hat.

Das neue EvidenzUpdate
Ab sofort hat der Podcast ein neues Zuhause auf www.evidenzupdate.de, die langjährige Zusammenarbeit mit der Ärzte Zeitung haben wir beendet und gehen neue Wege.
Plus für alle zu dieser Episode: Literatur, die Zusammenfassung der Studie und Take-Home-Messages für den klinischen (lehrenden) Alltag. Mehr auf https://www.evidenzupdate.de/p/was-ki-im-medizinstudium-kann-und
Schreiben Sie uns: podcast@evidenzupdate.de

KI im ärztlichen Alltag: Zwischen Tool und Verdacht

Für Martin Scherer sind KI-Tools eine „reflexive Parallelspur“, die zunehmend in den Lehr- und Arbeitsalltag eindringen: Man liest Hausarbeiten, Artikel, Bewerbungen – und fragt sich unweigerlich: „Wie viel ist da selbst geschrieben?“ Der „große KI-Verdacht“ sei ständiger Begleiter. „KI ist omnipräsent. Die Frage ist nur: Wo ist der Mensch noch drin?“

Die Studie: KI-Training verbessert OSCE-Ergebnisse

Anlass unseres Gesprächs ist eine neue französische randomisiert-kontrollierte Studie (RCT), deren Ergebnisse im NEJM AI veröffentlicht wurden. Die Autorengruppe untersucht, ob ein KI-Trainingssystem die Prüfungsergebnisse im OSCE (Objective Structured Clinical Examination) verbessern kann. Die einfache Antwort lautet: Ja, kann es.

Die Interventionsgruppe nutzte 2,5 Monate lang vor der Prüfung die GPT-4-basierte Plattform DocSimulator, auf der KI-gestützt Anamnesen und Kasuistiken mit Feedback trainiert werden konnten. Keine Multiple Choice-Fragen, sondern freier Text, echte Interaktion mit einem Chatbot, Punktzahl und Benchmarking inklusive.

Die Kontrollgruppe hatte das Standardtraining – sprich: klinische Rotationen und Übungssessions. Geprüft wurden beide Gruppen am Ende gleich – und verblindet. Das heißt, die Prüfer waren verblindet und wussten nicht, welche Studis ein AI-Training hatten, welche nicht.

Ergebnis: Die KI-Gruppe schnitt in 4 Stationen des OSCE-Parcours signifikant besser ab (Median 11,4 vs. 10,7 Punkte von jeweils maximal 20 Punkten). Und die Prüflinge waren weniger gestresst.