Zum Inhalt
Wissenschaftswelle.de

Wissenschaftsgeschichte

Medizinische Vorhersagen ohne offenen Code: Wie gut lassen sich Studien prüfen?

Die Kurve steht im Fachartikel. Wer sie nachrechnen will, braucht Zugang zum Rechenweg. Eine Übersicht über fast 4.000 Studien zeigt, wo diese Suche endet.

Wissen macht die Runde.

Teile diesen Artikel mit Menschen, die neugierig sind.

WhatsApp
Weitere Optionen

Für Instagram: Link kopieren und in einer Nachricht oder als Story-Link einfügen.

Redaktion: Benjamin Metzig. KI als Werkzeug für Text und Bild.

Dieser Beitrag entstand in einem von Benjamin Metzig geplanten und redaktionell geführten Arbeitsprozess. Er bestimmte Thema, Struktur und Maßstäbe, prüfte und überarbeitete Inhalt, Quellen und Darstellung und entschied über die Veröffentlichung. Generative KI diente dabei als Werkzeug; sie wurde auch für das Artikelbild eingesetzt. Zur Arbeitsweise der Redaktion

KI-Illustration eines aufgeschlagenen Fachhefts mit vereinfachter Kurve vor einem Laptop mit dem Symbol eines leeren Dateiordners.

Ein Krankenhaus möchte abschätzen, wer in den ersten 30 Tagen nach der Entlassung ungeplant wieder aufgenommen wird. Ein Forschungsteam entwickelt dafür ein Modell und veröffentlicht eine Kurve, die zeigt, wie gut die Vorhersagen in den Testdaten waren. Ein zweites Team will die Kurve nachrechnen. Eine scheinbar kleine Frage kann es schon aufhalten. Was hat das erste Team gemacht, wenn bei einem Patienten ein Laborwert fehlte?

In diesem erfundenen Beispiel beschreibt der Fachartikel die Untersuchung. Der Analysecode kann zusätzlich zeigen, welche Fälle tatsächlich in die Berechnung eingingen und wie das Team aus ihnen die Kurve erzeugte. Wie häufig dieser Rechenweg zugänglich ist, untersuchten Thomas Sounack und Kollegen in einer am 9. Oktober 2026 veröffentlichten Übersichtsarbeit in Nature Medicine. MIT News griff sie am 19. November wieder auf.

Was die Kurve über ihre Entstehung verschweigt

Im fiktiven Krankenhaus beginnt die Rechnung mit der Frage, welche Entlassungen zählen. Zählen auch Verlegungen in eine andere Klinik? Kann das Team erkennen, ob jemand anderswo wieder aufgenommen wurde? Schon diese Entscheidungen beeinflussen, welche Fälle und Ereignisse das Programm überhaupt sieht.

Bei fehlenden Laborwerten könnte das Team betroffene Fälle aus der Analyse nehmen oder fehlende Werte anhand anderer Angaben schätzen. Der Ausschluss kann die untersuchte Gruppe verändern. Ein Laborwert fehlt womöglich gerade deshalb, weil eine Untersuchung bei bestimmten Patienten seltener angeordnet wurde. Für die Prognose lässt sich mit einer statistischen Methode anschließend schätzen, wie Alter, frühere Aufenthalte und weitere Merkmale gemeinsam mit der Wiederaufnahme zusammenhängen.

Zur Auswertung braucht es Fälle, an denen das Modell beim Entwickeln noch nicht gelernt hat. Sonst kann es gut aussehen, weil es Eigenheiten seiner ursprünglichen Datensätze erfasst hat. Das Team möchte etwa wissen, ob bei den als besonders gefährdet eingestuften Menschen häufiger eine Wiederaufnahme folgt und ob die geschätzten Wahrscheinlichkeiten zu den beobachteten Häufigkeiten passen. Der Programmcode kann offenlegen, wie die Daten aufgeteilt und diese Eigenschaften berechnet wurden. Methodenleitfaden für klinische Vorhersagemodelle im BMJ.

Wo die Forschenden nach Code suchten

Sounacks Team suchte in PubMed nach Veröffentlichungen, die bis zum 11. August 2025 eine der Berichtsleitlinien TRIPOD oder TRIPOD+AI zitierten. In die Auswertung kamen über PubMed Central offen abrufbare Originalarbeiten, die ein klinisches Vorhersagemodell mit mehreren Eingangsmerkmalen entwickelten, überprüften oder aktualisierten. Die so gewonnenen 3.967 Studien bilden eine Auswahl aus der Forschung zu klinischen Prognosen und Diagnosen.

Ein großes Sprachmodell sichtete die Texte, suchte nach Angaben zum Analysecode und zog die Links zu den Ablagen heraus. Zwei Forschende ordneten 500 zufällig ausgewählte Artikel zunächst unabhängig von Hand ein. Im Vergleich mit ihren Bewertungen ermittelte das automatisierte Verfahren die Links in dieser Prüfstichprobe mit einer Genauigkeit von 92,3 Prozent. Für die Merkmale der Codeablagen gab es einen eigenen menschlichen Abgleich an 35 Repositorien. Eindeutige Merkmale wie das Vorhandensein einer Anleitungsdatei waren leichter zu erfassen als die Frage, ob die Anleitung brauchbar war. Volltext der Originalarbeit, Abschnitt Methods.

Was die 482 Fälle bedeuten

Von 3.967 Artikeln zählte das Team 482 als Fälle von Codefreigabe. Das sind 12,2 Prozent. Bei 380 fand das Abrufprogramm ein zugängliches Repositorium mit mindestens einer nicht leeren Codedatei. Weitere 75 Fälle wurden aufgrund der Angabe zum Code im Ergänzungsmaterial hinzugerechnet, 27 aufgrund von Links zu Ablagen, die das Programm technisch nicht unterstützte. Diese beiden Gruppen wurden beim Abruf nicht auf ihren Inhalt geprüft. Links zu unterstützten Anbietern, die sich nicht auflösen ließen, wurden nicht als Freigabe gezählt. Originalarbeit, Abbildung 1 und Abschnitt Methods.

Unter den 380 untersuchten Repositorien hatten ungefähr vier von fünf eine Einstiegsdatei, meist README genannt. Bei gut der Hälfte erklärte sie sowohl den Zweck der Ablage als auch die erwarteten Ergebnisse. In knapp 38 Prozent waren die benötigten Zusatzprogramme oder Softwarebibliotheken aufgeführt. Das Team erfasste solche Merkmale. Wie oft sich damit alle Ergebnisse der 380 Studien tatsächlich nachrechnen ließen, untersuchte es nicht. Originalarbeit, Abschnitt Repository characteristics.

Was beim tatsächlichen Ausführen passieren kann, zeigte eine andere Untersuchung von Sheeba Samuel und Daniel Mietchen. In ihrem automatisierten Wiederholungstest liefen 1.203 veröffentlichte biomedizinische Python-Notebooks fehlerfrei durch. In 324 davon wichen die Ausgaben trotzdem von den ursprünglich gespeicherten ab. Das waren ausgewählte ausführbare Skriptdokumente aus einer anderen Stichprobe. Ihr Ergebnis zeigt, warum ein fehlerfreier Lauf und eine übereinstimmende Ausgabe getrennte Prüfschritte sind. Unabhängige Untersuchung in GigaScience.

Vom Fachartikel zur unabhängigen Prüfung

Beim Lesen einer Studie helfen fünf Fragen. Die Wiederaufnahme-Prognose macht konkret, wonach man suchen kann.

  1. Studie. Wer ging ein und welches Ereignis wurde vorhergesagt? Im Beispiel zählt, ob Aufnahmen in anderen Kliniken erfasst wurden.
  2. Code. Lassen sich die Dateien finden, mit denen die Daten ausgewählt, Lücken behandelt, das Modell entwickelt und die Ergebnisse berechnet wurden?
  3. Dokumentation. Erklärt das Team, in welcher Reihenfolge man die Skripte ausführt, welche Softwareversionen dazugehören und welches Skript die veröffentlichte Kurve erzeugt?
  4. Datenzugang. Können berechtigte Forschende mit den Daten arbeiten, die der Rechnung zugrunde lagen? Künstliche Beispieldaten können zeigen, ob sich der Code ausführen lässt. Für die ursprüngliche Kurve braucht man die passenden Originaldaten.
  5. Unabhängige Prüfung. Erzeugt ein anderes Team aus demselben Material dieselbe Kurve? Ob das Modell auch für neu aufgenommene Patienten oder an einem anderen Krankenhaus funktioniert, lässt sich mit einer eigenen Auswertung an neuen Daten prüfen.

Patientenakten können sensible Informationen enthalten. Ein möglicher Weg sind getrennte Zugangsregeln für Skripte und Daten. Das Angebot MIMIC-IV zeigt, wie das in der Praxis aussehen kann. PhysioNet lässt berechtigte Forschende nach einem verlangten Schulungsnachweis und einer Datennutzungsvereinbarung an die klinischen Daten. Ob bei einem einzelnen Beitrag Datenschutz, Aufwand oder eine andere Hürde eine Codefreigabe verhindert hat, geht aus den Zahlen der Übersicht nicht hervor. Datenzugang bei PhysioNet.

Wie sich die Anforderungen an einen Forschungsbericht verändert haben

Mit TRIPOD erschien 2015 eine Berichtsleitlinie für klinische Vorhersagemodelle. Ihre Checkliste fragte beispielsweise nach der Auswahl der Teilnehmenden, der Behandlung fehlender Werte und der Modellformel. So sollten Leser beurteilen können, wie ein Modell entwickelt oder überprüft worden war. TRIPOD-Erklärung von 2015.

2024 folgte TRIPOD+AI für Modelle aus klassischen statistischen Verfahren und maschinellem Lernen. Die Liste fragt ausdrücklich und getrennt nach dem Zugang zu den Studiendaten und zum Analysecode. Die breitere Geschichte dieses Wandels beschreibt der Wissenschaftswelle-Beitrag Wie Open Science Forschung früher und prüfbarer macht. TRIPOD+AI im BMJ.

TRIPOD-Code soll genauer beschreiben, welche Angaben ein Codearchiv für eine Prüfung braucht. Im Februar 2026 erschien das Entwicklungsprotokoll. Es sieht die Bestandsaufnahme vor, danach eine mehrstufige Fachbefragung und ein Konsenstreffen. Am 20. November führt das EQUATOR-Netzwerk TRIPOD-Code weiterhin als Leitlinie in Entwicklung. Entwicklungsprotokoll · EQUATOR-Eintrag.

Für unser zweites Klinikteam wäre die erste Frage also erledigt, sobald es die Dateien findet. Ob sich die Kurve rekonstruieren lässt, erfährt es erst, wenn es weiß, welche Daten und Software zum veröffentlichten Ergebnis gehören. Und selbst dieselbe Kurve lässt die Frage offen, wie gut die Vorhersage morgen in einer anderen Klinik funktioniert. Wie sich solche Prüfschritte dokumentieren lassen, zeigt der Wissenschaftswelle-Beitrag Wie Protokolle und Datenspuren Forschung überprüfbar machen.

Kennst du jemanden, der das spannend findet?

Schick den Artikel weiter und bring das Thema ins Gespräch.

WhatsApp
Weitere Optionen

Für Instagram: Link kopieren und in einer Nachricht oder als Story-Link einfügen.

Die nächste Frage wartet

Zum ganzen Magazin

81 weitere Beiträge in „Wissenschaftsgeschichte“.