Ich bin ja nur ein kleiner Blogger, der allerdings auch selbst schon wissenschaftlich veröffentlicht und ein Auge auf Tendenzen im Wissenschaftsbetrieb hat. Letzteres ist nicht unbedingt vergnügungssteuerpflichtig. Warum – dazu stelle ich heute einmal einen wichtigen Teilaspekt vor, die wissenschaftliche Publikationspraxis. Da sehe ich allerlei Düsternis.
Ich erspare mir hier, die – immer noch nicht ausgestandene – Geschichte um die Studie Frass et al. (2020) auszubreiten, bei der nicht nur ein unsinniges und unplausibles Forschungsthema behandelt, sondern mit großer Expertise akribisch herausgearbeitet wurde, dass die Ergebniss nicht auf realen Daten beruhen können. Jede Intervention beim veröffentlichenden Journal, dem Oncologist, blieb bislang erfolglos, ja, führte sogar zu einer Verhärtung der Fronten, weil sich das Journal nun auch noch selbst hinter die Studie stellte. Mehr dazu beim Humanistischen Pressedienst hier und zur Kritik an der Studie im Detail beim Informationsnetzwerk Homöopathie hier.
Ein krasser Fall – ein Einzelfall? Nun da lege ich mich nicht endgültig fest, es ist eben ein Fall, der aufgefallen ist. Was unwahrscheinlich genug war.
Was aber sehenden Auges selbst bei renommiertesten Wissenschaftsorganisationen geschieht, darauf bin ich vor einigen Tagen aufmerksam geworden. Und das verschiebt nach meiner Ansicht die ganze Problematik noch einmal um ein gehöriges Stück. Was ist geschehen?
Cochrane auf Irrwegen
Hilda Bastian, Gründungsmitglied von Cochrane, beschreibt in ihrem Blogbeitrag vom 24. Januar 2025 einen Vorfall innerhalb der Cochrane Collaboration bezüglich eines Reviews zu Bewegungstherapien bei Myalgischer Enzephalomyelitis/Chronischem Fatigue-Syndrom (ME/CFS). Dieser Review, dessen letzte vollständige Aktualisierung im Jahr 2015 stattfand, empfahl Bewegungstherapie als Behandlung für ME/CFS. Seitdem hat sich das Verständnis der Erkrankung jedoch erheblich weiterentwickelt, insbesondere hinsichtlich der Bedeutung der Post-Exertional Malaise (PEM) als Leitsymptom. Internationale Leitlinien, darunter die des National Institute for Health and Care Excellence (NICE) im Vereinigten Königreich und der Centers for Disease Control and Prevention (CDC) in den USA, raten inzwischen von standardisierten Bewegungstherapien für ME/CFS-Patienten ab.
Aufgrund anhaltender Kritik von Patientenvertretern und Wissenschaftlern initiierte Cochrane eine vollständige Überarbeitung des Reviews und setzte eine unabhängige Beratungsgruppe (Independent Advisory Group, IAG) ein, der auch Bastian angehörte. Im März 2020 wurde bekannt gegeben, dass das ursprüngliche Autorenteam zurückgetreten war und ein neues Team zusammengestellt werden sollte. Im Dezember 2024 jedoch erhielt die IAG eine kurze Mitteilung, dass die geplante Aktualisierung des Reviews abgesagt wurde. Öffentliche Berichte der IAG wurden ohne Vorankündigung von der Cochrane-Website entfernt. Kurz darauf veröffentlichte Cochrane eine neue „Version“ des Reviews mit einem redaktionellen Hinweis, der die Absage der Aktualisierung bekannt gab und gleichzeitig die veralteten Empfehlungen bestätigte.
Diese Ereignisse haben zu erheblichem Unmut in der wissenschaftlichen Gemeinschaft und bei Patientenvertretern geführt. Die Entscheidung, die Überarbeitung abzubrechen und den veralteten Review erneut zu veröffentlichen, wird als inakzeptable Fehlentscheidung angesehen, die das Vertrauen in Cochrane untergräbt. Angesichts der aktuellen wissenschaftlichen Erkenntnisse und der potenziellen Schäden, die durch ungeeignete aktivierende Bewegungstherapien bei ME/CFS-Patienten entstehen können, ist diese Entwicklung besorgniserregend. Ein gültiges, gar mit aktuellem Datum versehenes Paper in der Publikation, das eine längst als falsch und schädlich erkannte Therapieoption befürwortet? Mit dem Namen der renommiertesten Autorität in der evidenzbasierten Medizin? Was erlaube Cochrane, um einmal Giovanni Trappatoni zu paraphrasieren!
Für die ME/CFS-Forschungsgemeinschaft in Deutschland um die führende Expertin Prof. Carmen Scheibenbogen (Charité), ist es von großer Bedeutung, diese Entwicklungen zur Kenntnis zu nehmen. Schließlich ist entscheidend, dass klinische Leitlinien und Empfehlungen auf dem neuesten Stand der Wissenschaft basieren und die Bedürfnisse und Sicherheit der Patienten im Vordergrund stehen. Es ist unerlässlich, dass wissenschaftliche Gesellschaften transparent agieren und Kritik ernst nehmen, um das Vertrauen der Öffentlichkeit und der Fachwelt zu bewahren.
Eine besorgniserregende Entwicklung
Dass das Publikationssystem strukturelle Schwächen hat, ist nichts Neues – wirtschaftliche Interessen, Publikationsdruck und Intransparenz sind als Problemursachen bekannt. Aber dieser Vorgang bei Cochrane (und letztlich auch der ersterwähnte bei The Oncologist) geht über diese bekannten Probleme hinaus: eine offenbar zunehmende Gleichgültigkeit oder sogar aktive Verteidigung wissenschaftlich fragwürdiger Inhalte durch etablierte Journale und Organisationen. Und ausgerechnet die Cochrane Collaboration, die weltweit als Gralshüter der Prinzipien der evidenzbasierten Medizin gilt, handelt dem zuwider?
In der Tat ist der Fall, den Hilda Bastian schildert, besonders alarmierend, weil Cochrane nach eigenem Selbstverständnis den „Goldstandard“ der evidenzbasierten Medizin verkörpert. Dass eine längst überfällige Revision eines problematischen Reviews per ordera mufti nicht nur sabotiert, sondern die überholte Version aktiv erneut veröffentlicht wird, ist eine Form institutionalisierter mangelnder Fehlerkultur: Man hält an einer überholten, deshalb potenziell schädlichen Empfehlung fest, statt wissenschaftliche Korrektheit walten zu lassen. Das ist nicht nur intellektuell unehrlich, sondern kann in diesem Fall auch gesundheitliche Folgen für ME/CFS-Patienten haben.
Obwohl anders gelagert, kommt einem dabei der Fall Peter Gøtzsche vor einigen Jahren in den Sinn. Gøtzsche veröffentliche damals als Gründungsmitglied und leitender Mitarbeiter von Cochrane auf eigene Faust eine harsche Kritik an einem Review von Cochrane, das sich mit dem HPV-Impfstoff Gardasil befasste. Worauf er nicht nur seinen Job bei Cochrane (Leiter des Nordic Cochrane Centre) verlor, sondern gleich auch noch aus der Organisation ausgeschlossen wurde. Diese spezielle Sache wurde aufgearbeitet, mit dem Ergebnis, dass Gøtzsche nur so etwa zu 5 Prozent Recht hatte. Hinzu kam, dass er sich zusätzlich dadurch diskreditierte, dass er einen ausgesprochenen Impfgegner mit ins Boot genommen hatte. Aber die institutionellen Mechanismen, die ihn schon vorher bei Cochrane zum Außenseiter machten, sind nie wirklich beleuchtet wurden. War die Sache mit dem HPV-Review Grund oder nur eine willkommene Gelegenheit, Gøtzsche loszuwerden? Cochrane hatte Zusagen auf Klärung, die auf Drängen der wissenschaftlichen Community gemacht wurden, nie eingehalten.
Zweifellos war Gøtzsche seit jeher ein Opponent, der vor allem die zunehmende Kooperation von Cochrane mit der pharmazeutischen Industrie kritisierte. Der offizielle Grund, ihn vor die Tür zu setzen, war laut Cochrane „bad behaviour“, also schlechtes Benehmen … Na. Ich habe mich seinerzeit mit dieser Geschichte intensiv beschäftigt und auch dazu geschrieben, aber nicht veröffentlicht. Heute finde ich keine deutschsprachige Quelle, die nach meiner Einschätzung die Facetten des Konfliktes einigermaßen neutral wiedergibt, deshalb biete ich hier keinen deutschsprachigen Link an. Wer mehr erfahren will, den verweise ich auf den Blog „Skeptical Raptor“ des geschätzen US-Bloggerkollegen Michael Simpson.
Liegt darin eine generelle Tendenz? Namlich die, dass Institutionen sich gegen Kritik verteidigen oder sie ignorieren, anstatt wissenschaftliche Debatten offen zu führen? Und das ist die eigentliche Gefahr: Wenn sich Journale und Organisationen primär selbst schützen, statt als Korrektiv für Wissenschaftsfehler zu dienen, dann untergraben sie ihre eigene Glaubwürdigkeit.
Die Kombination aus wirtschaftlichen Zwängen, Publikationsdruck und mangelnder Fehlerkultur könnte langfristig die wissenschaftliche Integrität aushebeln. Es wird immer mehr darum gehen, Kritik abzuwehren oder zu ignorieren, anstatt sich ihr konstruktiv zu stellen. Und das ist eine schiefe Ebene, die – wenn nicht gegengesteuert wird – fatale Folgen haben kann.
Wie kann man dem entgegenwirken?
Welche Mechanismen müssten sich ändern, damit sich wissenschaftliche Journale nicht nur dem Peer-Review-Prozess verpflichtet fühlen, sondern auch einer echten Fehlerkultur?
Wer bin ich, für dieses Riesenproblem eine Lösung anbieten zu wollen. Aber einige DInge liegen schlicht auf der Hand, sind in kritischen Kreisen längst Konsens, sind aber trotzdem weit von einer Verwirklichung entfernt.
Ganz elementar sind zwei Dinge. Das sind zunächst die heutigen Selektionsmechanismen der Journale. An Einreichungen zur Veröffentlichung mangelt es nicht, was auch auch dadurch belegt wird, dass selbst mit dem wissenschaftlichen (oder auch unwissenschaftlichen) Bodensatz noch Geschäfte gemacht werden, indem sich Journale etablieren, die nach außen hin ein seriöses Bild abgeben, aber nichts anderes tun als ein peer review nur vorzutäuschen (oder ganz darauf zu verzichten) und gegen klingende Münze jedem „Wissenschaftler“ die Gelegenheit zu einer Journalveröffentlichung zu geben.
Bei den seriösen Journalen wäre zunächst die offensichtliche Fixierung auf spektakuläre Ergebnisse zu nennen. Diese führt nicht nur zu einer Verzerrung des wissenschaftlichen Diskurses (Publication Bias), sondern untergräbt auch das Selbstkorrektiv der Wissenschaft. Replikationsstudien, die essenziell für die Validierung von Erkenntnissen sind, haben es schwer, veröffentlicht zu werden.
Das Peer Review In der aktuellen Form ist oft intransparent und unzureichend – manche Reviewer leisten hervorragende Arbeit, andere überfliegen das Paper nur. Es wäre essenziell, dass nicht nur die Namen der Reviewer, sondern auch ihr konkreter Prüfbereich klar ist. Wer hat sich mit der Methodik befasst? Wer mit der statistischen Auswertung? Wer mit der Plausibilität der Hypothese? Und ja, faire Bezahlung für Peer Reviews wäre ein wichtiger Schritt.
Darüber könnte man lange schreiben. Ich will aber mal etwas riskieren in diesem Beitrag: Ich werde Sciene Fiction-Autor. Warum nicht?
Visionen
Meine Vision: Ein weltumspannendes Rechenzentrum, in das jeder Forschende seine Ergebnisse ablegen kann – kostenlos, getragen von der wissenschaftlichen Community mit Rückendeckung der staatlichen und halbstaatlichen Forschungsinstitute. Aber nicht ohne Hürden – ein mehrstufiges Beurteilungsverfahren bis hin zu einem genauen Review durch menschliche Mitarbeiter wäre durch eine entsprechend leistungsfähige und spezialisierte KI zu leisten. Die auch die Diskussionen der Community moderieren und im Sinne einer unvoreingenommenen Fehlerkultur handeln könnte …
Das wäre jedenfalls eine Lösung, die das Problem an der Wurzel packt. Denn solange Verlage die Wissenschaft als Geschäftsmodell betreiben, wird sich an den grundlegenden Problemen wenig ändern. Ein von der Wissenschaftscommunity selbst kontrolliertes System, das KI-gestützte Qualitätskontrolle mit menschlicher Expertise kombiniert, könnte Transparenz, Fehlerkultur und Effizienz drastisch verbessern. Und das alles werden wir in Zukunft noch weit mehr brauchen als ohnehin schon.
Natürlich bleibt die Frage, ob und wie sich so etwas realisieren ließe – insbesondere angesichts des Widerstands kommerzieller Verlage und der politischen Trägheit. Aber die Alternative ist ein weiteres Abrutschen in eine wissenschaftliche Publikationslandschaft, die mehr von Prestige und wirtschaftlichen Interessen als von Wahrheitsfindung geleitet wird. Man sieht, ich gehöre nicht zu denen, die bei Visionen die Einschaltung eine Arztes empfehlen. Sondern ein Nachdenken, wie man einer solchen Idee praktisch näher kommen könnte.
Die Journale sind aber natürlich nur ein Teil des Systems – die Wissenschaftler selbst sind oft gezwungen, mitzuspielen. Sei es durch den Publikationsdruck, der sie dazu bringt, möglichst viele „interessante“ Ergebnisse zu produzieren (statt solide, aber unspektakuläre Forschung zu betreiben), oder durch ideologische Scheuklappen, die dazu führen, dass sie eigene Fehler nicht erkennen (oder nicht zugeben wollen). Nicht zu vergessen die Verschwendung von Ressourcen bei problembewussten Wissenschaftlern, die oft viel Zeit aufwenden, die genannten Tendenzen zu bekämpfen. Wobei zusätzliche Aspekte wie Papermills („Wissenschaft auf Bestellung“) noch gar nicht angesprochen sind.
Wenn sich Leichtfertigkeit und Laissez-faire auf allen Ebenen ausbreitet – von Forschern über Peer Reviewer bis zu den Journals –, dann haben wir ein echtes Problem mit der wissenschaftlichen Integrität. Und wenn Institutionen wie Cochrane und bislang sehr renommierte Journale wie The Oncologist, die eigentlich für höchste Standards stehen sollten, sich dem auch noch anpassen, dann ist das ein echtes Warnsignal.
Aber was zum … schreibe ich hier … ich bin doch nur ein kleiner Blogger. Der aber seit gut zehn Jahren die Augen aufhält.