Nicht überall, wo Evidenz draufsteht, steckt auch tatsächlich eine verlässliche Aussage drin. Welche Rolle bei dieser Problematik medizinische Fachzeitschriften spielen und wie man qualitativ hochwertige Forschungsleistungen fördern kann, diskutierte Wim Weber (Clinical Editor des BMJ) in einer Keynote Lecture auf dem EbM-Kongress letzte Woche in Berlin.
"Medizinische Forschung hat ein Glaubwürdigkeitsproblem" - nach Weber liegt das unter anderem auch daran, dass viele Ergebnisse aus der Grundlagenforschung nicht ausreichend reproduzierbar sind. In manchen Fällen werden auch Untersuchungsmethoden gehypt, bei denen die statistische Auswertung und Interpretation der Studienergebnisse mehr als fragwürdig sind. Hier konnte sich Weber einen Seitenhieb auf die Hirnforschung nicht verkneifen und zitierte genüsslich die Studienergebnisse aus den MRI-Experimenten mit einem toten Lachs. Ist das viele Geld, das in die Grundlagenforschung investiert wird, wirklich gut angelegt? Weber hinterfragte das auch anhand von Daten, dass nur die wenigsten Ergebnisse aus der medizinischen Grundlagenforschung tatsächlich auch in eine Anwendung münden, von der der Patient profitiert. Deshalb sollte seiner Meinung nach nicht nur die Qualitätskontrolle bei der Grundlagenforschung verstärkt, sondern vor allem auch die klinische Forschung stärker gefördert werden.
Welche Rolle spielen medizinische Fachzeitschriften bei dieser Misere? Probleme sind laut Weber u.a. akademische Anreizsysteme, die auf der Häufigkeit von Zitierung beruhen (Impact Factor): Das erzeugt eine Verzerrung zugunsten von Studien mit positiven Ergebnissen. Studien, die die Ergebnisse aus andere Studien durch Reproduzierung bestätigen, sind nicht angesehen. Medizinische Fachzeitschriften haben häufig enorme finanzielle Interessenkonflikte, etwa durch Rücksichtnahme auf Werbekunden oder den Verkauf von Nachdrucken an die Firmen, die Studien gesponsort haben.
Deshalb forderte Weber nicht nur eine stärkere Förderung von klinischen Studien, sondern auch die Entwicklung alternativer Anreizsysteme für die Beurteilung von medizinischen Forschungsleistungen. Vorgeschlagen wurden etwa Systeme, die auch die Replikation und Anwendbarkeit von Forschungsergebnissen belohnen.
"Medizinische Forschung hat ein Glaubwürdigkeitsproblem" - nach Weber liegt das unter anderem auch daran, dass viele Ergebnisse aus der Grundlagenforschung nicht ausreichend reproduzierbar sind. In manchen Fällen werden auch Untersuchungsmethoden gehypt, bei denen die statistische Auswertung und Interpretation der Studienergebnisse mehr als fragwürdig sind. Hier konnte sich Weber einen Seitenhieb auf die Hirnforschung nicht verkneifen und zitierte genüsslich die Studienergebnisse aus den MRI-Experimenten mit einem toten Lachs. Ist das viele Geld, das in die Grundlagenforschung investiert wird, wirklich gut angelegt? Weber hinterfragte das auch anhand von Daten, dass nur die wenigsten Ergebnisse aus der medizinischen Grundlagenforschung tatsächlich auch in eine Anwendung münden, von der der Patient profitiert. Deshalb sollte seiner Meinung nach nicht nur die Qualitätskontrolle bei der Grundlagenforschung verstärkt, sondern vor allem auch die klinische Forschung stärker gefördert werden.
Verzerrungen treten aber auch in der klinischen Forschung auf. Häufig werden Endpunkte untersucht, die für Patienten nicht wichtig sind. Weber kommentierte: "Trials without patient relevant outcomes are a complete waste of time and money". Probleme entstehen auch, wenn Studien frühere Forschungsergebnisse ignorieren - dann werden beispielsweise weitere Studien durchgeführt, obwohl bei sorgfältiger Durchsicht und Synthese von Forschungsergebnissen die jeweiligen Fragestellungen als ausreichend beantwortet gelten müssten.
Ein weiteres Problem ist der Publication bias, also eine Verzerrung durch Nicht-Veröffentlichung von Studienergebnissen. Das Stichwort "Tamiflu" genügt an dieser Stelle wohl. Dass nach der neuesten EU-Gesetzgebung künftig alle Studien registriert und die Ergebnisse publiziert werden und öffentlich zugänglich sein müssen, begrüßte Weber. Er warnte jedoch auch vor Euphorie, da dieses Prinzip vor allem auch durchgesetzt werden müsste. Eine Analyse von Daten aus clinicaltrials.gov war eher ernüchternd - trotz gesetzlicher Anforderungen in den USA gibt es immer noch erhebliche Mängel in diesem Bereich. Ähnliche Anforderungen gibt es auch schon seit 2005 durch die ICMJE journals. Eine Studie hat aber gezeigt: Mehr als die Hälfte der entsprechenden Journals fordern es nicht, dass bei eingereichten Studien die Registrierung in einem öffentlichen Register vorhanden ist.
Ein weiteres Problem ist der Publication bias, also eine Verzerrung durch Nicht-Veröffentlichung von Studienergebnissen. Das Stichwort "Tamiflu" genügt an dieser Stelle wohl. Dass nach der neuesten EU-Gesetzgebung künftig alle Studien registriert und die Ergebnisse publiziert werden und öffentlich zugänglich sein müssen, begrüßte Weber. Er warnte jedoch auch vor Euphorie, da dieses Prinzip vor allem auch durchgesetzt werden müsste. Eine Analyse von Daten aus clinicaltrials.gov war eher ernüchternd - trotz gesetzlicher Anforderungen in den USA gibt es immer noch erhebliche Mängel in diesem Bereich. Ähnliche Anforderungen gibt es auch schon seit 2005 durch die ICMJE journals. Eine Studie hat aber gezeigt: Mehr als die Hälfte der entsprechenden Journals fordern es nicht, dass bei eingereichten Studien die Registrierung in einem öffentlichen Register vorhanden ist.
Welche Rolle spielen medizinische Fachzeitschriften bei dieser Misere? Probleme sind laut Weber u.a. akademische Anreizsysteme, die auf der Häufigkeit von Zitierung beruhen (Impact Factor): Das erzeugt eine Verzerrung zugunsten von Studien mit positiven Ergebnissen. Studien, die die Ergebnisse aus andere Studien durch Reproduzierung bestätigen, sind nicht angesehen. Medizinische Fachzeitschriften haben häufig enorme finanzielle Interessenkonflikte, etwa durch Rücksichtnahme auf Werbekunden oder den Verkauf von Nachdrucken an die Firmen, die Studien gesponsort haben.
Deshalb forderte Weber nicht nur eine stärkere Förderung von klinischen Studien, sondern auch die Entwicklung alternativer Anreizsysteme für die Beurteilung von medizinischen Forschungsleistungen. Vorgeschlagen wurden etwa Systeme, die auch die Replikation und Anwendbarkeit von Forschungsergebnissen belohnen.