Neue Publikation: "Toward a more credible assessment of the credibility of science by many-analyst studies"

Katrin Auspurg und Josef Brüderl diskutieren das noch relativ neue metawissenschaftliche Forschungsdesign der many-analyst studies.

Ziel der Arbeit ist es, den Einsatz von Studien mit vielen Analysten zu fördern, indem Empfehlungen für eine optimale Entfaltung des Potenzials dieser Studien ausgesprochen werden.

In Many-Analyst-Studien vesuchen zahlreiche Forschende, anhand derselben Daten dieselbe Forschungsfrage zu beantworten. Ziel ist es, die Replizierbarkeit und Glaubwürdigkeit von Ergebnissen aus großen Beobachtungsdaten zu bewerten. Größere Variationen in den Ergebnissen deuten dabei auf Unsicherheiten hin, was die Glaubwürdigkeit einzelner Forschungsergebnisse mindert. Diese Studien sind jedoch ressourcenintensiv und es gibt Zweifel an ihrem Potenzial, glaubwürdige Bewertungen zu liefern.

Der Ansatz bietet die Möglichkeit, Unsicherheiten zu identifizieren, die unabhängig von Stichprobenfehlern sind. Im Gegensatz zu einzelnen Reanalysen oder Multiversum-Studien liegt die Definition von „vertretbaren“ Forschungsentscheidungen nicht mehr in den Händen eines oder weniger Autoren. Korrekt durchgeführt können solche Studien ein besseres Verständnis der Modellierungsunsicherheiten liefern, die bei der wissenschaftlichen Arbeit mit Beobachtungsdaten auftreten.

Katrin Auspurg und Josef Brüderl identifizieren drei zentrale Themen, mit denen sich jede Many-Analyst-Studie auseinandersetzen sollte:

1. Unterschiedliche Forschungsergebnisse sind nicht immer ein Hinweis auf problematische Unsicherheit. Daher sollte genau definiert werden, welche Art von Unsicherheit untersucht werden soll.
   
2. Die Durchführung sollte sich an etablierten Vorgehensweisen in der Forschung orientieren.
3. Es sollten angemessene Methoden der Meta-Analyse verwendet werden.
   

Sie plädieren für die Befolgung der vorgestellten Leitlinien für künftige Forschung, da eine Überschätzung der Unsicherheit wissenschaftlicher Ergebnisse das öffentliche Vertrauen in die Wissenschaft gefährden kann. Für eine verlässlichere Bewertung der Glaubwürdigkeit empfehlen sie daher:
i) alle Datenaufbereitungen und -analysen doppelt zu überprüfen und
ii) transparente Berichtsstandards zu verwenden, so dass Leserinnen und Leser den bestmöglichen Einblick in alle verwendeten Methoden und Schritte der Datenaufbereitung erhalten.

Die vollständige Publikation in den Proceedings of the National Academy of Sciences of the United States of America (PNAS) ist hier abrufbar.