Wie verlässlich ist empirische Forschung? Sehr, wenn sie ihre Unsicherheiten ehrlich offenlegt. Das zeigt eine neue, gross angelegte Studie im Fachjournal „Nature“. Ein internationales Team prüfte, ob Wissenschaftler bei denselben Daten zu denselben Ergebnissen kommen. Prof. Martin Angerer von der Universität Liechtenstein war einer der Autoren. 

Die Forschergruppe, bestehend aus 457 unabhängigen Analytikern, analysierte 100 Studien aus den Sozial- und Verhaltenswissenschaften neu. Jeder bearbeitete denselben Datensatz und beantwortete dieselbe Frage – auf einem selbst gewählten Analyseweg. Das Ergebnis: Die Resultate variierten stark. 

In 74 Prozent der Fälle bestätigten die Experten die ursprünglichen Thesen. Doch in etwa einem Viertel der Fälle fanden sie keine Effekte, manche sogar gegenteilige. Bei den genauen Effektgrössen und Schätzungen gingen die Ergebnisse noch weiter auseinander. 

Die Wissenschaftler nennen dieses Phänomen «analytische Variabilität». Jeder Forscher trifft bei der Analyse kleine, aber entscheidende Entscheidungen: Er wählt Software, bereinigt Daten oder definiert Variablen. Diese Schritte beeinflussen das Ergebnis. Die Studie zeigt: Diese Unterschiede entstehen nicht durch mangelndes Fachwissen, sondern gehören zur komplexen Forschungspraxis. 

«Wissenschaftliche Objektivität bedeutet nicht, eine einzige ‹wahre› Analyse zu finden», lautet die zentrale Botschaft der Studie. Die Autoren plädieren für einen sogenannten Multiversum-Ansatz. Prof. Martin Angerer zum Ergebnis der Studie: «Unsere Studie zeigt das manchmal unterschiedliche, aber legitime Analysewege zu unterschiedlichen Ergebnissen führen können. Die Wissenschaft sollte Unsicherheiten transparenter machen anstatt sie zu verstecken. Gute Wissenschaft macht auch unterschiedliche Perspektiven sichtbar, statt sie zu glätten.»

Die vollständige Studie „Estimating the Analytic Robustness of Social and Behavioural Sciences“ ist online bei „Nature“ verfügbar.