Um den vollen Funktionsumfang dieser Webseite zu erfahren, benötigen Sie JavaScript. Hier finden Sie die Anleitung wie Sie JavaScript in Ihrem Browser einschalten.

Replikationskrise


Die Replizierbarkeit ist eine Anforderung innerhalb des quantitativen wissenschaftlichen Ansatzes und bedeutet, dass eine Untersuchung unter denselben Bedingungen unter Anwendung derselben Methode wiederholt werden kann und dann auch dieselben Ergebnisse gefunden werden. Das gilt auch für die wissenschaftliche Psychologie. Die Replikationskrise bezeichnet demnach das Phänomen, dass in der Psychologie wie auch in anderen empirischen Wissenschaften ein Risiko darin besteht, dass sich Ergebnisse von Studien bei einer Überprüfung etwa in Form einer Wiederholung der Studie nicht immer bestätigen lassen. Das liegt teilweise an den Bedingungen des Wissenschaftsbetriebs, der auf Publikationen ausgerichtet ist, andererseits an der Struktur empirischer Untersuchungen, die in der Regel auf Stichproben basieren und bei denen niemals alle Bedingungen, unter denen ein Ergebnis erhalten wurde, kontrolliert werden können. Hinzu kommt der Druck von Fachzeitschriften, die vor allem an positiven Resultaten interessiert sind, sodass die meisten veröffentlichten Studien statistisch signifikante Ergebnisse berichten, die sich jedoch in Nachfolgeuntersuchungen nicht bestätigen lassen.

Die Diskussion über nicht replizierbare Studien in der Psychologie ist übrigens nicht neu und seit Jahren häuft sich das empirische Material dazu, was letztlich auch eine Paradoxie darstellt. Faktenbasiert besteht seit langem Konsens darüber, dass zu viele kleine Studien publiziert werden und auch ein ausreichender p-Wert allein noch lange kein vertrauenswürdiges Ergebnis anzeigt, andererseits stellt sich die Frage, ob in der Psychologie, dort wo es z.B. nicht mehr um wahrnehmungspsychologische Fragen oder andere biologienahe Dinge geht, vielleicht auch sehr gute Studien aus grundsätzlicheren Gründen in der Replikation scheitern müssen. Für den Versuch der Replikation einer Untersuchung wird unterstellt, dass dem untersuchten Phänomen ein gesetzesförmiger Zusammenhang zugrunde liegt, der beim zweiten Mal nicht anders als beim ersten Mal sein muss, was bei “weichen Daten” wie etwa sozialpsychologischen Phänomenen eigentlich nicht überraschend sein sollte. Man hat es daher in solchen Fällen nicht mit mangelnder Replizierbarkeit aufgrund unzureichenden Studiendesigns zu tun, sondern eher mit einem falschen Menschenbild, das die Fähigkeit bewussten Handelns auch dort ausblendet, wo es für eine gegenstandsadäquate Forschung zwingend in Rechnung zu stellen wäre.

Um dem publication bias zu entgehen, arbeitet man in der Psychologie übrigens seit einigen Jahren mit der Präregistrierung, wobei dieses Konzept verlangt, dass die Idee einer Studie und die für die Ergebnisse grundlegende Methodik wie das Sammeln und Auswerten von Daten, für eine bestimmte wissenschaftliche Fragestellung nicht erst am Ende einer Studie, sondern bereits vor dem Sammeln der Daten online registriert und teilweise auch schon in einem Peer-Review-Verfahren akzeptiert wird.

Hinzu kommt, dass die Begriffe signifikant und nichtsignifikant Teil der Alltagssprache geworden sind, denn wenn etwas signifikant ist, so ist das allgemeine Verständnis, dass ein bestimmter Effekt vermutlich wahr ist. Grundsätzlich stellt die Prüfung der statistischen Signifikanz aber nur jenes Mittel dar, um die Replizierbarkeit von Befunden sicherzustellen, und nur Befunde, die mit hinreichender Sicherheit nicht mit der Annahme eines Zufallsbefundes (Nullhypothese) kompatibel sind, werden als bestätigt akzeptiert. Dies setzt aber voraus, dass die Hypothesen vor Kenntnis der zur Prüfung verwendeten Studiendaten formuliert wurden, und die Signifikanz bzw. Nicht-Signifikanz der Befunde unabhängig von der Tatsache, ob die Alternativhypothese als bestätigt gelten kann, berichtet werden. Doch ist es bekanntlich nicht schwierig, in einem beliebigen Datensatz signifikante Effekte zu entdecken, sodass es eigentlich die größere Herausforderung darstellt, keine signifikanten Ergebnisse zu finden.

Die wissenschaftliche Statistik geht etwa davon aus, dass Messungen grundsätzlich unendlich oft wiederholbar sind und dass die Nullhypothese in Form der Abwesenheit von Effekten oder Zusammenhängen wahr ist. Der p-Wert gibt dann an, wie oft unter diesen Annahmen rein zufällig mit einem Ergebnis zu rechnen ist, das mindestens so extrem wie das beobachtete ist. Wenn diese Wahrscheinlichkeit kleiner ist als dieser bestimmte Wert, gilt das Ergebnis als statistisch signifikant, und die Nullhypothese wird verworfen. Der p-Wert wird dabei oft als Irrtumswahrscheinlichkeit interpretiert, was aber falsch ist, denn der p-Wert ist lediglich eine Kennzahl, die angibt, wie gut die vorhandenen Daten zur Nullhypothese passen. Mit welcher Wahrscheinlichkeit diese Hypothese falsch oder eine andere richtig ist, sagt der p-Wert natürlich nicht.

Literatur

Stangl, W. (2015). Stichwort: ‘Replizierbarkeit’. Online Lexikon für Psychologie und Pädagogik.
WWW: https://lexikon.stangl.eu/15774/replizierbarkeit/ (2015-09-14)
Stangl, W. (2015). Präregistrierung gegen den publication bias. Werner Stangls Psychologie News.
WWW: https://psychologie-news.stangl.eu/3142/praeregistrierung-gegen-den-publication-bias (2015-09-14).
Ulrich, R., Erdfelder, E., Deutsch, R., Strauß, B., Brüggemann, A., Hannover, B., Tuschen-Caffier, B., Kirschbaum, C., Blickle, G. & Rief, W. (2016). Inflation von falsch-positiven Befunden in der psychologischen Forschung. Mögliche Ursachen und Gegenmaßnahmen. Psychologische Rundschau, 67, 163-174.
https://lexikon.stangl.eu/25437/publication-bias/ttp://scienceblogs.de/gesundheits-check/2018/12/01/replikationskrise-oder-grundlagenkrise/ (19-02-12)


Weitere Seiten zum Thema

Falls Sie in diesem Beitrag nicht fündig geworden sind, können Sie mit der folgenden Suche weiter recherchieren:



Sorry, comments for this entry are closed at this time.

Diese Seiten sind Bestandteil der Domain www.stangl.eu



© Werner Stangl Linz 2019