Der publication bias oder Publikationsbias ist in der psychologischen Forschung die vorzugte Veröffentlichung von Studien mit positiven bzw. signifikanten Ergebnissen. Bekanntlich lassen sich positive Befunde leichter publizieren als solche mit negativen bzw. nicht-signifikanten Ergebnissen, sodass diese häufiger in Fachzeitschriften mit hohem Einflussfaktor veröffentlicht werden. Der publication bias besagt auch, dass deshalb nur große oder signifikante Effekte publiziert werden können, weil sie spektakulär sind und sich daher gut vermarkten lassen. Andererseits spiegeln sie auch fragwürdige Forschungspraktiken wider, etwa das gezielte Berichten von großen und das Unterschlagen von kleinen Effekten in Studien mit mehreren Fragestellungen.
Robert Rosenthal prägte dafür auch den Begriff file drawer problem – Schubladenproblem – um dieses mit dem publication bias verwandte Phänomen zu beschreiben, wonach Forscher zunehmend ihre nicht signifikanten Ergebnisse erst gar nicht mehr zur Veröffentlichung einreichen, sondern gleich in der Schublade verschwinden lassen.
Um diesem Fehler zu entgehen, arbeitet man in der Psychologie seit einigen Jahren mit der Präregistrierung, wobei dieses Konzept der Präregistrierung verlangt, dass die Idee einer Studie und die für die Ergebnisse grundlegende Methodik wie das Sammeln und Auswerten von Daten, für eine bestimmte wissenschaftliche Fragestellung nicht erst am Ende einer Studie, sondern bereits vor dem Sammeln der Daten online registriert und teilweise auch schon in einem Peer-Review-Verfahren akzeptiert wird. Dies soll das gezielte Nicht-Publizieren kleiner oder nicht-signifikanter Effekte oder ein gezieltes Suchen nach signifikanten Effekten durch statistisches Herumprobieren verhindern und somit ein unverzerrtes Bild der wahren Effekte liefern.
Nach Ansicht von Schäfer & Schwarz (2019) besteht ein nicht zu unterschätzendes Risiko, dass Psychologie-Lehrbücher recht viele Zufallsbefunde beinhalten, die gar keine Substanz haben. Wenn nämlich bisher vorrangig große bzw. signifikante Effekte publiziert wurden, dann sollten die durchschnittlichen Effekte bei präregistrierten Studien kleiner ausfallen. Genau das bestätigte sich in der Studie, denn die durchschnittlichen Effekte waren bei präregistrierten Studien nur noch halb so groß, d. h., die in der Vergangenheit publizierten empirischen Effekte sind deutlich in Richtung zu großer Effekte verzerrt. Sieht man sich die Verteilung der Effekte der präregistrierten Studien an, wird zudem deutlich, dass diese deutlich kleiner sind als die üblichen Konventionen zur Effektstärke. Diese Praktik der Präregistrierung ist als Reaktion auf die Replikationskrise in der Psychologie entstanden, nach der sich viele bekannte Effekte der psychologischen Forschung in nachfolgenden Studien nicht bestätigen ließen.
Literatur
Schäfer, T., & Schwarz, M. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10, doi:10.3389/fpsyg.2019.00813.
Sterling, Theodore D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54, 30–34.