Beim Einsatz quantitativer Methoden wie Tests oder Fragebogen werden in der Psychologie wie in anderen empirisch arbeitenden Wissenschaften zur Beurteilung der Güte oder Qualität einer Messung drei Gütekriterien unterschieden:
- Das Kriterium der Objektivität gibt an, wieweit das Ergebnis eines Tests abhängig davon ist, wer die Untersuchung durchgeführt hat, wobei zwischen der Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität unterschieden wird.
- Bei der Reliabilität geht es um die Wiederholbarkeit und damit Zuverlässigkeit der Datenerhebung in Anlehnung an das Messkonzept in der Physik, wobei man davon ausgeht, dass die zu „messenden“ Merkmale über die Zeit hinweg stabil sind.
- Das wichtigste Gütekriterium ist dabei die Validität oder Gültigkeit, denn die Validität erfasst die Genauigkeit, mit der von den erhobenen Daten auf das Merkmal geschlossen werden kann, das erfasst werden soll (z.B. vom Ergebnis eines Fragebogens zur Erfassung der Angst auf die tatsächlich vorhandene Angst). Dabei wird zwischen interner und externer Validität unterschieden, wobei die interne Validität sich auf die innere Stimmigkeit und Konsistenz des Erhebungsinstruments bezieht, während die externe Validität sich auf die Korrelation mit einem Außenkriterium bezieht (im Beispiel: ein Maß für die tatsächlich vorliegende Angst – falls es das gibt). Da Datenerhebungen in der Regel kein Selbstzweck sind, sondern bei jeder Datenerhebung auf Alltagsphänomene in Realsituationen geschlossen werden soll, ist die externe Validität entscheidend für die praktische Anwendbarkeit von Forschungsergebnissen. Man unterscheidet verschiedene Arten externer Validität: Inhaltsvalidität, Konstruktvalidität, Kriteriumsvalidität, ökologische Validität.
Neben diesen drei Hauptkriterien empirischer Forschung gibt es noch die Nebengütekriterien. In der wissenschaftlichen Praxis werden daher noch weitere Qualitätsanforderungen an psychologische Daten gestellt, etwa bezüglich der Skalierung (Wiedergabe korrekter Quantitäten), der Normierung (Normen bzw. Bezugssysteme für Ergebnisse sollen vorhanden sein), der Fairness (Daten über verschiedene soziale Gruppen dürfen nicht systematisch verfälscht sein), der Ökonomie (der Aufwand der Datenerhebung soll vertretbar sein), der Zumutbarkeit (Konsequenzen für Probanden sowie deren Akzeptanz sind zu berücksichtigen), der Unverfälschbarkeit (Ergebnisse sollen nicht manipulierbar sein) und der Nützlichkeit (Daten sollen zweckdienlich sein). Weist eine Untersuchung diese Gütekriterien nicht auf, fehlen die wissenschaftlich überprüften Grundlagen und notwendigen Kontrolluntersuchungen.
Empirischen Gütekriterien stellen im Übrigen keine akademische Spitzfindigkeit dar, sondern sie sind viel mehr Voraussetzung dafür, dass erhobene Daten auch tatsächlich möglichst messgenau zu einem Informationsbedarf passen. Grundsätzlich ist eine situative Interpretation schnell gemacht und auch ein Fragebogen ist schnell ausgedacht, doch ob damit aber auch wirklich jene Information erfasst werden, die benötigt werden und keine zwar augenscheinlich plausiblen aber tatsächlich nicht validen Daten in den Prozess der Erkenntnisgewinnung einfließen, kann nur mit empirisch gesicherten Operationalisierungen sichergestellt werden. Wird auf diese empirische Fachkenntnis verzichtet, laufen sowohl Datenerhebungen als auch Interpretationen Gefahr potenziell falschen intuitiven Plausibilitätsschlüssen, confirmation biases, Attributionsfehlern oder Projektions-Effekten aufzusitzen (Wortmann, 2020).
Literatur
Stangl, W. (1998). Gütekriterien empirischer Forschung.
WWW: https://arbeitsblaetter.stangl-taller.at/FORSCHUNGSMETHODEN/Guetekriterien.shtml (98-02-21)
Wortmann, Achim (2020). Das MBTI ist ein handgemalter Zollstock. ResearchGate.
WWW: https://www.researchgate.net/publication/344202310_Das_MBTI_ist_ein_handgemalter_Zollstock (20-09-22)