Die Signifikanzist eine Größe der schließenden Statistik in der Psychologie, d.h., man analysiert eine Stichprobe und versucht mit den darin erhobenen Daten auf die Eigenschaften der Grundgesamtheit zu schließen. Wenn man diese Stichprobe mehrmals ziehen würde, würde das Ergebnis jedes Mal ein wenig anders sein, je nachdem welche Personen oder Merkmalsträger zufällig in der Stichprobe gelandet sind. Je deutlicher die Daten aus der Stichprobe nun auf bestimmte Eigenschaften hinweisen, desto unwahrscheinlicher ist es, dass diese Ergebnisse nur daraus resultieren, dass zufällig außergewöhnliche Merkmalsträger in der Stichprobe gelandet sind. Je höher die Signifikanz ist, desto größer ist die wissenschaftliche Relevanz, denn desto unwahrscheinlicher ist es, dass die Ergebnisse allein durch Zufall entstanden sind. Wichtig ist hier stets die Stichprobengröße.
Es gibt in der Forschungspraxis der Psychologie zwei unterschiedliche Bedeutungen von „Signifikanz„, die voneinander unabhängig sind, wobei die beiden Sachverhalte meist mit dem gleichen Wort bezeichnet werden, was vielfach den Ausgangspunkt für Missverständnisse in der Kommunikation über die Ergebnisse bildet und einen wissenschaftlichen Kunstfehler darstellt. Die statistische Signifikanz als Begriff der Inferenzstatistik,wobei diese Form der Signifikanz die Möglichkeit der Generalisierung festlegt, wobei mit relativ geringem vor allem kostengünstigen Aufwand mit einer angebbaren Wahrscheinlichkeit auf Verteilungen in einer Gesamtheit geschlossen werden kann. Signifikant sind dabei also Ergebnisse, die wahrscheinlichkeitsstatistisch belegt sind. Davon unterschieden werden muss hingegen die praktische Signifikanz im Sinne von Relevanz oder Bedeutsamkeit. Diese ergibt sich aus der Bewertung, also der Interpretation der erhobenen Daten und der darin hergestellten Relation zu den gesetzten Kriterien. Sind z. B. die Unterschiede zwischen den gemessenen Mittelwerten von Teilgruppen so groß, dass z.B. ein Interventionsprogramm mehr oder weniger positiv zu bewerten ist.
Da die Wissenschaft das Neue prämiert und nicht das Bestätigen von Altem, kommt es in vielen Wissenschaften, auch der Psychologie, zu einer Replikationskrise. Eine der Ursachen ist die Verwendung des heute vorherrschenden Standardansatzes zur Beurteilung wissenschaftlicher Hypothesen, die Signifikanzprüfung. Diese bringt viel zu viele positiv falsche Ergebnisse hervor, wobei es meist an methodischer Strenge mangelt. Außerdem suggeriert sie signifikante und publikationswürdige Zusammenhänge, wo es sich meist nur um interessante Auffälligkeiten handelt, die sich von bisherigen Beobachtungen nur marginal unterscheiden. Strengere statistische Verfahren könnten hier Abhilfe schaffen, wobei es generell aber auch ein viel größeres öffentliches Interesse an Replikationsstudien bräuchte. Natürlich ist die Replikationskrise auch eine Wachstumskrise, denn schließlich ist jede wissenschaftliche Veröffentlichung das Ergebnis eines Projektes, also eines entsprechenden Forschungsantrages, wobei GutachterInnen eine deutlich höhere Ablehnungsquoten durchsetzen müssten, damit das Problem der Replikation an Relevanz verliert.
Details dazu siehe Der Fetisch der Signifikanz – Signifikanz vs Effektstärke
1. Definition
Psychologisch betrachtet findet man unter Signifikanz oft das man Statist. Tests auch Signifikanztest nennet, da sie z. B. die S. (= Bedeutsamkeit) von Unterschieden zu prüfen. Man unterscheidet zwischen statist. und praktischer S.; Dabei ist die statist. S. (prüfbar durch einen Test) notwendige, aber nicht hinreichende Bedingung für praktische S. Durch hinreichend große Stichproben lassen sich auch sehr kleine, praktisch nicht bedeutsame Unterschiede statist. absichern. Deshalb ist es unzweckmäßig, mit im Verhältnis zur Merkmalsstreuung sehr großen Stichproben zu arbeiten, da praktisch bedeutsame Differenzen auch mit einer kleineren Stichprobe erfaßt werden können (vgl. Arnold, Eysenck & Meili, 1972, S 327).
2. Definition
Von lateinisch significare zu erkennen geben, anzeigen abgeleitet, bezeichnet Signifikanz Bedeutsamkeit, insbesondere die statistische Bedeutsamkeit, z. B. des Unterschieds von Mittelwerden oder eines Korrelationskoeffizienten (vgl. Dorsch, 1976, S 549).
3. Definition
Im Wörterbuch der Psychologie ist Signifikanz (lat.), „Deutlichkeit“, „Anschaulichkeit“; statistischer Grundbegriff: die Eigenschaft eines statistischen Ergebnisses, gegenüber zufälligen Einflüssen genügend gesichert (signifikant) zu sein. Die Signifikanzgrenzen beruhen auf Übereinkunft; es werden Zufallswahrscheinlichkeiten von 0,1 bis 5 % zugelassen (vgl. Wilhelm Hehlmann, 1965, S. 513).
4. Definition
Signifikanz wird im Allgemeinen als Bedeutung, Deutlichkeit, bezeichnet in der → Statistik die Bedeutsamkeit von Unterschieden, Abweichungen und Übereinstimmungen von Testergebnissen. Die Signifikanz von Ereignissen und empirischen Ergebnissen ist umso größer, je geringer Zufälligkeit und Irrtumswahrscheinlichkeit sind. Praktische Signifikanz liegt vor, wenn beide nahezu ausgeschlossen sind (vgl. Köck & Ott, 1994, S. 660 f).
5. Definition
Pädagogisch betrachtet bedeutet Signifikanz w [lat.], die mit Hilfe statist. Tests abgesicherte Bedeutsamkeit v. experimentellen Ergebnissen (vgl. Kaluza, 1976, S. 71).
Literatur
Arnold, W., Eysenck, H. J. & Meili, R. (1972). Lexikon der Psychologie. Band 3. Freiburg: Verlag Herder KG.
Dorsch, F. & Becker-Carus, C. & Bergius, R. & Graichen, J. & Häcker, H. & Kaminski, G. & Mikula, G. & Mittenecker E. & Mühle E. & Roth E. (1976). Dorsch Psychologisches Wörterbuch. Bern: Verlag Hans-Huber.
Hehlmann, W. (1965). Wörterbuch der Psychologie. 4. Auflage. Stuttgart: Verlag Alfred Kröner.
Kaluza, B. (1976). HERDER LEXIKON Pädagogik. Freiburg: Verlag Herder KG.
Köck, P. & Ott, H. (1994). Wörterbuch für Erziehung und Unterricht. Donauwörth: Verlag Ludwig Auer.