Definition
Das Signifikanzniveau (\(\alpha\)) ist eine wichtige Grenze in der Statistik. Es markiert, ab wann ein Ergebnis als statistisch signifikant angesehen wird. Häufig wird ein Signifikanzniveau von 5 % verwendet. Das entspricht dem Wert 0.05. Ein Ergebnis gilt dann als signifikant, wenn der p-Wert kleiner als 0.05 (\(p<.05\)) ist.
Was bedeutet Signifikanzniveau?
Mit dem Signifikanzniveau legen wir fest, wie vorsichtig wir bei einer statistischen Entscheidung sein wollen. Es geht dabei um die Frage, wie sicher müssen wir sein, bevor wir sagen, dass ein Ergebnis wahrscheinlich nicht nur Zufall ist? Ein Beispiel: Wir vergleichen zwei Medikamente gegen Bluthochdruck. Das neue Medikament scheint besser zu wirken als das alte Medikament. Es kann aber sein, dass dieser Unterschied nur zufällig entstanden ist. Wenn wir trotzdem sagen, dass das neue Medikament besser wirkt, obwohl es in Wahrheit keinen echten Unterschied gibt, machen wir einen Fehler.
Das Signifikanzniveau legt fest, wie groß dieses Fehlerrisiko sein darf. Bei einem Signifikanzniveau von 5 % akzeptieren wir vereinfacht gesagt ein kleines Fehlerrisiko. Ein Ergebnis soll also nur dann als signifikant gelten, wenn es ziemlich unwahrscheinlich ist, dass es nur durch Zufall entstanden ist.
Wichtig ist: Die 5 % bedeuten nicht, dass jedes signifikante Ergebnis mit 5 % Wahrscheinlichkeit falsch ist. Sie sind vor allem eine vorher festgelegte Grenze. Diese Grenze sagt, wie streng wir prüfen wollen.
Wie hängen Signifikanzniveau und p-Wert zusammen?
Der p-Wert kommt aus einem statistischen Test. Das Signifikanzniveau ist die Grenze, mit der wir diesen p-Wert vergleichen. So entscheiden wir, ob ein Ergebnis als statistisch signifikant gilt oder nicht. Die Regel ist einfach: Ist der p-Wert kleiner als das Signifikanzniveau, gilt das Ergebnis als statistisch signifikant. Ist der p-Wert genauso groß oder größer, gilt das Ergebnis als nicht signifikant.
Häufig wird ein Signifikanzniveau von 5 % verwendet. Das entspricht dem Wert 0.05. Bei dieser Grenze gilt: Ein p-Wert unter 0.05 ist signifikant. Ein p-Wert von 0.05 oder höher ist nicht signifikant.
Ein Beispiel: Wir testen ein neues Medikament. Der Test ergibt einen p-Wert von 0.02. Vorher wurde ein Signifikanzniveau von 0.05 festgelegt. Der p-Wert ist also kleiner als die Grenze. Deshalb gilt das Ergebnis als statistisch signifikant. Das bedeutet: Die Daten sprechen eher dagegen, dass der beobachtete Unterschied nur zufällig entstanden ist.
Ergibt der Test dagegen einen p-Wert von 0.18, ist das Ergebnis nicht signifikant. Dann reichen die Daten nicht aus, um den Unterschied statistisch abzusichern.
Warum wird häufig ein Signifikanzniveau von 5 % verwendet?
Ein Signifikanzniveau von 5 % wird in vielen wissenschaftlichen Arbeiten verwendet. Diese Grenze ist aber kein Naturgesetz. Sie hat sich im Laufe der Zeit als übliche Regel eingebürgert.
Der Wert 0.05 ist ein Mittelweg. Die Prüfung ist damit nicht besonders streng, aber auch nicht besonders großzügig. Ein Ergebnis muss also schon deutlich genug sein, um als signifikant zu gelten. Bei einem Signifikanzniveau von 1 % wäre die Prüfung noch strenger.
Trotzdem sollte man 5 % nicht automatisch verwenden. Das passende Signifikanzniveau hängt von der Fragestellung ab. Manchmal sollte man strenger prüfen, zum Beispiel wenn eine falsche Entscheidung ernste Folgen haben kann. In anderen Fällen kann ein weniger strenges Niveau sinnvoll sein, etwa bei ersten Analysen, die nur Hinweise liefern sollen.
Wichtig ist, dass das Signifikanzniveau vor der Analyse festgelegt wird. Es sollte nicht nachträglich angepasst werden, nur damit ein Ergebnis besser aussieht.
1 %, 5 % oder 10 %?
Es gibt nicht das eine richtige Signifikanzniveau für alle Untersuchungen. Häufig werden Werte von 1 %, 5 % oder 10 % verwendet. Je kleiner dieser Wert ist, desto strenger wird geprüft.
Ein Signifikanzniveau von 1 % ist streng. Der p-Wert muss dann kleiner als 0.01 sein, damit ein Ergebnis als signifikant gilt. Das kann sinnvoll sein, wenn eine falsche Entscheidung ernste Folgen haben könnte.
Das sieht man gut am Beispiel eines neuen Medikaments. Wenn dieses Medikament starke Nebenwirkungen haben kann und nur einen kleinen zusätzlichen Nutzen bietet, sollte man besonders vorsichtig sein. Man möchte dann nicht zu schnell sagen, dass das neue Medikament besser wirkt. In so einem Fall kann ein strengeres Signifikanzniveau wie 1 % sinnvoll sein.
Ein Signifikanzniveau von 5 % ist der häufig verwendete Mittelweg. Es wird in vielen Studien genutzt und ist in vielen Bereichen die übliche Grenze. Die Prüfung ist dabei weder besonders streng noch besonders großzügig.
Ein Signifikanzniveau von 10 % ist weniger streng. Der p-Wert muss dann nur kleiner als 0.10 sein. Das kann bei frühen Untersuchungen sinnvoll sein, wenn man zunächst erste Hinweise sammeln möchte.
Ein Ergebnis bei 10 % sollte aber vorsichtig gelesen werden. Es kann ein erster Hinweis sein, ist aber noch kein starker statistischer Nachweis.
Signifikanzniveau und Fehler 1. Art
Das Signifikanzniveau hängt mit einem bestimmten Fehlerrisiko zusammen. Gemeint ist der Fall, dass wir in den Daten einen Effekt sehen, obwohl es in Wirklichkeit keinen echten Effekt gibt. In der Statistik nennt man das einen Fehler 1. Art.
Beim Medikamentenbeispiel wäre das so: Wir sagen, dass das neue Medikament besser wirkt als das alte Medikament. Tatsächlich gibt es aber keinen echten Unterschied zwischen beiden Medikamenten. Der beobachtete Unterschied ist nur zufällig entstanden.
Das Signifikanzniveau legt fest, wie groß dieses Risiko sein darf. Bei α = 0.05 liegt die Grenze bei 5 %. Bei α = 0.01 liegt sie bei 1 %. Je niedriger das Signifikanzniveau ist, desto strenger wird geprüft. Dadurch wird es schwieriger, ein Ergebnis als signifikant zu bewerten.
Ein strengeres Signifikanzniveau hat einen Vorteil. Es senkt das Risiko, einen Effekt anzunehmen, obwohl keiner vorhanden ist. Gleichzeitig hat es aber auch einen Nachteil. Echte Effekte können leichter übersehen werden, weil die Grenze für ein signifikantes Ergebnis höher liegt.
Das Signifikanzniveau sollte deshalb zur Fragestellung passen. Wenn eine falsche Entscheidung ernste Folgen haben kann, ist ein strengeres Niveau oft sinnvoll. Wenn es nur um erste Hinweise geht, kann ein weniger strenges Niveau ausreichen.
Signifikanzniveau kurz zusammengefasst
Das Signifikanzniveau ist die vorher festgelegte Grenze für die Entscheidung, ob ein Ergebnis statistisch signifikant ist. Meist wird ein Signifikanzniveau von 5 % verwendet. Dann gilt ein Ergebnis als signifikant, wenn der p-Wert kleiner als 0.05 ist. Das Signifikanzniveau wird mit α bezeichnet. Es beschreibt das Risiko für einen Fehler 1. Art. Ein Fehler 1. Art bedeutet: Wir nehmen einen Effekt an, obwohl in Wirklichkeit kein Effekt vorhanden ist. Das Signifikanzniveau sollte vor der Analyse festgelegt werden. Es sollte zur Fragestellung passen.
Verwandte Begriffe
Signifikanz
p-Wert