Signifikanzniveau einfach erklärt | Statistik Glossar

Das Signifikanzniveau ist eine vorher festgelegte Grenze bei einem statistischen Test. Es entscheidet darüber, ab welchem Wert (konkret: ab welchem p-Wert) ein Ergebnis als statistisch signifikant gilt. Häufig wird ein Signifikanzniveau von 5 % verwendet. Es wird mit dem griechischen Buchstaben Alpha \(\alpha\) abgekürzt.

Was bedeutet Signifikanzniveau?

Das Signifikanzniveau legt fest, wie streng wir bei einem statistischen Test entscheiden. Dabei beurteilen wir die Daten zunächst unter der Annahme der Nullhypothese (\(H_0\): Es gibt keinen Zusammenhang.). In unserem Beispiel bedeutet das: Wir nehmen für den Test an, dass sich die beiden Medikamente in ihrer Wirkung nicht unterscheiden.

Nehmen wir an, ein neues Medikament scheint den Blutdruck stärker zu senken als das bisherige. Tatsächlich wirken beide Medikamente aber gleich gut. Kommen wir aufgrund unserer Daten trotzdem zu dem Ergebnis, dass sich die Medikamente unterscheiden, liegt ein Fehler 1. Art vor, der \(\alpha\)-Fehler. Bei einem Signifikanzniveau von \(\alpha = 0{.}05\) legen wir die Wahrscheinlichkeit für eine solche Fehlentscheidung unter der Nullhypothese auf 5 % fest.

Wichtig ist dabei: Das bedeutet nicht, dass bei einem einzelnen signifikanten Ergebnis die Wahrscheinlichkeit für eine Fehlentscheidung 5 % beträgt. Das Signifikanzniveau beschreibt die Fehlerwahrscheinlichkeit des statistischen Entscheidungsverfahrens unter der Annahme, dass die Nullhypothese tatsächlich gilt.

Das Signifikanzniveau beschreibt außerdem nicht, wie groß oder bedeutsam der beobachtete Unterschied zwischen den Medikamenten ist. Es ist eine vor der Analyse festgelegte Grenze für die statistische Entscheidung.

Wie hängen Signifikanzniveau und p-Wert zusammen?

Der p-Wert wird mit einem statistischen Test berechnet. Er beschreibt, wie ungewöhnlich die beobachteten Daten unter der Nullhypothese wären. Das Signifikanzniveau ist die vorher festgelegte Grenze, mit der dieser Wert verglichen wird. Die Entscheidungsregel lautet:

Ist \(p < \alpha\), gilt das Ergebnis als statistisch signifikant.
Ist \(p \geq \alpha\), gilt das Ergebnis als nicht signifikant.

Angenommen, für die Untersuchung der beiden Medikamente wurde vor der Auswertung ein Signifikanzniveau von \(\alpha = 0{.}05\) festgelegt. Der statistische Test ergibt einen p-Wert von \(p = 0{.}02\). Da \(0{.}02 < 0{.}05\) ist, wird die zuvor festgelegte Grenze unterschritten und das Ergebnis gilt als statistisch signifikant.

Ergibt der Test dagegen \(p = 0{.}18\), wird die Grenze nicht unterschritten. Das Ergebnis gilt dann als nicht signifikant. Das bedeutet jedoch nicht, dass die Nullhypothese bewiesen wurde oder dass sicher kein Unterschied zwischen den Medikamenten besteht.

Der Schwerpunkt liegt hier auf der statistischen Entscheidungsregel: Der p-Wert ergibt sich aus den Daten und dem gewählten Test. Das Signifikanzniveau wird bereits vorher festgelegt und dient anschließend als Grenze für die Entscheidung. Was ein signifikantes oder nicht signifikantes Ergebnis inhaltlich bedeutet, wird ausführlicher im Glossarbeitrag zur Signifikanz erklärt.

Warum wird häufig ein Signifikanzniveau von 5 % verwendet?

Das Signifikanzniveau von 5 % hat sich in vielen wissenschaftlichen Bereichen als übliche Grenze eingebürgert. Es ist jedoch kein Naturgesetz und auch nicht automatisch für jede Untersuchung geeignet. Die Grenze von 0.05 ist vor allem eine historische Konvention. Ein Ergebnis muss bei dieser Grenze ausreichend ungewöhnlich unter der Nullhypothese sein, um als statistisch signifikant zu gelten. Bei einem strengeren Signifikanzniveau von beispielsweise 1 % sind die Anforderungen entsprechend höher.

Welches Signifikanzniveau sinnvoll ist, hängt von der Fragestellung und den möglichen Folgen einer Fehlentscheidung ab. Besonders wichtig ist, die Grenze bereits vor der Analyse festzulegen. Sie sollte nicht nachträglich verändert werden, nur damit ein gewünschtes Ergebnis signifikant wird.

1 %, 5 % oder 10 %?

Häufig werden Signifikanzniveaus von 1 %, 5 % oder 10 % verwendet. Welche Grenze passt, hängt unter anderem davon ab, wie schwer eine falsch positive Entscheidung wiegt. Ein Signifikanzniveau von 1 % ist vergleichsweise streng. Ein Ergebnis gilt erst als signifikant, wenn der p-Wert kleiner als 0.01 ist. Eine solche Grenze kann sinnvoll sein, wenn eine falsche Entscheidung schwerwiegende Folgen hätte, z.B. bei medizinischen Studien.

Das könnte zum Beispiel bei einem neuen Medikament der Fall sein, das starke Nebenwirkungen verursachen kann. Bevor man aufgrund der Daten auf einen Vorteil des Medikaments schließt, möchte man besonders überzeugende statistische Hinweise sehen.

Ein Signifikanzniveau von 5 % ist eine häufig verwendete Grenze. Es ist in vielen Fachgebieten üblich, sollte aber trotzdem nicht ohne Begründung übernommen werden. Ein Signifikanzniveau von 10 % ist weniger streng. Ein Ergebnis gilt bereits bei \(p < 0{.}10\) als signifikant. Eine solche Grenze wird teilweise in Untersuchungen verwendet, bei denen ein höheres Risiko für einen Fehler 1. Art bewusst akzeptiert wird.

Ein Ergebnis mit einem p-Wert knapp unter 0.10 sollte deshalb nicht automatisch als besonders überzeugender statistischer Hinweis verstanden werden. Welche Grenze für eine konkrete Untersuchung geeignet ist, hängt unter anderem von der Fragestellung, dem Studiendesign und den Folgen möglicher Fehlentscheidungen ab.

Bei der Planung einer Studie kann eine professionelle Statistikberatung helfen, das Signifikanzniveau auf die Fragestellung, das Studiendesign und die Folgen möglicher Fehlentscheidungen abzustimmen.

Muss das Signifikanzniveau vorher festgelegt werden?

Das Signifikanzniveau sollte vor der Auswertung der Daten festgelegt werden. Idealerweise geschieht das bereits bei der Planung der Untersuchung. Würde man die Grenze erst nach der Berechnung des p-Werts auswählen, könnte man sie gezielt an das Ergebnis anpassen. Bei einem p-Wert von 0.07 könnte unter anderem nachträglich ein Signifikanzniveau von 10 % gewählt werden, damit das Ergebnis doch noch als signifikant gilt.

Ein solches Vorgehen macht die statistische Entscheidung unglaubwürdig. Die Grenze würde dann nicht mehr das vorher festgelegte Fehlerrisiko widerspiegeln, sondern lediglich an das gewünschte Ergebnis angepasst. In wissenschaftlichen Studien wird das Signifikanzniveau deshalb idealerweise bereits im Studienprotokoll oder in einem vorab festgelegten Analyseplan festgehalten.

Die Wahl des Signifikanzniveaus ist daher keine bloße Formsache. Sie legt fest, nach welcher Regel die späteren Testergebnisse beurteilt werden. Ein strengeres Signifikanzniveau erschwert eine signifikante Entscheidung und verringert unter der Nullhypothese die Wahrscheinlichkeit für einen Fehler 1. Art. Gleichzeitig kann dadurch die Wahrscheinlichkeit steigen, einen tatsächlich vorhandenen Effekt nicht zu erkennen.

Welche Grenze angemessen ist, lässt sich deshalb nicht allein anhand einer allgemeinen Konvention entscheiden. Ausschlaggebend sind die Forschungsfrage und die Konsequenzen der beiden möglichen Fehlentscheidungen. Insbesondere bei komplexeren Untersuchungen kann eine professionelle Statistikberatung dabei unterstützen, das Signifikanzniveau und die statistische Auswertungsstrategie bereits vor der Datenanalyse nachvollziehbar festzulegen.

Signifikanzniveau zusammengefasst

Das Signifikanzniveau ist die vor einer statistischen Analyse festgelegte Entscheidungsgrenze. Es wird mit dem griechischen Buchstaben \(\alpha\) bezeichnet und legt die Wahrscheinlichkeit für einen Fehler 1. Art unter der Nullhypothese fest.

Nach der Durchführung des statistischen Tests wird der p-Wert mit dieser Grenze verglichen. Liegt der p-Wert unterhalb des Signifikanzniveaus, gilt das Ergebnis als statistisch signifikant. Das Signifikanzniveau selbst ist somit kein Ergebnis der Untersuchung, sondern ein Bestandteil der zuvor bestimmten Entscheidungsregel.

Ein niedrigeres Signifikanzniveau verringert unter der Nullhypothese die Wahrscheinlichkeit für einen Fehler 1. Art. Gleichzeitig wird es schwieriger, tatsächlich vorhandene Effekte als signifikant zu erkennen. Die Wahl von \(\alpha\) sollte deshalb zur Fragestellung, zum Studiendesign und zu den möglichen Folgen einer Fehlentscheidung passen.

Weil eine nachträgliche Anpassung der Grenze die Aussagekraft der statistischen Entscheidung beeinträchtigen würde, sollte das Signifikanzniveau vor der Auswertung der Daten festgelegt werden.

Signifikanzniveau