Das Wort Signifikanz wird häufig ein wenig inflationär als Oberbegriff für verschiedene statistische Begriffe verwendet. Manche sprechen von Signifikanz, wenn sie eigentlich das Signifikanzniveau (\(\alpha\)), einen Signifikanztest oder den p-Wert meinen. Im allgemeinen Sprachgebrauch bedeutet Signifikanz so viel wie Bedeutsamkeit. In der Statistik beschreibt sie, ob ein Ergebnis wahrscheinlich mehr ist als nur ein zufälliges Ergebnis. Ist das der Fall, spricht man von einem statistisch signifikanten Ergebnis.

Was bedeutet Signifikanz?

Nehmen wir an, zwei Medikamente sollen den Blutdruck senken. Eine Gruppe erhält das bisherige Medikament. Eine zweite Gruppe erhält ein neues Medikament. Nach einigen Wochen ist der Blutdruck in der zweiten Gruppe im Durchschnitt stärker gesunken. Das neue Medikament scheint besser zu wirken. Dieser Unterschied könnte zufällig entstanden sein. Vielleicht reagieren einzelne Personen besonders stark auf die Behandlung. Vielleicht unterscheiden sich die Gruppen trotz sorgfältiger Planung der Studie in einigen Merkmalen. Auch natürliche Schwankungen spielen eine Rolle.

Mit einem statistischen Test wird geprüft, wie gut sich der beobachtete Unterschied noch durch Zufall erklären lässt. Und genau dafür benötigen wir die Signifikanz.

Signifikanz einfach erklärt

Angenommen, das bisherige Medikament senkt den Blutdruck im Durchschnitt um 8 mmHg. Die Abkürzung mmHG steht für Millimeter Quecksilbersäule, die übliche Einheit des Blutdrucks. Beim neuen Medikament beträgt die durchschnittliche Senkung 12 mmHg. Der beobachtete Unterschied liegt somit bei 12 – 8 = 4 mmHg.

Auf den ersten Blick scheint das neue Medikament besser zu wirken. In der Statistik reicht dieser Unterschied allein jedoch nicht für eine verlässliche Schlussfolgerung aus. Ob 4 mmHg tatsächlich bedeutsam sind, hängt unter anderem von der Stichprobengröße und der Streuung der Messwerte ab. Der Unterschied kann statistisch aussagekräftig sein – oder lediglich durch zufällige Schwankungen entstanden sein. Ebenso kann der Unterschied medizinisch überhaupt nicht relevant sein (siehe weiter unten: Signifikanz ist nicht dasselbe wie Relevanz).

Mithilfe der Signifikanz und eines Tests müssen wir uns Klarheit darüber verschaffen, welche der Aussagen für unsere Daten bzw. die Studie zutrifft. Bei der Auswahl des passenden Tests und der korrekten Interpretation der Ergebnisse kann auch eine professionelle Statistikberatung unterstützen.

Wann ist ein Ergebnis statistisch signifikant?

Ob ein Ergebnis als statistisch signifikant gilt, wird anhand des p-Werts und eines vorher festgelegten Signifikanzniveaus beurteilt. Ist der p-Wert kleiner als diese Grenze, wird das Ergebnis als statistisch signifikant bezeichnet. Bei einem Signifikanzniveau von \(\alpha = 0{.}05\) wäre ein Ergebnis mit \(p = 0{.}03\) statistisch signifikant. Ein Ergebnis mit \(p = 0{.}12\) wäre dagegen nicht signifikant.

Für die Interpretation ist diese Einteilung jedoch nur ein erster Schritt. Ein signifikantes Ergebnis sagt noch nicht, wie groß oder praktisch wichtig ein Unterschied ist. Umgekehrt bedeutet ein nicht signifikantes Ergebnis nicht automatisch, dass kein Unterschied vorhanden ist.

Wie das Signifikanzniveau festgelegt wird und weshalb häufig eine Grenze von 5 % verwendet wird, erklärt der Glossarbeitrag zum Signifikanzniveau.

Was bedeutet ein signifikantes Ergebnis?

Ein signifikantes Ergebnis spricht dafür, dass der beobachtete Unterschied nicht nur zufällig entstanden ist. Im Beispiel wäre es also eher ungewöhnlich, dass das neue Medikament den Blutdruck stärker senkt, wenn beide Medikamente in Wirklichkeit gleich gut wirken.

Ein signifikantes Ergebnis spricht dafür, dass sich die Behandlungen tatsächlich unterscheiden. Trotzdem ist eine vorsichtige Einordnung wichtig. Statistische Signifikanz bedeutet nicht automatisch, dass der Unterschied groß oder praktisch bedeutsam ist. Auch ein signifikantes Ergebnis muss immer zusammen mit dem Studiendesign, der Qualität der Daten und der fachlichen Fragestellung betrachtet werden.

Was bedeutet nicht signifikant?

Ein nicht signifikantes Ergebnis bedeutet, dass die Daten keinen ausreichend klaren Hinweis auf einen Unterschied liefern. Es beweist aber nicht, dass es keinen Unterschied gibt. Dafür kann es verschiedene Gründe geben. Vielleicht wirken beide Behandlungen tatsächlich gleich gut. Vielleicht ist der Unterschied aber nur klein. Auch eine zu kleine Stichprobe, ungenaue Messungen oder stark schwankende Werte können dazu führen, dass ein vorhandener Unterschied statistisch nicht erkannt wird.

Im Medikamentenbeispiel sind daher zwei Erklärungen möglich. Das neue Medikament wirkt vielleicht wirklich nicht besser. Es könnte aber auch etwas besser wirken, ohne dass die Studie genügend Informationen liefert, um diesen Unterschied eindeutig zu zeigen. Statt „Es gibt keinen Effekt“ ist deshalb meist diese Formulierung passender: Die Daten liefern keinen ausreichenden statistischen Hinweis auf einen Unterschied.

Wie wird Signifikanz geprüft?

Ob ein Ergebnis statistisch signifikant ist, wird mit einem statistischen Test geprüft. Welcher Test geeignet ist, hängt von der Fragestellung, dem Aufbau der Untersuchung und der Art der Daten ab. Sollen zum Beispiel zwei Durchschnittswerte verglichen werden, kann ein t-Test infrage kommen. Bei Häufigkeiten oder Gruppenmerkmalen wird häufig ein Chi-Quadrat-Test verwendet. Für komplexere Fragestellungen eignen sich unter anderem Regressionsmodelle.

Eine einzige Formel für statistische Signifikanz gibt es damit also nicht. Die Berechnung richtet sich immer nach dem gewählten Test. Deshalb ist die Auswahl des passenden Verfahrens besonders wichtig. Wird ein ungeeigneter Test verwendet oder sind wichtige Voraussetzungen nicht erfüllt, können die Ergebnisse irreführend sein.

Die gemeinsame Beurteilung von statistischer Signifikanz, Effektgröße und praktischer Relevanz kann anspruchsvoll sein. Eine professionelle Statistikberatung hilft dabei, diese Aspekte im Zusammenhang mit der jeweiligen Forschungsfrage einzuordnen.

Signifikanz ist nicht dasselbe wie Relevanz

Ein statistisch signifikanter Unterschied muss nicht automatisch praktisch wichtig sein. Bei großen Stichproben können bereits kleine Unterschiede signifikant werden. Eine anschauliche Einführung in diesen Unterschied bietet auch der Fachbeitrag „Significance, P values and t-tests“ in Nature Methods.

Angenommen, ein neues Medikament senkt den Blutdruck statistisch nachweisbar stärker als das bisherige. Beträgt der zusätzliche Unterschied aber nur 1 mmHg, ist der Nutzen für die Behandlung möglicherweise gering. Unter Umständen reicht ein so kleiner Vorteil nicht aus, um die Einführung eines neuen Medikaments zu rechtfertigen. Auch der umgekehrte Fall ist möglich. Ein praktisch wichtiger Unterschied kann statistisch nicht signifikant sein. Das kommt zum Beispiel bei kleinen Stichproben oder stark schwankenden Messwerten vor.

Deshalb sollte eine Untersuchung nie nur danach beurteilt werden, ob ein Ergebnis signifikant ist. Die Signifikanz zeigt, ob die Daten einen ausreichend deutlichen Hinweis auf einen Unterschied liefern. Sie sagt aber nicht automatisch, ob dieser Unterschied groß, nützlich oder wirtschaftlich relevant ist.

Beispiel für statistische Signifikanz

Eine Studie vergleicht die durchschnittliche Blutdrucksenkung zweier Medikamente. Das bisherige Medikament senkt den Blutdruck im Durchschnitt um 8 mmHg, das neue Medikament um 12 mmHg. Der beobachtete Unterschied beträgt somit 4 mmHg.

Ein statistischer Test ergibt \(p = 0{.}02\). Da der p-Wert kleiner als das vorher festgelegte Signifikanzniveau von \(\alpha = 0{.}05\) ist, gilt das Ergebnis als statistisch signifikant. Die Daten liefern damit einen statistischen Hinweis darauf, dass sich die Wirkungen der beiden Medikamente unterscheiden.

Für die Beurteilung der Studie reicht diese Feststellung allein allerdings nicht aus. Entscheidend ist auch, wie genau der Unterschied geschätzt wurde und ob eine zusätzliche Blutdrucksenkung von 4 mmHg medizinisch relevant ist. Weiterhin müssen etwa Nebenwirkungen, Kosten und der tatsächliche Nutzen für die Patientinnen und Patienten berücksichtigt werden.

Das Beispiel zeigt somit vor allem, wie ein signifikantes Ergebnis eingeordnet werden sollte: Es liefert einen statistischen Hinweis auf einen Unterschied, beantwortet aber nicht automatisch die Frage nach dessen Größe und praktischer Bedeutung.

Signifikanz zusammengefasst

Statistische Signifikanz beschreibt das Ergebnis einer statistischen Entscheidung. Ein Ergebnis gilt als signifikant, wenn der berechnete p-Wert kleiner als das vorher festgelegte Signifikanzniveau ist.

Ein signifikantes Ergebnis liefert einen statistischen Hinweis auf einen Unterschied, einen Effekt oder einen Zusammenhang. Es sagt jedoch nicht automatisch, dass dieser Effekt groß oder praktisch bedeutsam ist. Dafür müssen zusätzlich unter anderem die Effektgröße, das Konfidenzintervall und der fachliche Zusammenhang betrachtet werden.

Ein nicht signifikantes Ergebnis bedeutet umgekehrt nicht zwangsläufig, dass kein Effekt vorhanden ist. Möglicherweise war die Stichprobe zu klein, die Streuung zu groß oder die Messung zu ungenau, um einen vorhandenen Effekt statistisch zu erkennen.

Für die Interpretation ist deshalb nicht nur die Einteilung in „signifikant“ und „nicht signifikant“ wichtig. Entscheidend ist das Gesamtbild aus statistischem Ergebnis, Größe und Unsicherheit des Effekts sowie seiner praktischen Relevanz.

Verwandte Begriffe

p-Wert: Der p-Wert beschreibt, wie ungewöhnlich die beobachteten Daten unter der Nullhypothese wären.

Signifikanzniveau: Das Signifikanzniveau ist die vorher festgelegte Grenze für die Entscheidung, ob ein Ergebnis als statistisch signifikant gilt.

Nullhypothese: Die Nullhypothese nimmt an, dass kein Unterschied, Effekt oder Zusammenhang besteht.

Alternativhypothese: Die Alternativhypothese beschreibt die Annahme, die der Nullhypothese gegenübersteht.

Effektgröße: Die Effektgröße beschreibt, wie stark ein Unterschied oder Zusammenhang tatsächlich ist.

Konfidenzintervall: Ein Konfidenzintervall zeigt, in welchem Wertebereich ein unbekannter Parameter plausibel liegen könnte.