Signifikanz

Definition

Signifikanz ist ein Begriff aus der Statistik. Er bedeutet: Ein Ergebnis sieht nicht so aus, als wäre es nur durch Zufall entstanden.

Vergleichen wir zum Beispiel zwei Medikamente gegen Bluthochdruck. Eine Gruppe bekommt das bisherige Medikament. Eine andere Gruppe bekommt ein neues Medikament. Nach einigen Wochen messen wir den Blutdruck. In der Gruppe mit dem neuen Medikament ist der Blutdruck im Durchschnitt stärker gesunken.

Jetzt stellt sich die Frage: Wirkt das neue Medikament wirklich besser? Oder ist der Unterschied nur zufällig entstanden? Genau bei dieser Frage hilft die Signifikanz. Wenn ein Ergebnis statistisch signifikant ist, spricht das gegen den reinen Zufall. Es spricht also dafür, dass es wirklich einen Unterschied, einen Effekt oder einen Zusammenhang gibt.

Was bedeutet Signifikanz?

In der Statistik geht es oft um eine einfache Frage, ob in Daten wirklich etwas zu erkennen ist. Oder sieht es nur zufällig so aus? D.h., unterscheiden sich 2 Mittelwerte nur zufällig, oder ist der Unterschied nur entstanden, weil zufällig bestimmte Personen in einer Gruppe gelandet sind?

Um das zu prüfen, arbeitet die Statistik mit zwei Annahmen. Die erste Annahme heißt Nullhypothese. Sie wird oft mit \(H_0\) abgekürzt. Die Nullhypothese sagt: Es gibt keinen echten Unterschied, Effekt bzw. Zusammenhang. Beim Medikamentenbeispiel bedeutet das: Das neue Medikament senkt den Blutdruck nicht besser als das alte Medikament.

Die zweite Annahme heißt Alternativhypothese. Sie wird oft mit \(H_1\) abgekürzt. Die Alternativhypothese sagt, dass es einen echten Unterschied gibt. Beim Medikamentenbeispiel bedeutet das: Das neue Medikament senkt den Blutdruck besser als das alte Medikament.

Wenn ein Ergebnis signifikant ist, sprechen die Daten gegen die Nullhypothese. Dann ist die Zufallserklärung nicht mehr besonders überzeugend. Wichtig ist aber, dass die Alternativhypothese damit nicht endgültig bewiesen ist. Ein signifikantes Ergebnis bedeutet nur, dass die Daten auffällig genug sind.

Signifikanz einfach erklärt

Stellen wir uns wieder zwei Medikamente gegen Bluthochdruck vor. Eine Gruppe bekommt das bisherige Medikament. Eine zweite Gruppe bekommt ein neues Medikament. Nach einigen Wochen wird gemessen, wie stark der Blutdruck gesunken ist. In der Gruppe mit dem alten Medikament sinkt der Blutdruck im Durchschnitt um 8 mmHg (Millimeter-Quecksilbersäule, die Maßeinheit für den Blutdruck). In der Gruppe mit dem neuen Medikament sinkt der Blutdruck im Durchschnitt um 12 mmHg. Der Unterschied beträgt also 4 mmHg.

Auf den ersten Blick wirkt das neue Medikament besser. Aber dieser erste Eindruck reicht nicht. Vielleicht waren in der Gruppe mit dem neuen Medikament zufällig mehr Personen, die besonders gut auf Behandlungen reagieren. Vielleicht waren die Gruppen von Anfang an nicht ganz vergleichbar. Oder vielleicht ist der Unterschied einfach durch normale Schwankungen entstanden. Deshalb wird ein statistischer Test durchgeführt. Dieser Test prüft, ob der Unterschied groß genug ist, um ihn nicht einfach als Zufall abzutun?

Am Ende des Tests steht der p-Wert. Dieser p-Wert wird mit dem Signifikanzniveau (\(\alpha\)) verglichen. Das Signifikanzniveau ist die vorher vom Forscher festgelegte Grenze. Häufig wird das Signifikanzniveau bei 5 % festgelegt. Ist der p-Wert kleiner als diese Grenze (\/p<.05\)), gilt das Ergebnis als statistisch signifikant. Ist der p-Wert größer oder gleich dieser Grenze (\/p≥.05\)), gilt das Ergebnis als nicht signifikant.

Was bedeutet statistisch signifikant?

Statistisch signifikant bedeutet, ein Ergebnis sieht nicht so aus, als wäre es einfach nur zufällig entstanden. Beim Medikamentenbeispiel heißt das: Die Probanden mit dem neuen Medikament haben im Durchschnitt eine stärkere Blutdrucksenkung als die Gruppe mit dem alten Medikament. Die statistische Prüfung fragt nun, ob dieser Unterschied groß genug ist, um ihn nicht einfach als zufällige Schwankung zu betrachten.

Ist das Ergebnis statistisch signifikant, spricht einiges dafür, dass das neue Medikament tatsächlich anders wirkt als das alte Medikament. In unserem Beispiel würde das bedeuten: Die stärkere Blutdrucksenkung in der Gruppe mit dem neuen Medikament ist wahrscheinlich nicht nur zufällig entstanden.

Wichtig ist aber: Statistisch signifikant bedeutet nicht automatisch, dass der Unterschied auch groß oder medizinisch bedeutsam ist. Ein Medikament kann statistisch signifikant besser abschneiden, aber den Blutdruck im Durchschnitt nur minimal senken. Dann wäre der Unterschied zwar statistisch nachweisbar, aber für die Behandlung kaum relevant.

Umgekehrt bedeutet ein nicht signifikantes Ergebnis nicht automatisch, dass beide Medikamente exakt gleich wirken. Es bedeutet nur: Die vorliegenden Daten reichen nicht aus, um einen Unterschied statistisch abzusichern.

Wann ist ein Ergebnis signifikant?

Ein Ergebnis gilt oft dann als signifikant, wenn der p-Wert kleiner ist als das vorher festgelegte Signifikanzniveau (\(\alpha\)). In vielen Fällen wird ein Signifikanzniveau von 5 % verwendet. Das entspricht einem Wert von 0.05. Die einfache Regel lautet: Wenn der p-Wert kleiner als 0.05 ist (\/p<.05\)), gilt das Ergebnis als statistisch signifikant. Wenn der p-Wert größer oder gleich 0.05 ist (\/p≥.05\)), gilt das Ergebnis als nicht statistisch signifikant.

Zwei Beispiele: (1) Ein Test ergibt einen p-Wert von 0.03. Dieser Wert ist kleiner als 0.05. Das Ergebnis gilt deshalb bei einem Signifikanzniveau von 5 % als signifikant. (2) Ein Test ergibt einen p-Wert von 0.12. Dieser Wert ist größer als 0.05. Das Ergebnis gilt deshalb nicht als signifikant.

Wichtig ist: 0.05 ist keine magische Grenze. Es ist nur eine häufig verwendete Regel. In manchen Bereichen wird strenger geprüft, zum Beispiel mit 0.01. In anderen Fällen kann auch 0.10 verwendet werden, etwa bei ersten explorativen Analysen.

Was bedeutet nicht signifikant?

Nicht signifikant bedeutet, dass die Daten nicht stark genug gegen die Nullhypothese sprechen. Das heißt aber nicht automatisch, dass es keinen Effekt gibt. Das ist ein häufiger Denkfehler. Ein nicht signifikantes Ergebnis kann verschiedene Gründe haben. Vielleicht gibt es tatsächlich keinen Effekt. Vielleicht gibt es aber doch einen Effekt, er ist aber nur gering. Es kann auch sein, dass die Stichprobe zu klein war. Oder dass die Messung zu ungenau war. Auch eine starke Streuung in den Daten kann dazu führen, dass ein Ergebnis nicht signifikant wird.

Beim Medikamentenbeispiel kann ein nicht signifikantes Ergebnis also bedeuten: Das neue Medikament wirkt tatsächlich nicht besser als das alte Medikament. Es kann aber auch bedeuten, dass das neue Medikament etwas besser wirkt, aber die Untersuchung konnte diesen Unterschied nicht klar genug zeigen.

Deshalb sollte man „nicht signifikant“ nicht mit „kein Effekt“ übersetzen. Besser ist es zu sagen, dass die Daten keinen ausreichenden statistischen Hinweis auf einen Effekt liefern.

Wie wird Signifikanz berechnet?

Signifikanz wird mit einem statistischen Test geprüft. Welcher Test passt, hängt von der Frage und von den Daten ab. Wenn zwei Mittelwerte verglichen werden, kann etwa ein t-Test verwendet werden. Das passt zum Medikamentenbeispiel, wenn wir die durchschnittliche Blutdrucksenkung in zwei Gruppen vergleichen.

Wenn Zusammenhänge zwischen Gruppen oder Kategorien untersucht werden, wird häufig ein Chi-Quadrat-Test verwendet. Bei komplexeren Fragen können auch Regressionsmodelle oder andere statistische Verfahren genutzt werden. Die Grundidee ist aber immer ähnlich. Zuerst wird gedanklich eine Nullhypothese formuliert. Dann wird geprüft, wie gut die Daten zu dieser Nullhypothese passen. Am Ende steht der p-Wert. Dieser p-Wert wird mit dem vorher festgelegten Signifikanzniveau verglichen.

Eine einzige Formel für „die Signifikanz“ gibt es deshalb nicht. Die Berechnung hängt vom verwendeten Test ab. Der Entscheidungsweg ist aber meist gleich: p-Wert berechnen, mit dem Signifikanzniveau vergleichen und das Ergebnis interpretieren.

Signifikanz ist nicht dasselbe wie Relevanz

Signifikanz und Relevanz sind nicht dasselbe. Ein Ergebnis kann statistisch signifikant und trotzdem praktisch kaum wichtig sein. Das passiert vor allem bei großen Stichproben. Wenn sehr viele Daten vorliegen, können auch kleine Unterschiede statistisch signifikant werden.

Umgekehrt kann ein Ergebnis praktisch interessant sein, aber statistisch nicht signifikant werden. Das passiert zum Beispiel, wenn die Stichprobe klein ist oder die Daten stark streuen. Beim Medikamentenbeispiel könnte eine große Studie zeigen, dass das neue Medikament den Blutdruck stärker senkt als das alte Medikament. Dieser Unterschied kann statistisch signifikant sein. Trotzdem kann die Blutdrucksenkung so klein sein, dass es für die Behandlung kaum eine Rolle spielt.

Deshalb sollte man nicht nur auf die Signifikanz schauen. Wichtig sind auch die Größe des Effekts, die Größe der Stichprobe und die fachliche Bedeutung.

Signifikanz kurz zusammengefasst

Signifikanz bedeutet: Ein Ergebnis ist statistisch auffällig genug, um es nicht leicht als Zufall zu erklären. Ein Ergebnis gilt häufig dann als statistisch signifikant, wenn der p-Wert kleiner ist als das vorher festgelegte Signifikanzniveau. Häufig liegt diese Grenze bei 5 %, also bei 0.05. Der p-Wert zeigt, wie gut die Daten zu der Annahme passen, dass es eigentlich keinen Effekt gibt. Nicht signifikant bedeutet nicht automatisch, dass es keinen Effekt gibt. Es bedeutet nur: Die Daten liefern keinen ausreichenden statistischen Hinweis auf einen Effekt. Statistische Signifikanz ist außerdem nicht dasselbe wie praktische Relevanz. Ein Ergebnis kann signifikant sein und trotzdem inhaltlich kaum eine Rolle spielen.

Verwandte Begriffe

p-Wert

Signifikanzniveau