Einleitung

Statistische Analysen gelten als das Rückgrat moderner Forschung, doch aktuelle Untersuchungen zeigen, dass selbst Fachleute häufig grundlegende Konzepte missverstehen. Ein neuer Überblick aus einer PLOS One‑Studie deckt auf, dass die Interpretation von p‑Werten, Konfidenzintervallen und dem Begriff "statistisch signifikant" systematisch fehlerhaft ist – und das nicht nur bei Laien, sondern auch bei erfahrenen Statistikern und Psychologen.

Warum p‑Werte trügen können

Der p‑Wert misst die Wahrscheinlichkeit, unter der Annahme einer Nullhypothese, ein Ergebnis zu erhalten, das mindestens so extrem ist wie das beobachtete. Viele Forscher verwechseln diese Größe jedoch mit der Wahrscheinlichkeit, dass die Nullhypothese wahr ist. Dieser Denkfehler führt dazu, dass Ergebnisse fälschlicherweise als Beweis für eine Wirksamkeit interpretiert werden, obwohl die Statistik lediglich die Unwahrscheinlichkeit eines zufälligen Befundes unter einer spezifischen Annahme angibt.

Beispiel aus der Medizin

Ein neues Blutdruckmedikament wird in einer großen Studie getestet und erzielt einen p‑Wert von 0,03. Für viele klingt das nach eindeutiger Wirksamkeit. In Wirklichkeit sagt das Ergebnis nur aus, dass die Chance, ein solches Ergebnis zufällig zu erhalten, kleiner als 3 % ist, wenn das Medikament keinerlei Effekt hätte. Es liefert keinerlei Information darüber, wie groß der tatsächliche Effekt ist oder wie klinisch bedeutsam er für Patienten ist.

Konfidenzintervalle verstehen

Ein 95‑%‑Konfidenzintervall gibt an, dass bei unzähligen Wiederholungen des Experiments 95 % der berechneten Intervalle den wahren Parameter einschließen würden. Viele Studienteilnehmer interpretieren das Intervall jedoch als "die wahre Wirkung liegt mit 95 % Sicherheit in diesem Bereich" – eine Formulierung, die statistisch nicht haltbar ist. Die Intervalle spiegeln lediglich die Präzision der Schätzung wider, nicht die Wahrscheinlichkeit einer bestimmten Lage des wahren Werts.

Empirische Befunde zu Fehlinterpretationen

Schwedische Forscher haben über 50 Studien ausgewertet, in denen das Verständnis von p‑Werten und Konfidenzintervallen getestet wurde. Die Resultate sind alarmierend: In einer deutschen Befragung wählten 80 % der Lehrenden mindestens eine falsche Aussage zu einem einfachen Experiment, und fast 90 % der Psychologen machten denselben Fehler. Selbst unter Statistikern und Epidemiologen lag die korrekte Beantwortung von Kernfragen bei lediglich 12,5 %.

Erfahrung macht keinen Unterschied

Interessanterweise zeigte die Analyse, dass die Anzahl der Jahre im Beruf oder die Anzahl publizierter Arbeiten keinen signifikanten Einfluss auf die Fehlerrate hatte. Selbst fortgeschrittene Studierende und erfahrene Forschende scheiterten häufig an den grundlegendsten Fragen.

Folgen für die Wissenschaftspraxis

Die Verwechslung von "signifikant" mit "bedeutend" kann zu überzogenen Schlussfolgerungen führen. Ein statistisch signifikantes Ergebnis kann in der Praxis kaum relevant sein, wenn der Effekt klein ist und die Stichprobengröße groß. Umgekehrt kann ein nicht signifikantes Ergebnis fälschlicherweise als Beweis für das Fehlen eines Effekts interpretiert werden, obwohl die Studie schlicht nicht genug Power hatte.

Wie kann man die Situation verbessern?

Die Autoren plädieren für intensivere Schulungen, die über reine Berechnungsroutinen hinausgehen und das konzeptuelle Verständnis stärken. Zudem sollten Journale und Reviewer stärker darauf achten, dass Autoren ihre statistischen Aussagen korrekt formulieren und nicht mit überzogenen Behauptungen aufwarten.

Source: https://scientias.nl/ook-experts-struikelen-over-statistiek-zelfs-statistici-interpreteren-resultaten-regelmatig-verkeerd/#respond

Related Articles