Ob Medizin, Politik oder Wirtschaft: Statistiken beherrschen die Argumentationsketten von Meinungsbildnern. Doch die präsentierten Fakten, halten einer genauen Prüfung selten stand.

Zahlen Statistik
© DPAAus Zahlen lässt sich viel herauslesen: Statistiken werden zur Bestärkung der eigenen Argumente oft selektiv eingesetzt.
"Traue keiner Statistik, die du nicht selbst gefälscht hast." Dass diesem Spruch viel Wahrheit innewohnt, zeigen drei deutsche Forscher seit gut zwei Jahren mit ihrer " Unstatistik des Monats". "Vor allem wenn es um viel Geld geht, ist die Versuchung zu schummeln groß", sagt der Ökonom Thomas Bauer, Vizepräsident des Rheinisch-Westfälischen Instituts für Wirtschaftsforschung ( RWI) in Essen.

Zusammen mit dem Berliner Psychologen Gerd Gigerenzer und dem Dortmunder Statistiker Walter Krämer veröffentlicht er die monatlichen Kommentare zu Statistiken, Umfragen oder Zahlenangaben, die der Öffentlichkeit präsentiert wurden.

Jüngst setzte sich das Trio mit einer Armutsstudie des Paritätischen Wohlfahrtsverbandes auseinander. Demnach liegt die Armutsquote bei 15,5 Prozent aller Bundesbürger - definiert als die Menschen, die pro Monat weniger als 60 Prozent des Durchschnittseinkommens zur Verfügung haben.

"Unabhängig davon, ob diese Zahl nun korrekt ist, hat sie mit Armut nichts zu tun", heißt es im "Unstatistik"-Kommentar. "Denn dieser Prozentsatz bleibt der gleiche, auch wenn sich das reale Einkommen aller Bundesbürger verdoppelt." Wenn es allen schlechter gehe, nehme die so gemessene Armut unter Umständen sogar ab.

"Wir könnten mindestens zehn Unstatistiken schreiben jeden Monat", betont Bauer. Oft seien Analysen schon im Ansatz fragwürdig. Von der Öffentlichkeit aber werde dies ganz anders wahrgenommen. "Statistiken besitzen eine hohe Glaubwürdigkeit, ein Image von Genauigkeit", so Bauer.

"Das machen sich Firmen zum Beispiel bei der Werbung zunutze." So werde von zu 95 Prozent zufriedenen Kunden geschwärmt - ein Wert, der wenig erstaune, da ja nun mal nur Kunde ist, wer das entsprechende Produkt gut findet und kauft.

"Erheblich zugenommen hat zudem die Zahl der Umfragen, damit allerdings nicht unbedingt auch deren Qualität." Obwohl es im täglichen Leben so präsent sei, werde auf das Thema Statistik in Schule und Ausbildung kaum eingegangen.

Sichere Prozentrechnung verschafft Überblick

"Wir werden mit Daten überflutet, können aber mit den damit verbundenen Unsicherheiten gar nicht umgehen", kritisiert Bauer. "Schon das Prozentrechnen besser zu beherrschen, könnte viel Unheil vermeiden helfen." Dies gelte etwa bei der Einordnung medizinischer Ergebnisse oder der Kreditberechnung beim Hauskauf.

Einer der beliebtesten Tricks bei Statistiken sei es, mit relativen und absoluten Risiken zu spielen, schreiben die drei Experten in ihrem Buch "Warum dick nicht doof macht und Genmais nicht tötet". "Damit lassen sich kleine, unscheinbare Effekte in große, spektakuläre Nachrichten verwandeln."

Doppelt so viele Haiangriffe zum Beispiel höre sich weit spektakulärer an als zwölf Tote nach sechs im Jahr zuvor. "Relative Risiken können viel Staub aufwirbeln und uns Angst machen. Absolute Risiken hingegen helfen, das wirkliche Ausmaß der Gefahr zu verstehen."

Mit relativen Angaben würden zudem vor allem bei Gesundheit und Ernährung in etlichen Studien jährlich unrealistische Hoffnungen geweckt. Ein im Jahr 2014 vorgestelltes Ergebnis sei zum Beispiel gewesen, dass Mittelmeerkost das Diabetesrisiko um stolze 30 Prozent verringere.

Anderes Bild beim zweiten Blick

Hinter die Kulissen geblickt ergebe sich jedoch ein ganz anderes Bild: Das absolute Risiko habe sich um 1,9 Prozentpunkte von 8,8 auf 6,9 Prozent reduziert - was ja aber weit unbedeutender wirke. Viele Leser nähmen nun an, dass bei mediterraner Kost 30 von 100 Menschen weniger an Diabetes erkranken - in Wahrheit aber seien es lediglich knapp 2.

Auch bei Medikamenten werde der Nutzen gern in relativen Unterschieden angegeben, erklärt Klaus Koch vom Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG). "Da heißt es dann zum Beispiel, es bewirkt eine Abnahme der Sterblichkeit um 20 Prozent."

Dahinter könne sich verbergen, dass statt fünf nun vier von hundert Menschen sterben. "Wenn man das nicht dazu sagt, hören sich die 20 Prozent gewaltig an." Ohne die absoluten Zahlen sei die Beurteilung eines Studienergebnisses nicht möglich. Zwar seien die relativen Angaben nicht falsch, könnten aber extrem in die Irre führen.

Genutzt werde das zum Beispiel gern, um bestimmte Gesundheitsgefahren größer wirken zu lassen, sagt Koch. Menschen würden so manipuliert, bestimmte Dinge zu tun. "Untersuchungen zeigen, dass Patienten anders entscheiden, wenn sie nur die relativen Angaben kennen."

Werbung für Mammografie mit relativen Zahlen

So sei beim Bewerben der Mammografie bis vor einigen Jahren ausschließlich mit relativen Zahlen gearbeitet worden. "In der Folge wurden sowohl das Risiko, zu erkranken, also auch der Nutzen der Methode massiv überschätzt."

Im Buch heißt es: "Fragen Sie immer nach absoluten Zahlen und absoluten Risiken - dann können Sie die Angaben wirklich verstehen. Werden Sie dagegen über relative 'Risiken' informiert, dann fragen Sie sich, wer hier Ihr Verständnis manipulieren möchte und warum."

Das Thema Mammografie sei noch in weiterer Hinsicht ein klares Negativbeispiel, erläutern Bauer, Gigerenzer und Krämer weiter. So werde dafür häufig der irreführende Begriff Brustkrebsvorsorge verwendet - es handle sich aber um Früherkennung.

"Vorsorge verringert die Wahrscheinlichkeit von Krebs, Früherkennung nicht." Außer Acht gelassen werde zudem meist, dass mit dem Screening etwa 100 von 1000 Frauen durch Fehldiagnosen falsch alarmiert werden und 5 von 1000 unnötig behandelt.

Die Gesamtsterblichkeit bleibt die gleiche

Noch schlimmer sei das Arbeiten mit Fünf-Jahres-Überlebensraten. In einer US-Werbebroschüre für das Mammografie-Screening sei zu lesen gewesen: "Früherkennung rettet Leben. Die 5-Jahres-Überlebensrate bei Brustkrebs beträgt 98 Prozent, wenn er rechtzeitig entdeckt wird. Wenn nicht? 23 Prozent."

Bei einem spät entdeckten Tumor sei schlichtweg die Wahrscheinlichkeit höher, schon in den fünf Jahren nach der Diagnose zu sterben - die Gesamtsterblichkeit aber sei die gleiche. "Durch die frühere Diagnose wird die Überlebensrate aufgebläht, ohne dass ein einziger Patient auch nur einen Monat länger lebt."

Bei medizinischen Studien ist die Aufmerksamkeit für solche extrem fragwürdigen Formulierungen mittlerweile gewachsen, sagt Koch. Andere gängige Tricks seien weit schwerer zu durchschauen. "Etwa die Manipulation durch Weglassen."

Studien etwa zur Wirkung eines bestimmten Wirkstoffs würden mehrfach durchgeführt - und die mit den günstigen Ergebnissen werden bevorzugt veröffentlicht. "Viele Untersuchungen zu Behandlungsergebnissen werden nie oder nur verzögert publik." Zwar müssten inzwischen alle Studien schon vor ihrem Start in spezielle Datenbanken eingetragen werden. "Aber da muss man genau wissen, was man sucht."

Aussagekraft von rückwirkender Beobachtung überschätzt

Eine weitere Möglichkeit der Manipulation sei, nicht sauber zwischen kausalem Nachweis und statistischer Korrelation zu trennen, erklärt Koch. Oft werde in Beobachtungsstudien rückwirkend geguckt, ob sich Zusammenhänge erkennen lassen. "Die Aussagekraft dessen wird sehr oft überschätzt." Beweisende Studien aber seien weit langwieriger und anspruchsvoller - und würden deshalb weit seltener initiiert.

Das nicht sauber zwischen Korrelation und Kausalität, also der Gleichzeitigkeit beobachteter Phänomene und einer Ursache-Wirkung-Beziehung, getrennt werde, sei ein großes Problem, betont auch Bauer.

"Das spielt gerade mit dem Big-Data-Hype eine immer größere Rolle." In großen Datensätzen mit vielen Faktoren finde sich leicht irgendwo eine zufällige Korrelation. "Das bedeutet aber nicht, dass da auch ein kausaler Zusammenhang besteht."

Ein im Buch vorgestelltes Beispiel zur Verdeutlichung: Wenn Regionen mit vielen Störchen viele Geburten melden und solche mit wenig Nestern nur wenige, gibt es eine deutliche Korrelation beider Datenreihen. "Aber wer würde das als Beweis betrachten, dass der Storch viele Kinder bringt?"

Falsche Korrelationen führen in die Irre

Entscheidend sei vielmehr eine dritte Variable: Ein großes Dorf mit vielen Dächern habe mehr Nester - und in der Regel auch mehr Frauen in gebärfähigem Alter. Wegen solcher falsch verstandener Korrelationen entstünden Meldungen wie "Fast Food löst Depressionen aus" und "Schokolade macht dünn".

Gerade im Bereich Ernährung gebe es viele solcher statistischer Zusammenhänge, die sich nicht als Ursache-Wirkung bestätigten, sagt auch Koch. Oft würden Ergebnisse mit dem Verweis als definitiv dargestellt, sie seien "statistisch signifikant". "Das wird gleichgesetzt mit richtig." Selbst von Forschern, die es besser wissen müssten, werde das oft so suggeriert.

Im Buch heißt es dazu: "Die traurige, von vielen übersehene und von vielen anderen missbrauchte Wahrheit ist nämlich die, dass ein statistisch signifikantes Testergebnis weit weniger aussagt, als die meisten glauben."

Signifikanzbegriff als Warnsignal

Das Herumreiten auf dem Signifikanzbegriff sei bei Veröffentlichungen geradezu ein Warnsignal, dass in Wahrheit nichts Signifikantes gefunden wurde. Es sei allerdings sehr schwer, von der statistischen Signifikanz als vermeintlichem Qualitätsmerkmal wegzukommen, erläutert Bauer. "Herausgeber veröffentlichen fast nur noch solche Ergebnisse, weil sie Sicherheit suggerieren."

Die Experten raten dazu, Statistiken stärker zu hinterfragen und sich immer auch klarzumachen, wer mit dem Ergebnis welches Ziel erreichen wolle.

Prinzipiell gilt Bauer zufolge: "Wir fürchten uns viel zu sehr vor vergleichsweise harmlosen Risiken - etwa, wenn es mal wieder um Dioxin-Eier geht. Langfristige Risikofaktoren wie Rauchen, Trinken oder ungesunde Ernährungen hingegen machen uns weit weniger Sorgen, als von den Folgen her angebracht wäre."

Annett Stein, oc, DPA