Junk Science für die Wissenschaft

Das Phänomen Junk Science ist immer wieder aufs Neue faszinierend! Ich meine damit eine Arbeit oder ganze Theorie, die den Anschein von Wissenschaftlichkeit zu erwecken versucht und was ihr von Weitem betrachtet auch oft gelingt. Bei näherer Betrachtung aber stellen sich diese Werke dann als intellektuell enorm verflachten, auf willkürlich ausgewählten Daten oder Gedanken basierenden und logisch unvollständigen Müll heraus. Junk Science versucht Wissenschaft zu imitieren ohne dabei mit Inhalt gefüllt zu sein und oft, um ein ihrem Urheber genehmes Weltbild zu bestätigen. Ein Bilderbuchbeispiel für dieses Phänomen gab es hier im Blog schon mal zum Thema "Ursprung des Lebens", aber Junk Science gibt es zuhauf und überall. Im Umfeld der Physik tummeln sich "Freie Energie" oder Alternativen zur Relativitätstheorie, die Pharmazie hat mit der Homöopathie einen ebenso treuen wie trashigen Pickel am Hintern und die Philosophie darf sich über den "Objektivismus" à la Ayn Rand freuen. Junk Science ist im besten Fall peinlich, im schlimmsten Fall gefährlich. Das jemand aber Junk Science dazu benutzen könnte, wissenschaftliches Denken in der Öffentlichkeit zu fördern, auf diese Idee wäre ich bis heute niemals gekommen!

Heute aber fand ich bei SpOn einen Artikel zur "Verschwörungstheorie-Formel". Dabei geht es um ein mathematisches Modell, mit dessen Hilfe es möglich sei, Vorhersagen darüber zu machen, mit welcher Wahrscheinlichkeit eine Verschwörungstheorie innerhalb einer gewissen Zeitspanne von einem der Eingeweihten ausgeplaudert wird. Das Fazit ist: nicht lange. Daraus soll folgen, daß gängige Verschwörungstheorien wie die Mondverschwörung, die Impfverschwörung, das unterschlagene Krebsmedikament und die Klimawandellüge gar nicht stimmen können - denn sie hätten längst verraten worden sein müssen.
Aus Neugierde habe ich mir mal die komplette, peer-reviewte Originalarbeit angesehen mit dem Titel "On the viability of conspiratorial beliefs". Der Autor dieser Arbeit erhebt tatsächlich den Anspruch, damit einen Beitrag gegen wissenschaftsfeindliches Denken zu leisten! Und wenn man die Arbeit liest, dann kann man nur die Hände über dem Kopf zusammenschlagen angesichts dieses pseudowissenschaftlichen Mülls! Eigentlich alles an diesem Werk ist idiotisch und/oder falsch. Steigen wir mit den Annahmen ein.

Die Arbeit geht von einer bestimmten Anzahl N von Verschwörern aus. Sobald einer dieser Eingeweihten seine Informationen öffentlich macht, gelte die Verschwörung als enttarnt. Allein das ist schon mal eine ausgesprochen realitätsfremde Annahme. Als Gustl Mollath über Schwarzgeldgeschäfte der Hyopvereinsbank berichtete, galt diese Angelegenheit nicht als aufgeklärt sondern er landete erst mal eine ganze Weile in der Psychiatrie. Und wie sieht's eigentlich mit der Aufklärung des NSU-Komplexes aus, da haben doch viele schon so einiges Beunruhigendes erzählt? Aber weiter.
Die präsentierte Arbeit geht weiter davon aus, daß die Wahrscheinlichkeit, daß einer der Eingeweihten die Verschwörung enthüllt, mit einer Poisson-Verteilung modelliert werden kann. Diese Verteilung beschreibt die Wahrscheinlichkeit, mit der eine bestimmte Anzahl von diskreten Ereignissen innerhalb eines bestimmten Zeitintervalls eintreten. Hier ist das Zeitintervall ein Jahr und das Ereignis ist "Die Person offenbart die Verschwörung". Damit aber ein Prozess durch eine Poisson-Verteilung dargestellt werden kann, müssen eine Reihe von Voraussetzungen gegeben sein. Zwei sind hier von besonderem Interesse.

Erstens müssen die Ereignisse unabhängig voneinander sein, d.h. das Eintreten oder nicht-Eintreten eines Ereignisses hat keinerlei Einfluß darauf, ob ein weiteres Ereignis eintritt oder nicht. Ein Beispiel dafür wären vielleicht Schäden an der DNS durch radioaktive Strahlung. Für das Erzeugen einer Schädigung an einer Stelle der DNS ist es egal ob vorher schon eine andere Stelle geschädigt wurde. Im Falle des Redens über Verschwörungstheorien gilt diese Annahme aber ganz klar nicht. Es macht für eine eingeweihte Person einen großen Unterschied, ob schon jemand anders die Verschwörung offenbart hat oder nicht. Und zwar in vielerlei Hinsicht. Es kann jemanden ermuntern, weitere Aussagen zu machen. Es kann jemanden ermuntern, weitere Details oder gar eine andere Verschwörung aufzudecken. Und wenn jemand wie Chelsea Manning nach dem Sprechen für den Rest ihres Lebens in ein Betonloch geworfen wird, dann gerade weil man weiß, das die Wahrscheinlichkeit für weitere Enthüllungen eben nicht unabhängig von anderen Enthüllungen und eben deren Bestrafung ist.

Zweitens setzt eine Poisson-Verteilung voraus, daß sich die mittlere Rate, mit der die Ereignisse eintreten, konstant ist. Sie muß in jedem Zeitintervall gleich groß sein. Im Falle der DNS-Schäden heißt das, daß die Intensität der radioaktiven Strahlung nicht variieren darf. Und wenn es um die Bereitschaft geht, eine Verschwörung offen zu legen, dann wird sich eben diese Bereitschaft im Laufe der Zeit erheblich ändern. Denn diese wird von einer Menge Faktoren abhängen: Ziehen sich die Auswirkungen meiner Verschwörung noch hin oder ist sie bereits abgeschlossen? Profitiere ich noch von ihr oder nicht? Muß ich bei der Enthüllung noch mit Konsequenzen rechnen oder ist die Sache auf die ein oder andere Weise verjährt? Naht mein Tod und habe ich nichts mehr zu verlieren, will ich dann vielleicht noch mein Gewissen erleichtern? Oder sind meine Mitverschwörer schon tot? Vieles mag hier eine Rolle spielen, nur konstant ist die Wahrscheinlichkeit, mit der ein Eingeweihter eine Verschwörung enthüllt, sicher nicht.

Damit sind zwei grundsätzliche Voraussetzung für die Anwendung der Poisson-Verteilung schon nicht erfüllt und die ganze Arbeit verliert ihre ganz grundsätzliche Rechtfertigung. Die Annahme der Poisson-Verteilung wird vom Autor übrigens mit einem Satz gerechtfertigt:

"The assumption of Poisson statistics used in this work is justified for discrete events, from cars arriving at a traffic light to radiation induced DNA damage and should hold for exposure of conspiracy events."

Boah. Oder auch nicht.
Aber der Unsinn geht noch weiter. Viel weiter.

Zunächst einmal weiter in der Vorgehensweise. Die Wahrscheinlichkeit, das innerhalb eines Jahres niemand etwas von der Verschwörung verrät, ist in der Poisson-Verteilung gegeben durch

Der Exponent ist hier ein Parameter der Verteilung, die mittlere Rate von Ereignissen in einem Zeitintervall. Die Wahrscheinlichkeit, daß innerhalb von t Jahren niemand etwas verrät, ist dann

Die Wahrscheinlichkeit, daß jemand innerhalb von t Jahren die Verschwörung verrät, nennen wir sie L(t), ist dann einfach

Das ist Gleichung (1) in der besagten Arbeit. Ich schreibe das alles so ausführlich weil es gleich noch wichtig wird.

Der Parameter der Poisson-Verteilung ergibt sich bei N Eingeweihten, von denen jeder eine Wahrscheinlich p hat, die Verschwörung innerhalb eines Intervalls von einem Jahr zu verraten, zu

Das ist die Gleichung (2). Soweit, so gut, bzw. so schlecht. Nun will der Autor der Studie aber berücksichtigen, daß die Anzahl der Eingeweihten N sich mit der Zeit ändern kann. Insbesondere betrachtet er die Fälle natürlichen Ablebens und gezielter Beseitigung von Mitwissern. Und hier wird es einfach nur noch falsch. Denn er nimmt eine Zeitabhängigkeit von N an und setzt dieses N(t) einfach in die Gleichung für L(t) ein. Mit der Abkürzung

lautet Gleichung (3) in Artikel dann

Und das völliger Schwachsinn. Da hätten Autor und Gutachter aber auch drauf kommen können. Hier, so sieht die Abbildung 1 des Artikels aus:

Die blaue Kurve zeigt die Wahrscheinlichkeit, daß mindestens ein Eingeweihter nach einer gegebenen Anzahl von Jahren einmal die Verschwörung verraten hat, vorausgesetzt die Anzahl N der Eingeweihten bleibt konstant. Die rote gepunktete Kurve gibt Verlauf wieder unter der Annahme einer natürlichen Sterberate unter den Eingeweihten und die orange gestrichelte Kurve gilt für ein beschleunigtes exponentielles Ableben der Eingeweihten. Fällt was auf?
Na gut, ein Hinweis: Wenn die Wahrscheinlichkeit, bei 4 Würfen mit einer Münze mindestens 1 mal "Zahl" zu werfen bei, sagen wir mal, 94% liegt, kann dann die Wahrscheinlichkeit, bei 8 Würfen mindestens 1 mal "Zahl" zu werfen kleiner als 94% sein?
Für den Verrat einer Verschwörung heißt das, wenn die Wahrscheinlichkeit, daß die Verschwörung nach 30 Jahren verraten worden ist bei 40% liegt, kann dann die Wahrscheinlichkeit, daß sie nach 50 Jahren verraten worden ist, bei nur noch 10% liegen? Selbst wenn ich nach 30 Jahren alle Mitwissenden erschießen wurde und die Wahrscheinlichkeit des Verrats ab da bei 0 läge, so könnte die Wahrscheinlichkeit nicht mehr unter den bis dahin erreichten Wert abnehmen. Eine kumulative Wahrscheinlichkeit ist immer monoton steigend. In der Abbildung aber fallen sie wieder ab. Hier ist also was richtig falsch.

Der Fehler liegt darin, daß man, wenn der Verteilungsparameter sich mit der Zeit ändert, man für die Wahrscheinlichkeit zur Zeit t nicht einfach das t-fache dieses Parameters nehmen kann. Man muß die Beiträge der einzelnen Intervalle explizit aufsummieren. Es sollte daher heißen:

Korrigiert sähe die Abb. 1 des Artikels damit so aus:

Die gepunkteten Kurven sind die aus der Originalarbeit, die durchgezogenen die Korrigierten. Für die blaue Kurve war die Anzahl der Mitwisser als konstant angenommen, daher gibt es da keine Unterschiede. Für die Fälle mit aussterbenden Mitwissern stabilisiert sich die Wahrscheinlichkeit der Aufdeckung irgendwann. Wenn sie nach 50 Jahren von keinem Mitwisser verraten wurde, dann wird sie nach 60 Jahren auch nicht mehr verraten, weil alle Mitwisser schon tot sind. Die "Versagenswahrscheinlichkeit" der Verschwörung ändert sich nicht mehr.
Alle Ergebnisse der Arbeit, bei der die Anzahl der Eingeweihten nicht als konstant angenommen ist, sind jenseits dieser Abbildung übrigens auch falsch.

Noch ein kleines bisschen weiter mit heiterem Blödsinn. Der Autor will die Kurven für die "Failure probability"mit der Zeit für andere Verschwörungstheorien, eben der Mond-, Klima-, Impf- und Krebsheilmittelverschwörungen, bestimmen um diese Theorien damit zu widerlegen. Dazu muß er erst einmal eine Abschätzung für den Parameter p finden. Zu diesem Zweck nimmt er drei aufgedeckte Verschwörungen, schätzt (irgendwie) die Zahl N der Eingeweihten und die Zeit t bis zu ihrer Aufdeckung. Nun kennt er N und t, aber um p bestimmen zu können muß auch noch L(t) bekannt sein. Also die Wahrscheinlichkeit des Scheiterns der Verschwörung zum Zeitpunkt ihres Scheiterns. Dieser Wert ist natürlich nicht bekannt und kann im Prinzip völlig beliebig sein. Also nimmt er einfach mal L(t) = 0.5 an. Das liegt ja so schön in der Mitte. Und wenn ich die Wahrscheinlichkeit nicht kenne, daß die Erde morgen von einem Asteroiden zerstört wird, dann nehme ich einfach mal 0.5 an, das liegt so schön in der Mitte zwischen 0 und 1…
Aber im Ernst, dieser Wert entbehrt jeder Rechtfertigung. Nicht nur ist ein aus drei "Experimenten" ermittelter Wert an sich schon sehr unsicher. Hier kommt auch noch ein Auswahleffekt hinzu. Schließlich weiß niemand, wieviele Verschwörungen es überhaupt gibt. Wenn man nur die Gescheiterten kennt, dann könnten gerade diese die statistischen Ausreißer sein und gar keine Rückschlüsse auf den Erfolg von Verschwörungen im Allgemeinen zulassen… Und wenn also der Wert von L(t) beliebig ist, dann wird damit auch der Wert von p beliebig, und damit alles.
Aber gut, er nimmt diesen Wert, gekommt irgendwelche Werte für p, rechnet mit denen weiter, manchmal sogar richtig, und kommt so auf schöne Zahlen für die erwartbare Lebensdauer von Verschwörungen. Falsche Aussagen im Verlauf des Textes wie etwa

"p also includes the odds of an accidental intrinsic exposure"

spielen schon keine Rolle mehr.

Nein, dieser Anti-Verschwörungs-Artikel ist wirklich bemerkenswert schlecht! Er ist voller unhaltbarer Annahmen, bedeutungsloser weil ganz beliebiger Abschätzungen und simplen Rechenfehlern. Aber er kommt zu dem gewünschten und vernünftig klingenden Ergebnis, daß Verschwörungstheorien mit vielen Mitwissern schnell auffliegen müssten und daher nicht stimmen können. Dieser Artikel ist Junk Science der übelsten Art. Denn mit einem so unseriösem Artikel gegen Impfskeptizismus und Mondverschwörung ankämpfen zu wollen, das gleicht in seiner Wirkung einem erfundenen toten Flüchtling vor dem Lageso: Menschen, die schon immer überzeugt waren, Wissenschaft sei nur eine Lügengeschichte zur Manipulation der Öffentlichkeit, unehrlich, unsachlich und nur auf den eigenen Vorteil bedacht, die haben jetzt eine referierte Publikation, auf die sie mit vollem Recht als Beleg ihrer Meinung verweisen können. Na schönen Dank auch!


Nachtrag (7.3.):
Der Autor der diskutierten Studie hat eine Korrektur veröffentlicht, in der er zumindest die Rechenfehler beseitigt.


Nachtrag (4.2.):

Zum besseren Verständnis noch eine Anmerkung, weshalb kumulative Wahrscheinlichkeiten immer monoton steigend sein müssen und weshalb dies auch beim Aussterben von Mitwissern der Fall sein muß.

Nehmen wir erst einen Fall, der nichts mit der hier diskutierten Arbeit von Herrn Grimes zu tun hat. Das Prinzip gilt aber überall und in diesem etwas übersichtlicheren Fall ist das Verständnis vielleicht leichter.
Nehmen wir den Fall einer Gauß'schen Normalverteilung. Diese Verteilung hat die recht bekannte Form einer "Glockenkurve" und bestimmt die Wahrscheinlichkeit dafür, einen bestimmten Wert zu erhalten. Hier ist die Glockenkurve und ihre kumulative Wahrscheinlichkeit (oder genau genommen heißt es "kumulative Verteilungsfunktion"):

In ihrer "klassischen", d.h. bekannteren Form der blauen Kurve - die man die "Wahrscheinlichkeitsdichte" nennt - nehmen die Wahrscheinlichkeiten von links nach rechts erst zu und dann wieder ab. Oder anders ausgedrückt, je weiter von Null entfährt, desto unwahrscheinlicher wird ein Wert hier.
Die zugehörige rote Kurve, die kumulative Wahrscheinlichkeit, gibt nicht die Wahrscheinlichkeiten für einen Wert x an, sondern dafür, einen Wert zu erhalten, der kleiner oder gleich x ist. Es ist also die Wahrscheinlichkeit dafür, einen Wert bis x zu erhalten. Beide Größen muß man streng unterscheiden. Allerdings hängen sie auch eng zusammen - die eine Kurve geht aus der anderen Kurve hervor. Ich habe ihnen hier daher verschiedene aber ähnliche Symbole gegeben, p und P.
Und die kumulative Kurve kann nur steigen, ihr Wert an einem Punkt x ist durch die Fläche unter der blauen Kurve bis zum Punkt x gegeben. Wenn p(x) mit x ansteigt, steigt auch P(x) an, und zwar um so stärker, je steiler der der Anstieg von p(x) ist. Nimmt p(x) ab einem bestimmten Wert von x wieder ab (also hier ab x = 0), dann fällt P(x) nicht ab, sondern steigt einfach nur langsamer. Denn die Fläche unter der blauen Kurve p(x) bis zum Punkt x wächst ja auch noch weiter an, obwohl die Werte von p(x) wieder sinken. Erst wenn p(x) Werte von Null annimmt, dann wächst die Fläche unter der blauen Kurve nicht weiter an. Sie  nimmt aber auch nicht ab. Sie bleibt dann einfach konstant. Und damit wird dann die rote Kurve P(x) konstant. Somit kann die kumulative Wahrscheinlichkeit P(x) nur anwachsen oder konstant bleiben, aber niemals abnehmen. Das ein Verhalten von P(x) nennt man eben "monoton steigend".

Nun zu Grimes' Arbeit. Hier ist das Wahrscheinlichkeitsmodell ein anderes, daher stellt sich die Sache etwas anders dar. Das Prinzip bleibt aber das Gleiche.
Grimes legt als Wahrscheinlichkeitsverteilung für das Ausplaudern einer Verschwörung eine Poisson-Verteilung an. Diese Wahl halte ich für sehr schlecht, weil es keinen Grund gibt anzunehmen, daß diese Annahme die Realität halbwegs gut beschreibt - weder liefern theoretische Überlegungen noch der Vergleich mit irgendwelchen Daten Argumente für diese Annahme. Aber das ist letztlich ein Problem des Realitätsbezugs des Models, eine anderes ist die interne Konsistenz des Models wenn man annimmt, daß es überhaupt realistisch ist…
Nehmen wir also auch eine Poisson-Verteilung an. Diese Verteilung erlaubt es, die Wahrscheinlichkeiten für das Auftreten einer bestimmten Anzahl von Ereignissen innerhalb eines bestimmten Zeitintervalls auszurechnen. Im Prinzip können dabei jede beliebige Anzahl von Ereignissen auftreten, 0, 1, 2, 100, 123487652, … Es macht daher keinen Sinn, davon zu reden, daß in Grimes Modell jemand "als erstes" redet. Dieses Modell ist zwingend auf eine festes Zeitintervall festgelegt, nehmen wir mal 1 Jahr an, und es kann nur die Wahrscheinlichkeiten angeben, daß 1, 2, 3,.., Personen innerhalb dieses Intervalls reden. Dies ist aber kein Problem, alles was Grimes in seiner Arbeit wissen will, ist die Wahrscheinlichkeit dafür, daß mindestens eine Person spricht. In dem Fall nämlich betrachtet er die Verschwörung als enthüllt. Es können also durchaus auch 2 oder 3 oder n Personen in einem Jahr reden, das ist egal solange in den vorangegangenen Jahren noch niemand geredet hat. Und eine Reihenfolge innerhalb dieses Jahres, in dem mindestens eine Person geredet hat, gibt es nicht.

Nehmen wir nun erst einmal den Fall einer konstanten Anzahl von Verschwörern an. Dann ist die Wahrscheinlichkeit dafür, daß mindestens eine Person innerhalb eines Jahres redet, für alle Jahre die Gleiche. Jetzt muß man, will man die Wahrscheinlichkeit dafür ausrechnen, daß nach einer bestimmten Anzahl von Jahren mindestens eine Person geredet hat, jedes Jahr als eigenes Zufallsexperiment betrachten und dann die (identischen) Wahrscheinlichkeiten des Ausplauderns für jedes einzelne Jahr richtig zur Gesamtwahrscheinlichkeit nach x Jahren kombinieren. Diese Kurve der Gesamtwahrscheinlichkeiten nach x Jahren zusammengenommen ist gerade die kumulative Wahrscheinlichkeit. Die Kombination der konstanten jährlichen Wahrscheinlichkeiten zur kumulativen Wahrscheinlichkeit hat Grimes in seiner Arbeit noch richtig hinbekommen. Hier mal eine Beispielrechnung, wie das aussehen könnte:

Ich habe mal keine durchgezogenen Linien gezeichnet sondern einen Punkt für jedes Jahr um deutlicher zu machen, daß es hier um eine Folge von einzelnen Intervallen geht. Hier ist die langfristige mittlere Rate von redenden Personen pro Jahr mit 0.1 angenommen. Die Wahrscheinlichkeit pro Jahr ist, da hier keine Leute sterben sollen, also immer die selbe (die blauen Punkte für das Jahr 1, das Jahr 2, ...). Die kumulative Kurve steigt nun mit der Zeit immer weiter an und nähert sich für sehr viele Jahre immer weiter dem Wert 1 an (die roten Punkte für nach Ablauf von einem Jahr, nach Ablauf von zwei Jahren, …).

Jetzt machen wir dieselbe Rechnung noch einmal, lassen aber die mittlere Rate pro Jahr von Jahr zu Jahr absinken. Dann sieht das z.B. so aus:

Jetzt passiert was selbe wie zuvor für die Normalverteilung diskutiert. Wenn die Wahrscheinlichkeit pro Jahr immer weiter sinkt, dann wird der Beitrag eines jeden weiteren Jahres zur kumulativen Kurve immer kleiner. Sie sinkt aber nicht wieder, sondern wenn die Wahrscheinlichkeit pro Jahr gegen Null sinkt, dann bleibt die kumulative Kurve bei einem konstanten Wert. Zumindest dann, wenn man die Wahrscheinlichkeiten pro Jahr richtig zur kumulativen Wahrscheinlichkeit kombiniert. Genau das hat Grimes aber nicht gemacht. Und der Fehler in der Kombination führte dazu, daß seine kumulative Wahrscheinlichkeit wieder absank. Und dieses Absinken ist eine Unmöglichkeit (dazu bräuchte es negative Wahrscheinlichkeiten pro einzelnem Jahr, und negative Wahrscheinlichkeiten gibt es nicht). Daher hätte ihm und jedem Gutachter sofort auffallen müssen, daß da irgendwo ein ernster Fehler ist.

Zum Schluß noch ein anschauliches Beispiel: Wenn ich Lose kaufe, dann ist die kumulative Wahrscheinlichkeit die Wahrscheinlichkeit dafür, daß ich mit n Losen einen Gewinn erhalte, und die ergibt sich aus der Einzelwahrscheinlichkeit für ein Los und der Zahl der Lose. Je mehr Lose ich kaufe, desto größer muß meine Chance auf einen Gewinn werden. Die kumulative Wahrscheinlichkeit kann also nur wachsen - mehr Lose, größere Gewinnchance. Würde sie sinken, würde das bedeuten, daß ich durch den Erwerb zusätzlicher Lose meine Chance, überhaupt einen Gewinn zu erhalten, wieder senken würde! Eine offensichtlich unsinnige Situation...