Risiko-Leseassistenz im Browser: RisikoRadar
Die Macht der Statistik und wie wir sie besser verstehen können
Autoren und Medien, die mit Statistiken texten, haben großen Einfluss auf die Wahrnehmung dieser Statistiken. Problematisch wird die Risikowahrnehmung durch sogenannte relative Risikoausdrücke.
Im Jahr 1995 veröffentlichte die Kommission zur Arzneimittelsicherheit in Großbritannien eine Erklärung, gemäß welcher das Risiko einer Thromboembolie durch die Einnahme der Pille der dritten Generation um 100 Prozent steige. Dies wurde von großen Medien aufgegriffen und verunsicherte weite Teile der Bevölkerung. Anstatt auf ältere Präparate auszuweichen, setzten tausende Frauen die Pille ab. 13.600 Abtreibungen in England und Wales lassen sich diesem Medienereignis zuschreiben (Furedi, 1999).
Sein Ausgangspunkt, das verdoppelte Thromboserisiko, beruhte lediglich darauf, dass von je 7.000 Frauen, die die Pille der dritten Generation einnahmen, zwei eine Thrombose bekommen würden. Eine mehr als unter jenen Frauen mit der Pille der zweiten Generation. Dass der Anstieg von 1 auf 2 pro 7.000 Frauen – die absolute Risikozunahme – als relative Risikozunahme um 100 Prozent kommuniziert wurde, war ein schwerwiegender Verstoß gegen die Standards der Risikokommunikation.
Ohne absolute Risikoinformationen ist zum einen nicht erkennbar, wie hoch ein Ausgangsrisiko ist. Also wie viele waren am Anfang betroffen. Wie groß ist das Grundrisiko? Zum anderen ist nicht erkennbar, wie groß ein vergrößernder oder vermindernder Effekt tatsächlich ist. Die tatsächliche Effektstärke bleibt im Dunkeln. Ein Beispiel: Ein neuartiges Medikament mag Nebenwirkungen um 50% senken, doch ob das bedeuten würde, dass statt 8 von 10 Patienten nur noch 4 betroffen sind, oder ob das bedeutet, dass von 100.000 Patienten nur noch 1 statt 2 betroffen ist, kann mit einer relativen Angabe nicht vermittelt werden. Die absolute Risikoinformation ist hiernach zwingend für den mündigen Patienten.
1. Schulungen von Autoren, Wissenschaftlern, Ärzten, Managern und Redakteuren, um sicherzustellen, dass Texte immer auch das absolute Risiko bzw. die absolute Veränderung neben relativen Angaben anbieten.
2. Schulungen der Leser. Im institutionellen Bildungskontext (Schulen, Berufsschulen, Hochschulen) muss für die Problemstellungen in geeigneten Fachsituationen sensibilisiert werden.
3. Stärkung und Unterstützung der Verbraucher – der RisikoRadar
Die meisten Verbraucher lesen digitale Texte. Gerade in der digitalen Umwelt sind viele Autoren nicht hinreichend geschult oder gar interessengeleitet. Um Verbraucher zu unterstützen, damit sie nicht durch relative Risikodarstellungen in die Irre geführt werden, ist ein Interventionsansatz notwendig, welcher dann wirkt, wenn das Problem entsteht.
Verbraucher surfen nach wie vor mit Internetbrowsern auf Computern. Im Rahmen eines Browsers lässt sich eine Intervention platzieren, die an problematischen Textstellen aktiv wird. Sollte also eine relative Risikodarstellung auftauchen, sind mehrere Interventionen denkbar. Steht sie allein, ohne absolute Veränderung, sollte gewarnt werden, dass Schlüsselinformationen fehlen und was das bedeutet: die Ausgangssituation (Grundrate) bleibt verborgen und die tatsächliche Veränderungsstärke (Effektstärke) ebenso. Ein Beispiel zur Illustration sollte beigefügt werden.
Wird das relative Risiko durch ein absolutes Risiko begleitet, ist immer noch eine korrekte Berechnung durch den Leser notwendig, um die Veränderungsstärke zu verstehen bzw. die jeweils fehlende Ausgangs- oder Zielsituation. Aus der Risikokommunikation ist unter anderem die Faktenbox mit einem Paar von Icon Arrays bekannt (McDowell et al., 2016, 2019), um Risiken zu vergleichen. So kann dem Leser geholfen werden, indem man ihm eine solche Visualisierung bereitstellt.
Furedi, A. (1999). Social consequences. The public health implications of the 1995'pill scare'. Human Reproduction Update, 5(6), 621-626.
McDowell, M. E., Gigerenzer, G., Wegwarth, O., & Rebitschek, F. G. (2019). Effect of tabular and icon fact box formats on comprehension of benefits and harms of prostate cancer screening: A randomized trial. Medical Decision Making, 39, 41-56.
McDowell, M., Rebitschek, F. G., Gigerenzer, G., & Wegwarth, O. (2016). A Simple Tool for Communicating the Benefits and Harms of Health Interventions: A Guide for Creating a Fact Box. MDM Policy & Practice, 1(1).
RisikoRadar ist eine Browsererweiterung, welche auf Basis von Regeln sprachliche Inhalte von Internetseiten verarbeitet.
Der RisikoRadar funktioniert ausschließlich in der deutschen Sprache!
Diese Verarbeitung kann nicht innerhalb der Ressourcen eines Browsers geleistet werden. Deshalb ist eine zusätzliche Anwendung auf dem Betriebssystem erforderlich. Diese muss zuerst installiert werden.
Die Installation
1. Laden Sie die Installationsdatei herunter (Windows, macOS).
Installation unter Windows 7–10
2. Starten Sie die heruntergeladene Datei mit Doppelklick.
3. Installieren Sie die Anwendung gemäß dem Installationsdialog (ggf. im Hintergrund geöffnet).
4. Folgen Sie dem Abschluss der Installation in den Chrome- bzw. den Firefox-Store, um die Browsererweiterung für den gewünschten Browser herunterzuladen. Falls Ihr Standardbrowser nicht der Browser ist, in dem Sie den RisikoRadar nutzen möchten, müssen Sie den geöffneten Link kopieren (Strg+C) und in den gewünschten Browser übertragen.
5. Fügen Sie die Browsererweiterung im geöffneten Chrome- bzw. Firefox-Store direkt Ihrem Browser hinzu.
Installation unter macOS 10.12–10.15
2. Öffnen Sie die heruntergeladene Datei (ggf. mit Kontextklick, „Rechtsklick").
3. Installieren Sie die Anwendung gemäß dem Installationsdialog (ggf. im Hintergrund geöffnet).
4. Folgen Sie dem Abschluss der Installation in den Chrome- bzw. den Firefox-Store, um die Browsererweiterung für den gewünschten Browser herunterzuladen. Falls Ihr Standardbrowser nicht der Browser ist, in dem Sie den RisikoRadar nutzen möchten, müssen Sie den geöffneten Link kopieren (Strg+C) und in den gewünschten Browser übertragen.
5. Fügen Sie die Browsererweiterung im geöffneten Chrome- bzw. Firefox-Store direkt Ihrem Browser hinzu.
Eine Deinstallation ist über das systemeigene Programmmanagement vorzunehmen.
Datenschutzhinweise
1. Nach Installation der Browsererweiterung funktioniert diese ausschließlich lokal. Das bedeutet, dass die Internetseiten, welche die Erweiterung mitliest, nicht an einen Server übermittelt werden. Die Browsererweiterung verarbeitet alle Daten auf Ihrem Rechner.
2. Anbei unsere Datenschutzerklärung zur Browserweiterung.
Die Macht der Statistik und wie wir sie besser verstehen können
Es ist schon seltsam mit Statistiken. Lesen wir irgendwo: „Die Gefahr steigt um 100%“, dann sind wir alarmiert und besorgt. Steht hingegen irgendwo das Gegenteil, nämlich, dass das Risiko für irgendetwas um 90% sinkt, wenn wir dies oder jenes tun – dann werden wir uns höchstwahrscheinlich ernsthaft überlegen, dies oder jenes zu tun. Dabei sagen solche Anstiege oder Verringerungen erst einmal nicht viel aus. Wir sollten uns bei relativen statistischen Angaben also immer fragen: Was bedeutet diese Prozentangabe? In vielen Texten werden oft nur relative Zahlenangaben gemacht. Das kann auch ein journalistisches Mittel sein, Sachverhalte dramatischer klingen zu lassen. Unsere Browsererweiterung „Risikoradar“ soll Sie auf diese Fälle aufmerksam machen, Ihnen absolute Risiken grafisch veranschaulichen und Sie dabei unterstützen, die Macht der Statistik zu brechen.
Was ist der Zweck des RisikoRadars?
Er soll Verbrauchern nicht nur nützen, sondern sie durch die Nutzung stärken.
1. Der RisikoRadar warnt Sie, wenn Sie von einer alleinstehenden, relativen Risikostatistik in die Irre geführt werden könnten.
2. Der RisikoRadar hilft Ihnen, relative in Verbindung mit absoluten Risikostatistiken korrekt zu interpretieren, indem es Ihnen eine unterstützende Visualisierung in Form einer Icon-Array-Faktenbox anbietet.
3. Der RisikoRadar sensibilisiert Sie für relative Risikoausdrücke und Veränderungsausdrücke in Texten. Sie lesen so kritischer und hinterfragen eher.
4. Sie lernen, was relatives und absolutes Risiko sind. Sie übertragen dieses Verständnis auf Situationen, in den Sie nicht mit dem RisikoRadar im Internet sind.
Die Installation
1. Laden Sie die Installationsdatei herunter (Windows, macOS).
Installation unter Windows 7–10
2. Starten Sie die heruntergeladene Datei mit Doppelklick.
3. Installieren Sie die Anwendung gemäß dem Installationsdialog (ggf. im Hintergrund geöffnet)
4. Folgen Sie dem Abschluss der Installation in den Chrome- bzw. den Firefox-Store, um die Browsererweiterung für den gewünschten Browser herunterzuladen. Falls Ihr Standardbrowser nicht der Browser ist, in dem Sie den RisikoRadar nutzen möchten, müssen Sie den geöffneten Link kopieren (Strg+C) und in den gewünschten Browser übertragen.
5. Fügen Sie die Browsererweiterung im geöffneten Chrome- bzw. Firefox-Store direkt Ihrem Browser hinzu.
Installation unter macOS 10.12–10.15
2. Öffnen Sie die heruntergeladene Datei (ggf. mit Kontextklick, „Rechtsklick").
3. Installieren Sie die Anwendung gemäß dem Installationsdialog (ggf. im Hintergrund geöffnet).
4. Folgen Sie dem Abschluss der Installation in den Chrome- bzw. den Firefox-Store, um die Browsererweiterung für den gewünschten Browser herunterzuladen. Falls Ihr Standardbrowser nicht der Browser ist, in dem Sie den RisikoRadar nutzen möchten, müssen Sie den geöffneten Link kopieren (Strg+C) und in den gewünschten Browser übertragen.
5. Fügen Sie die Browsererweiterung im geöffneten Chrome- bzw. Firefox-Store direkt Ihrem Browser hinzu.
Eine Deinstallation ist über das systemeigene Programmmanagement vorzunehmen.
Der RisikoRadar basiert auf einem Regelsystem, welches mit Trainings- und Testdatensatz aus einem Korpus deutscher Texte entwickelt wurde. Wie alle Modelle, kann das Regelsystem niemals perfekt sein, das heißt, es werden Textstellen falsch interpretiert oder kritische Textstellen übersehen.
Relative Ausdrücke, die zusammen mit einem absoluten Basislevel oder Ziellevel kommuniziert werden, werden von der Browsererweiterung in 95% der Fälle erkannt (Recall im Testdatensatz). Gleichzeitig wurden nur 2 Fehlalarme bei 6000 Sätzen ausgelöst. Alleinstehende Veränderungsausdrücke (relative Risiken) werden von der Browsererweiterung in 94% der Fälle erkannt. 47 Fehlalarme traten hier bei 6000 Sätzen auf.
Der RisikoRadar arbeitet lediglich auf der Ebene der Einzelsätze. Dies ist dem erheblich höheren, technischen Aufwand geschuldet, über Sätze hinweg zu analysieren. Schlüsselinformationen finden sich jedoch oftmals in vor- oder nachgestellten Sätzen. Eine Warnung durch den RisikoRadar bedeutet daher zu allererst, dass das Textumfeld nochmal geprüft werden muss, ob der Autor die wichtige Information nicht doch bereitgestellt hat.
Eine automatische Unterstützung, das Geschriebene durch die Visualisierung mit einer Icon-Array-Faktenbox verständlicher zu machen, ändert nicht die Intention des Textautors. Es ist jedoch nicht ausgeschlossen, dass problematischen, strafbaren Inhalten, menschenverachtenden Texten, durch eine solche Visualisierung mehr Glaubwürdigkeit verliehen wird. Sollten Sie zufälligerweise in eine solche Situation geraten sein, bitten wir Sie um einen Hinweis unter Kontakt.
Die Browsererweiterung RisikoRadar wurde durch LangTec technisch entwickelt.
Die Algorithmen der Textanalyse, die dem RisikoRadar zugrunde liegen, wurden mithilfe eines Entwicklungskorpus und linguistischen Regeln erarbeitet.
In einer Validierung auf einem separaten Demonstrationskorpus mit insgesamt 28.111 Sätzen, wurden von 231 Zielsätzen 206 Konstellationen von relativen und absoluten Veränderungsausdrücken erkannt (89,2% Sensitivität). Außerdem wurden von 27.880 anderen Sätzen 27.866 als frei von kombinierten relativen und absoluten Veränderungsausdrücken bestätigt (99,9% Spezifität). Hinsichtlich des Phänomens einer kombinierten Aussage von relativen und absoluten Veränderungsausdrücken beträgt der positive prädiktive Wert 93,6%; die Wahrscheinlichkeit, dass der Algorithmus richtigliegt, wenn er einen solchen Ausdruck erkennt.
Im selben Korpus wurden von 427 Zielsätzen 365 alleinstehende relative Veränderungsausdrücke erkannt (85,5 % Sensitivität). Des Weiteren wurden von 27.684 anderen Sätzen 27.645 als frei von isolierten relativen Veränderungsausdrücken bestätigt (99,9% Spezifität). Für isolierte relative Veränderungsausdrücke beträgt der positive prädiktive Wert 90,3%; die Wahrscheinlichkeit, dass der Algorithmus richtigliegt, wenn er einen solchen Ausdruck erkennt.
Nach der Erkennung folgt die Zuordnung korrekter Satz-Strukturelemente. Auch diese kann linguistische Regeln nicht perfekt auf die reale digitale Welt anwenden.
Für Konstellationen von relativen und absoluten Veränderungsausdrücken wurden 90,68% korrekte Strukturelemente erkannt. Insofern sinkt der Anteil korrekter Erkennungen in der praktischen Umsetzung auf eine „Sensitivität“ von 80,9%.
Für isolierte relative Veränderungsausdrücke wurden 97,37% korrekte Strukturelemente erkannt. Insofern sinkt der Anteil korrekter Erkennungen in der praktischen Umsetzung auf eine „Sensitivität“ von 83,2%.
Zur empirischen Evaluation mit Verbrauchern
Alle Forschungsergebnisse zu den Grundlagen und zur Wirksamkeit der RisikoAtlas-Werkzeuge bezüglich Kompetenzförderung, Informationssuche und Risikokommunikation werden mit dem Projekt-Forschungsbericht am 30. Juni 2020 veröffentlicht. Bei früherem Interesse sprechen Sie uns bitte direkt an (Felix Rebitschek, rebitschek@mpib-berlin.mpg.de).
Datum der letzten Aktualisierung: 27. November 2019