Tuesday, 20 July 2021

Partial List of Possible Dual Uses of Big Data Cyber-Infrastructures

Big Data and AI are being used to improve security and the state of health, nature, and the world. 

But they can also be used for bad, as the following list demonstrates:

Mass surveillance



Citizen score





Information war

Hybrid war

Misinformation, also personalized

Disinformation, also personalized

Fake news, deep fakes

Behavioral manipulation

Manipulation of democratic elections

Personalized marketing






Mind control

Brain hacking

Hate speech


Cybermobbing, psychological abuse

Electronic harassment

Social engineering

Insider trading

Market manipulation


Implanting dreams

Triggering accidents

Triggering crime (e.g. “footfall”)

A new kind of police state (“predictive policing”)

Internet of bodies

Potential of totalitarian control

Many of these applications would violate Data Protection Laws, the UN Declaration of Universal Human Rights, or the Nuremberg Codex, i.e. they would be considered crimes against humanity.

The crucial questions are: Can such dual uses be prevented by suitable laws and governance frameworks? 

If yes, how would they have to look like?

Tuesday, 22 June 2021


We have recently discussed what kind of tool would be better to have: a crystal ball, which would tell you the future, if it was possible to build, and would allow you to see in all detail what is going to happen. Or, to have a tool that would allow us to manoeuvre troubled waters and to get around the cliffs we are going to face. It is important to realize that these are two pretty different kinds of tools. We have decided it would be desirable to be able to navigate the 21st century with digital empowerment on all levels and scales (particularly of the civil society).

Let me start by stating that, of course, Big Data, AI, and Computer Simulation of Systems have a lot to offer when it comes to addressing some of our biggest challenges of humanity. So, we should, of course, make good use of the opportunities arising from them.

Recently, there is much excitement for digital avatars and digital twins. Some would go so far to aim for an exact digital copy of the real world which would perhaps even replace analogue systems entirely in the future – in accordance with transhumanist goals such as convergence and transcendence. Personally, I consider such goals not scientifically well-founded, so I suggest to focus now on the goal of creating realistic models of parts of the world instead of exact digital copies. These can certainly be useful. Envisioned applications reach from urban twins to models of the planet to models of individuals, their personality, behavior, body, and health. This is of interest in connection with “smart cities”, climate modeling, and precision medicine.

Sounds probably good to you, but things are trickier than expected, not just because of privacy and security concerns. It is not enough to collect as much data as possible and to have a powerful AI system learn the patterns in the data. Besides incomplete datasets and limited processing power, there are a number of fundamental obstacles: biases, overfitting, the role of randomness, turbulence, the “butterfly effect” of chaos theory, the uncertainty principle of quantum mechanics, and the undecidability theorem of Gödel, to mention just a few.

So far, Big Data has not made science obsolete, nor do we have a universal AI. And if we had one, this could still be pretty dangerous. Suppose, for example, we would task an intelligent system to solve the sustainability problems of the planet. It might figure out that the easiest solution would be to kill a considerable number of people. And if it was just smart enough, humans may not even understand what is going on, given that AI systems are pretty much black boxes to them.

In a highly networked, complex world, where almost everything has side effects, feedback effects or cascading effects, a powerful tool, particularly when applied on a global scale, may cause serious, large-scale damage. This is the more likely in a time where people argue with trolley problems and lesser evils. According to this logic, if there is just a big enough disaster, problem, or threat, any ethical principle or law might be overruled, including human rights and even the right to life. In view of the Covid-19 pandemic, we may, in fact, be in the middle of such a scenario already.

Obviously, such an approach can easily and unintentionally end with crimes against humanity. As history shows, neither companies nor states nor legal frameworks are reliable safeguards against terrible misuse, accidents, or side effects. Not even the UN may be enough to ensure a save use of such tools. So, to be able to unleash the full potential of Big Data and AI for humanity and nature, we would need a particular technological framework and an entirely new kind of multi-lateralism. We would need platforms that are neither owned nor controlled by individual companies nor countries nor consortia of them, and would also not stand above our fundamental values and the rule of law.

One would need safety precautions such as decentralization, distributed control, a large amount of informational self-determination, protection from misuse, and compensation if something went wrong. New forms of organizations and social innovation are needed, to unlock the potential of technology safely and responsibly. We certainly can’t afford to open Pandora’s box. We have enough problems already…

Also, we should carefully consider alternative uses of technology. I would just like to mention the idea of creating a socio-ecological finance system. A finance system, which would use the Internet of Things to measure externalities that decisions of people and companies cause. The measurement of externalities would define multiple new currencies, which could be used to incentivize positive behavioral change. This novel real-time feedback and coordination system is inspired by nature, which has already managed to develop a circular economy based on self-organization and distributed control. Hence, introducing such real-time feedbacks into our socio-economic system is expected to create forces promoting a sustainable re-organization. A sustainable circular and sharing economy would result through a co-evolutionary process. It would be a system avoiding coercion and mind control. It would be a system consistent with freedom, self-determination, creativity and innovation, with human rights and democracy. This is actually the path to sustainability I would take. Anyway, these remarks are just to point out that our situation is not desperate. We do have options – but we also have choices to make and action to take.

Monday, 17 May 2021

Angesichts von Triage und „Todesalgorithmen“

Angesichts von Triage und „Todesalgorithmen“:

Ist die heutige daten-getriebene Medizin mit der Verfassung vereinbar?[1]

„Als Mitglied der ärztlichen Profession gelobe ich feierlich, mein Leben in den Dienst der Menschlichkeit zu stellen. Die Gesundheit und das Wohlergehen meiner Patientin oder meines Patienten werden mein oberstes Anliegen sein.

Ich werde die Autonomie und die Würde meiner Patientin oder meines Patienten respektieren. Ich werde den höchsten Respekt vor menschlichem Leben wahren.

Ich werde nicht zulassen, dass Erwägungen von Alter, Krankheit oder Behinderung, Glaube, ethnischer Herkunft, Geschlecht, Staatsangehörigkeit, politischer Zugehörigkeit, Rasse, sexueller Orientierung, sozialer Stellung oder jeglicher anderer Faktoren zwischen meine Pflichten und meine Patientin oder meinen Patienten treten...“
So fordert es das Ärztliche Gelöbnis (die „Deklaration von Genf“ [2]) in seiner neuen Fassung aus dem Jahr 2017, auch bekannt als Hippokratischer Eid. Doch sind die in der Medizin eingesetzten Verfahren überhaupt kompatibel damit – oder droht in unserer Gesellschaft neben einer biologisch-genetischen und sozialen nun auch eine technische Selektion? Angesichts der jüngsten Anwendung von Triage-Methoden sind ernste Sorgen angebracht.

Die Praxis in Krankenhäusern und der Notfallmedizin muss auf den verfassungsrechtlichen Prüfstand. Im Zusammenhang mit Algorithmen-gestützten Sterbeentscheidungen droht eine gefährliche Verantwortungsdiffusion mit unabsehbaren Folgen für unsere Gesellschaft. Zur Erläuterung beschreiben wir im Folgenden vereinfacht einige kritische Elemente der Prozesskette im Gesundheitssystem und wie sie ineinander greifen:

  • Die Realität in Krankenhäusern beinhaltet bekannter Weise Kapazitätsengpässe, wie sie auch in der COVID-19 Krise offenbar geworden sind. Unter solche Umständen kommt es implizit oder explizit zu Priorisierungsentscheidungen. Im schlimmsten Fall können das Triage-Entscheidungen sein, in deren Folge Menschen sterben, die unter normalen Umständen gerettet werden könnten und würden.
  • Dabei werden relevante Vorentscheidungen unter Umständen auch von Personal getroffen, welches die möglichen ethischen und juristischen Implikationen nicht vollständig überblickt.
  • Überdies wird das medizinische Personal bei seinen Entscheidungen zunehmend von Messdaten und Expertensystemen oder gar KI-Systemen unterstützt, was oft sehr hilfreich ist. Bei bestimmten Entscheidungen kann das aber problematisch sein. Solche digitalen Hilfsmittel werden von Softwareentwicklern geschaffen, die von medizinischen, rechtlichen und gesellschaftlichen Implikationen in der Regel nur begrenzte Ahnung haben.
  • Die Algorithmen unterliegen dem Betriebsgeheimnis und werden häufig Updates unterzogen, sind also in ihrer Wirkung bis zu einem gewissen Grade nicht bekannt und mangels Algorithmentransparenz zum Teil nicht überprüfbar. Problematisch ist zudem die „epistemische Autorität“, die algorithmischen Entscheidungen anhaften: eine Befolgung algorithmischer Empfehlungen scheint oft geboten und im Schadens- oder Klagefall eher von Vorteil zu sein.
  • Den medizinischen Entscheidungen werden oftmals Kriterien wie die erwartete Wirksamkeit der fraglichen Maßnahmen zugrunde gelegt. Hierbei ist zwischen verschiedenen Behandlungsmöglichkeiten zu entscheiden, oder ob auf solche verzichtet wird. Die zugrundeliegende Entscheidungen stützen sich oft auf Mittelwerte ab, wie sie in umfangreichen medizinischen Studien erhoben werden. Diese lassen aber in der Regel keine präzisen individuellen Prognosen zu, da die Variation der Daten oft groß ist. Mit anderen Worten: eine Maßnahme, die im Mittel besser ist, kann im Einzelfall oft schlechter sein.
  • Auch Triage-Entscheidungen werden gegebenenfalls auf der Basis von Daten getroffen, die keine exakten individuellen Prognosen zulassen oder für Triage-Entscheidungen ursprünglich nicht gedacht waren.
  • Daten-getriebene Entscheidungen sind oft sehr sensitiv gegenüber Details des verwendeten Algorithmus oder der ausgewerteten Daten. Folglich kann die Auswahl der Patienten, die medizinisch priorisiert oder Opfer der Triage werden, stark mit den verwendeten Prozeduren, Algorithmen oder Datensätzen variieren. Damit sind wir mit einer unerwünschten Zufälligkeit und Willkür resultierender Entscheidungen konfrontiert. Die Objektivität und wissenschaftliche Unangreifbarkeit entsprechender Entscheidungen ist also in Frage zu stellen. Trotz dieser methodischen Mängel werden lebenswichtige Entscheidungen zunehmend auf der Basis von Algorithmen getroffen.
  • Fraglich ist auch die Rechtmäßigkeit und Sinnhaftigkeit der verwendeten persönlichen Daten und Algorithmen. Zum Beispiel spielt in einigen von ihnen die prognostizierte Lebenserwartung eine Rolle,[3] obwohl deren individuelle Variabilität ebenfalls hoch ist.[4] In der Folge werden auf der Basis der Prognose der Lebenserwartung getroffene oder unterlassene medizinischen Maßnahmen in vielen Fällen die Lebenserwartung determinieren. Daher bedingt ein Einsatz solcher Algorithmen weitgehend die Sterbereihenfolge. Die Prognosen würden quasi zur self-fulfilling Prophecy.
  • Bei den medizinischen Entscheidungen spielen auch finanzielle Ressourcen eine zunehmende Rolle. Die Big Data-gestützten medizinischen Entscheidungen sollen für einen effizienten Einsatz verfügbarer Mittel sorgen. Damit verlagert sich aber der Fokus von der Menschenwürde zunehmend zu ökonomischen Nutzenerwägungen. Algorithmen-basierte Priorisierungsentscheidungen, einschließlich Triage-Entscheidungen, werden also zunehmend durch Kostenfragen bestimmt.
  • Wird bei den Entscheidungen überdies der individuelle Versicherungsschutz (der Leistungsumfang der jeweiligen Krankenversicherung) berücksichtigt, so ist auch mit einer sozialen Selektion zu rechnen.[5] Wie man aus der KI-Forschung weiß, können solche Diskriminierungs-Effekte wegen der Intransparenz der Algorithmen und der verwendeten Trainingsdaten selbst dann resultieren, wenn sie nicht beabsichtigt oder explizit einprogrammiert sind.[6]
  • Im Rahmen der gegenwärtigen Pandemie werden Triage-Entscheidungen, in denen es um Entscheidungen über Leben und Tod geht, heute vermehrt getroffen. Sie werden mangels ausreichender medizinischer Kapazitäten oft als unvermeidlich dargestellt. Man darf aber nicht vergessen, dass sie als äußerst problematisch gelten und bisher nur im Krieg und extremsten Katastrophenlagen akzeptabel waren.
  • Dennoch entwickeln verschiedene Projekte Algorithmen, die Triage-Entscheidung treffen sollen, welche angeblich ununterscheidbar von solchen sind, die Ärzte treffen würden. Damit droht eine Mechanisierung des Sterbens.
  • Der Trend geht folglich dahin, dass problematische Entscheidungen an daten-getriebene Algorithmen und Maschinen übertragen werden, also von autonomen Systemen getroffen werden. In manchen Ländern scheinen solche Algorithmen-basierten Triage-Entscheidungen bereits im Einsatz zu sein. Damit wird der Mensch jedoch zum Objekt einer maschinellen Entscheidung gemacht, was mit der Menschenwürde nicht vereinbar ist. Außerdem wird mit der Verantwortungsverschiebung das Prinzip der Accountability untergraben.
  • Die diesen Algorithmen zugrundeliegenden Parameter werden, wie gesagt, direkt oder indirekt auch durch die Behandlungskosten mitbestimmt. Insofern führen politische Entscheidungen über medizinische Kostendeckel zwangsläufig zu Parameteränderungen, die darüber bestimmen, wieviele Menschen letztlich von Triage-Entscheidungen betroffen sind und früher sterben werden, auch, wenn das nicht beabsichtigt war.
  • Neben den Behandlungskosten spielen aber auch Daten zur gesundheitlichen Verfassung einer Person eine Rolle, die zum Teil durch Verhalten, Arbeit und Umwelt, zum Teil aber auch genetisch bedingt sind. Daher ist im Ergebnis zu erwarten, dass die Kombination von Kostenoptimierung und daten-basierter, algorithmen-gestützter Medizin verstärkt zu eugenischen Selektions-Effekten führt.
  • Mit COVID-19 drohen (teil-)automatisierte Verfahren für Sterbeentscheidungen in den Klinikalltag einzuziehen, womit Triage-Maßnahmen nicht mehr auf Kriegs- und Katastrophenfälle beschränkt wären, sondern zum Normalfall zu werden drohen. Durch die zunehmende Automatisierung der Prozesse entziehen sie sich dann zunehmend menschlichen Entscheidungen. In einer nicht nachhaltigen, „überbevölkerten“ Welt, ist zu befürchten, dass dies langfristig nicht gut ausgehen wird.
  • In einigen europäischen Ländern werden Triage-Entscheidungen offenbar bereits seit einigen Jahren zur Optimierung der Krankenhauslogistik und „zur Verbesserung des Patientenflusses“ getroffen. Es ist daher zu befürchten, dass in der medizinischen Praxis geltendes Recht schon seit geraumer Zeit nicht immer korrekt angewandt wird.

Mit Covid-19 ist die mangelnde Nachhaltigkeit unserer Gesellschaft auch in Europa zu einer Frage von Leben und Tod geworden. Die Umorganisation zu einer nachhaltigen Gesellschaft ist damit ein vordringliches politisches Problem, wofür zahlreiche umsetzbare Vorschläge vorliegen.[7] Wir glauben allerdings, dass Triage-Entscheidungen nicht zu einem selbstverständlichen Bestandteil des gesellschaftlichen Lösungs-Arsenals werden dürfen. Hoch problematische Methoden, wie sie sonst nur im Kriegs- und Katastrophenzustand Einsatz finden, dürfen nicht zu einem „new Normal“ werden. Sie sind insbesondere keine akzeptable Lösung für das Problem der globalen Überbevölkerung.

Wir haben oben erläutert, warum im heutigen Gesundheitssystem unerwünschte genetische und soziale Selektionseffekte zu erwarten sind, die durch technische Innovationen weiter verstärkt zu werden drohen. Um diese zu minimieren schlagen wir vor, dass medizinische Einrichtungen regelmäßig statistische Auswertungen über etwaige genetischen oder soziale Selektionseffekte erstellen sollten. Es besteht sonst die akute Gefahr, dass jene Menschen, die medizinische Unterstützung und gesellschaftliche Solidarität am Nötigsten hätten, von einem daten-getriebenen System, wie es sich heute abzeichnet, besonders benachteiligt werden.

Unserer Einschätzung nach erfüllen die derzeitigen daten-basierten Ansätze die verfassungsrechtlichen Anforderungen (Gleichheitsgrundsatz, Selbstbestimmung, Recht auf Leben), Wissenschaftlichkeit (angesichts der Sensitivität der Verfahren) und politische Ziele (wie Gerechtigkeit) heute nur unzureichend. Der Einsatz von Künstlicher Intelligenz und anderen digitalen Innovationen sollte aber so erfolgen, dass er fair ist. Andernfalls ist zu befürchten, dass der demokratische Gleichheitsgrundsatz zunehmend von diskriminierenden Scoring-Systemen ersetzt wird, was letzten Endes zu einer fundamental anderen Gesellschaft führen würde.

Obwohl verfassungsgemäße und faire daten-gestützte Methoden denkbar wären, scheinen die derzeit verwendeten Verfahren diesen Anforderungen nicht immer zu genügen. Nimmt man den Gleichheitsgrundsatz ernst, demzufolge kein menschliches Leben mehr als ein anderes zählen darf, dann müssten die Segnungen der modernen Medizin allen Menschen gleichermaßen zu Gute kommen. Dieses Fairnessgebot impliziert, dass gesundheitlich benachteiligte Menschen mit einer kürzeren Lebenserwartung pro Lebensjahr auch in Zukunft eine höhere Unterstützung erwarten dürfen. Das erfordert jedoch eine andere Nutzung daten-gestützter Methoden.

Statt dem oben beschriebenen System wäre beispielsweise ein Gesundheits- und Sozialsystem denkbar, in dem jeder Mensch eine bestimmte Anzahl von „Vouchern“ bekommt. Diese könnte man zum Einsatz bringen, wenn um es Entscheidungen geht, die für das eigene Leben individuell besonders wichtig sind. Insbesondere könnten sie genutzt werden, um algorithmen-basierte Entscheidungen zu „übertrumpfen“. Damit würde vermieden, dass Menschen zum Objekt von Algorithmen-Entscheidungen werden, und es entstünden neue Entscheidungsfreiräume im Sinne der Menschenwürde.

Im Laufe eines Lebens nicht genutzte Voucher (und die damit verfügbar werdenden Ressourcen) könnten zusätzlich für Personen eingesetzt werden, die besonders hilfsbedürftig sind. Dies soll nur ein Beispiel dafür sein, dass auch in einer Welt mit Ressourcen-Knappheiten individuelle Selbstbestimmung und soziale Verantwortung realisierbar sind, die in einem scheinbar optimalen, daten-getriebenen Gesundheitssystem heute wenig Platz haben.

Engpässe im Gesundheitssystem sind weder Naturgesetz noch gottgegeben, sondern ein menschengemachtes systemisches Problem. Da es hier um Leben und Tod und um fundamentalste Grundrechte geht, handelt es sich um eine zentrale, vielleicht sogar die Wichtigste aller politischen Fragen im Zusammenhang mit der digitalen Gesellschaft. Will die Politik ihrer Aufgabe gerecht werden und ihre Legitimität sicherstellen, muss sie solchen Fragen wesentlich mehr Platz einräumen. Wir sind zuversichtlich, dass eine breite gesellschaftliche Diskussion dieser Fragen zu den Einsichten, Lösungen und systemischen Veränderungen führen wird, die in einer lebenswerteren Gesellschaft und besseren Zukunft resultieren, wie wir sie uns alle wünschen.

Dirk Helbing ist Professor für Computational Social Science am Department Geistes-, Sozial- und Staatswissenschaften der ETH Zürich und am Department of Computer Science assoziiert. Seine aktuellen Studien diskutieren global vernetzte Risiken und die digitale Gesellschaft. An der TU Delft leitet er das Doktorandenprogramm "Engineering Social Technologies for a Responsible Digital Future". Er ist zudem gewähltes Mitglied der Deutschen Akademie der Wissenschaften „Leopoldina“.

Thomas Beschorner ist Professor für Wirtschaftsethik und Direktor des Instituts für Wirtschaftsethik der Universität St.Gallen. Zu seinen Arbeitsfeldern zählen vielfältige Fragenstellungen im Bereich der Unternehmensverantwortung und im Bereich einer Ethik der Digitalisierung.

Bruno Frey ist Ökonom und Ständiger Gastprofessor an der Universität Basel, wo er das Center for Research in Economics and Well-Being (CREW) leitet. Er ist außerdem Forschungsdirektor des Centers for Research in Economics, Management and the Arts (CREMA).

Andreas Diekmann ist Seniorprofessor an der Universität Leipzig und Emeritus der ETH Zürich. Er lehrt an den Universitäten Leipzig und Zürich und befasst sich in seinen empirischen Forschungen mit digitalen Märkten und experimentellen Studien zur sozialen Kooperation. Auch er ist Mitglied der „Leopoldina“.

Thilo Hagendorff ist Post-Doc im Exzellenzcluster „Machine Learning“ sowie Projektleiter am Internationalen Zentrum für Ethik in den Wissenschaften an der Universität Tübingen. Sein Forschungsschwerpunkt liegt in der KI-Ethik.

Peter Seele arbeitet als Professor für Wirtschaftsethik an der Universität der italienischen Schweiz, USI Lugano. Seine Forschungsschwerpunkte sind Greenwashing, Maschinewashing, und die Maschinisierung von Mensch und Gesellschaft.

Sarah Spiekermann leitet das Institut für Wirtschaftsinformatik und Gesellschaft an der Wirtschaftsuniversität Wien. Sie ist als Buchautorin zur digitalen Ethik bekannt und als Expertin zu den Themen digitale Privatsphäre, Überwachungskapitalismus und Wertephilosphie. Überdies ist sie Vizevorsitzende des IEEE P7000 Standards, der einen Prozess für ethisches Systemdesign definiert.

Jeroen van den Hoven ist Ethik-Professor an der TU Delft, wo er am Thema „werte-sensitives Design“ arbeitet. Er sitzt in verschiedenen hochkarätigen Ethikgremien und ist Chef-Herausgeber des Journal of Ethics and Information Technology. Seine Kompetenz in schwierigen ethischen Sachfragen ist vielerorts geschätzt.

Andrej Zwitter ist Professor für Governance and Innovation und Wissenschaftlicher Direktor des Cyan Centre on Climate Change Adaptation sowie Dekan der Fakultät Campus Fryslan der Universität Groningen. Er ist Experte im Bereich Technology Governance und ist für seine Publikationen zu digitaler Ethik und Notstandsrecht bekannt.

[1] Dieses Policy Paper wurde am 6. Mai 2021 durch die ZEIT Online in einem Artikel gefeatured:


[2] https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/International/Deklaration_von_Genf_DE_2017.pdf

[3] https://daserste.ndr.de/panorama/archiv/2017/Der-Todesalgorithmus-Computer-berechnet-Lebenserwartung,todesalgorithmus112.html

[4] Insbesondere variiert die mittlere Lebenserwartung in verschiedenen Ländern beträchtlich. Wird ein solcher Algorithmus also mit internationalen Daten gefüttert, besteht die Gefahr lebensverkürzender Entscheidungen in Ländern mit einer eigentlich überdurchschnittlichen Qualität des Gesundheitssystems.

[5] https://www.tagesanzeiger.ch/wo-man-versichert-ist-kann-ueber-leben-oder-tod-entscheiden-752186910381

[6] Nicht selten kommt es vor, dass ethnische, soziale, genetische und Verhaltens-Faktoren miteinander korrelieren.

[7] Insbesondere wurden von den Unterstützern dieses Textes selber zahlreiche innovative Lösungsansätze vorgeschlagen.

Sunday, 4 April 2021

Todesalgorithmen und andere Erfindungen im digitalen Zeitalter


Die digitale Revolution würde unsere ganze Gesellschaft umwälzen – das ahnten wir ja schon. Aber wird sie auch eine lebenswerte Zukunft schaffen? Diese bange Frage wird immer drängender in dieser Corona-Zeit, in der die digitale Überwachung immer invasiver wird und Algorithmen über Leben und Tod entscheiden. Kommt jetzt wirklich bald das digitale Paradies, oder haben wir uns verirrt? Sind wir womöglich gar in eine Dystopie geraten? Was können wir tun?

Wir leben in einer Welt, in der wir an den Fortschritt glauben. Nirgendwo sind wir in den letzten Jahren so begeistert vorangestürmt wie bei der Digitalisierung. Schon zum Greifen nah schien das digitale Paradies, in dem Algorithmen-gesteuert alles von selber läuft, von der Produktion bis zum selbstfahrenden Auto; in dem automatisch Milch und Honig fließen (dank Internet-of-Things-Kühlschrank); in dem personalisierte Urlaubsangebote mit einem Klick gebucht werden können; in dem „Alexa“ unser Leben erleichtert; in dem das perfekte Liebesdate lockt – dank Dating-App; in dem Krankheiten eliminiert werden sollen und Körper technisch aufgerüstet. Vielleicht würden wir bald ewig leben, so hoffte mancher schon. Doch dann kam Corona...

Im Grund wusste man, dass irgendwann wieder eine Pandemie um die Welt gehen würde – und mit einer gewissen Chance würde es eine Lungenkrankheit sein. Die Datenschutzgesetze und Menschenrechte waren ebenfalls keine Überraschung. Dennoch war man schockierend schlecht vorbereitet. Wochenlang gab es Lieferengpässe – sogar bei Desinfektionsmitteln und Masken. Mehrfach mussten Krankenstatistiken und wichtige Indikatoren korrigiert werden. Messergebnisse waren unzuverlässig, nicht einmal repräsentativ. Prognosen führten in die Irre. Menschen starben massenweise – oftmals an Triage. Zahlreiche Unternehmen lagen am Boden. Viele Selbständige verzweifelten. Politiker wussten nicht mehr ein noch aus.

Indessen überschlugen sich Unternehmer flugs mit innovativen Vorschlägen: elektronische IDs[1] und Immunitätsausweise[2] standen bereit. Klaus Schwab wollte gleich den „Great Reset“ mit dem World Economic Forum.[3] Auch ein „Internet of Bodies“ stand zur Debatte.[4] Man könnte doch am besten gleich den Gesundheitszustand im Körper ausmessen und automatisch weiterfunken.[5] Keiner der Vorschläge schien so richtig mit dem Grundgesetz vereinbar. Gut fanden sie vor allem die Unternehmen, die auf spektakuläre Gewinne hofften – doch oft genug scheiterten sie an der gesellschaftlichen Realität.

Hat die Digitalisierung sich verlaufen? Zeit für eine Zwischenbilanz! Lange Zeit waren wir mit der Plattform-Ökonomie zufrieden. Sie lieferte uns bequeme und zeitsparende Lösungen. Doch sie läuft nicht mehr rund. Kartell-Verfahren beklagen schwere Marktverzerrungen.[6] Demokratische Wahlen wurden im großen Stil manipuliert.[7] Die Digitalisierung schaffte ein neues Präkariat.[8] Soziale Medien förderten Hate Speech. Fake News wurden zur globalen digitalen Seuche – vielleicht nicht weniger gefährlich als Corona. Kurzum, das Vertrauen ins daten-getriebene Zeitalter hatte beträchtlich gelitten. Und das hat seine Gründe.

Eine nachhaltige Wirtschaft? Fehlanzeige! Demokratieplattformen? Nicht vorhanden! Digitale Katastrophen-Assistenten. Eile mit Weile! Apps für umweltfreundlichen Konsum? In Arbeit! Partizipative Gesundheitsplattformen? Nicht erwünscht! Mein Urteil mag vielleicht zu harsch sein, aber die Hauptentwicklungen der Digitalisierung lagen sicher woanders.

Oftmals hörte man das Credo: „Die Demokratie ist eine veraltete Technologie.“ Peter Thiel sorgte sich vor allem darum, den Kapitalismus sicher vor der Politik zu machen.[9] Facebook’s Motto war gleich: „Move fast and break things.“[10] Derweil machten sich Elon Musk, Apple-Mitbegründer Steve Wozniak, und sogar Bill Gates Sorgen um die Folgen von Superintelligenz.[11] Man hielt ihnen entgegen, man könne der KI ja jederzeit den Stecker ziehen. Doch stattdessen zog man den Stecker bei den COVID-19-Patienten.

Derweil ist der Zustand der Demokratien ebenfalls kritisch. Ehemalige Datenschützer[12] warnen genauso wie ehemalige Bundesrats-[13] und Verfassungsgerichtspräsidenten.[14] Ihr Bücher kommen gegen die Aufmerksamkeitsökonomie nicht an. Die anonyme demokratische Wahl – wurde mit Big Data gehackt. Nicht nur schaut man virtuell gewissermaßen heimlich in die Wahlkabine.[15] Auch werden die Entscheidungen mit personalisierten Informationen gezielt manipuliert.[16] Diese Art der Rattenfängerei höhlt das „one person one vote“ Prinzip aus. Wer mehr Werbedollar investiert, kann mehr Menschen den Kopf verdrehen. Die Dokumentation „The Great Hack“[17] haben Sie vielleicht gesehen. Ehemalige Cambridge-Analytica-Angestellte sprechen von Mindf*ck[18] und von Datendiktatur.[19]

Profiling, Targeting, Scoring...  

Die gängigen Methoden des Überwachungskapitalismus sind das „Profiling“ (d.h. die Erstellung digitaler Dossiers) und das „Targeting“ (die gezielte Manipulation). Im Rahmen des personalisierten „Neuromarketing“[20] – auch „Big Nudging“[21] genannt – werden diese vielfach zu Werbezwecken eingesetzt. Sie sind aber auch Bestandteil des täglich tobenden globalen Informations- und Propaganda-Krieges,[22] weswegen wir wohl die Fake News Plage haben. Zur Begegnung dieses Problems greifen auch bei uns Zensurmethoden zunehmend um sich.[23]

Ein weiteres Prinzip ist das „Scoring“.[24] Im Zusammenhang mit China’s „Social Credit Score“ wurde die Methode als totalitäres Kontrollinstrument des Staates berühmt-berüchtigt.[25] Indessen untergraben Scoring-Methoden (wie der „Customer Lifetime Value“) auch im Westen die Menschenwürde. Scores werden genutzt, um Business-Prozesse zu optimieren. Doch dadurch werden Menschen wie Dinge verwaltet. Darüber hinaus wird Diskriminierung zum Geschäftsprinzip. Nicht nur bekommen wir für die gleiche Leistung unterschiedliche, „personalisierte“ Preise in Rechnung gestellt. Wir bekommen auch andere Angebote angezeigt. Vielleicht werden Ihnen bestimmte Produkte und Services gleich ganz vorenthalten. Ihre und meine digital „kuratierte“ Welt unterscheiden sich massiv. Im Einzelnen haben wir leider keine Ahnung wie. Auch wissen wir nicht, welche „sozialen Ingenieure“ für die Verhaltens- und Gesellschaftssteuerung[26] verantwortlich sind. Man darf bezweifeln, ob sie immer qualifiziert und legitimiert sind. Ist womöglich gar der Nürnberger Kodex[27] tangiert?

Lawrence Lessig warnte uns noch, indem er sagte: „Code is law“.[28] Algorithmen bestimmen immer mehr, was geht und was nicht – ganz am Parlament vorbei. Nicht nur die Demokratie ist weitgehend Makulatur geworden, dank digitaler Revolution. Das Gleiche gilt auch für den Rechtsstaat. „Predictive Policing“-Methoden[29] machen das Prinzip Unschuldsvermutung null und nichtig. Ihr zufolge hätte als unschuldig zu gelten und wäre vor willkürlichem Zugriff zu schützen, wer nicht aufgrund von rechtsstaatlich erlangten Beweisen angeklagt und in einem öffentlichen, fairen Prozess schuldig gesprochen wurde. Doch spätestens seit dem „Karma Police“ Programm des britischen Geheimdienstes GCHQ[30] werden wir Bürgerinnen und Bürger ausnahmslos durchleuchtet – nicht nur auf mögliche Rechtsverletzungen, sondern auch auf ihre Gesinnung, Geschmack und Persönlichkeit. Wurde hier illegal eine Art digitales Jüngstes Gericht installiert? Und fällt es neuerdings auch Todesurteile?

Zunehmend ist von algorithmen-basierten Sterbe-Entscheidungen[31] und Todesalgorithmen[32] die Rede. Sie werden jetzt vielleicht denken, die schrecklichen Triage-Entscheidungen der jüngsten Zeit hätten mit Covid-19 zu tun, nicht mit der Digitalisierung. Doch vermutlich liegen Sie da falsch. Denn die Diskussionen um mangelnde Nachhaltigkeit, Überbevölkerung und Populationskontrolle begannen schon vorher.[33]

Noch vor fünf Jahren warnte die FAZ:[34] „Big Data ist Big Business. Die Sammlung und die Verknüpfung von Informationen über Menschen im Netz bringen Milliarden ein. Und die Methoden werden immer abgefeimter und perfekter. Es ist Zeit, dagegen vorzugehen.“ Nun aber wird eine daten-getriebene Methode zur Echtzeit-Prognose der Covid19-Mortalität vorgeschlagen, abgestützt auf eine Gesundheitsdatenbank[35] – das elektronische Patientendossier lässt grüßen. So können Prognosen zu Lebenserwartungen in algorithmen-basierte Entscheidungen über Leben und Tod übersetzt werden.[36] Insbesondere lässt sich das System für Triage-Entscheidungen verwenden.

Bereits 2020 war in „MIT Technology Review“ von einem Triage-Tool zu lesen, das wohl noch lange im Einsatz sein würde.[37] Auch die Organisation von Triage-Entscheidungen ist algorithmisch codifiziert.[38] In Übereinstimmung mit der Verfassung ist das alles wohl nicht. Doch den Rechtsstaat kümmert der „Todschlag durch Unterlassen“ bisher wenig. Hat man überhaupt schon begriffen, was da gerade passiert?[39]

Trolley-Problem: Das kleinere Übel?

In jüngster Zeit stützte sich die Triage-Debatte oftmals auf das „Trolley-Problem“ ab.[40] Hier geht es um die Frage, wer sterben muss, wenn nicht alle leben können.[41] Die Debatte wurde im Zusammenhang mit autonomen Fahrzeugen zum Megathema gehyped.[42] Vordergründig ging es darum, Menschenleben zu retten.[43] De facto jedoch wurde das verfassungsgemäße Prinzip, demzufolge jedes Menschenleben gleichwertig zu behandeln sei,[44] durch das Prinzip des „geringeren Übels“ ersetzt, das weder mit dem Gleichheitsprinzip noch mit dem Recht auf Leben vereinbar ist.[45]

Ehe man sich versah, hatten soziale Ingenieure eine unterschiedliche Wertigkeit des Lebens eingeführt, die man mit dem „Moral Machine Experiment“[46] flugs zu ermitteln versuchte. „Oma oder Obdachlosen überfahren?“ titelten Zeitungsartikel entsetzt über das makabre Experiment.[47] Damit zog das gnadenlose utilitaristische Nutzen-Denken vollends ins Gesundheitssystem ein, in dem einst die Menschenwürde im Vordergrund stehen sollte. Das Ziel individueller Gesundheit wurde durch das Ziel „gesellschaftlicher Gesundheit“ ersetzt. Und so werden heute Triage-Entscheidungen vielerorts nicht mehr nur in Kriegen und kriegsähnlichen Katastrophenlagen getroffen – sondern auch zur Optimierung von Patientenfluss und Krankenhauslogistik.[48] Inzwischen ist wieder von „Eugenik“ die Rede.[49]

Andere machten sich gar nicht erst die Mühe, mit Kostendeckeln, Kapazitätsengpässen oder Trolleyproblemen zu argumentieren. Sie sprachen gleich von computer-gestützter Euthanasie.[50] Denn genau darum schien es hier zu gehen: um Wege zur Reduktion der „Überbevölkerung“, wie sie in der Vergangenheit gefordert wurden. Doch wer solche Wege empfiehlt oder auch nur toleriert, dem muss klar sein, dass derzeit jährlich bis zu 80 Millionen Menschen zusätzlich sterben müssten, um die Weltbevölkerung konstant zu halten.[51] Das entspricht der Zahl der Opfer des 2. Weltkriegs und des Holocaust zusammen – jedes Jahr! Es wäre ein wahnsinniger Plan.

Dabei war es nur soweit gekommen, weil man die Natur vollkommen aus dem Gleichgewicht gebracht hatte. Anfang der 70er Jahre wurde klar, dass im 21. Jahrhundert mangels Nachhaltigkeit Umweltkatastrophen und Ressourcenknappheiten wahrscheinlich waren.[52] Dennoch exportierte man die ressourcenverschwendende Wirtschaftsweise der Industrienationen in die ganze Welt. Der Ressourcenverbrauch wuchs um ein Vielfaches. Sogar der Energieverbrauch pro Kopf stieg sprunghaft.[53] Mit dem Erdölverbrauch wuchs die Weltbevölkerung über Jahrzehnte proportional. Es war eigentlich klar, was zu tun war. Doch nun führten jene, die die Katastrophe auf den Weg gebracht hatten, ebendiese als Argument an, um ein Grundrecht nach dem anderen auszuhebeln.

Das „Prinzip des kleineren Übels“ führt schnell zu Willkür. Je schlimmer die Situation, desto weniger Regeln und Gesetze sind zu beachten. Das schafft Fehlanreize für die Mächtigen. So lässt sich alles aushebeln, was uns lieb und teuer ist – unsere Menschenrechte vor allem. Wo doch die Menschenwürde eigentlich ein ewiges und unveräußerliches Recht ist, das wir per Geburt erhalten. Es ist das fundamentalste Recht, das demokratische Politiker mit allen Mitteln verteidigen müssten. Geschieht das unzureichend oder nicht, verliert der Staat als solches Legitimität. Es ist an der Zeit, dass Wissenschaftler und Ingenieure, Politiker, Richter und Journalisten Farbe bekennen. Ansonsten droht uns die digitale Geburt eines autoritären oder gar totalitären Regimes, das Elemente von Feudalismus, Kommunismus und Faschismus daten-getrieben neu erfindet.

Die Parallelen zu früheren Zeiten sind kaum mehr zu leugnen. Viele heutige Gesellschaftsformen enthalten Elemente wie Planwirtschaft, Orwell’sche Massenüberwachung, unethische Experimente mit Menschen (ohne ihr vorheriges Einverständnis), social Engineering und Mind Control,[54] Propaganda und Zensur, Versuche der (Gesinnungs-)Gleichschaltung, staatliche Kontrolle oder Paternalismus, großflächiges Policing (mit Programmen wie PreCrime), Einführung unterschiedlicher Wertigkeit von Menschen, Infragestellung von Menschenrechten, Einführung verschiedener Rechte für verschiedene Bürger, je nach „Relevanz“, im schlimmsten Fall sogar Triage oder Euthanasie.

„Digitales Paradies“ oder Paradigmenwechsel?

Wir haben uns auf das „digitale Paradies“ gefreut. Doch jetzt diskutieren wir darüber, ob wenigstens Geimpfte aus dem Quasi-Hausarrest des Lockdowns irgendwann entlassen werden können. Wir sprechen über „Dichtestress“ und „systemrelevante Menschen“. Menschen, die sich dem System unterordnen, sollen Privilegien erhalten, so der Vorschlag. Für die anderen scheint kein Platz mehr in der Gesellschaft zu sein. Sie werden aussortiert. Das heißt jetzt wohl „new Normal“. Die einstigen Utopien sind in eine Dystopie umgeschlagen – einen Überwachungsalptraum, in dem Künstliche Intelligenz daten-getrieben über Menschen zunehmend bestimmt. Sie haben keine reale Chance mehr, mitzubestimmen oder sich zu wehren.

Wie konnte es nur soweit kommen? Steckt womöglich ein kapitaler Denkfehler dahinter?

Zunächst sollten wir die Idee hinterfragen, dass wir nun zu Maschinenmenschen („Cyborgs“) werden sollten, um am Ende Unsterblichkeit zu erreichen, indem wir unsere Hirninhalte und Persönlichkeit in die Cloud hochladen.[55] Gemäß ihrem „Glaubensbekenntnis“ muss ein Transhumanist unter anderem sein eigenes Leben über alles stellen und nach Omnipotenz streben.[56] Doch würden wir uns nun alle technisch aufrüsten, dann würden sich die Konflikte in der Welt nur weiter verschärfen. Für die meisten Menschen ginge das nicht gut aus. Einige glauben sogar, es könnte das Ende der Menschheit bedeuten.[57]

Während manche – wie Ray Kurzweil – davon träumen, dank Digitalisierung zu Göttern zu werden,[58] sind andere eher skeptisch. Steve Wozniak, Mitbegründer von Apple, etwa fragt:[59] „Werden wir wie Götter sein? Werden wir wie Haustieren sein? Oder werden wir wie Ameisen sein, die man achtlos zertritt?“ KI-Pionier Jürgen Schmidhuber glaubt an die Singularität und menschengemachte künstliche Superintelligenz. Für ihn werden Menschen einst wie Katzen sein.[60] Hört sich das wie eine bessere Zukunft an? Wollen wir das? Oder begehen wir da einen fatalen Fehler? Elon Musk zum Beispiel warnt: „Ich denke, hinsichtlich Künstlicher Intelligenz sollten wir äußerst vorsichtig sein. Wenn ich schätzen sollte, was unsere größte existenzielle Bedrohung ist, dann ist es wahrscheinlich das.“[61]

Wenn Sie mich fragen, braucht es dringend einen Paradigmenwechsel. Zunächst einmal sind Menschen keine biologischen Roboter. Wir sind nicht einfach nur rücksichtslose Optimierer, wie es uns oft suggeriert wird. Wir sind empathisch, haben ein soziales Gehirn. Das macht uns zu einer kooperativen Spezies – der wohl erfolgreichsten auf der Erde. Was unser Leben menschlich und lebenswert macht, das lässt sich schwer in Zahlen fassen: Menschenwürde, Bewusstsein, Liebe, Freiheit, Kreativität. In einer daten-getriebenen Gesellschaft droht das unter die Räder zu kommen. Denn alles, dessen Wert nicht in Zahlen beziffert werden kann oder wird, wird wegoptimiert.

Eine bessere Welt, aber wie?

Damit sind wir bei einem weiteren wichtigen Thema angekommen: der Optimierung der Welt. Dank Informationstechnologie haben Produktion und Logistik einen Effizienzrekord nach dem anderen gebrochen. Warum also sollten wir nicht gleich die ganze Welt optimieren? Nun, erstens, weil trotz aller Effizienzsteigerungen der Ressourcenverbrauch der Welt weiter explodiert ist. Das Nachhaltigkeitsproblem wurde also keineswegs entschärft – es vergrößerte sich sogar. Dennoch hat sich das utilitaristische Denken der Nutzenmaximierung weitestgehend durchgesetzt.

Man müsse nur alle externen Effekte unseres Handelns und Wirtschaftens in Dollar beziffern, dann würde schon alles gut, heißt es. Eine CO2-Steuer würde das Klimaproblem lösen. Auch der Mangel an Organen wäre so zu lösen – mit marktwirtschaftlichen Methoden. Da war es nur konsequent, dass in China Menschen – angeblich auch gegen ihren Willen – Organe entnommen wurden.[62] Betroffen waren vor allem die geringst-bewerteten Volksgruppen.

Gemäß dieser Logik würden nun nicht nur Organe, sondern auch alle Menschen einen Citizen Score zugeordnet bekommen, der ihren gesellschaftlichen Wert ausdrückte. Damit nahm eine Art apokalyptischer Endzeitkapitalismus seinen Lauf. Zahlen bestimmten jetzt, wer noch etwas vom Leben zu erwarten hatte und wer nicht[63] – ähnlich wie das schon zuvor im Nationalsozialismus der Fall war.[64]

Es ist irritierend, dass Optimierung anscheinend nicht zwangsläufig zu einer lebenswerteren Zukunft führt. Doch das hat seine Gründe. Denn Optimierung basiert auf einer Zielfunktion, und die ist letztlich eindimensional[65]. Dadurch drängt ein einziges Ziel alle anderen, inkompatiblen Ziele in den Hintergrund.

Optimieren Sie nur lange genug ein einziges Ziel, so wird die Vernachlässigung der anderen Ziele zu Problemen führen. Natürlich können Sie die Zielfunktion dann ändern (z.B. von der Maximierung von Profit zur Minimierung von CO2). Aber dennoch führt der Denkansatz zu einer Politik, die ständig damit beschäftigt ist, neue Brandherde zu löschen.

Die Natur funktioniert anders. Sie hat die ressourcenschonende Kreislaufwirtschaft bereits erfunden, die wir in unserem ökonomischen System verzweifelt zu schaffen versuchen. Sie erreichte das nicht durch Optimierung, sondern durch Ko-Evolution. An vielen Orten zugleich passieren mannigfaltige Verbesserungen (durch Mutation und Selektion – gewissermaßen durch Innovation). Und zahlreiche Feedback-Loops führen zu einem oft symbiotischen Zusammenwirken.

Nicht dass die Natur perfekt wäre, doch wir können noch viel von ihr lernen. Das Erfolgsrezept liegt in zahlreichen Synergie-Effekten.[66] Diese sind eine Frage der Netzwerkstrukturen und Interaktionen – also dessen, was sich zwischen Subjekten und Objekten abspielt. Häufig sind es also unsichtbare, immaterielle Beziehungen, die über das Ergebnis entscheiden. Passen die Interaktionen, dann resultieren Koordination und Kooperation, kollektive Intelligenz und Ordnung, häufig sogar durch Selbstorganisation.[67] Andernfalls resultieren Instabilität und Kaskadeneffekte, Chaos und Desaster.[68]

Die Digitalisierung gibt uns nun die Mittel an die Hand, das Ergebnis zu entscheiden.[69] Mit dem Internet der Dinge lassen sich multi-dimensionale, lokale Feedbacks etablieren, die für positive Interaktionen und Netzwerkeffekte sorgen. Stellen wir es geschickt an, dann braucht es dafür keine globale Massenüberwachung, Profiling, Targeting und Kontrolle. Digitalisierung, Demokratie, Menschenrechte, Nachhaltigkeit und Resilienz sind keine Widersprüche! Doch es braucht einen neuen Denkansatz, um sie gegenseitig zu versöhnen und zu verbessern.[70] Mit dem Konzept eines sozio-ökologischen Finanzsystems 4.0 haben wir den ersten Schritt getan.[71] Jetzt liegt es an uns allen, damit Frieden und Prosperität – und eine bessere Zukunft zu schaffen.[72] Technologischer Totalitarismus oder digitale Demokratie.[73] Sie haben die Wahl. Entscheiden Sie sich bitte! Jetzt.

[1] https://www.project-syndicate.org/commentary/digital-id-covid19-human-rights-surveillance-technology-by-dirk-helbing-and-peter-seele-2020-09
[2] https://www.dw.com/de/corona-pandemie-ethikrat-gegen-immunitätsausweis/a-55017210
[3] https://en.wikipedia.org/wiki/Great_Reset
[4] https://www.weforum.org/agenda/2020/06/internet-of-bodies-covid19-recovery-governance-health-data/
[5] https://www.rand.org/blog/articles/2020/10/the-internet-of-bodies-will-change-everything-for-better-or-worse.html
[6] https://www.wiwo.de/politik/europa/amazon-google-und-co-eu-nimmt-den-kampf-gegen-internetgiganten-auf/26609398.html
[7] https://www.faz.net/aktuell/feuilleton/medien/cambridge-analytica-manipulierte-waehler-weltweit-16568193.html
[8] https://www.derstandard.at/story/2000078786980/arbeitsforscherin-die-digitalisierung-kreiert-ein-neues-prekariat
[9] https://www.businessinsider.com/peter-thiel-is-trying-to-save-the-world-2016-12
[10] https://www.amazon.com/Move-Fast-Break-Things-Undermined/dp/0316275778
[11] https://observer.com/2015/08/stephen-hawking-elon-musk-and-bill-gates-warn-about-artificial-intelligence/
[12] https://www.aufbau-verlag.de/index.php/uberwachung-total.html
[13] https://www.faz.net/aktuell/politik/lammert-warnt-vor-einem-ausbluten-der-demokratie-15184290.html
[14] https://www.nzz.ch/international/hans-juergen-papier-warnt-vor-aushoehlung-der-grundrechte-ld.1582544
[15] https://www.silicon.de/41575201/obama-wahlsieg-dank-big-data-und-analytics
[16] https://www.extremetech.com/extreme/245014-meet-sneaky-facebook-powered-propaganda-ai-might-just-know-better-know
[17] https://en.wikipedia.org/wiki/The_Great_Hack
[18] https://www.penguinrandomhouse.com/books/604375/mindfck-by-christopher-wylie/
[19] https://www.harpercollins.de/products/die-datendiktatur-wie-wahlen-manipuliert-werden-9783959673907
[20] https://en.wikipedia.org/wiki/Neuromarketing
[21] https://www.spektrum.de/kolumne/big-nudging-zur-problemloesung-wenig-geeignet/1375930
[22] https://www.droemer-knaur.de/buch/yvonne-hofstetter-der-unsichtbare-krieg-9783426277867
[23] https://nzzas.nzz.ch/kultur/social-media-sind-die-neue-globale-zensurbehoerde-ld.1528410
[24] https://www.pcwelt.de/ratgeber/Superscoring-Wie-wertvoll-sind-Sie-fuer-die-Gesellschaft-10633488.html
[25] https://www.economist.com/briefing/2016/12/17/china-invents-the-digital-totalitarian-state
[26] https://www.leopoldina.org/politikberatung/wissenschaftliche-kommissionen/digitalisierte-gesellschaft/bessere-menschen-durch-digitale-technologien/
[27] https://de.wikipedia.org/wiki/Nürnberger_Kodex
[28] https://www.basicbooks.com/titles/lawrence-lessig/code/9780786721962/
[29] https://www.republik.ch/2020/12/11/die-polizei-weiss-was-sie-morgen-vielleicht-tun-werden
[30] https://theintercept.com/2015/09/25/gchq-radio-porn-spies-track-web-users-online-identities/
[31] https://www.project-syndicate.org/commentary/artificial-intelligence-resilience-covid19-climate-change-by-dirk-helbing-and-peter-seele-2020-11
[32] http://www.passagen.at/cms/index.php?id=62&isbn=9783709204177
[33] https://www.bloomberg.com/news/articles/2019-11-05/scientists-call-for-population-control-in-mass-climate-alarm
[34] http://people.tuebingen.mpg.de/bs/faz-monopol-auf-daten.pdf
[35] https://www.nature.com/articles/s41467-020-20816-7
[36] https://daserste.ndr.de/panorama/archiv/2017/Der-Todesalgorithmus-Computer-berechnet-Lebenserwartung,todesalgorithmus112.html
[37] https://www.technologyreview.com/2020/04/23/1000410/ai-triage-covid-19-patients-health-care/
[38] https://orbit.dtu.dk/en/publications/modelling-the-social-practices-of-an-emergency-room-to-ensure-sta
[39] http://futurict.blogspot.com/2021/01/es-geht-um-ihr-leben-warum-wir-eine.html, http://futurict.blogspot.com/2021/02/es-geht-um-ihr-leben-warum-wir-eine.html
[40] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6642460/
[41] https://de.wikipedia.org/wiki/Trolley-Problem
[42] https://www.zeit.de/kultur/2017-09/kuenstliche-intelligenz-algorithmus-spam-autonomes-fahren
[43] https://www.researchgate.net/publication/319205931_An_Extension_of_Asimov%27s_Robotics_Laws
[44] https://www.bmvi.de/SharedDocs/DE/Publikationen/DG/bericht-der-ethik-kommission.pdf
[45] https://www.nzz.ch/meinung/ethisch-sterben-die-gefahr-der-moralischen-entgleisung-ld.1542682
[46] https://www.nature.com/articles/s41586-018-0637-6
[47] https://www.finanzen100.de/finanznachrichten/wirtschaft/ethische-probleme-im-auto-oma-oder-obdachlosen-ueberfahren-makabrer-mit-test-zeigt-dilemma-selbstfahrender-autos_H439792768_308609/
[49] https://www.tagesanzeiger.ch/ist-es-eugenik-482375266020
[50] https://www.bol.com/nl/f/computermodel-voor-ondersteunen-van-euthanasiebeslissingen/37129233/
[51] Schätzung auf der Basis der Geburts- und Todeszahlen bei https://www.worldometers.info
[52] https://en.wikipedia.org/wiki/The_Limits_to_Growth
[53] https://www.e-education.psu.edu/earth104/node/1347
[54] https://www.youtube.com/watch?v=C74amJRp730
[55] https://www.derstandard.de/story/2000076111193/start-up-will-gehirn-in-die-cloud-laden-nebenwirkung-tod
[56] https://en.wikipedia.org/wiki/The_Transhumanist_Wager
[57] https://www.watson.ch/digital/wissen/533419807-kuenstliche-intelligenz-immenses-potential-und-noch-groesseres-risiko
[58] https://www.huffpost.com/entry/ray-kurzweil-nanobots-brain-godlike_n_560555a0e4b0af3706dbe1e2
[59] https://www.computerworld.com/article/2901679/steve-wozniak-on-ai-will-we-be-pets-or-mere-ants-to-be-squashed-our-robot-overlords.html
[60] https://www.faz.net/aktuell/feuilleton/debatten/kuenstliche-intelligenz-maschinen-ueberwinden-die-menschheit-15309705.html
[61] https://www.theguardian.com/technology/2014/oct/27/elon-musk-artificial-intelligence-ai-biggest-existential-threat
[62] https://www.businessinsider.de/politik/china-entnimmt-uigurischer-minderheit-gegen-willen-organe-09-2019/
[63] https://www.amazon.com/iGod-Willemijn-Dicke/dp/1544271573/
[64] https://youtu.be/fdloeMNZs7k
[65] (auch wenn man mit einem Index arbeitet, der mehrere Funktionen gewichtet)
[66] https://www.springer.com/de/book/9783662101872
[67] https://www.springer.com/gp/book/9783642240034
[68] https://www.nature.com/articles/nature12047
[69] https://patents.google.com/patent/US20160350685A1/en
[70] https://www.springer.com/gp/book/9783030623296
[71] https://www.springer.com/gp/book/9783030713997, in parts available here: http://ebook.finfour.net
[72] https://link.springer.com/article/10.14441/eier.D2013002
[73] https://www.researchgate.net/publication/348917283_Digital_Democracy_How_to_make_it_work

Wednesday, 17 February 2021

Es geht um Ihr Leben! Warum wir eine neue Gesellschaft brauchen. TEIL 2


Teil 1

Teil 2

Teil 3

Teil 4

TEIL 2 [1]

Wenn wir davon sprechen, dass die Wirtschaft nicht nachhaltig ist, dann bedeutet es vor allem das: es geht um Leben und Tod. Besonders in dieser Corona-erfüllten Zeit macht sich Endzeitstimmung breit. Vielerorts liest man von Triage. Krankenhaus-Betten werden knapp. Es könne nicht jeder gerettet werden, heißt es. Für manche bedeutet das ein Todesurteil.

... Würden jetzt also Algorithmen entscheiden, wann unsere Zeit abgelaufen war, um das Problem der „Überbevölkerung“ zu lösen? Schwebte ein Damoklesschwert über uns, ohne dass wir es ahnten?

Um das herauszufinden fühlte ich mehreren Leuten auf den Zahn. Leuten, die es wissen mussten...

Am 13. August 2017, nach einer Diskussionsveranstaltung, schrieb ich eine zusammenfassende Email:

„Lieber ...

ich habe es am 11.8. aus berufenem Munde verifiziert bekommen:

[Ein wissenschaftlicher Referent einer Bundesbehörde] „bestaetigte die Zahl, dass durch die mangelnde Nachhaltigkeit 3 Milliarden Menschen fruehzeitig eines unnatuerlichen Todes sterben koennten.“

[Ein Professor, der die Bundesregierung beriet, merkte an] „die gesetzlichen und ethischen Vorgaben koenne man in Zukunft nicht mehr vollstaendig erfuellen. Er meinte, die kommenden Herausforderungen liessen sich nicht ohne Zwangsmassnahmen loesen. ...“

Solche Äußerungen musste man leider ernst nehmen!

Am 18. Januar 2019 interviewte mich ein wissenschaftlicher Mitarbeiter für die Studie einer Umweltbehörde. Als ich erwähnte, dass es bei den Nachhaltigkeits-Herausforderungen für viele Menschen um Leben und Tod ginge, rief er aus: „Ja, genau!“ Mit einer so emotionalen Reaktion hatte ich gar nicht gerechnet.

Wie konnten es Politik und Wirtschaft nur so schrecklich vermasselt haben? Die vielleicht schockierendste Begegnung hatte ich mit einem der weltweit führenden Roboterexperten und Roboterethiker. In dem Treffen am 5. Mai 2018 ging es um die Zukunftsprobleme der Menschheit und wie mit ihnen umzugehen sei. Der Professor versuchte mich mit seinem umfangreichen Wissen zu beeindrucken, bis ich sagte, ich hätte leider wenig Zeit. Er erklärte mir das Prinzip der Triage,[2] das im Krieg und in Katastrophensituationen angewandt wird. Demzufolge werden die Opfer in drei Klassen eingeteilt: in die hoffnungslosen Fälle, um die man sich mangels Ressourcen nicht kümmern konnte, die Fälle, die dringende Hilfe brauchten und bei denen Rettungsmassnahmen erfolgversprechend waren, und eine dritte Klasse, die an die Reihe kommt, wenn die priorisierten Fälle versorgt waren und Kapazität für sie verfügbar wurde. Unter Umständen bekamen Letztere also Hilfe, aber möglicherweise auch nicht, doch vielleicht würden sie auch ohne Hilfe überleben.

Diese Kriegs- und Effizienzlogik wurde nun offenbar der Planung unserer zukünftigen Zivil-Gesellschaft zugrunde gelegt! Es wurden also Leute ausgesiebt, für die es keine Hoffnung geben würde. Andere wurden „auserwählt“ und bekamen eine Vorzugsbehandlung. Und dann gab es noch jene, die sich vielleicht noch irgendwie am Leben halten könnten.

Diese Hölle sollte die Zukunft unserer Gesellschaft sein? Das nannte sich Fortschritt? Nein, Danke! Ich protestierte und sagte, dass ich es nicht in Ordnung fände, dass man uns über die Lage nicht informierte. Denn so könnten wir auch keine Maßnahmen treffen, uns selber und uns gegenseitig zu helfen. Wenn man etwa in die dritte Gruppe einsortiert würde, in der man irgendwann vielleicht Hilfe bekäme oder auch nicht, sei es nicht in Ordnung zu sagen, es werde schon alles gut werden. Denn in ein paar Stunden könne es dafür zu spät sein. Wenn man hingegen gesagt bekäme, dass wahrscheinlich keine Hilfe zu erwarten sei, so könne man Freunde anrufen, und diese könnten vielleicht zur Hilfe kommen oder zumindest Hilfe organisieren. Und damit helfen, die Krise zu bewältigen – durch gegenseitige Unterstützung und Solidarität.

Das Meeting endete mit dem Ergebnis, dass dann wohl eine „Disruption for Good“ nötig sei. Das heutige Wirtschaftssystem, das unsere Gesellschaft mit Karacho auf den Abgrund zutrieb, müsste durch etwas Besseres ersetzt werden, das die Überlebenschancen der Menschen erhöhte. Es sei nicht genug, einen Teil der Menschen einfach auszusortieren. Eine solche militärische Logik sei einer modernen Gesellschaft nicht angemessen. Es sei Aufgabe der Politik, Krisensituationen zu verhindern und, soweit das nicht möglich war, sie so gut wie möglich abzumildern.

Kurz zuvor hatten Kollegen und ich ein Paper zum „Trolley Problem“[3] geschrieben, das zufällig durch eine Diskussion während unseres Team Retreats angestoßen wurde. Der Beitrag trug den Titel „An Extension of Asimov’s Robotic Laws“.[4]

Wer Science Fiction Fan ist, weiss, dass der Physiker Isaac Asimov schon über Roboter philosophiert und im Kriegsjahr 1942 (!) mehrere Grundprinzipien für den Umgang von Robotern mit Menschen aufgestellt hatte:

1.    Ein Roboter darf die Menschheit nicht schädigen oder durch         Passivität zulassen, dass die Menschheit zu Schaden kommt. 

2.    Ein Roboter darf keinen Menschen verletzen oder durch Untätigkeit zu Schaden kommen lassen, außer er verstieße damit gegen das vorige Gesetz.

3.    Ein Roboter muss den Befehlen der Menschen gehorchen – es sei denn, solche Befehle stehen im Widerspruch zu den vorhergehenden Gesetzen.

4.    Ein Roboter muss seine eigene Existenz schützen, solange sein Handeln nicht den ersten drei Gesetzen widerspricht.

Mit Blick auf das ethische Dilemma des „Trolley Problems“ sollten diesen Regeln zwei weitere hinzugefügt werden, argumentierten wir:

5.    Menschen und Roboter müssen alles dafür tun, damit das Auftreten von ethischen Dilemmas minimiert wird. 

6.    Falls die Regeln (1)-(4) zu ethischen Dilemmas führen und diese nicht vermieden werden können, wie es Regel (5) verlangt, dann sollten allen Menschen die gleichen Chancen zukommen und Entscheidungen erforderlichenfalls nach einem Zufallsprinzip getroffen werden.

Natürlich wollten wir damit nicht sagen, dass Menschen jetzt nach dem Zufallsprinzip getötet werden sollten. Vielmehr sollten die Chancen und Risiken fair auf alle verteilt werden, damit wir alle einen Anreiz hätten, das Auftreten ethischer Dilemmas und das Sterberisiko zu reduzieren. Falls es Künstlicher Intelligenz (KI) nicht möglich wäre, alle Wünsche gleichzeitig zu erfüllen, falls also trotz aller Bemühungen, Regeln (1)-(5) zu erfüllen, ethische Dilemmas bzw. Ressourcen- oder Zielkonflikte unvermeidbar wären, dann sollte das Prinzip der Chancengleichheit angewandt werden. Sie können sich das vielleicht so vorstellen, dass wir im Leben 100 Joker hätten, die wir dann zum Einsatz bringen könnten, wenn uns Hilfe besonders wichtig wäre.

Der oben formulierte Ansatz verbietet es jedenfalls, Umstände zu schaffen – oder durch Untätigkeit entstehen zu lassen – die ein ethisches Dilemma erzeugen. Denn solche Umstände könnten dann – im Sinne des „geringeren Übels“ – Dinge legitim erscheinen lassen, die unter normalen Umständen absolut verboten sind. Ließe man ethische Dilemmas als Entschuldigung zu, so könnte am Ende auch die Beseitigung von Demokratie und Menschenrechten als geringeres Übel gelten. Es könnte sogar unter extremen Umständen legitim erscheinen, Zivilpersonen gezielt zu töten, obwohl das eigentlich streng verboten ist – selbst nach dem Kriegsrecht!


Als ich unser Paper zum Trolley-Problem dem früheren CEO eines weithin bekannten IT-Unternehmens aus dem Silicon Valley schickte, antwortete er mir am 15. Oktober 2017:

"Hi Dirk.

Thanks so much for this article – I now refer to your extensions as Helbing’s 5th & 6th Law of Robotics (see slide #11 of attached presentation)! ...“

Er war bereits in Rente, aber damit beschäftigt, die Welt zu verbessern – im Rahmen seines Engagements für eine Nicht-Government Organisation in Genf.

Er hatte mir schon einmal am 28. Juni 2016 geschrieben:

"Hi Dirk – I hope you are well, and I look forward to catching up with you sometime over this summer.  

The area of driverless cars and connected traffic is surely of great interest [to] you, and is getting much media coverage. I will send you what comes on my radar screen, assuming that you are not capturing it all, beginning with the following article: 


Best personal regards..."

Noch am gleichen Tag, um 20:01, antwortete ich:

"... thanks for the interesting article. 

I know the debate and I believe there is more behind it. 

It seems there are people who want to make it legal to kill people under certain circumstances, or to allow AI-based systems to kill people. 

Why? Because they say there is an overpopulation problem on this planet, and it would have to be "fixed". The "fixes" apparently discussed include WW3, induced diseases and euthanasia. 

Current law would not allow this, not even in a situation of emergency.

According to law:

1) everyone is equal, so your own life should not be counted higher compared to everyone else's life 

2) it is not allowed to kill a person to save n>1 lives.  

There are attempts to change this legal setting, and it would allow certain elites to survive a humanitarian crises while other people would be killed. This is exactly, what is not acceptable. The leaders (captains, e.g.) have to bear the greatest risks to save everyone else, otherwise moral hazards are created. 

However, the law also demands that actions must be taken to maximize *chances* of survival, i.e. to minimize death probabilities/rates. 

How to do this is described in my last contributions at ResearchGate, entitled "Why we need democracy 2.0 and capitalism 2.0 to survive"[5] and "Society 4.0: Upgrading society, but how?".[6]

Seine Antwort ließ einige Tage auf sich warten. Ich machte mir Sorgen. Hatte ich womöglich übertrieben, gar etwas Falsches gesagt? Lag ich mit meiner Analyse völlig daneben? Doch dann, am 6. Juli 2016 erhielt ich endlich seine Antwort. Sie lautete:

"Hi Dirk - that's a good analysis..."

Nun verstehen Sie vielleicht auch, warum globale Initiativen wie jene, die autonome Waffen einschließlich Killerroboter stoppen wollten, bisher keinen politischen Erfolg hatten, obwohl sie von über 4500 KI- und Robotik-Experten unterschrieben wurde, und von zehntausenden von Ärzten.[7] Zwischenzeitlich machten Videos zum Thema „Slaughterbots“ die Runde. Das sind Drohnen, die per Gesichtserkennung Personen identifizieren und diese mit einer kleinen Sprengladung töten können.[8] Technisch ist das heute schon möglich. Das Militär kann bereits ganze Drohnenschwärme entfesseln.[9] Da gibt es praktisch kein Entrinnen mehr. Ob das gegen die Bevölkerung je zum Einsatz kommen wird, ist natürlich eine andere Frage. Ich vermute, eher nicht. Denn es gibt inzwischen wesentlich subtilere Methoden, um Menschen zu töten. Doch wie weit sind wir noch von Szenarien entfernt, in denen Algorithmen Todesurteile vollstrecken? Drohte uns ein digitaler Holocaust?

Für jene, die es immer noch nicht glauben können, was sich da hinter dem Rücken der ahnungslosen Öffentlichkeit zusammenbraut, füge ich noch eine weitere Begebenheit an. Im Herbst 2018 traf ich mich mit zwei Wissenschaftlern. Das Gespräch drehte sich schließlich um die Konferenz „Emerging Trends Reshaping the International Security“.[10] Die Konzepte, die dort vorgeschlagen wurden, erschütterten uns alle.

Einer der Redner referierte über einen neuen gesellschaftlichen Zustand: nicht Krieg, nicht Frieden, sondern „Unpeace“ – frei übersetzt also „Unfrieden“. Die Idee schien zu sein, dass man verlustreiche Kriege zwischen Staaten, wie sie früher stattgefunden hatten, wenn Ressourcen knapp wurden, vermeiden wollte – eben mit der neuen Regierungsform des „Unfriedens“. Dann würden Konflikte nicht zwischen Staaten ausgetragen, sondern Probleme wie die Überbevölkerung wären lokal zu lösen. Das erinnerte zweifelsohne an George Orwell’s „1984“, wo Kriege nicht dazu geführt wurden, um sie zu gewinnen, sondern um die Menschen einzuschüchtern und einen permanenten Notstand zu rechtfertigen.

Zurück zu meinen Notizen. Diese sprechen von einem „hybriden Krieg“ (der verschiedene kriegerische Methoden miteinander kombinieren und sicher auch einen Informationskrieg gegen die eigene Bevölkerung mit einschließen würde – also Propaganda und Desinformation[11]). Doch es wäre naiv zu glauben, dass es dabei bliebe. Meine Notizen beinhalten nämlich auch das Zitat: „Maybe we should kill just a few people.“ Das Töten von Menschen war also explizit vorgesehen – außerhalb des Kriegszustands! War nun zu erwarten, dass die Gesellschaft von jenen Menschen „befreit“ wurde, die „nicht systemrelevant“ waren? Dann könnte man mit Fug und Recht von einem mörderischen Plan sprechen!


[1] Fortsetzung von http://futurict.blogspot.com/2021/01/es-geht-um-ihr-leben-warum-wir-eine.html

[2] https://de.wikipedia.org/wiki/Triage

[3] https://de.wikipedia.org/wiki/Trolley-Problem


[5] https://www.researchgate.net/publication/303684254

[6] https://www.researchgate.net/publication/304352735

[7] https://futureoflife.org/open-letter-autonomous-weapons/

[8] https://www.youtube.com/watch?v=6Ipkq-BASaM

[9] https://www.youtube.com/watch?v=CGAk5gRD-t0

[10] https://www.zeit.de/kultur/2017-09/kuenstliche-intelligenz-algorithmus-spam-autonomes-fahren

[11] https://www.militairespectator.nl/thema/operaties/artikel/behavioural-change-core-warfighting

Tuesday, 2 February 2021

Who is to blame: The fish or the farmer?

In many places of the world, our environment and climate are in big trouble. Who could deny this fact? It has existential implications, indeed. But who is to blame?

Often, we hear that humans are too selfish. They would be a serious threat for the future of our planet. “Indeed, humans are enemies of humanity”, we are told.[1] But is this really true, or is it propaganda?

For the sake of illustration, let us assume that you are a farmer and that you own all kinds of land, meadows and forests, creeks and lakes. And let us also assume that you fertilise your meadows, perhaps a little too much....

Then, the following will probably happen: Fertilizer will eventually end up in the lake. Hence, the algae will grow like crazy, and the fish population will explode. At least for some time. Eventually, however, the lake will run out of oxygen. The fish will swim in droves at the surface – belly up.[2] So, many of them will die! This is well-known.

Figure 1: Fish dying of oxygen depletion[3] (Image credit: Oregon State University).

Now, the crucial question is: Who is to blame for this disaster? The fish or the farmer? Of course, the farmer! No one would ever think of accusing the fish for multiplying. It was the farmer who over-fertilised the lake. The fatal outcome was entirely foreseeable. And there are applicable laws to punish such behavior.[4]

Figure 2: Development of the population size as a function of the carrying capacity[5] (Image credit: Mississippi State University).

When it comes to humanity, however, we find that it is not the "farmers" (representing business [wo]men) who are being blamed, but the "fish" (standing for the people). Strictly speaking, the "farmers" often accuse the "fish". This is, of course, absurd!

Figure 3: Projected developments for the world according to the Limits to Growth[6] (Image credit: The Oildrum). 
It is wrong to scapegoat us, the ordinary people, who largely do what we are told, for the world's crises. For example, we are blamed for buying cheap plane tickets – not the airlines that sell those tickets! And not the advertising companies that hammered these products into our brains – using psychological tricks that are close to psychological abuse.

We have already consumed less during the financial crisis. But the economy learned to manipulate us more effectively through personalised information. They didn't shy away from using “mind control methods.[7] They hacked our brains to boost consumption and the economy. And now we are being blamed for this? Seriously? 

Figure 4: Carrying capacity of the world over time[8] (Source: M. Wackernagel et al.[9]).

Why shouldn't those be punished for environmental crimes, who have done the same to humanity as the farmers above have done to the fish?! Mainly for profit, they have over-fertilised the planet, by boosting a carbon-based economy. It was entirely predictable that this would cause over-population (see Fig. 52). Without the irresponsible global expansion of the oil-based economy, such "population explosion" would never have happened

Figure 5: Correlation between energy consumption and world population10 (Image credit: Penn State University).

The predicted sustainability crisis is nothing else than a crisis of the oil-based economy – and the petrodollar, in a sense. In the early 1970s, when the Limits to Growth report appeared, the ecological footprint of humanity was still in balance with the planet (see Fig. 4). But afterwards, energy consumption around the world was irresponsibly expanded – even per capita![10] This is reckless!

 Figure 6: Energy consumption per person over time10 (Image credit: Penn State University).