Nudging – the Tool of Choice to Steer Consumer Behavior? Or What?

By Dirk Helbing (ETH Zurich/TU Delft/Complexity Science Hub Vienna)

Back in 2008, Thaler and Sunstein suggested “nudging” would be a great new way to improve health, wealth and happiness. The method was euphemistically called “liberal paternalism”, i.e. the nudger would be like a caring father, while the nudged one is claimed to have all the freedom to decide as preferred, even though he or she would often not notice he or she was tricked.

People would be helped by companies or the state with subconscious nudges to correct their so-called “misbehaviour”. This earned Richard Thaler the Nobel Prize – but not Cass Sunstein, who had written a critical book in the meantime, entitled “The Ethics of Influence”.

Let me say upfront that I don’t see a problem with putting the ecological energy mix on the top of a choice list or to label it “green energy”. This is pretty harmless. People understand the trick, but they will often anyway agree.

However, nobody ever told us that we would be nudged every day, all the time, with personalized information that is tailored to us with personal data that was collected about us mainly without our knowledge and agreement – effectively by means of mass surveillance.

This “big nudging”, which combines nudging with big (personal) data, must be criticized, as it undermines the very basis of our democracy, self-control, and human dignity.

Let us look back for a moment.

Already in the 60ies, the first climate studies by oil companies pointed out that there is a negative effect of carbon-based energy on climate. But for a long time, it seems nothing was done to change this.

Then, in the early 70ies, the Limits to Growth study warned us that, in a world with limited resources, we would sooner or later run into an economic and population collapse. No matter how the model parameters were changed, the predictions said humanity was doomed.

The Global 2000 study commissioned by then US president Jimmy Carter basically confirmed these predictions. However, it was again assumed that we would not change the system of equations, i.e. the socio-economic system we live in.

Finally, the United Nations established the Agenda 2030, pressing for urgent measures towards a sustainable planet.

So, 50 years after our sustainability problem was diagnosed, is “big nudging” really the best solution to our sustainability problems? Should companies digitally steer the behaviours of the people?

This kind of assumes that companies would be the good guys, who do the right things and should therefore have all conceivable freedoms: in particular, they should develop, produce and sell products as they like. The people, in contrast, would be kind of the bad guys, who show “misbehaviour”, as Richard Thaler would call it, and whose behaviours would therefore have to be corrected and controlled.

What would this mean? Let me give two examples:

• The above approach foresees that producers of sweet lemonades would sell unhealthy products and advertise for more consumption, while our health insurance would give us minus points for buying and drinking lemonades, and charge us higher tariffs. 
• The car industry would go on selling as many cars as they could, but politics or some citizen score would forbid most of us to use them most of the time. The Diesel scandal, which will forbid many car owners to use their cars in central parts of many cities, would be just a glimpse of what is to come.

Does such a model make sense? I am not convinced. Are you?

So, is the proposed solution, which comes under names such as profiling, targeting, neuromarketing, persuasive computing, big nudging, and scoring, really our saviour?

Unfortunately, as advanced as these technologies may be, they tend to be totalitarian in nature.

The Chinese Citizen Score, for example, has been heavily criticized by all major Western media.

But the situation in Western democracies is not so much different. Tristan Harris, who worked in a “control room” at Google, where public discourse was shaped, recently exposed the mind control of billions of people that a few tech companies exert every day.

Moreover, if one traces back the actors and history of the underlying technologies and science, we end up in the 1930ies with their infamous behavioural experiments. This link to fascist times and thinking doesn’t make things better.

How could things come that far?

We are living in a society, which thrives on the combination of two very successful systems: capitalism and democracy.

Unfortunately, this model is not good enough anymore. It hasn’t created a sustainable future, and so, as I have pointed out before, our world is heading for a doomsday scenario, if we don’t change our system.

Unfortunately also, neither the public nor scientists were informed well enough that – in the past 50 years – we should have done nothing else than re-invent society.

Furthermore, unfortunately, democracy and capitalism today do not have aligned goals. Capitalism tries to maximize profit, i.e. a one-dimensional quantity, while democracy should continuously increase human dignity, i.e. strive for multiple goals, including knowledge, health, well-being, empathy, peace, and opportunities to unfold individual talents.

Everyone should have understood that, if we did not manage to align the goals of both systems, one system would sooner or later crush the other system. It recently often appears it is democracy that would be crushed.

Let me shortly talk about the new kind of data-driven society that was created:

We now have a new monetary system, which is based on data. Data is the new oil. This data is mined by what we call “surveillance capitalism”, where people are the product.

We also live in a new kind of economy: the attention economy. People are flooded with information. Attention became a rare good, which is marketed among companies. This allows them to influence people’s consumption, opinions, emotions, decisions and behaviours.

We further have a new legal system: “code is law”. Algorithms decide what we can do and what we can’t. They are the new “laws of our society”. “Precrime” programs are just one example for this. The algorithmic laws, however, are usually not passed by our parliaments.

Altogether, this has also lead to a new political system: where companies such as Cambridge Analytica, Facebook and Google manipulate the choices of voters, and thereby undermine democracies and the free, unbiased competition of ideas.  

A digital sceptre, enabled by the combination of big data and nudging, would now allow to steer society and correct the claimed misbehaviours of people, as it is currently tested in China.

This “brave new world” was created without asking the people. It hasn’t been passed by parliament – at least not openly. While these developments have gone on for more than 15 years now, probably for decades, the public media have not informed us well and in advance.

We have been sleep-walking – and for a long time, we have not noticed the silent coup that was going on. But now we are discussing these developments, and that’s why democracy will win.

What do we need to do?

We must build “democratic capitalism”. This means to democratically upgrade capitalism and to digitally upgrade democracy.

We need information platforms and technologies, which have our constitutional, societal, cultural and ecological values in-built. We call this approach “design for values”.

And it’s coming. The IEEE, the biggest international association of engineers, is already working on standards for ethically aligned design.

What does design for values mean for our society? That the democratic principles, i.e. the lessons that we have learned over hundreds of years in terrible wars and bloody revolutions, would have to be built into our technologies.

This includes: human rights and human dignity, freedom and self-determination, pluralism and protection of minorities, the division of power, checks and balances, participatory opportunities, transparency, fairness, justice, legitimacy, anonymous and equal votes, as well as privacy in the sense of protection from misuse and exposure, and a right to be left alone.

How to enable informational self-determination in a big data world? Assume every one of us would have a personal data mailbox, where all the data created about us would have to be sent. The principle to be legally and technologically established would be that, in the future, we decide who is allowed to use what data for what purpose, period of time, and price. An AI-based digital assistant would help us administer our data according to our privacy and other preferences. Uses of personal data, also statistics created for science and for politics, would have to be transparently reported to the data mailbox.

With this approach, all personalized products and services would be possible, but companies would have to ask in advance and gain the trust of the people. This would create a competition for trust and eventually a trust-based digital society, in which we all want to live in.

Furthermore, we would have to upgrade our financial system towards a multi-dimensional real-time feedback system, as it can now be built by means of the Internet of Things and Blockchain Technology. Such a multi-dimensional incentive and coordination system is needed to manage complex systems more successfully and also to enable self-organizing, self-regulating systems.

So, assume we would measure – on separate scales – the externalities of our behaviour on the environment and other people, for example, noise, CO2 and waste produced, or knowledge, health, and the re-use of waste created. Suppose also that people would give these externalities a value or price in a subsidiary decision-process. (Some people would call this a tokenization of our world.) Then we could build our value system into our future financial system. I call this system the socio-ecological finance and coordination system (or finance system 4.0+).

People could then earn money with recycling. Companies could earn money for environmental-friendly or socially responsible production. In this way, new market forces would be unleashed that would let a circular and sharing economy emerge over time.

Personally, I don’t think there are not enough resources for everyone in the world. We don’t have an over-population problem. Our problem is rather that the organization of our economy is outdated.

I think we are living in a time, where we have to fundamentally re-organize our society and economy in the spirit of democratic capitalism, based on the values of our society.

I am also convinced that energy won’t be the bottleneck. But we will have to take new avenues. In the past, the focus was often on big solutions, which would produce energy for a lot of people. I propose that we should focus more on solutions, which are oriented at decentralized, local and more democratic energy production.

Modern physics knows that our universe is full of energy. In fact, it is totally made up from energy. It wouldn’t be plausible to assume we could not learn to use it.

I expect that a more democratic production and use of energy, goods and services will lead our society to an entirely new level. It is high time to focus on this transition, and how we can accomplish it together.

The instrument of City Olympics, i.e. of competitions of cities for sustainable and resilient open-source solutions to the world’s pressing problems could help us find the way.

Before the Cambridge Analytica and Facebook Scandal: An Interview on Big Nudging (In German)

Q: Zur Einleitung, Wieso ich mich überhaupt mich Chancen und Risiken von Big Nudging beschäftige. Staaten oder besser gesagt Regierungen und öffentliche Verwaltungen stehen vor einem Umbruch und versuchen ihre Systeme effizienter zu gestalten aufgrund der technischen Möglichkeiten, die es ja aktuell schon gibt. Seit einiger Zeit, etwa seit 2006, gab es eine offizielle Zuwendung seitens der OECD zur Verhaltenswissenschaft, damit man stärker Daten aus dieser Wissenschaftsdisziplin heranzieht und in Politikgestaltungsmassnahmen einfliessen lässt. Dann gab es die Publikationen von Thaler & Sunstein, und Sie haben dann im Rahmen dieser Debatte etwas zu Big Nudging geschrieben. Meine erste Frage wäre, ganz allgemein gehalten, wie sie das einschätzen, welche Herausforderungen politischen Akteure mit klassischen Nudging, ohne Big, meistern können oder Strategien erarbeiten können. Welchen positiven Vorteil gibt es da?

A: Zu nächst einmal ist es so: dieses Nudging, das Thaler und Sunstein vorgestellt haben, war kein Big Nudging, das war nicht personalisiert. Das waren relativ einfache, geradezu primitive Massnahmen wie, etwa dass man den Apfel vor den Schoko-Muffin legt, damit man die eher die gesündere Alternative wählt, oder dass man den Ökostrom ganz oben auf die Liste zum Ankreuzen setzt, oder dass man per Default zum Organspender wird. Das sind natürlich letzten Endes Massnahmen, die für jedermann mit einer gewissen Schulausbildung durchschaubar sind, und wo man sich entsprechend aus freien Stücken distanzieren kann, wenn man es für richtig hält. Der Punkt ist aber natürlich der, dass man oft mit Präzedenzfällen argumentiert, etwa: wenn wir jetzt nicht die Organspende zur Default Option machen, dann sterben Menschen. Das könne man nicht verantworten und deswegen müsse man uns alle automatisch zu Organspendern machen, wie das Holland gerade beschlossen hat. Diejenigen, die nicht einverstanden seien, könnten sich dann ja austragen lassen. So kann man meinetwegen argumentieren, wenn es um eine hinreichen kleine Anzahl solcher Situationen geht, in denen man gegebenenfalls widersprechen muss, und wenn der Aufwand entsprechend gering ist. Wenn solche Fälle aber hunderte Male im Jahr oder gar pro Tag auftreten, dann ist es aber völlig klar, dass Menschen nicht mehr effektiv ihr Entscheidungsrecht wahrnehmen können. Und insofern muss man mit Präzedenzfällen aufpassen, sonst nimmt breitet sich eine schleichende Entmündigung aus. Gerade für die Organspende kann ich mir auch andere Lösungen vorstellen wie zum Beispiel Reziprozität: Organspender würden dann in der Vergabeliste höher eingeordnet als Menschen, die sich nicht als Organspender zur Verfügung stellen. Das scheint mir letzten Endes der bessere Ansatz zu sein, um ehrlich zu sein. Die Politik hätte natürlich gerne die Ermächtigung, Entscheidungen für uns zu treffen, unter anderem weil (.) sich Entscheidungsträger oft einbilden, klüger zu sein als andere. Das ist aber einer der vielen Cognitive Biases, die es gibt. Entscheidungsträger und Menschen mit Macht überschätzen oft ihre Entscheidungskompetenz. Im Grunde genommen möchte die Politik effizienter regieren und hat sich zu diesem Zweck nicht nur das Nudging zu Eigen gemacht, sondern still und heimlich, ohne darüber zu reden oder abzustimmen, auch das Big Nudging. Ich bin mir nicht sicher, ob das Richard Thaler’s Intention war, meiner Erinnerung nach hat er Big Nudging öffentlich nie vertreten. Das wird nun aber mit heimlich über jeden gesammelten Daten gemacht. Die werden im Grunde genommen abgesaugt von unseren Computern und Smartphones, die uns gewissermassen ständig ausspionieren. Im Internet geschieht das unter anderem über Cookies, aber nicht nur. Praktisch alle Links, die wir anklicken, werden ausgewertet und damit hoch detaillierte Persönlichkeitsprofile erzeugt, und zwar von allen Menschen, von denen man irgendwie Daten bekommen kann (.) Da geht es um ein bis zwei Milliarden Menschen mindestens auf der Welt. Dabei werden digitale Doubles angefertigt, die nicht nur unsere Verhaltensmuster abbilden, sondern auch unsere Persönlichkeitsprofile, unsere Neigungen und Hobbies, unsere Stärken und Schwächen, also die Art und Weise, wie man uns manipulieren kann, auch unsere Gesundheit und unser soziales Netzwerk, alles im grösstmöglichen Detail. All diese Dinge werden aufgezeichnet, um diese digitalen Doubles zu erzeugen. Mit denen man dann Computersimulationen laufen lassen kann und testen, wie man auf bestimmte Informationen reagiert, und die Informationsinputs optimieren, um bestimmte Ergebnisse zu erzielen. Es geht hier um hoch-spezifische Methoden der Verhaltenssteuerung. Wir befinden uns heutzutage in der Aufmerksamkeitsökonomie. Da werden wir mit Informationen überflutet, um uns im Prinzip wehrlos zu machen. Wir können zunehmend nur noch reagieren, wenn überhaupt. In vielen Fällen tun Menschen einfach nur noch das Vorgeschlagene, ohne nachzudenken. Es ist aber so, dass nicht nur unsere Aufmerksamkeit beeinflusst wird, sondern auch unsere Emotionen, Meinungen, Entscheidungen, und Verhaltensweisen. Unmerklich werden uns Ideen untergejubelt. Zum Beispiel über das, was Google als die ersten Treffer anzeigt, oder das, was Facebook in der Timeline zeigt oder was als Werbung angezeigt wird. Das werden uns Ideen eingepflanzt, die sich oft anfühlen, als seien sie unsere eigenen, weil sie personalisiert und damit quasi mit unserem Stallgeruch versehen werden. Diese Vorschläge sind so sehr auf uns zugeschnitten, dass sie keinen Verdacht erregen, dass sie uns von aussen untergejubelt werden. Es fühlt sich an wie eigene Ideen. Aber damit wird uns das Denken abgenommen, und wir werden von kreativen, innovativen, eigenverantwortlichen Bürgerinnen und Bürgern zu reaktiven, ausführenden Instrumenten, also im Grunde genommen roboterisiert. Wenn man das Ganze noch mit dem Citizen Score kombiniert, also Abweichungen von den Vorschlägen auch noch bestraft werden, dann werden wir alle wieder zu Untertanen gemacht. Dann fürhren wir nur noch Instruktionen von künstlichen Intelligenzsystemen aus, als seien wir ein Drucker oder ein anderes Ausgabegerät, das Befehle ausführt. Es ist also eine Entmündigung des Menschen, die schleichend über uns kommt und bisher von kaum bemerkt worden ist. Es konnte sich ja auch keiner vorstellen, dass das möglich ist, und wenn es möglich wäre, dass es jemand machen würde. Aber es hat sich über die Hintertür mit dem sogenannten Neuromarketing eingeschlichen und ist dann auch im politischen Bereich zur Wahlmanipulation eingesetzt worden. Offenbar wird auch das Denken ganzer Bevölkerungen systematisch beeinflusst. Es gibt ein interessantes TED Video von Tristian Harris [How a handful of tech companies controls billions of minds every day], der vorher bei Google gearbeitet hat und berichtet, wie dort in einem sogenannten Control Room Milliarden von Menschen systematisch in ihrem Denken beeinflusst werden. Man kann sich das vielleicht so vorstellen, dass da lauter Hebel sind, wie man sie aus dem Cockpit eines Piloten kennt, und wenn man daran dreht, werden die Leute fremdenfeindlicher oder toleranter oder kaufen mehr dies oder das. Das ist also ein massiver Eingriff, dessen Tragweite einem wahrscheinlich erst so richtig klar wird, wenn man in einem solchen Kontrollzentrum gewesen ist. Aber das klar der Versuch von Mass Mind Manipulation, und zwar von mehr oder weniger jedem, immer und überall, wenn man digitale Plattformen benutzt. Wobei es natürlich bei der den Manipulationsmöglichkeiten schon Grenzen gibt. Man kann nicht jeden dazu bringen, alle Meinungen und Verhaltensweisen beliebig zu ändern. Aber es geht anscheinend schon so weit, dass man sensible Menschen dazu veranlassen kann, Selbstmord zu begehen oder andere Menschen umzubringen. Und Menschen gegeneinander aufzuhetzen. Das, was ursprünglich nur Geheimdiensten möglich war, wird jetzt zunehmend von privaten Firmen genutzt, die zum grossen Teil fast niemand kennt. Wenn uns früher überwiegend unsere Freunde, die wir sorgsam ausgewählt haben, manipulieren konnten, dann ist es heute so, dass es dutzende oder sogar hunderte oder tausende Firmen gibt, die uns jetzt genauer kennen als unsere Freunde und uns besser manipulieren können als unsere Freunde, ohne dass wir wissen, wer uns manipuliert, ob das zu unsrem Vor- oder Nachteil ist, und was mit uns passiert. Es ist quasi so, als ob jemand in Teilen die Steuerung über unser Hirn übernimmt. Das funktioniert natürlich nicht perfekt, aber doch bis zu einem gewissen Grade, jedenfalls besser als sich das die meisten vorstellen können.

Q: Ich hätte eine konzeptionelle Frage. Dem Vorschlag von Thaler und Sunstein zufolge ist das übergeordnete Ziel, dass die kollektive Wohlfahrt durch Nudges gesteigert werden soll, egal ob sie nun alleine angewendet oder in Kombination oder als Zusatz zu anderen Massnahmen und politischen Instrumenten genutzt werden. Würde das bei Big Nudiging auch so sein? Könnte man damit also die kollektive Wohlfahrt steigern?

A: Wer überprüft, ob das wirklich der Fall ist? Sunstein hat ja inzwischen mit seinem Buch The Ethics of Influence vor dem Missbrauch von Nudging gewarnt, während Thaler mit seinem zweiten Buch nochmal nachgelegt hat, welches den Titel Misbehaving trägt. Das Titelbild von Thaler’s Buch suggeriert die Gleichschaltung der Gesellschaft und hat damit explizit eine faschistische Konnotation. Da kommen im Grunde genommen auch diese Methoden her: aus den 30er Jahren, wo man Tiere in Skinner-Boxen gesperrt hat und mit bestimmten Belohnungs- und Bestrafungs-Reitzen abgerichtet hat. Das macht man heute mit Menschen, und es heisst AB-Testing. Tatsächlich ist es das Denken des Dritten Reiches, das sich jetzt wieder unmerklich in unsere Gesellschaft eingeschlichen hat, wahrscheinlich ohne dass sich die meisten Leute darüber im Klaren sind. Aber das Aufkeimen von Populismus und Faschismus bestätigt das. Im Grunde genommen werden wir mit den Methoden der Verhaltenssteuerung wie Tiere behandelt, die man abzurichten versucht. Und das ist im Übrigen kein Zufall. Vielmehr hat sich dieses Denken von Nazi-Forschern und -Ingenieuren, die mit der Operation PaperClip und anderen Operationen in die USA geholt wurden, offenbar in bestimmten Forschungsinstitutionen, in Geheimdiensten und Unternehmen des militärisch-industriellen Komplexes verbreitet. Es lebt seitdem fort in Unternehmen, die mit dem Faschismus sympathisierten, vom Dritten Reich profitierten, oder an der Judenvernichtung beteiligt waren. Sie propagieren jetzt Konzepte für automatisierte Städte und für eine kybernetisch gesteuerte Gesellschaft, als wäre eine Gesellschaft eine grosse Maschine, ein Logistikproblem, eine Hühnerfarm oder ein Entertainmentpark, die automatisiert werden können. Solche Ansätze stehen aber im Gegensatz zur Menschenwürde, derzufolge man Menschen nicht wie Tiere, Dinge oder Daten behandeln darf. Technologien, die zunächst für den gezielten und beschränkten Einsatz von Geheimdiensten entwickelt und im Abwehrkampf gegen Terroristen, Grosskriminelle und feindliche Interessen eingesetzt wurden, werden nun also grossflächig gegen die Bevölkerung eingesetzt. Wir befinden uns gewissermassen inmitten eines Informationskrieges, wie auch die völlig ausser Kontrolle geratene Fake News Problematik zeigt.

Meiner Einschätzung nach ist es so, dass derzeit die dual uses die pro-social uses bei weitem übersteigen. Ursprünglich wollte man das Nudging ja zum Besten der Menschheit einsetzen. Wir sollten dazu gebracht werden, uns mehr um unsere Gesundheit zu kümmern, uns besser zu ernähren, sich mehr zu bewegen, etwas für die Umwelt zu tun, nicht mehr so viel Auto zu fahren, CO2 einzusparen. De facto wird es aber überwiegend verwendet, um uns dazu zu bringen, noch mehr zu konsumieren, zum Beispiel ungesunde Sachen wie Süssstoff-Limonaden, oder neue Klamotten, Luxusartikel oder ein neues Auto zu kaufen – Dinge, die letzten Endes für Umwelt und Gesundheit überhaupt nicht gut sind. Oder es wird verwendet, um Wahlen zu manipulieren oder Populismus und Fremdenfeindlichkeit auf den Weg zu bringen. Das scheinen mir die Haupteinsatzgebiete zu sein.

Q: Und seitens des Staates? Die Beispiele, die Sie angesprochen haben sind ja sehr stark von der Privatwirtschaft.

A: Naja, wir haben hier das Problem, dass man das gar nicht so genau voneinander trennen kann. Es gibt einerseits den militärisch-industriellen Komplex in Amerika, das heißt vieles was da an Technologien entwickelt wird, das wird zunächst einmal militärisch oder durch Geheimdienste verwendet, später kommerzialisiert, und irgendwann der Allgemeinheit zugänglich gemacht. Aber weil diese Technologien ursprünglich für militärische Einsatzzwecke konzipiert wurden, sind sie eigentlich nicht für Demokratien ausgelegt, sondern für totalitäre Regime. Nun schleichen sie sich aber in die Wirtschaft und in unser gesellschaftliches Alltagsleben immer mehr ein. Das ist wie so eine Art Krebsgeschwür, dass sich immer mehr verbreitet hat. Man hat das, wie gesagt, für das Militär entwickelt und später an Staaten wie Saudi-Arabien der China verkauft. Jetzt kommt droht es, auch bei uns Einzug zu halten, und wir haben allergrößte Mühe, das abzuwehren. Es ist so, dass jetzt die Gesellschaft immer stärker polarisiert und fragmentiert wird und unsere Demokratien bereits vor erheblichen Herausforderungen stehen. Daneben gibt es das Problem, dass die Technologien anscheinend als Public Private Partnerships realisiert wurden, wie sich das so schön sagt. Die Politik möchte Geld sparen, die Technologien sollen sich rentieren. Also baut man sie mit ausgewählten Unternehmen zusammen. Wir müssen also davon ausgehen, dass es Unternehmen gibt, die bevorzugten Zugriff auf die Daten und Technologien haben. Das haben wir bereits bei der NSA gesehen. Edward Snowden hat seine Daten ja nicht zu der Zeit gesammelt, als er CIA Agent war, sondern als er bei Booz Allen Hamilton arbeitete. Damals hatten übrigens etwa eine Million Leute die gleichen bevorzugten Zugriffsrechte wie er, so stand es in der Zeitung. Eine Million andere hätten also die gleichen Daten zugreifen und herunterladen können wie Edward Snowden. Mir scheint, dass sich an dem Prinzip der Public Private Partnership seither nicht grundsätzlich etwas verändert hat, nur dass der Zugriff wahrscheinlich wesentlich exklusiver geworden ist. Soweit ich es beurteilen kann, entzieht sich der Zugriff aber zunehmend der politischen Kontrolle, da sich manche der Big-Data-Infrastrukturen auf extraterritorialem Gelände befinden.

Q: Das heisst sie adressieren den Missbrauch von Big Data Analysen stark

A: Es gibt keinen Zweifel daran, dass man Big Data und Künstliche Intelligenz für tausenderlei gute Dinge anwenden kann.

Q: Können Sie dafür 2-3 Beispiele anführen.

A: Man kann zum Beispiel die Resourcen-Nutzung optimieren. Man kann Echtzeit-Übersetzungen machen und damit kulturelle Barrieren überwinden helfen. Man kann die Forschung voranbringen, auch im Gesundheitswesen, und unseren Alltag erleichtern.

Q: Ich meine, welche Bereiche könnten von der Anwendung von Big Nudging profitieren.
A: Der Punkt ist, dass die Governance das grosse Problem ist. Das gilt aber für Big Data und Künstliche Intelligenz insgesamt, nicht nur für Big Nudging, Ich denke, wir müssen die informationelle Selbstbestimmung hochhalten. Wenn wir personalisierte Produkte und Services oder personalisierte Zeitungen haben möchten, dann ist das im Prinzip schon im okay, aber wir sollten den Grad der Personalisierung einstellen können. Wenn man in der Lage sein will, kritisch zu reflektieren, dann sollte man die Nachrichten nicht zu sehr personalisieren. Das scheint mir wichtig zu sein. Auch kann ich mir vorstellen, dass man Big Nudging nutzen kann, sich das Rauchen abzugewöhnen, wenn man es nicht aus eigener Kraft schafft. Ich stelle mir das so vor, dass man sich dann eine App herunterladen kann, die einen psychologisch gut genug kennt und dadurch unterstützend eingreifen kann, wenn ich das will. Dann habe ich mich aber bewusst dafür entschieden. Dabei sollte man im Grossen und Ganzen vorab informiert werden, was die App macht, im Sinne von informed consent, und man sollte die Möglichkeit haben, auszusteigen, wenn man das möchte oder das Gefühl hat, dass einem der Assistent nicht guttut. Entsprechendes sollte bei anderen Anwendungen gelten. Ich kann mir auch vorstellen, dass kognitive Systeme helfen können zu lernen, wie man irgendwelche psychologischen Traumata überwindet oder bessere Beziehungen zu führen, oder mit verschiedenen Mitmenschen zurecht zu kommen. Persönliche digitale Assistenten könnten uns helfen, erfolgreicher durchs Leben zu gehen. Dagegen ist nichts einzuwenden, wenn uns transparent gemacht wird, was da passiert und wenn wir die Technologien selber steuern können, wenn wir also informationelle Selbstbestimmung ausüben können.

Q: Mhm-

A: Heutzutage jedoch konzentrieren sich Big Data Infrastrukturen und Künstliche Intelligenz Systeme in sehr wenigen Händen. Die meisten von ihnen sind nicht öffentlich kontrolliert, nicht einmal vom Parlament. Sie greifen immer stärker in unser Leben ein, mit und ohne unser Wissen. Es gilt das Prinzip „Code is law“, das heisst, in immer mehr Lebensbereichen gibt es nun Algorithmen, die sich in unser Leben einmischen, nicht nur im öffentlichen Bereich, sondern auch bei der Arbeit und zuhause, bis in die intimsten Bereiche. Es gibt keine privaten Rückszugsbereiche mehr. Das kann auf Dauer nicht gut gehen.

Q: Welche Rahmenbedingungen wären da auf staatlicher Seite notwendig, um Big Data Einsätze zu regulieren und sie hinsichtlich des Datenschutzes, der Privatsphäre und des demokratischen Prozesses unter Kontrolle zu bringen?

A: Wir haben verschiedene Vorschläge gemacht, beispielsweise War Rooms in Peace Rooms zu verwandeln. Peace Rooms unterscheiden sich von War Rooms dadurch, dass ihr Einsatz in einem demokratischen, vor allem verfassungsrechtlichen Rahmen erfolgen soll, dass die Analysen von qualifizierten Wissenschaftler aus verschiedenen Disziplinen vorgenommen werden, dass ethische Grundsätze beachtet werden, dass sie multiperspektivisch genutzt werden und partizipativ. Dadurch lassen sich die Chancen von Big Data und Künstlicher Intelligenz deutlich besser nutzen. Ein solcher Ansatz verbessert den Einsatz, es sei denn, man hat tatsächlich bösartige Anwendung im Sinn oder es geht um Machtmaximierung statt um die Lösung unserer gesellschaftlichen Probleme. Der zweite Punkt ist die technische Umsetzung der informationellen Selbstbestimmung. Mein Vorschlag ist, dass jeder ein persönliches Datenpostfach bekommt, in das jeder die persönlichen Daten senden muss, die er absichtlich oder versehentlich über uns erhebt. Damit würde ein digitales Double enstehen. In der Tat gibt es das im Prinzip schon heute, nur dass wir auf den Daten-Download unseres Lebens bisher keinen Zugriff haben. Ausserdem bräuchten wir einen digitalen Assistenzen, ein spezielles künstliches Intelligenzsystem, das uns hilft, unser Datenpostfach zu administrieren, also all die Daten, die da jeden Tag entstehen. Das sind angeblich zwischen 1 Megabyte und mehreren Gigabytes pro Tag und Person. Dieser digitale Assistent würde entsprechend unserer Präferenzen entscheiden, wer Zugang zu welchen Daten, wielange, wofür, und gegebenenfalls zu welchem Preis hätte. Die Nutzungen unserer Daten würden transparent aufgezeichnet. Unternehmen hätten also eine Informationspflicht und müssten unsere informationelle Selbstbestimmung respektieren. Verstösse könnten mit Bussen belegt werden. Aber es wären im Prinzip alle personalisierten Produkte und Services möglich, die wir wünschen. Jedes Unternehmen könnte personalisierte Angebote machen. Vertrauensvolle Unternehmen bekämen mehr Zugang zu Daten von uns als andere. So würde der Wettbewerb um datenbasierte Angebote zu einem Vertrauenswettbewerb führen und es würde eine digitale Vertrauensgesellschaft entstehen.

Q: Staaten und öffentliche Verwaltungen auch?

A: Bei öffentlichen Verwaltungen und öffentlichen Forschungseinrichtungen kann ich mir vorstellen, dass sie ohne individuelle Genehmigung – im Rahmen dessen, was das Parlament entscheidet – aggregierte Daten und Statistiken erzeugen dürfen, die transparent der Öffentlichkeit zugänglich zu machen wären. Sobald die Analysen aber auf die persönliche Ebene gehen, bräuchte es die Genehmigung durch das betroffene Individuum im Sinne der informationellen Selbstbestimmung. Wenn der Verdacht auf eine schwere Straftat vorliegt, müsste ein Staatsanwalt über den Zugriff entscheiden, aber die Zahl dieser Fälle sollte sehr begrenzt sein und der Öffentlichkeit berichtet werden.

Q: Die Anwendung von Big Nudging wird ja auch häufig als absurd eingestuft, oder sehen Sie das als Möglichkeit die in Zukunft jetzt wo klassisches Nudging, um es von Big Nudging abzugrenzen, ja doch in einigen Ländern sehr positiven Andrang gefunden hat. Jetzt im politischen Bereich?
A: De facto ist es ja schon jetzt möglich, Millionen von Menschen mit künstlichen Intelligenzsystemen kontinuierlich zu beeinflussen. Google und Facebook machen das, und es sind nicht die einzigen Akteure. Vielmehr gibt es immer mehr Akteure, die sich in unser Leben einmischen und zuweilen auch versuchen, uns den Kopf zu verdrehen. Zwar wird behauptet, Singapur hätte seinen grossen Erfolg in den letzen Jahrzehnten dem Nudging zu verdanken, aber ich halte das für nicht bewiesen. Singapur hat ja nicht nur Big Nudging verwendet. Es war auch eine Steueroase und hat die besten Wissenschaftler der Welt ins Land geholt, um Innovationen voran zu bringen. Ausserdem ist das politische Führungspersonal sehr gut ausgebildet, oft mit internationalen Hochschulabschlüssen. Singapur hat also noch viele andere Sachen gemacht, die für seinen Erfolg massgeblich waren, und ausserdem ist es ein Stadtstaat. Man kann das nicht verallgemeinern auf ein Land irgendwie wie Deutschland. Singapur führt sein Land wie ein Unternehmen. Die Einschätzung von Städteforschern wie Geoffrey West ist jedoch, dass Unternehmen sehr viel schneller wieder von der Bildfläche verschwinden als Städte, und zwar deswegen, weil sie eine eindimensionale Zielfunktion zu maximieren versuchen, während die lebenswertesten und resilientesten Städte multidimensional funktionieren, um verschiedenartige Ziele zu erreichen. Die Gefahr, eine Stadt wie ein Unternehmen zu führen ist, dass dies für eine gewisse Zeit gut geht, aber irgendwann nicht mehr, weil bestimmte Bereiche zulasten anderer vernachlässigt wurden. Von den meisten Ländern, die in den vergangenen Jahren Nudging eingesetzt haben, und das sind wohl mehr als 90, kann man wohl sagen, dass sie sich wirtschaftlich und gesellschaftlich nicht besonders positiv entwickelt haben.

Q: wieso?

Q: Mit den Einsätzen von Nudges konkret? Oder wie haben Sie das gemeint, das sie nicht besonders hervorgetan haben?

A: Dass sie in der Regel nicht annähernd so erfolgreich wie Singapur waren. Insofern bestätigt das nur meine Einschätzung, dass das für den Erfolg von Singapur wahrscheinlich nicht den Ausschlag gegeben hat. Wenn ich mir anschaue, wie sich der öffentliche Diskurs in vielen Ländern entwickelt hat seit es Big Nudging und Social Bots gibt, ist es vielmehr so, dass wir eine zunehmende Polarisation der Gesellschaft sehen. Mit der Verbreitung personalisierter Nachrichten scheint auch das Fake News Problem ausser Kontrolle zu geraten. Folglich sind diese Technologien gerade dabei, unsere Gesellschaften fundamental zu erschüttern und zu zerrütten. Ich glaube daher nicht, dass man derzeit behaupten kann, dass die Erfolge die Nachteile klar überwiegen.

Q: Das finde ich jetzt sehr interessant. Würde man dann nicht einen neuen Begriff für Nudigng brauchen? Ursprünglich basiert ja die Idee des Nudgings darauf, dass man eine opt out Option hat. Das heisst, ich kann meine vorgegebene Wahlmöglichkeit, so fest oder sanft sie gestupst sein soll wie man das halt einschätzt, immer verlassen. Ist das dann bei personalisierten Nudges überhaupt möglich?

A: Im Grunde genommen ist es so, dass man subliminale Beeinflussung einmal verboten hat, etwa, dass eine Süssstofflimonade für den Bruchteil einer Sekunde in einem Kinofilm eingeblendet wird, so dass man das nicht bewusst wahrnimmt und unterbewusst beeinflusst wird. Ausserdem verlangt die Rechtsprechung, dass Werbung als solche gekennzeichnet wird. Schleichwerbung ist verboten. Inzwischen wurde das aber immer mehr aufgeweicht, scheint mir. Werbung hat sich immer mehr in alle möglichen Bereiche eingeschlichen, so dass man Werbung manchmal kaum noch von der Bereitstellung von Informationen unterscheiden kann. Bei Google kann man jetzt Geld dafür bezahlen, dass bestimmte Suchbegriffe weiter oben landen. Was ist das anderes als Werbung?

Q: Würden Sie dann Nudging mit Werbung gleichsetzen?

A: Nein.

Q: Wie differenzieren sie diese beiden Begriffe?

A: Werbung ist in der Regel mit kommerziellen Interessen verbunden. Nudging wird aber auch im Zusammenhang mit politischen und anderen Interessen eingesetzt. Das Anstupsen, das Prosoziale sehe ich nicht als zwangsläufigen Gegenstand des Nudgings. Es war vielleicht etwas naiv von Thaler und Sunstein anzunehmen, dass Nudging nur zum Guten eingesetzt würde. Das ist eben nicht unbedingt der Fall.

Q: Und die Opt-Out Option-

A: Da wird oft argumentiert, dass man ja nicht das machen müsse, was einem vorgeschlagen wird. Man müsste sich also bewusst gegen einen Vorschlag entscheiden, aber vielfach werden einem gar keine Alternativen angeboten. Da wird dann ein informed consent angenommen, der überhaupt nicht gegeben ist.

Q: Wenn wir dieses klassische Nudging betrachten, dann hat man einen Default. In Österreich beispielsweise kann ich mich um einen Antragsausweis bemühen und angeben, dass ich meine Organe nicht spenden möchte. Das heisst, ich umgehe den Nudge und zwar gezielt mit meinen persönlichen Anreizen mich selbst zu informieren. Da muss natürlich viel von meiner Seite aus kommen, dass man das machen kann. Bei personalisierten Nudges habe ich dann noch die Chance, die Möglichkeit. Ist das Konzept von Nudging und personalisierten Nudges vereinbar?

A. Ich würde das bestreiten, weil man beim Big Nudging häufig gar nicht weiss, ob man beeinflusst wird und gerade eine implizite Entscheidung getroffen hat oder nicht. Wenn man mit Entscheidungssituationen überladen wird, wie es in der heutigen Aufmerksamkeitsökonomie der Fall ist, dann kann man nur noch in wenigen Situationen eine bewusste Entscheidungen treffen. In diesem Zusammenhang ist das Buch des Nobelpreisträgers Daniel Kahnemann, „Thinking fast and slow“, interessant. Das langsame Denken ist dabei das kritische, reflektierte Denken, wo wirklich deliberativ Entscheidungen getroffen werden. Dies liegt unserem aufgeklärten Menschenbild und der Demokratie zu Grunde. Das schnelle Denken das ist quasi das automatische, wo wir eher reflexartig auf Situationen reagieren, mehr oder weniger automatisch. Überlädt man Menschen mit solchen Reaktionssituationen, wird uns die Möglichkeit zu langsamen, bewussten Entscheidungen genommen, und damit auch die Entscheidungsfreiheit.

Q: Also sehen Sie den Punkt auch schon bei Nudging, wie Thaler und Sunstein es in ihren weiterführenden Werken besprechen, kritisch, die Möglichkeit des Opt Outs?
A: Ja, das hängt davon ab wie oft man mit solchen Entscheidungssituationen konfrontiert wird, und wie aufwendig es ist, tatsächlich ein Opt Out zu praktizieren. Heutzutage machen Unternehmen ja in vielen Produkten irgendwelche Voreinstellungen, etwa Einstellungen, welche das Datensammeln maximieren und die Privatsphäre minimieren, und es macht viel Mühe, die Entstellungen so vorzunehmen, wie man es gerne hätte, vor allem angesichts der vielen Updates. Da verbringt man jede Menge Zeit. Wenn man bei jedem Update die Nutzungsbedingungen von vorne bis hinten lesen wollte, würde der Tag gar nicht ausreichen. Damit können die Nutzer ihr Recht nicht effektiv wahrnehmen. Also rein theoretisch hätten wir noch ein Opt Out, faktisch aber eigentlich nicht mehr.

Q: Wo sehen Sie diese Entmündigung oder in dem Fall ich hoffe ich greife das nicht vorweg, die Autonomie Einschränkung bei staatlichen Massnahmen von Nudigng?

A: Gute Frage, der Staat ist nicht sehr explizit was er in Punkto Nudging genau macht. Es gibt diese sogenannten Nudging Units, die ein paar mehr oder weniger niedliche Projekte machen, die in bunten Prospekten beworben werden. Es steht darin normalerweise nichts, worüber es sich lohnen würde, sich aufzuregen. Das sind in der Regel harmlose Sachen, während – symbolisch gesprochen – gleichzeitig jemand im Keller sitzt, in einem Kontrollraum, wo alle möglichen Hebel in Bewegung gesetzt werden, mit denen das Internet beeinflusst und die Gesellschaft manipuliert wird. Darüber spricht keiner. Die Nudging Units sind nur das Feigenblatt.

Q: Können Sie mir Risiken oder Kritik gegenüber Big Nudging vom Staat eingesetzt konkret nennen?

A: Es wird ja angenommen, dass es für die Gesellschaft von Vorteil wäre, wenn uns der Staat bestimmte Verhaltensweisen aufdrängt. Das wird oft als Nanny Staat bezeichnet, der uns alle bemuttert. Natürlich behandelt uns das wie unmündige Kinder, es ist klar eine Entmündigung. Die Frage ist, ob das letztlich zu unserem Besten ist? Ich habe fundamentale Zweifel daran, dass diese Idee des wohlwollenden Diktators, die in dem Zusammenhang oftmals vorgebracht wird, wirklich funktionieren kann. Denn es wird ja angenommen, dass man den Zustand der Welt optimieren könne. Nehmen wir einmal an, dass dies möglich wäre, was aus verschiedenen Gründen nicht der Fall ist; dann müsste man genau wissen, welche Zielfunktion die Richtige ist: Bruttosozialprodukt pro Kopf oder Nachhaltigkeit, Power oder Peace, Lebenserwartung oder Lebensfreude? Leider jedoch gibt es keine Wissenschaft, die einem sagen kann, was die richtige Zielfunktion ist. In demokratischen Gesellschaften gibt es daher einen Pluralismus der Zielfunktionen. Das bringt Diversität und in der Regel viele Vorteile mit sich, etwa mehr Innovation, Resilienz (Krisenfestigkeit) und kollektive Intelligenz. All das würde durch die Gleichschaltung der Ziele durch den Staat bedroht. Auf die Dauer würde sich das negativ auf das Funktionieren von Wirtschaft und Gesellschaft auswirken; denn auch in der Wirtschaft sprechen die Zahlen eine klare Sprache: die diverseren Wirtschaftssysteme sind die Leistungsfähigeren. Abgesehen davon ist natürlich nicht für jeden das Gleiche gut. Für die einen sind Nüsse gesund, die anderen bekommen davon einen anaphylaktischen Schock. Die einen mögen Mineralwasser mit Kohlensäure, die anderen ohne. Es gibt wahrscheinlich nichts, das für alle Menschen gut ist. Man müsste also alle Massnahmen personalisieren, aber man hat dann ein Problem mit der Kalibrierung und Validierung der Modelle sowie mit der Konvergenz der Lernverfahren. Darüber hinaus gibt es eine Sensitivität gegenüber der Wahl von Algorithmen, Parametern, und Details des Datensatzes. Ausserdem sind Fehler erster und zweiter Art zu erwarten, Over-Fitting und weitere Probleme, die zu fehlerhaften, irreführenden oder diskriminierenden Ergebnissen führen können, selbst wenn man die Besten Absichten hat. Insofern bezweifle ich, dass der Staat für sich in Anspruch nehmen kann, Dank Big Data und Künstlicher Intelligenz automatisch und systematisch bessere Entscheidungen zu treffen, als wir das gemeinsam könnten. Der bessere Weg wäre, Menschen mehr Zugang zu belastbaren Informationen über die Welt und sich selber zu geben, Zugang zu unseren Digitalen Doubles, die Kontrolle über diese Daten in unsere Hand zu geben. Da brauchen wir vielleicht Unterstützung bei der Interpretation, digitale Assistenten, damit wir den Wert der Daten erschliessen können. Diese digitalen Assistenten würden uns unterstützen in unseren Entscheidungen, aber eben nicht einfach nur sagen: mach dies, mach das. Sie würden uns nicht ständig versuchen auszutricksen, sondern uns helfen zu verstehen warum und wie wir dieses oder jenes besser machen können; helfen, kreativer und innovativer zu sein, sowie mit Menschen erfolgreicher zu kooperieren. Das scheint mir der Weg zu sein. Mit anderen Worten: die Idee des wohlwollenden Diktators, der die Welt optimieren kann, halte ich für ein gefährliches Märchen, das wissenschaftlich nicht abgestützt ist, sondern eine Ideologie ist, die sich zwar zunächst irgendwie plausibel anhört, aber dennoch falsch ist, wie uns die Geschichte oft genug gezeigt hat. Es ist ein Narrativ, eine wohlklingende Story, wie sie von einem Staubsaugerverkäufer erzählt wird. Solchen Stories sind natürlich unsere Politikerinnen und Politiker auch ständig ausgesetzt, das nennt sich Lobbyismus. Das Problem ist: wenn diese Narrative nicht transparent in der Öffentlich vorgetragen werden, so dass man Unstimmigkeiten, falsche Annahmen und Denkfehler rechtzeitig aufdecken kann, dann passieren leicht Fehler. Wenn solche Gespräche im stillen Kämmerlein stattfinden und womöglich noch unter Verschwiegenheit, weil es heisst, davon dürfe die Bevölkerung nichts wissen, weil sie vielleicht beunruhigt oder schockiert wäre, dann besteht die Gefahr von Fehlentscheidungen. Gründe für Geheimhaltung könnte man viele finden: die Bürger würden es nicht begrüssen, gegen ihren Willen durchleuchtet und manipuliert zu werden – die Fichen Affäre lässt grüssen; auch die für die Zukunft prognostizierten Ressourcenkrisen und Katastrophen, weil wir nicht gelernt haben, mit den Ressourcen der Erde rücksichtsvoll, kooperativ und friedlich umzugehen, geben Anlass zur Beunruhigung. Dennoch hätten wir diese Probleme und die Lösungsoptionen in der Wissenschaft und Öffentlichkeit viel offener diskutieren müssen. Es ist nicht der richtige Weg, dass sich die Geheimdienste diese Technologien still und leise zulegen und nach Ihrer eigenen Überzeugung die Gesellschaft steuern. Die dringend erforderliche öffentliche Diskussion wäre beinahe ausgeblieben. Demokratie und Menschenrechte gerieten in Gefahr, und dennoch waren und sind Korrekturen nur sehr mühsam möglich, weil grosse Investitionen getätigt und Verträge gemacht wurden.

Q: Wie bewerten Sie die Vorstellung

A: Es ist wieder das Gleiche. Ich denke, der Staat soll sich möglichst wenig einmischen in unser Leben, so verlangt es das Subsidiaritätsprinzip. Wir zerstören unsere Umwelt und Gesundheit ja nicht aus Boswilligkeit – im Gegenteil ist es doch das Interesse der grossen Mehrheit, etwas dafür zu tun. Der Staat sollte uns daher gut informieren und überzeugen, befähigen und unterstützen, sowie die Mittel an die Hand geben, mit denen wir unser Wissen, unsere Kreativität, unsere Talente, unsere Ressourcen besser zum Einsatz bringen können.

Q: Wäre eine Nudging eine Möglichkeit das damit zu erreichen?

A. Immer, wie gesagt, im Sinne der informationellen Selbstbestimmung. Ich stelle mir ja auch einen Wecker, damit ich morgens rechtzeitig geweckt werde. In diesem Moment entscheide ich mich, genudged zu werden, obwohl ich vielleicht lieber ausschlafen würde. Aber das ist in Ordnung so. Ähnliches kann ich mir im Arbeitskontext vorstellen. Selber eingesetzte Nudging Mechanismen können helfen, dafür zu sorgen, dass das Team die Kaffeemaschine sauber hält, dass Abgabetermine eingehalten werden und so weiter und so fort. Aber, wie gesagt, es muss ein informiertes Einverständnis vorliegen, und die Anwendung von Anreizen und Bestrafungen ist mit Vorsicht zu geniessen. Im Fall von China geht es so weit, dass man zwar theoretisch die Möglichkeit hätte, sich gegen Vorschläge des Staates zu entscheiden, aber dann bekommt man gleich Minuspunkte im Citizen Score, auch wenn man gute Gründe hatte. Da hat man im Prinzip überhaupt keine freien Entscheidungen mehr. In dem Moment, wo man sich gegen einen Vorschlag entscheidet, muss man im Grunde genommen einwilligen, dafür bestraft zu werden. Da besteht schon die Gefahr, dass die Leute den Weg des geringsten Widerstands nehmen, obwohl es vielleicht nicht der beste Weg ist. Die Flexibilität der Gesellschaft ginge verloren, und Innovationen blieben aus, die für die Wirtschaft und Gesellschaft vielleicht dringend erforderlich wären. Ich kann das deswegen sagen, weil ich genau weiss wie es anfangs ist, wenn man innovativ tätig wird und bestehende Lösungen in Frage stellt. Da hat man erst einmal mit Gegenwind zu rechnen. Viele bevorzugen, sich nicht auszusetzen, sondern schwimmen lieber mit dem Strom. Folglich bleiben wohl viele Innovationen aus, die die Gesellschaft eigentlich bräuchte, um ihre existentiellen Probleme zu lösen.

Q: Wer, meinen Sie, sind Hauptakteure die Big Nudging vorantreiben wollen? Staatliches Big Nudging, die Interessen, dass das auch in offizieller Form eingebracht wird?

A: Es ist klar, dass es von der Industrie vorangetrieben wird, vor allem der Marketing-Industrie, weil sie damit Geld verdienen kann. Es ist aber letzten Endes überwiegend eine Umverteilung von Marketing-Budgets, hin zu Google, Facebook und einigen anderen. Der gesamtgesellschaftliche Nutzen ist nicht offensichtlich, zumal mehr Konsum die Nachhaltigkeitsprobleme der Welt weiter verschärft. Bei den staatlichen Akteuren ist es so, dass Geheimdienste und Militär coole Tools wollen. Darüber hinaus gibt es politische Akteure, die an autoritäre Ideologien glauben und solche Technologien gerne einsetzen würden. In autoritären Staaten werden sie bereits eingesetzt. Schließlich gibt es sicher Leute, die davon beseelt sind, ihre Überzeugungen, Interessen oder Rezepte zur Rettung der Welt anderen aufzudrücken: einzelne Unternehmensführer und Milliardäre. In der Politik und hinter dem offiziellen Politikbetrieb sind es natürlich vor allem diejenigen, die gerne feudalistische Verhältnisse hätten, die glauben, dass die Welt pyramidal organisiert sein muss, damit sie funktioniert. Mit dem Citizen Score würde man ja tatsächlich ein neufeudalistisches System schaffen. Das heisst, man kann sich leicht ausrechnen, wer die grössten Fans von Big Nudging und Citizen Scores sind. Inwieweit dann noch Akteure aus dem religiösen Bereich involviert sind, der ja ebenfalls oft hierarchisch organisiert ist, kann sich jeder selber überlegen. Jedenfalls hat der Papst die UN Vollversammlung im September 2015 eröffnet, um die Agenda 2030 zu legitimieren.

Q: Mhm. Julia Puaschunder hat zur Nudgital Society geschrieben, die hat dieses Top-Down-Verhältnis, diese Stärkung von Top-Down-Steuerung herausgearbeitet und gemeint, dass das Kräfteverhältnis zugunsten derjenigen, die eh schon viel Macht haben, weiter verschärft.

A: Ja, das ist schon richtig, es droht eine weitere Machtkonzentration, die demokratische Organisationsprinzipien aushöhlen kann. Man versucht ja im Grunde genommen schon in Wahlen einzugreifen. Derjenige, der mehr Geld investiert in das Puschen von bestimmten Begriffen und in die Personalisierung von Botschaften, der hat mehr Einfluss auf die Meinungsbildung. Am Ende wird die repräsentative Demokratie, wo jeder bei der Wahl das gleiche Gewicht hat, ersetzt durch eine Unternehmensherrschaft. Dadurch werden Lösungen eingeengt auf die Interessen weniger. Utilitaristisches Denken setzt sich durch, Diversität wird reduziert, am Ende spielt nur noch die Maximierung von Geld eine Rolle. Natürlich kann eine Gesellschaft, in der am Ende nur noch eine Entscheidungsdimension, das Geld wichtig ist (oder der Citizen Score), nicht funktionieren. Ein modernes Staatswesen ist so organisiert, dass verschiedene gesellschaftliche Sphären voneinander abgegrenzt werden, die verschiedene Zielfunktionen und Werte haben. Unter anderem sind das die Legislative, Judikative und Exekutive, die Medien als vierte Gewalt, die Wissenschaft, die Wirtschaft, die Medizin, die Kultur und die Religion. Die sollten eigentlich alle unterschiedliche, komplementären Ziele verfolgen. Wenn also jetzt die Wirtschaft sich mit digitalen Technologien aller Lebensbereiche bemächtigt, dann wird die Separation dieser Sphären zerstört und ein eindimensionales Denken wird plötzlich zum Primat sämtlichen Handelns. Das am Ende nur zum Kollaps der Gesellschaft führen. Es ist völlig klar, dass hier nicht nur demokratische Prinzipien wie die Freiheit unterminiert werden, sondern auch die Menschenwürde. Kürzlich soll George Soros, die Investorenlegende, gesagt haben, dass die sozialen Medien die Zivilisation selber bedrohen. Man kann, glaube ich, nicht mehr von der Hand weisen, dass diese Gefahr tatsächlich existiert. Kritik kommt mittlerweile auch vom Erfinder des World Wide Webs, Tim Berners-Lee, und von Managern aus der IT-Branche.

Q: Sie haben etwas Interessantes angesprochen, dass verschiedene Bereiche komplementäre Zielfunktionen haben. Ich würde jetzt behaupten, dass beispielweise Lucia Reisch argumentiert, dass sie sich von den personalisiertem Nudging, wie es von ihnen theoretisiert wird, komplett davon abstreifen würde. Und meinen, dass würde nicht unter Nudging fallen, dieses Konzept ist mit Nudging nach Thaler und Sunstein nicht vereinbar. Wie bewerten sie das?

A: Man kann sich natürlich auf den Standpunkt stellen und sagen „das haben wir nicht gewollt, so war es nicht gemeint,“ und alles andere, was wir gemeint haben, das braucht einen anderen Namen. Daher spricht man ja jetzt auch von „Big Nudging“. Aber es ist in gewisser Weise auch naiv, den Missbrauch nicht antizipiert zu haben, denn der Weg zur Hölle ist bekanntlich mit guten Vorsätzen gepflastert. Wenn man zurückdenkt, dann haben auch Hitler und Stalin für sich in Anspruch genommen, etwas Gutes für die Welt tun zu wollen. Das würden wir heutzutage in Frage stellen.

Q: Mhm.

A: Von daher ist dem Konzept des „wohlwollenden Diktators“ gegenüber allerhöchste Vorsicht geboten. Am Ende hat es immer in der blanken Diktatur geendet, und von „wohlwollend“ war dann oft keine Spur mehr. Ich kann auch erklären warum. Denn sobald man – mit wohlwollenden Motiven oder nicht – diktatorisch in eine Gesellschaft eingreift, wird die Diversität reduziert und damit auch die Innovationsfähigkeit, kollektive Intelligenz und die Krisenfestigkeit. Folglich wird die Leistungsfähigkeit der Wirtschaft im Laufe der Zeit sinken, und das führt allmählich zu einer Krise. In der Not braucht es dann äussere Gegner, um irgendwie das Auseinanderfallen des Staatswesens zu verhindern, uns so verstrickt man sich allmählich in Kriege oder Revolution oder „Säuberungsaktionen“.

Q: Hmm

A: Man begibt sich in einen Teufelskreis, der im Laufe der Jahre nur in einer Katastrophe enden kann.

Q: Wie bewerten Sie denn die Nobelpreis Vergabe für ein Instrument, das sehr stark unter Kritik steht. Seitens der Wissenschaft und vielen Akteuren, und zwar hinsichtlich das es doch durch den Nobelpreis auch Akzeptanz erhalten könnte in der Gesellschaft.

A: Der Nobelpreis ist ein Fehlgriff, so ähnlich wie der Friedensnobelpreis für Obama. Ich denke, Politik und Wirtschaft haben sich auf etwas eingelassen, das ethisch, moralisch und anderweitig höchst problematisch ist, und was der Öffentlichkeit bis heute nicht gebeichtet wurde. Mit dem digitalen Manifest und andere Arbeiten sind sie unter Druck geraten. Es brauchte eine Legitimation, und so bekam Thaler den Nobelpreis für Nudging. Aber für Big Nudging hat er hat sich meines Wissens nie öffentlich ausgesprochen. Ob er einfach nur naiv und ahnungslos ist, was ich kaum glauben kann, oder ob das eine bewusste Täuschung der Öffentlichkeit ist, das will ich dahingestellt sein lassen. Eigentlich hätte man Sunstein ebenfalls den Nobelpreis verleihen müssen, aber den hat man ihm vorenthalten, meiner Meinung nach, weil er das kritische Buch „The Ethics of Influence“ geschrieben hat. Ich sehe den Nobelpreis also äusserst kritisch als den Versuch, einer hochproblematischen Methode einen OK- Stempel zu geben. Aber das ist gründlich fehlgeschlagen. Zumindest in der deutschsprachigen Presse habe ich das Gefühl, dass der Nobelpreis sehr kritisch aufgenommen wurde. Die Berichte gegenüber dem Big Nudging waren noch kritischer als gegenüber dem Nudging. Es gibt wachsende Übereinstimmung darüber, dass es in einer liberalen Demokratie nichts zu suchen hat. Vor wenigen Jahren noch ist man ja tatsächlich so weit gegangen, die Willensfreiheit des Menschen in Frage zu stellen, um die Verhaltenssteuerung zu rechtfertigen. Man hat das ganze Menschenbild auf den Kopf gestellt. Es wurde behauptet, das Gefühl der Entscheidungsfreiheit sei eine Täuschung, weil es erst nach der Entscheidung entstehe. Die Experimente, auf die man sich hinsichtlich der Illusion der Willensfreiheit abgestützt hat, sind inzwischen wiederlegt. Es gibt schon einige Anzeichen dafür, dass die Öffentlichkeit nicht nur informiert worden ist, was getan wird, sondern dass sie auch massiv getäuscht worden ist. Übrigens scheint mir auch die Politik getäuscht worden zu sein. Man ist dem Begriff des „liberalen Paternalismus“ auf dem Leim gegangen, hinter dem sich eine ganz andere Ideologie versteckt als eine liberale.

Q: Mhm (.)

Q: Mhm (.)

Q: Mhm. Hat der Ok Stempel von Nudging dazu geführt, dass ein Eingangstor geöffnet wurde für positive Nudging Forschung? Überall werden jetzt positiv Beispiele publiziert.
A: Naja, das ist gewissermassen Nudging angewandt auf das Thema „Nudging“. Es ist im Grunde genommen eine der Gehirnwäschen, denen wir ständig ausgesetzt werden. Eine andere ist, dass wir uns keine Sorgen zu machen brauchen, wenn im Rahmen der Vorratsdatenspeicherung oder ähnlichen Massnahmen ständig Daten über alle gesammelt werden, denn es ginge ja eigentlich nur um die Bekämpfung von Terrorismus und Verbrechern - uns würde das ja alles gar nicht betreffen. Das ist eine PsyOp – eine psychologische Operation, der wir nun schon seit Jahren ausgesetzt sind. Eine weitere Gehirnwäsche ist, dass behauptet wird, die Menschen würden Privatsphäre offensichtlich gar nicht mehr so wichtig finden, sonst würden sie ja nicht alle möglichen Partybilder ins Internet stellen. Da wird also die Minderheit der Leute, die solche Bilder bei Facebook posten als Repräsentanten der Gesamtbevölkerung genommen. Das ist ein fundamentale Verdrehung der Wahrheit, um die Massenüberwachung zu rechtfertigen, während die Jugend heute überwiegend SnapChat benutzt, wo ihre Posts nach einigen Sekunden gelöscht werden. Es ist offensichtlich, dass man uns in eine Art Matrixwelt zu treiben versucht, wo nicht im Marketing, sondern auch in der Politik und sogar in der Wissenschaft Methoden angewandt werden, die man durchaus als Gehirnwäsche betrachten kann. Der Global-Warming-Diskurs ist ein weiteres Beispiel. Man investiert einige Forschungsmilliarden, damit ein neues Finanzinstrument legitimiert wird, das sog. Carbon Trading, womit dann jedes Jahr Billionen umgesetzt werden. Ich kann nur sagen, dass Vorsicht geboten ist, denn man kann tatsächlich die Treiber dieser Entwicklung zurückverfolgen bis hin zum Faschismus. Man sieht – beabsichtigt oder nicht – auch an dem Cover des Buchs „Misbehaving“ von Richard Thaler. Es ist klar, dass suggeriert wird, wir alle würden ein Fehlverhalten an den Tag legen, dass korrigiert werden müsse. Abgebildet ist vermeintlich ein Vogelschwarm, der aussieht wie ein Kristall – alle Vögel haben exakt den gleichen Abstand. Einer der Vögel tanzt aus der Reihe, so dass eine Lücke entsteht. Es ist offensichtlich, dass die Aussage des Bildes ist, dieser Vogel gehöre gefälligst in Reih und Glied. Das ist nichts anderes als eine militärische Marschformation, eine Gleichschaltung, die da beworben wird. In Wirklichkeit hat ein Vogelschwarm alles andere als eine Kristallformation. Er ist nicht zentral gesteuert, sondern – ganz im Gegenteil – selbstorganisiert. Bei den meisten Vogelarten gibt es keinen Leitvogel, dem alle folgen und der eine Ordnung vorgibt. Das Titelbild ist also eine völlige Verdrehung der Tatsachen, eine klare Offenbarung, dass der Idee des Nudgings faschistisches Gedankengut der Gleichschaltung steckt. Es ist allerhöchste Zeit, die Notbremse zu ziehen.

Q: Also ich habe alle meine Punkte die ich so, sie haben sehr viel angesprochen. Ich muss noch einmal kurz zur Kontrolle durchgehen. Vielleicht würde ich Sie gerne abschliessend einmal noch hinsichtlich der positiven Einschätzung ihrerseits, Sie können auch gerne sagen, wenn Sie weniger oder keine sehen, hinsichtlich der positiven Einschätzung bitten, welche sie sehen beim Einsatz von Big Data und Nudging für diverse Politikbereiche. Wo sehe Sie da Vorteile oder Chancen? Das wäre noch (.), genau.

A: Zusammengefasst würde ich die Verhaltenssteuerung, die mit personalisierten Informationen möglich wird, nicht irgendwelchen Politikern oder Wirtschaftsleuten in die Hand geben, sondern ich würde sie in die Hand der Individuen selber geben. Die Bürgerinnen und Bürger könnten damit die Erreichung ihrer Ziele verbessern, in Übereinstimmung mit der ihnen zustehenden (informationellen) Selbstbestimmung. Ich denke, wir sollten nicht davon ausgehen, dass die Menschen die Umwelt zerstören und ihre Gesundheit ruinieren möchten. Klar würden alle gerne gesund sein und würden in einer schönen, funktionierenden Umwelt leben. Die meisten sind durchaus bereit, einen Beitrag dazu zu leisten. Die grosse Mehrheit hat Ziele, die in diese Richtung gehen, aber Mühe, diese Ziele umzusetzen. Man muss ihnen nur die Instrumente an die Hand geben, die es ihnen erlauben, leichter und besser ihre Ziele zu erreichen, beispielsweise das Rauchen aufzugeben, schlechte Gewohnheiten abzulegen, persönliche Schwächen und Traumata zu überwinden. All das könnte man mit diesen Technologien unterstützen. Ich sehe also durchaus mögliche Einsatzbereiche, aber im Sinne von Selbstbestimmung, im Sinne von Befähigung und Empowerment, im Sinne von Menschenwürde. Menschenwürde setzt voraus, das man Menschen nicht wie Tiere oder Objekte oder Daten behandelt. Sie setzt voraus, dass sie mitentscheiden und mitgestalten können; dass man sie nicht zu Objekten macht und fernsteuert. Wir sollten diese Technologien im Sinne dessen verwenden, was wir über Jahrhunderte unserer Geschichte aus Kriegen und Revolutionen gelernt haben. Wir sollten nicht die Fehler der Vergangenheit wiederholen, auch wenn die dahinter steckenden Ideen und Ideologien in einem neuen Gewand daher kommen, modern und liberal zu erscheinen versuchen.

Q: Mhm

A: Es ist Vorsicht geboten. Plötzlich gibt es auch bei uns wieder Leute, die sagen, in China könne man ja auch mit eingeschränkten Menschenrechten leben, und dort wächst die Wirtschaft schneller, also sollten wir die Menschenrechte auch hier einschränken. Das ist ein Taschenspielertrick. Wir haben unsere eigene Geschichte, unsere eigene Kultur, und müssen sie von dort aus weiterentwickeln, wo wir stehen. Es kann weder erfolgreich sein, sich eine andere Kultur aufzuerlegen noch zu gesellschaftlichen Organisationsprinzipien aus unserer Vergangenheit zurück zu kehren, auch wenn sie jetzt datengetrieben umgesetzt würden. Was für China vielleicht zu diesem Zeitpunkt vernünftig ist – das müssen die Chinesen selber entscheiden, was das ist – ist für uns sicher keine passende Lösung. Und ich bin mir sicher, dass das, was im Moment in China passiert, auch dort nicht die Lösung für alle Zeiten sein wird, denn ich sehe leistungsfähigere, bessere Wirtschafts- und Gesellschaftssysteme, die auf kombinatorischer Innovation beruhen und einem demokratischen Kapitalismus.

Q:Ok

A: Können Sie mir vielleicht die vorletzte oder letzte Frage vielleicht nochmal vorlesen. Es gibt eine Sache die ich noch gerne anmerken würde.

Q: Wie Sie den OK Stempel bewerten, der jetzt durch die immer wieder Reproduziert wird, auch in der Wissenschaft. Dann war noch ein Punkt am (.) Öffentlichkeit und die Kritik.

A: Ich meine, den OK Stempel gibt es eigentlich nicht. Soweit ich das sehen kann, hat sich die Verhaltensökonomie nicht zugunsten von Big Nudging positioniert. Sie hat sich dazu bis zum DigitalManifest eigentlich gar nicht positioniert. Die Wissenschaftler sind wie alle anderen ausgetrickst worden. Man hat die Big Data Leute gefragt, ob Big Data eine tolle Sache ist. Und sie haben natürlich alle „ja“ gesagt, denn es gibt viele tolle Sachen, die man damit machen kann. Effizienz, Gesundheit, Städte, Umwelt, und Logistik verbesern, zum Beispiel. Klar kann man damit alle möglichen tollen Sachen machen, aber bitte transparent, fair und mit Beteilungsmöglichkeiten. Dann hat man die Verhaltensökonomen gefragt, ob Nudging eine nützliche Sache ist, und alle haben ja gesagt. Und was sie wissenschaftlich diskutiert haben, war ja meistens unproblematisch und vernünftig. Vor allem haben sie ja auch jede Menge Geld bekommen für Nudging Projekte, sie hatten viel Erfolg damit. Das konnte man ja nur toll finden. Dann hat man die Künstliche Intelligenz Leute gefragt, ob KI nicht eine tolle Sache mit viel Potential ist. Und alle haben „ja“ gesagt. Dann aber hat man diese drei Ansätze heimlich miteinander verheiratet und eine Art „Mass Mind Manipulation“ auf den Weg gebracht. Jetzt sagen viele, das wussten wir nicht und das wollten wir nicht, und da können wir nichts dafür. Aber so einfach geht es nicht. Wir haben ein massives Problem, das gelöst werden muss.

Q: Sehen Sie einen Entzug, also eine fehle einer öffentlichen Stellungnahme seitens der Verhaltenswissenschaft zum Beispiel?

A: Ich meine, es wäre besser, Verantwortung zu übernehmen und zu sagen, dass man in eine Art Falle gelaufen ist. Man muss sich von dem Missbrauch dieser Technologien öffentlich distanzieren – und zwar Wissenschaftler, Politk und Wirtschaft. Leider gibt es gelegentlich Verquickungen von Politik, Wirtschaft und Wissenschaft, die zu schlimmen Fehlentwicklungen führen können. Ich erwähne in diesem Zusammenhang, was damals bei der American Psychological Association passierte, wo High- Level-Funktionäre mit hohen Geldsummen dazu gebracht wurden, die Folterprogramme im Zusammenhang mit dem War on Terror abzusegnen. So etwas kann aufgrund der Feedbackprozesse passieren, denn wer das Gewünschte sagt, bekommt erstens eine Menge Geld, und zweitens werden solche Leute befördert und kommen in entsprechend einflussreiche Positionen. weil es eben öffentlich den Staat gelegen kommt das es solche Leute gibt. So gelingt es oft, die Wissenschaft für die Legitimation politischen und wirtschaftlicher Ziele zu instrumentalisieren. Letzten Endes wird die Reputation der Wissenschaft missbraucht, um Politik und Businessmodelle zu legitimieren. Die Gefahr ist, dass dies Jahre später zu einer Delegitimierung der Wissenschaft führt. Auch Richard Thaler hatte einflussreiche Posten. Wenn ich mich richtig erinnere, hat er z.B. die American Economic Association für einige Zeit geführt. Das Thema Nudging wurde innerhalb von kürzester Zeit auf enormste Art und Weise gepuscht. Das Buch „Nudge“ wurde erst vor 10 Jahren veröffentlicht, und in Nullkommanichts war die Big Nudging Technologie in vielen Ländern installiert und umgesetzt. Normalerweise dauert es 30 oder mehr Jahre, bis sich eine neue Idee verbreitet und durchsetzt. Bei Themen, wo es um grosse wirtschaftliche Interessen geht, etwa beim Thema Rauchen, Klima oder Bienensterben dauert die Konsensbildung sogar oft noch viel länger. Da werden Kontroversen mit Drittmittelprojekten lange am Leben gehalten, damit profitable Business-Modelle möglichst lange laufen können. Und dann kommt plötzlich so eine Sache wie Big Nudging und alle sind sich einig. Finden Sie das nicht merkwürdig? Da unterhält man sich über harmlose Themen wie Äpfel, Schokomuffins und Ökostrom, aber letzten Endes lenkt das alles vom eigentlichen Thema ab, wie übrigens auch bei dem Trolley-Problem, bei dem es um das Töten von Menschen durch autonome Systeme geht. Es ist offensichtlich, dass der Konsens für Nudging von Politik und Wirtschaft gewollte war, weil sie beide davon profitierten, leider zulasten der Bürgerinnen und Bürger, aber die wurden weder informiert noch gefragt. Offensichtlich waren wir alle zu vertrauensvoll.

Q: Denken Sie, dass Demokratien wie die Schweiz so weit sind von den Kapazitäten her, sich mit diesen Thema auseinander zu setzen?
A: Einerseits liegen wir in Europa auf jeden Fall mit dem Verständnis der Digitalisierung einige Jahre zurück gegenüber Silicon Valley oder China oder Südkorea, vielleicht auch Japan. Die Durchdringung der Digitalisierung, die nach völlig neuen Prinzipien funktioniert, braucht eine Menge Zeit. Das geht nicht von heute auf morgen, sondern wir müssen alle anders denken lernen. Andererseits muss man sagen, dass man die Nebenwirkungen der Digitalisierung in Europa vielleicht früher verstanden hat als in China, in Singapur und im Silicon Valley. Ich bin der Meinung, dass da Europa dem Rest der Welt tatsächlich etwas voraus hat im Sinne der digitalen Aufklärung. Hier leben die Vordenker der Digitalisierung 2.0, bei der es nicht um Maximierung von Informationsasymmetrie und Macht geht, sondern darum, das Individuum zu befähigen und kreative Prozesse frei zu setzen und zu koordinieren – im Sinne einer Ko-Evolution, im Sinne einer wünschenswerten Selbstorganisation und Entfaltung der Gesellschaft. In dieser neuen Phase der Digitalisierung könnte Europa weltweit führend werden, wenn es jetzt die entsprechenden Plattformen baut und die Märkte erschliesst. Dass man den Individuen diese Technologien im Sinne der informationellen Selbstbestimmung an die Hand geben sollte vertritt übrigens auch Elon Musk mit seiner OpenAI-Strategie. Er möchte Künstliche Intelligenz als Verlängerung des individuellen Willens und im Sinne einer breiten, demokratischen Nutzung. Ich bin bei weitem nicht der einzige, der so denkt. Es gibt vielmehr immer mehr Leute. Tristin Harris, der in Google’s Kontrollraum gearbeitet hat und die Mind-Control-Praktiken inzwischen kritisiert, hat vor kurzem eine Stiftung oder Initiative gegründet. Und dann gibt es natürlich jede Menge Initiativen vom Chaos Computerclub angefangen bis hin zu Städten wie Barcelona, die die Zivilgesellschaft mobilisieren. Da entsteht momentan eine breite Bewegung von Menschen aus allen Bereichen, die sich im Sinne einer digitalen Mitwirkung engagieren – bisher leider mit sehr begrenzten finanziellen Mitteln. Ich denke, wenn wir jetzt aufpassen und die Demokratie hinreichend lang stabil halten können, dann wird jetzt gleich die zweite Phase der Digitalisierung kommen, ohne dass wir zuvor durch einen technischen Totalitarismus müssen. Dann werden wir bald eine partizipative Ökonomie und Gesellschaft haben auf der Basis von Befähigung und kombinatorischer Innovationen. Ich bin eigentlich zunehmend optimistisch, dass wir noch rechtzeitig die Kurve kriegen, und dass wir jetzt dort hinkommen, wo die grosse Mehrheit der Menschen und die Mehrheit der Politiker eigentlich hin möchten.