Angesichts von Triage und „Todesalgorithmen“:

Ist die heutige daten-getriebene Medizin mit der Verfassung vereinbar?[1]

„Als Mitglied der ärztlichen Profession gelobe ich feierlich, mein Leben in den Dienst der Menschlichkeit zu stellen. Die Gesundheit und das Wohlergehen meiner Patientin oder meines Patienten werden mein oberstes Anliegen sein.

Ich werde die Autonomie und die Würde meiner Patientin oder meines Patienten respektieren. Ich werde den höchsten Respekt vor menschlichem Leben wahren.

Ich werde nicht zulassen, dass Erwägungen von Alter, Krankheit oder Behinderung, Glaube, ethnischer Herkunft, Geschlecht, Staatsangehörigkeit, politischer Zugehörigkeit, Rasse, sexueller Orientierung, sozialer Stellung oder jeglicher anderer Faktoren zwischen meine Pflichten und meine Patientin oder meinen Patienten treten...“

So fordert es das Ärztliche Gelöbnis (die „Deklaration von Genf“ [2]) in seiner neuen Fassung aus dem Jahr 2017, auch bekannt als Hippokratischer Eid. Doch sind die in der Medizin eingesetzten Verfahren überhaupt kompatibel damit – oder droht in unserer Gesellschaft neben einer biologisch-genetischen und sozialen nun auch eine technische Selektion? Angesichts der jüngsten Anwendung von Triage-Methoden sind ernste Sorgen angebracht.

Die Praxis in Krankenhäusern und der Notfallmedizin muss auf den verfassungsrechtlichen Prüfstand. Im Zusammenhang mit Algorithmen-gestützten Sterbeentscheidungen droht eine gefährliche Verantwortungsdiffusion mit unabsehbaren Folgen für unsere Gesellschaft. Zur Erläuterung beschreiben wir im Folgenden vereinfacht einige kritische Elemente der Prozesskette im Gesundheitssystem und wie sie ineinander greifen:

• Die Realität in Krankenhäusern beinhaltet bekannter Weise Kapazitätsengpässe, wie sie auch in der COVID-19 Krise offenbar geworden sind. Unter solche Umständen kommt es implizit oder explizit zu Priorisierungsentscheidungen. Im schlimmsten Fall können das Triage-Entscheidungen sein, in deren Folge Menschen sterben, die unter normalen Umständen gerettet werden könnten und würden.

• Dabei werden relevante Vorentscheidungen unter Umständen auch von Personal getroffen, welches die möglichen ethischen und juristischen Implikationen nicht vollständig überblickt.

• Überdies wird das medizinische Personal bei seinen Entscheidungen zunehmend von Messdaten und Expertensystemen oder gar KI-Systemen unterstützt, was oft sehr hilfreich ist. Bei bestimmten Entscheidungen kann das aber problematisch sein. Solche digitalen Hilfsmittel werden von Softwareentwicklern geschaffen, die von medizinischen, rechtlichen und gesellschaftlichen Implikationen in der Regel nur begrenzte Ahnung haben.

• Die Algorithmen unterliegen dem Betriebsgeheimnis und werden häufig Updates unterzogen, sind also in ihrer Wirkung bis zu einem gewissen Grade nicht bekannt und mangels Algorithmentransparenz zum Teil nicht überprüfbar. Problematisch ist zudem die „epistemische Autorität“, die algorithmischen Entscheidungen anhaften: eine Befolgung algorithmischer Empfehlungen scheint oft geboten und im Schadens- oder Klagefall eher von Vorteil zu sein.

• Den medizinischen Entscheidungen werden oftmals Kriterien wie die erwartete Wirksamkeit der fraglichen Maßnahmen zugrunde gelegt. Hierbei ist zwischen verschiedenen Behandlungsmöglichkeiten zu entscheiden, oder ob auf solche verzichtet wird. Die zugrundeliegende Entscheidungen stützen sich oft auf Mittelwerte ab, wie sie in umfangreichen medizinischen Studien erhoben werden. Diese lassen aber in der Regel keine präzisen individuellen Prognosen zu, da die Variation der Daten oft groß ist. Mit anderen Worten: eine Maßnahme, die im Mittel besser ist, kann im Einzelfall oft schlechter sein.

• Auch Triage-Entscheidungen werden gegebenenfalls auf der Basis von Daten getroffen, die keine exakten individuellen Prognosen zulassen oder für Triage-Entscheidungen ursprünglich nicht gedacht waren.

• Daten-getriebene Entscheidungen sind oft sehr sensitiv gegenüber Details des verwendeten Algorithmus oder der ausgewerteten Daten. Folglich kann die Auswahl der Patienten, die medizinisch priorisiert oder Opfer der Triage werden, stark mit den verwendeten Prozeduren, Algorithmen oder Datensätzen variieren. Damit sind wir mit einer unerwünschten Zufälligkeit und Willkür resultierender Entscheidungen konfrontiert. Die Objektivität und wissenschaftliche Unangreifbarkeit entsprechender Entscheidungen ist also in Frage zu stellen. Trotz dieser methodischen Mängel werden lebenswichtige Entscheidungen zunehmend auf der Basis von Algorithmen getroffen.

• Fraglich ist auch die Rechtmäßigkeit und Sinnhaftigkeit der verwendeten persönlichen Daten und Algorithmen. Zum Beispiel spielt in einigen von ihnen die prognostizierte Lebenserwartung eine Rolle,[3] obwohl deren individuelle Variabilität ebenfalls hoch ist.[4] In der Folge werden auf der Basis der Prognose der Lebenserwartung getroffene oder unterlassene medizinischen Maßnahmen in vielen Fällen die Lebenserwartung determinieren. Daher bedingt ein Einsatz solcher Algorithmen weitgehend die Sterbereihenfolge. Die Prognosen würden quasi zur self-fulfilling Prophecy.

• Bei den medizinischen Entscheidungen spielen auch finanzielle Ressourcen eine zunehmende Rolle. Die Big Data-gestützten medizinischen Entscheidungen sollen für einen effizienten Einsatz verfügbarer Mittel sorgen. Damit verlagert sich aber der Fokus von der Menschenwürde zunehmend zu ökonomischen Nutzenerwägungen. Algorithmen-basierte Priorisierungsentscheidungen, einschließlich Triage-Entscheidungen, werden also zunehmend durch Kostenfragen bestimmt.

• Wird bei den Entscheidungen überdies der individuelle Versicherungsschutz (der Leistungsumfang der jeweiligen Krankenversicherung) berücksichtigt, so ist auch mit einer sozialen Selektion zu rechnen.[5] Wie man aus der KI-Forschung weiß, können solche Diskriminierungs-Effekte wegen der Intransparenz der Algorithmen und der verwendeten Trainingsdaten selbst dann resultieren, wenn sie nicht beabsichtigt oder explizit einprogrammiert sind.[6]

• Im Rahmen der gegenwärtigen Pandemie werden Triage-Entscheidungen, in denen es um Entscheidungen über Leben und Tod geht, heute vermehrt getroffen. Sie werden mangels ausreichender medizinischer Kapazitäten oft als unvermeidlich dargestellt. Man darf aber nicht vergessen, dass sie als äußerst problematisch gelten und bisher nur im Krieg und extremsten Katastrophenlagen akzeptabel waren.

• Dennoch entwickeln verschiedene Projekte Algorithmen, die Triage-Entscheidung treffen sollen, welche angeblich ununterscheidbar von solchen sind, die Ärzte treffen würden. Damit droht eine Mechanisierung des Sterbens.

• Der Trend geht folglich dahin, dass problematische Entscheidungen an daten-getriebene Algorithmen und Maschinen übertragen werden, also von autonomen Systemen getroffen werden. In manchen Ländern scheinen solche Algorithmen-basierten Triage-Entscheidungen bereits im Einsatz zu sein. Damit wird der Mensch jedoch zum Objekt einer maschinellen Entscheidung gemacht, was mit der Menschenwürde nicht vereinbar ist. Außerdem wird mit der Verantwortungsverschiebung das Prinzip der Accountability untergraben.

• Die diesen Algorithmen zugrundeliegenden Parameter werden, wie gesagt, direkt oder indirekt auch durch die Behandlungskosten mitbestimmt. Insofern führen politische Entscheidungen über medizinische Kostendeckel zwangsläufig zu Parameteränderungen, die darüber bestimmen, wieviele Menschen letztlich von Triage-Entscheidungen betroffen sind und früher sterben werden, auch, wenn das nicht beabsichtigt war.

• Neben den Behandlungskosten spielen aber auch Daten zur gesundheitlichen Verfassung einer Person eine Rolle, die zum Teil durch Verhalten, Arbeit und Umwelt, zum Teil aber auch genetisch bedingt sind. Daher ist im Ergebnis zu erwarten, dass die Kombination von Kostenoptimierung und daten-basierter, algorithmen-gestützter Medizin verstärkt zu eugenischen Selektions-Effekten führt.

• Mit COVID-19 drohen (teil-)automatisierte Verfahren für Sterbeentscheidungen in den Klinikalltag einzuziehen, womit Triage-Maßnahmen nicht mehr auf Kriegs- und Katastrophenfälle beschränkt wären, sondern zum Normalfall zu werden drohen. Durch die zunehmende Automatisierung der Prozesse entziehen sie sich dann zunehmend menschlichen Entscheidungen. In einer nicht nachhaltigen, „überbevölkerten“ Welt, ist zu befürchten, dass dies langfristig nicht gut ausgehen wird.

• In einigen europäischen Ländern werden Triage-Entscheidungen offenbar bereits seit einigen Jahren zur Optimierung der Krankenhauslogistik und „zur Verbesserung des Patientenflusses“ getroffen. Es ist daher zu befürchten, dass in der medizinischen Praxis geltendes Recht schon seit geraumer Zeit nicht immer korrekt angewandt wird.

Mit Covid-19 ist die mangelnde Nachhaltigkeit unserer Gesellschaft auch in Europa zu einer Frage von Leben und Tod geworden. Die Umorganisation zu einer nachhaltigen Gesellschaft ist damit ein vordringliches politisches Problem, wofür zahlreiche umsetzbare Vorschläge vorliegen.[7] Wir glauben allerdings, dass Triage-Entscheidungen nicht zu einem selbstverständlichen Bestandteil des gesellschaftlichen Lösungs-Arsenals werden dürfen. Hoch problematische Methoden, wie sie sonst nur im Kriegs- und Katastrophenzustand Einsatz finden, dürfen nicht zu einem „new Normal“ werden. Sie sind insbesondere keine akzeptable Lösung für das Problem der globalen Überbevölkerung.

Wir haben oben erläutert, warum im heutigen Gesundheitssystem unerwünschte genetische und soziale Selektionseffekte zu erwarten sind, die durch technische Innovationen weiter verstärkt zu werden drohen. Um diese zu minimieren schlagen wir vor, dass medizinische Einrichtungen regelmäßig statistische Auswertungen über etwaige genetischen oder soziale Selektionseffekte erstellen sollten. Es besteht sonst die akute Gefahr, dass jene Menschen, die medizinische Unterstützung und gesellschaftliche Solidarität am Nötigsten hätten, von einem daten-getriebenen System, wie es sich heute abzeichnet, besonders benachteiligt werden.

Unserer Einschätzung nach erfüllen die derzeitigen daten-basierten Ansätze die verfassungsrechtlichen Anforderungen (Gleichheitsgrundsatz, Selbstbestimmung, Recht auf Leben), Wissenschaftlichkeit (angesichts der Sensitivität der Verfahren) und politische Ziele (wie Gerechtigkeit) heute nur unzureichend. Der Einsatz von Künstlicher Intelligenz und anderen digitalen Innovationen sollte aber so erfolgen, dass er fair ist. Andernfalls ist zu befürchten, dass der demokratische Gleichheitsgrundsatz zunehmend von diskriminierenden Scoring-Systemen ersetzt wird, was letzten Endes zu einer fundamental anderen Gesellschaft führen würde.

Obwohl verfassungsgemäße und faire daten-gestützte Methoden denkbar wären, scheinen die derzeit verwendeten Verfahren diesen Anforderungen nicht immer zu genügen. Nimmt man den Gleichheitsgrundsatz ernst, demzufolge kein menschliches Leben mehr als ein anderes zählen darf, dann müssten die Segnungen der modernen Medizin allen Menschen gleichermaßen zu Gute kommen. Dieses Fairnessgebot impliziert, dass gesundheitlich benachteiligte Menschen mit einer kürzeren Lebenserwartung pro Lebensjahr auch in Zukunft eine höhere Unterstützung erwarten dürfen. Das erfordert jedoch eine andere Nutzung daten-gestützter Methoden.

Statt dem oben beschriebenen System wäre beispielsweise ein Gesundheits- und Sozialsystem denkbar, in dem jeder Mensch eine bestimmte Anzahl von „Vouchern“ bekommt. Diese könnte man zum Einsatz bringen, wenn um es Entscheidungen geht, die für das eigene Leben individuell besonders wichtig sind. Insbesondere könnten sie genutzt werden, um algorithmen-basierte Entscheidungen zu „übertrumpfen“. Damit würde vermieden, dass Menschen zum Objekt von Algorithmen-Entscheidungen werden, und es entstünden neue Entscheidungsfreiräume im Sinne der Menschenwürde.

Im Laufe eines Lebens nicht genutzte Voucher (und die damit verfügbar werdenden Ressourcen) könnten zusätzlich für Personen eingesetzt werden, die besonders hilfsbedürftig sind. Dies soll nur ein Beispiel dafür sein, dass auch in einer Welt mit Ressourcen-Knappheiten individuelle Selbstbestimmung und soziale Verantwortung realisierbar sind, die in einem scheinbar optimalen, daten-getriebenen Gesundheitssystem heute wenig Platz haben.

Engpässe im Gesundheitssystem sind weder Naturgesetz noch gottgegeben, sondern ein menschengemachtes systemisches Problem. Da es hier um Leben und Tod und um fundamentalste Grundrechte geht, handelt es sich um eine zentrale, vielleicht sogar die Wichtigste aller politischen Fragen im Zusammenhang mit der digitalen Gesellschaft. Will die Politik ihrer Aufgabe gerecht werden und ihre Legitimität sicherstellen, muss sie solchen Fragen wesentlich mehr Platz einräumen. Wir sind zuversichtlich, dass eine breite gesellschaftliche Diskussion dieser Fragen zu den Einsichten, Lösungen und systemischen Veränderungen führen wird, die in einer lebenswerteren Gesellschaft und besseren Zukunft resultieren, wie wir sie uns alle wünschen.

Dirk Helbing ist Professor für Computational Social Science am Department Geistes-, Sozial- und Staatswissenschaften der ETH Zürich und am Department of Computer Science assoziiert. Seine aktuellen Studien diskutieren global vernetzte Risiken und die digitale Gesellschaft. An der TU Delft leitet er das Doktorandenprogramm "Engineering Social Technologies for a Responsible Digital Future". Er ist zudem gewähltes Mitglied der Deutschen Akademie der Wissenschaften „Leopoldina“.

Thomas Beschorner ist Professor für Wirtschaftsethik und Direktor des Instituts für Wirtschaftsethik der Universität St.Gallen. Zu seinen Arbeitsfeldern zählen vielfältige Fragenstellungen im Bereich der Unternehmensverantwortung und im Bereich einer Ethik der Digitalisierung.

Bruno Frey ist Ökonom und Ständiger Gastprofessor an der Universität Basel, wo er das Center for Research in Economics and Well-Being (CREW) leitet. Er ist außerdem Forschungsdirektor des Centers for Research in Economics, Management and the Arts (CREMA).

Andreas Diekmann ist Seniorprofessor an der Universität Leipzig und Emeritus der ETH Zürich. Er lehrt an den Universitäten Leipzig und Zürich und befasst sich in seinen empirischen Forschungen mit digitalen Märkten und experimentellen Studien zur sozialen Kooperation. Auch er ist Mitglied der „Leopoldina“.

Thilo Hagendorff ist Post-Doc im Exzellenzcluster „Machine Learning“ sowie Projektleiter am Internationalen Zentrum für Ethik in den Wissenschaften an der Universität Tübingen. Sein Forschungsschwerpunkt liegt in der KI-Ethik.

Peter Seele arbeitet als Professor für Wirtschaftsethik an der Universität der italienischen Schweiz, USI Lugano. Seine Forschungsschwerpunkte sind Greenwashing, Maschinewashing, und die Maschinisierung von Mensch und Gesellschaft.

Sarah Spiekermann leitet das Institut für Wirtschaftsinformatik und Gesellschaft an der Wirtschaftsuniversität Wien. Sie ist als Buchautorin zur digitalen Ethik bekannt und als Expertin zu den Themen digitale Privatsphäre, Überwachungskapitalismus und Wertephilosphie. Überdies ist sie Vizevorsitzende des IEEE P7000 Standards, der einen Prozess für ethisches Systemdesign definiert.

Jeroen van den Hoven ist Ethik-Professor an der TU Delft, wo er am Thema „werte-sensitives Design“ arbeitet. Er sitzt in verschiedenen hochkarätigen Ethikgremien und ist Chef-Herausgeber des Journal of Ethics and Information Technology. Seine Kompetenz in schwierigen ethischen Sachfragen ist vielerorts geschätzt.

Andrej Zwitter ist Professor für Governance and Innovation und Wissenschaftlicher Direktor des Cyan Centre on Climate Change Adaptation sowie Dekan der Fakultät Campus Fryslan der Universität Groningen. Er ist Experte im Bereich Technology Governance und ist für seine Publikationen zu digitaler Ethik und Notstandsrecht bekannt.

[1] Dieses Policy Paper wurde am 6. Mai 2021 durch die ZEIT Online in einem Artikel gefeatured:

https://www.zeit.de/digital/2021-05/triage-software-notfallmedizin-algorithmus-kuenstliche-intelligenz-ethik

[2] https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/International/Deklaration_von_Genf_DE_2017.pdf

[3] https://daserste.ndr.de/panorama/archiv/2017/Der-Todesalgorithmus-Computer-berechnet-Lebenserwartung,todesalgorithmus112.html

[4] Insbesondere variiert die mittlere Lebenserwartung in verschiedenen Ländern beträchtlich. Wird ein solcher Algorithmus also mit internationalen Daten gefüttert, besteht die Gefahr lebensverkürzender Entscheidungen in Ländern mit einer eigentlich überdurchschnittlichen Qualität des Gesundheitssystems.

[5] https://www.tagesanzeiger.ch/wo-man-versichert-ist-kann-ueber-leben-oder-tod-entscheiden-752186910381

[6] Nicht selten kommt es vor, dass ethnische, soziale, genetische und Verhaltens-Faktoren miteinander korrelieren.

[7] Insbesondere wurden von den Unterstützern dieses Textes selber zahlreiche innovative Lösungsansätze vorgeschlagen.