Menschliche Steuerung von Waffensystemen

von Noel Sharkey

Im April 2018 fand in Genf eine Arbeitstagung der »Gruppe der Regierungsexpert*innen« des VN-Waffenübereinkommens statt. An der Sitzung nahmen auch Vertreter*innen von Nichtregierungsorganisationen teil, darunter des International Committee for Robot Arms Control – ICRAC. Der für W&F übersetzte und nachfolgend abgedruckte Text wurde bei der Tagung als ICRAC Working Paper 3 vorgelegt.

Seit 2014 bekunden Vertragsparteien der Convention on Certain Conventional Weapons (CCW; VN-Waffenübereinkommen) ihr Interesse und ihre Besorgnis hinsichtlich einer bedeutsamen menschlichen Steuerung von Waffensystemen. Zur Dynamik der Mensch-Maschine-Wechselwirkung und zur überwachenden Steuerung von Maschinen durch den Menschen liegt eine umfangreiche wissenschaftliche und technische Literatur vor. Nachfolgend wird ein kurzer Leitfaden vorgestellt, der aus zwei Teilen besteht: Teil 1 ist eine einfache Einführung in die Psychologie menschlicher Entscheidungsfindung (human reasoning). Teil 2 skizziert verschiedene Niveaus der Steuerung von Waffensystemen, die sich aus der Forschung zur Mensch-Maschine-Wechselwirkung ergeben, und diskutiert diese in Bezug auf die Eigenschaften menschlichen Denkens. Dies macht deutlich, welche der Niveaus die Rechtmäßigkeit menschlicher Steuerung von Waffensysteme sicherstellen und garantieren können, dass vorbeugende Maßnahmen ergriffen werden, um die Relevanz, Notwendigkeit und Angemessenheit potenzieller Ziele sowie die wahrscheinlichen Nebenwirkungen und möglichen unbeabsichtigten Auswirkungen des Angriffs zu bewerten.

Menschliche Entscheidungen zur Steuerung von Waffen

Eine gut begründete Unterscheidung, die sich auf mehr als 100 Jahre umfangreicher Forschung in der Humanpsycho­logie stützt, unterteilt menschliche Entscheidungen in zwei Typen:

• schnelle automatische Prozesse, die für Routine- bzw. Basistätigkeiten, wie Fahrradfahren oder Tennisspielen, benötigt werden, und
• langsamere abwägende (deliberative) Prozesse, die für durchdachte Überlegungen notwendig sind, etwa für eine diplomatische Entscheidung.

Der Nachteil des deliberativen Denkens besteht darin, dass es Aufmerksamkeit und Gedächtnisressourcen erfordert, d.h. es kann durch Stress oder durch den Zwang zu einer schnellen Entscheidungsfindung leicht gestört werden.

Zunächst greifen automatische Prozesse, wir können uns aber über sie hinwegsetzen, wenn wir unter neuen Umständen arbeiten oder Aufgaben ausführen, die eine aktive Steuerung oder Aufmerksamkeit erfordern. Automatische Prozesse sind für unser normales Funktionieren unerlässlich, aber sie haben etliche Nachteile, wenn es darum geht, wichtige Entscheidungen zu treffen, z.B. darum, die Legitimität eines Ziels festzustellen.

Vier der bekannten Eigenschaften automatischen Denkens1 verdeutlichen, warum dieses für die überwachende Steuerung von Waffen problematisch ist:

• Es vernachlässigt Mehrdeutigkeiten und unterdrückt Zweifel. Automatische Denkprozesse führen zu voreiligen Schlussfolgerungen. Eine eindeutige Antwort drängt sich sofort und unhinterfragt auf. Es wird nicht nach alternativen Interpretationen oder Unsicherheiten geschaut. Wenn etwas wie ein legitimes Ziel aussieht, wird die automatische Entscheidungsfindung sich in einer mehrdeutigen Situation darauf verlassen, dass es tatsächlich ein legitimes Ziel ist.
• Es folgert und erfindet Ursachen und Absichten. Automatisches Denken erfindet schnell stimmige, kausale Geschichten, indem es Fragmente verfügbarer Information miteinander verknüpft. Ereignisse, an denen Personen beteiligt sind, werden automatisch mit Absichten verknüpft, die zu einer logischen Geschichte passen. Zum Beispiel könnten Menschen, die Mistgabeln auf einen Lastwagen laden, eine kausale Geschichte auslösen, dass sie Gewehre verladen. Dies wird in der Literatur zur menschlich überwachten Steuerung als »Assimilationsverzerrung« bezeichnet.2
• Es tendiert dazu, zu glauben und zu bestätigen. Automatisches Denken begünstigt die unkritische Annahme von Vorschlägen und fördert eine starke Voreingenommenheit. Wenn ein Computer einem Nutzer ein Ziel vorschlägt, würde es bei nur automatischem Denken sehr wahrscheinlich akzeptiert. Dies wird Automatisierungsverzerrung genannt.3 Demgegenüber wird aufgrund der Bestätigungsverzerrung4 Information ausgewählt, die etwas bereits Geglaubtes bestätigt.
• Es konzentriert sich auf vorhandene Anhaltspunkte und ignoriert, welche fehlen. Automatisches Denken erstellt stimmige, erläuternde Geschichten, ohne zu berücksichtigen, welche Anhaltspunkte oder Kontextinformationen möglicherweise fehlen. Was man sieht, ist alles, was da ist (What You See Is All There Is, WYSIATI).5 Es erleichtert das Gefühl von Kohärenz, das uns zuversichtlich macht, Informationen als wahr anzunehmen. Zum Beispiel kann ein Mann, der ein Gewehr abfeuert, mit WYSIATI als feindliches Ziel betrachtet werden, während ein kurzer Rundblick zeigen könnte, dass er einen Wolf erschießt, der seine Ziegen jagt.

Niveaus menschlicher Steuerung und wie sie menschliche Entscheidungsprozesse beeinflussen

Wir können Niveaus der menschlichen Steuerung von Waffensystemen betrachten, indem wir die Forschungsliteratur zur menschlichen überwachenden Steuerung auswerten (siehe Tab. 1).6

Tab. 1: Klassifizierung für Niveaus menschlicher überwachender Steuerung von Waffen

Steuerung auf Niveau 1 ist das Ideal

Ein*e menschliche*r Befehlshaber*in (oder Bediener*in) hat zum Zeitpunkt eines konkreten Angriffs volle Kenntnis der Situation und des Kontextes im Zielgebiet und ist in der Lage, jede Veränderung oder unvorhergesehene Situation wahrzunehmen, die seit der Planung des Angriffs aufgetreten sein könnten, und darauf zu reagieren. Es gibt eine aktive kognitive Beteiligung am Angriff und genügend Zeit, um die Art des Ziels und seine Bedeutung im Hinblick auf die Notwendigkeit, die Angemessenheit sowie die Wahrscheinlichkeit von zufälligen und unbeabsichtigten Nebenwirkungen zu bedenken. Es muss auch ein Verfahren für die schnelle Aussetzung oder den Abbruch des Angriffs geben.

Steuerung auf Niveau 2 könnte akzeptabel sein

Dazu muss gezeigt werden, dass Steuerung die Anforderungen an das Nachdenken über mögliche Ziele erfüllt. Menschliche Bediener*innen oder Befehlshaber*innen sollten bewusst beurteilen, ob der Angriff notwendig und angemessen ist und ob die vorgeschlagenen Ziele zulässige Angriffsobjekte sind. Ohne ausreichende Zeit oder in einer Umgebung mit vielen Ablenkungen könnte die Illegitimität eines Ziels übersehen werden.

Eine Rangliste von Zielen ist besonders problematisch, weil Automatisierungsverzerrung eine Tendenz erzeugen könnte, das am höchsten eingestufte Ziel zu akzeptieren, außer es ist genügend Zeit und Aufmerksamkeit für gründliche Überlegungen vorhanden.

Steuerung auf Niveau 3 ist inakzeptabel

Für diese Art von Steuerung wurde experimentell die Automatisierungsverzerrung nachgewiesen, bei der menschliche Bediener*innen darauf vertrauen, dass computergenerierte Lösungen korrekt sind, und deshalb widersprüchliche Informationen ignorieren oder nicht danach suchen. Cummings untersuchte Automatisierungsverzerrung in einer Studie über eine Schnittstelle, die zur Überwachung und Ressourcenverteilung von GPS-gesteuerten Tomahawk-Marsch­flugkörpern entworfen worden war.7 Sie fand heraus, dass Betreiber*innen bei Niveau-3-Steuerung eine deutlich geringere Fehlerfreiheit aufwiesen, wenn die Computerempfehlungen falsch waren.

Steuerung auf Niveau 4 ist inakzeptabel

Dieses Niveau fördert die Validierung der Ziele nicht, und eine kurze Vorgabezeit für ein Veto verstärkt die Automatisierungsverzerrung und lässt keinen Raum für Zweifel oder Nachdenken. Da der Angriff stattfindet, sofern nicht ein Mensch eingreift, untergräbt dies gängige Vermutungen gemäß dem humanitären Völkerrecht, die den Schutz der Zivilbevölkerung fördern.

Der Zeitdruck wird dazu führen, dass Bediener*innen Mehrdeutigkeit außer Acht lassen und Zweifel unterdrücken, Ursachen und Absichten ableiten und erfinden, der Überzeugungs- und Bestätigungsverzerrung ausgesetzt sind, sich auf vorhandene Anhaltspunkte konzentrieren und fehlende, aber notwendige Anhaltspunkte ignorieren. Ein Beispiel für Fehler, die durch den Zwang zu einem schnellen Veto entstehen, ist ein Vorfall im Irakkrieg 2003,8 als das Patriot-Raketenabwehrsystem der US-Armee einen britischen Tornado und eine amerikanische F/A-18 abschoss und vier Piloten tötete.

Steuerung auf Niveau 5 ist inakzeptabel

Niveau 5 beschreibt Waffen, die bei den kritischen Funktionen der Zielauswahl und der Anwendung von Gewalt autonom agieren.

Aus dem oben Gesagten sollte klar sein, dass sowohl aus der Psychologie menschlichen Denkens als auch aus der Literatur über die Mensch-Maschine-Interaktion Lehren gezogen werden müssen. Eine Kenntnis dieser Forschung ist dringend erforderlich, um sicherzustellen, dass die Wechselwirkung zwischen Mensch und Maschine so gestaltet wird, dass sie das beste Maß an menschlicher Steuerung erreicht, das zur Einhaltung des Völkerrechts unter allen Umständen erforderlich ist.

Schlussfolgerung: Notwendige Voraussetzungen für eine bedeutsame menschliche Steuerung von Waffen

Ein*e Befehlshaber*in oder Bediener*in sollte

1. einen vollständigen kontext- und situationsbezogenen Überblick über das Zielgebiet zum Zeitpunkt der Auslösung eines konkreten Angriffs haben;

2. in der Lage sein, Veränderungen oder unvorhergesehene Situationen, die sich seit der Planung des Angriffs ergeben haben, wahrzunehmen und darauf zu reagieren, beispielsweise Änderungen in der Legitimität der Ziele;

3. eine aktive kognitive Beteiligung am Angriff haben;

4. genügend Zeit haben, um über die Art und Relevanz der Ziele, die Notwendigkeit und Angemessenheit eines Angriffs, die wahrscheinlichen Folgen und die zufälligen und unbeabsichtigten Nebenwirkungen des Angriffs nachzudenken; und

5. über die Mittel verfügen, den Angriff rasch auszusetzen oder abzubrechen.

Anmerkungen

1) Kahneman, D. (2011): Thinking, Fast and Slow. London: Penguin Books. Kahnemann bezieht sich auf die beiden Prozesse als System 1 und System 2. Diese entsprechen den Begriffen automatisch und deliberativ, die hier der Klarheit und Konsistenz wegen verwendet wurden.

2) Carroll, J.M.; Rosson, M.B. (1987): Paradox of the active user. In: Carroll, J.M. (ed.): Interfacing Thought – Cognitive Aspects of Human-Computer Interaction. Cambridge/MA: MIT Press, S. 80-111.

3) Mosier, K.L.; Skitka, L.J. (1996): Human decision makers and automated decision aids – made for each other? In: Mouloua, M. (ed.): Automation and Human Performance – Theory and Applications. Milton Park: Lawrence Erlbaum Associates, S. 201-220.

4) Lord, C.G.; Ross, L.; Lepper, M. (1979): Biased assimilation and attitude polarization – the effects of prior theories on subsequently consid­ered evidence. Journal of Personality and Social Psychology, Vol. 37, No. 11, S. 1231-1243.

5) Kahneman (2011), op.cit.

6) Für ein tiefergehendes Verständnis dieser Analysen und Quellen siehe Sharkey, N. (2016): Staying in the Loop – Human Supervisory Control of Weapons. In: Nehal, B. et al. (eds.): Autonomous Weapons Systems – Law, Ethics, Policy. Cambridge: Cambridge University Press, S. 23-38.

7) Cummings, M.L. (2006): Automation and Accountability in Decision Support System Interface Design. Journal of Technology Studies, Vol. 32, No. 1, S. 23-31.

8) Jahreszahl gegenüber dem Originaltext durch Übers. korrigiert.

Noel Sharkey ist Vorsitzender des International Committee for Robot Arms Control (ICRAC).

Ein besonderer Dank geht an Lucy Suchman, Frank Sauer, Amanda Sharkey und weitere Mitglieder von ICRAC für hilfreiche Kommentare.

Aus dem Englischen übersetzt von ­Jürgen Scheffran.