Autonome Waffensysteme – auf dem Vormarsch?

Wie viele andere Bereiche des öffentlichen und wirtschaftlichen Lebens unterliegen in Zeiten von COVID-19 auch letale autonome Waffensysteme (LAWS) einer Art »Stillstand«: Gespräche der »Group of Governmental Experts on LAWS« im Rahmen der UN-Waffenkonvention finden derzeit nicht statt, und auch auf die Tagesordnung des UN-Sicherheitsrates haben es LAWS mal wieder nicht geschafft. Dies gebietet aber der Entwicklung (teil-) autonomer Waffen keineswegs Einhalt, obwohl eine besorgte Rüstungsindustrie schon mahnt, die Weiterentwicklung (teil-) autonomer Waffensysteme (z.B. des Next Generation Weapon System) dürfe nicht wegen der Corona-Krise verzögert werden.

Die Entwicklung autonomer Waffen wird also trotz Corona-Pandemie und trotz dem seit sechs Jahren laufenden, unverbindlichen Meinungsaustausch auf UN-Ebene voranschreiten. Denn, so darf vermutet werden, die Pandemie wird (hoffentlich) in absehbarer Zeit gestoppt werden, der Rüstungswettlauf um autonome Waffen aber wird nicht aufzuhalten sein – es sein denn, die Gruppe vernunftbegabter Staaten wächst und setzt ein verbindliches Verbot durch, was derzeit zumindest im Rahmen der Vereinten Nationen höchst unwahrscheinlich scheint. Die Kluft zwischen denjenigen, die, wie Deutschland, unverbindliche Einsatzregeln für LAWS anstreben und damit Waffen mit autonomen Fähigkeiten nicht grundsätzlich in Frage stellen, sondern selbst darüber verfügen möchten, und denjenigen, die LAWS völkerrechtlich verbieten wollen, erscheint unüberbrückbar.

Die deutsche LAWS-Politik ist derzeit durch eine große Diskrepanz gekennzeichnet, die sich zwischen den öffentlichen Bekundungen der Bundesregierung auf der einen und dem Abstimmungsverhalten der Koalitionsparteien im Bundestag sowie dem tatsächlichen Handeln auf UN-Ebene auf der anderen Seite beobachten lässt. Auch nationalen Maßnahmen (Moratorien), die jedwede Entwicklung von LAWS bzw. die Integration von Künstlicher Intelligenz in (autonome) Waffensysteme stoppen, bis ein völkerrechtliches Verbot verabschiedet ist, erteilt die Bundesregierung eine Absage.

Ein Grund für diese Gemengelage mag sein, dass nicht nur deutsche Unternehmen, sondern auch Hersteller insbesondere aus den USA, Großbritannien, Frankreich, Russland, China und Israel autonome Systeme mit Hochdruck entwickeln.

Auf Waffenmessen lässt sich beobachten, dass die NATO-Lobbyist*innen der European Industrial Advisory Group für eine „frühzeitige Einbeziehung der Industrie als Schlüsselfaktor für eine autonome Transformation“ werben. Hersteller lassen auf diesen Messen verlauten, dass die Integration von Autonomie in Waffensysteme technisch kein Problem mehr darstelle und man sich stets bemühe, das Völkerrecht zu beachten, aber letztendlich entscheide der Kunde, welche Fähigkeiten das gewünschte System haben solle; besonders nachgefragt würden schaltbare Systeme (autonom/teilautonom). So ist z.B. die manuell und autonom steuerbare Kamikazedrohne KARGU in der Lage, über einen längeren Zeitraum im Luftraum zu patrouillieren und durch den Einsatz von Künstlicher Intelligenz Gesichter zu erkennen, im Schwarm zu operieren und Ziele selbstständig und ohne menschliche Kontrolle zu finden und zu zerstören. KARGU, so der türkische Hersteller STM, solle an der Grenze zu Syrien eingesetzt werden.

Zumindest teil-autonom operieren können soll auch das ambitionierte und milliardenschwere Projekt »Next Generation Weapon System« von Airbus, Dassault Aviation, MTU und MBDA; es sieht eine Integration von Kampfflugzeugen, autonomen Drohnenschwärmen und Raketen vor. Der Kampfroboter »Mission Master« von Rheinmetall hingegen ist schon fertig entwickelt und kann ferngesteuert, teilautomatisiert oder vollautonom betrieben und mit Kamikaze-Drohnen – die laut Hersteller WB Group „völlig autonom während eines Angriffs“ operieren können – oder 70-mm-Raketen bewaffnet werden.

Befürworter*innen autonomer Waffen sagen, ethische Überlegungen sollen bei der Entwicklung dieser Systeme einfließen. Ob diese Überlegungen bereits zu belastbaren Konzepten geführt haben, die Beherrschbarkeit und Verantwortbarkeit garantieren, darf bezweifelt werden.

Roboterschwärme sind Massenvernichtungswaffen, sagen kritische Wissenschaftler, wie Toby Walsh. Sie destabilisierten eine ohnehin instabile Welt und machen die Kriegführung weder effizienter noch humaner. Es bleibt also zu hoffen, dass der Widerstand der »Tech Community« weiter wächst und die COVID-19-Pandemie dazu beiträgt, dass Öffentlichkeit und Politik auch bei dieser Frage mehr auf kritische Wissenschaftler*innen hören.

Thomas Küchenmeister ist geschäftsführender Vorstand der Umwelt- und Menschenrechtsorganisation Facing Finance e.V. und Sprecher der Kampagne »Stop Killer Robots« in Deutschland. Von 1997 bis 2010 koordinierte er die deutsche Sektion der internationalen Kampagnen gegen Landminen und Streumunition (Aktionsbündnis Landmine.de). Die von ihm 2013 gegründete Organisation Facing Finance e.V. ist Mitglied verschiedener Nichtregierungsnetzwerke, u.a. der »Campaign to Stop Killer Robots« und der »Cluster Munition Coalition«.

Unbemannte Flugzeuge (unmanned air vehicles, UAVs) werden von Streitkräften seit Jahrzehnten genutzt, vor allem für die Aufklärung, inzwischen von über 90 Staaten. Seit die USA 2001 mit Waffen ausgestattete UAVs einführten und diese systematisch im Nahen und Mittleren Osten sowie in Afrika einsetzen, ist die Anzahl der UAV-Typen massiv angestiegen. Inzwischen haben über 30 Länder (und einige nicht-staatliche Gruppen) bewaffnete UAVs; mehr als zehn haben sie im Kampf eingesetzt (Bergen et al. 2019/2020). Unbemannte bewaffnete Land- und Wasserfahrzeuge liegen im Vergleich zurück, werden aber ebenfalls entwickelt und manche stationiert. Die vorhandenen Luftsysteme haben zum Teil schon erhebliche automatische Funktionen, können etwa bestimmte Wege abfliegen; einige können selbständig starten und landen. Angriffe geschehen bisher aber unter Fernsteuerung durch menschliche Bediener*innen, was eine zuverlässige Kommunikation vom und zum Waffensystem erfordert. Die ist in bisherigen Einsätzen nicht gefährdet, das wäre aber im Kampf mit einem etwa ebenbürtigen Gegner anders.

Aus diesem Grund und im Zuge der technischen Entwicklung vor allem in der Informationstechnik rückt der Übergang zum Schießen ohne menschliche Steuerung in den Blick. Autonome Waffensysteme (AWS) hätten deutliche militärische Vorteile: Personal könnte eingespart werden, eine Person könnte viele AWS beauftragen und überwachen. Falls die Kommunikation unterbrochen würde – etwa weil der Gegner sie stört –, könnte der Kampf dennoch fortgesetzt werden. Ohne Funkverbindung wäre das System für den Gegner schwerer aufzuspüren. Die Steuercomputer in AWS könnten vor Ort entscheiden und erheblich schneller reagieren, als wenn erst eine Information zu einem entfernten Befehlsstand übertragen werden muss, wo ein Mensch entscheidet und einen Einsatzbefehl zurückschickt. Für Schwärme bewaffneter Systeme, die eine gegnerische Stellung von vielen Seiten angreifen und eventuell deren Abwehr überfordern, würde menschliche Steuerung der einzelnen Schwarmelemente die Kampfkraft erheblich einschränken.

Aus diesen Gründen betreibt das US-Verteidigungsministerium, das allgemein in militärischer Forschung und Entwicklung führt und weltweit bei Weitem das meiste Geld dafür ausgibt (65 % der Weltausgaben), intensiv die Entwicklung von AWS. Für den Einsatz von AWS, die es im eigentlichen Sinn noch nicht gibt, stellte es bereits 2009 Regeln, aber auch Bedingungen auf (U.S. DoD 2012).

Manche Waffensysteme haben schon einen automatischen Modus, meist zur Abwehr schnell anfliegender Projektile, wenn in den letzten Sekunden schneller gezielt und gefeuert werden muss, als ein Mensch das könnte. Das sind etwa das Patriot-Luftabwehrsystem (USA), die Phalanx- oder Mantis-Maschinenkanone (USA bzw. Deutschland), alle vor allem mit Radar gesteuert. Bei diesen Systemen geht es um eine einfache Umgebung mit einfacher Zielerkennung; die Aktionen sind im Wesentlichen vorhersehbar, und sie werden von Menschen vor Ort überwacht. Rein technisch kann man solche Waffensysteme zwar als autonom bezeichnen, AWS im eigentlichen Sinne wären aber erst solche, die in einer komplexen Umgebung über eine gewisse Zeit selbständig nach Zielen suchen, sie auswählen und angreifen. Sie würden auf Grund eines allgemeinen Auftrags ihre Handlungen planen, eventuell mit Lerneffekten aus den Abläufen. Ihr Verhalten wäre kaum vorhersagbar.

Definitionen und Probleme

Das Internationale Komitee vom Roten Kreuz hat ein AWS definiert als ein Waffensystem mit Autonomie in seinen kritischen Funktionen, das Ziele ohne menschlichen Einfluss auswählen und angreifen kann (ICRC 2016). Die Definition des US-Verteidigungsministeriums lautet ganz ähnlich (U.S. DoD 2012). 2014 arbeitete das deutsche Bundesministerium der Verteidigung eine Definition aus, die die deutsche Position bis heute darstellt. Danach ist ein »letales autonomes Waffensystem« (Lethal Autonmous Weapon System, LAWS) „[e]in Waffensystem, welches in erster Linie dazu bestimmt ist, tödliche Gewalt allein gegen Personen zur Wirkung zu bringen, und welches, ohne jegliche menschliche Einflussnahme und Kontrolle sein Umfeld und seinen inneren Zustand wahrnimmt, eine Beurteilung der Situation vornimmt, entscheidet, rational handelt, evaluiert und daraus lernt“ (BMVg 2014).1 Im selben Sinne heißt es 2018 im deutschen Definitionsvorschlag für das Genfer Expertentreffen zum VN-Waffenabkommen: „Deutschland lehnt autonome Waffensysteme ab, die primär dafür konstruiert sind, direkt letale Wirkungen oder andere Schäden bei Menschen hervorzurufen, und die konstruiert sind, völlig unabhängig von menschlicher Wechselwirkung oder Steuerung wahrzunehmen, rational zu überlegen, zu entscheiden, zu handeln, zu evaluierten und zu lernen. […] Die Fähigkeit, zu lernen und Selbstwahrnehmung [self-awareness] zu entwickeln, stellt eine unverzichtbare Eigenschaft dar, die benutzt werden muss, wenn man einzelne Funktionen oder Waffensysteme als autonom definiert.“ (Germany 2018, Hervorhebung im Original)

Diese deutsche Position ist sehr problematisch: Sie schränkt LAWS auf Systeme ein, die gegen Personen wirken; Waffensysteme gegen Objekte (in denen sich Personen befinden können) werden nicht erfasst. Ein System fällt nur dann darunter, wenn es lernen kann. Das dritte Kriterium – Fähigkeit zur Selbstwahrnehmung – schränkt die erfassten Systeme noch weiter ein. Dies verschiebt die mögliche Verfügbarkeit von LAWS vermeintlich in die unbestimmte Zukunft. Schon in den nächsten fünf bis zehn Jahren könnten aber viele Systeme entwickelt und stationiert werden, die ohne menschliche Steuerung Ziele – nicht nur Menschen – auswählen und angreifen können, ohne dass sie lernen oder über Selbstwahrnehmung verfügen würden. Das wären aber gerade die Systeme, die große Gefahren für die internationale Sicherheit und den Frieden mit sich bringen würden und mit Vorrang völkerrechtlich verboten werden sollten.

Angemessener als die deutsche sind die funktionalen Definitionen des IKRK oder des US-Verteidigungsministeriums. Legt man die zugrunde, sind auch die schon vorhandenen Kurzstreckenabwehrsysteme mit automatischem Modus (Patriot u.ä.) AWS. Sollte im Falle eines AWS-Verbots nicht gefordert werden, solche Systeme wieder abzuschaffen, müsste für sie eine Ausnahmeregel vereinbart werden.

Stand und Vorläufersysteme

Es gibt ein einziges Waffensystem, dass schon eine Zeitlang (viele Stunden) über einem Gebiet kreisen, dort nach feindlichen Systemen suchen und diese zerstören kann: Die propellergetriebene israelische Harpy-Kampfdrohne, in viele Länder exportiert, erkennt Radarsysteme, fliegt gegebenenfalls in diese hinein und explodiert dort. Radars sind aber eine sehr eingeschränkte Zielkategorie, und ihre Ausschaltung birgt relativ wenig Gefahr für zivile Schäden. Eine andere Art AWS-Vorläufer sind ortsfeste, robotische Wachpostenkanonen (produziert von Südkorea und der Türkei), die zwar für autonomes Schießen ausgerüstet sein sollen, in der Regel aber ferngesteuert angreifen. Auch für bislang ferngesteuerte unbemannte bewaffnete Landfahrzeuge, die von verschiedenen Ländern entwickelt und stationiert werden, sind Autonomiemodule in Vorbereitung. Es gibt Flugkörper, die in so großen Entfernungen angreifen sollen, dass eine Zielmarkierung, z.B. mittels Laserstrahl, vom Abschussflugzeug aus nicht möglich ist. In diese Systeme sind Sensoren und Verfahren eingebaut, die feindliche Schiffe oder Panzer erkennen sollen (USA: Long Range Anti-Ship Missile (LRASM), über 500 km Reichweite; Großbritannien: Brimstone, 40-60 km Reichweite).

Bei der Entwicklung unbemannter Kampfflugzeuge mit Düsenantrieb, die auch Luftkampf führen sollen, liegt es nahe, autonome Angriffe vorzusehen. Allerdings gibt es in manchen Ländern bisher politische Vorgaben, dass ein Mensch die Steuerung vornehmen muss. Im deutsch-französisch-spanischen Future Combat Air System (FCAS), das 2035-2040 stationiert werden könnte, soll noch ein*e Pilot*in sitzen, der*die in einem vernetzten Verbund (der »Combat Cloud«) vom Flugzeug aus mehrere Kampfdrohnen steuern soll (Airbus 2020). Zu diesem Projekt hat sich ein FCAS-Forum (Mitglieder u.a. aus Industrie, Bundeswehr, Friedensforschung) gegründet, das aus ethischer Sicht die Entwicklung von Anfang an begleiten will (Airbus und Fraunhofer FKIE 2020; siehe auch Koch 2020). Inwieweit bei einem Luftkampf mit Drohnenschwärmen eine bedeutsame menschliche Steuerung überhaupt möglich sein wird, ist offen; Testdemonstrationen von Schwärmen fanden erst ansatzweise statt.

Technikfolgenabschätzung von AWS

Schon bei ferngesteuerten Waffensystemen sinkt die Schwelle zum Krieg oder für Gewaltanwendung in anderen Ländern. Bei der Beurteilung von AWS ist zu beachten, dass sie nicht für stark asymmetrische Szenarien, sondern für Krieg gegen etwa ebenbürtige Gegner vorgesehen sind, die ebenfalls über AWS verfügen können. Würden AWS in die Waffenarsenale eingeführt, würden die militärisch wichtigen Staaten schnell um die Wette rüsten, um nicht ins Hintertreffen zu geraten. Von Staaten entwickelte kleinere AWS könnten auch in die Hände nicht-staatlicher Akteure kommen – das wären erheblich ausgefeiltere Systeme, als diese Akteure mit eigenen Kräften bauen könnten.

In Bezug auf das Kriegsvölkerrecht (mit seinem Unterscheidungs- und Proportionalitätsgebot; siehe dazu den Text von Johanna Trittenbach auf S. 9) ist abzusehen, dass AWS auf lange Zeit nicht in der Lage sein würden, komplexe Situationen angemessen zu beurteilen.

Besonders problematisch sind die erwartbaren Folgen für die militärische Stabilität. Eine Situation zwischen möglichen Gegnern ist dann stabil, wenn keine Seite von einem Angriff Nutzen hätte. In einer schweren Krise kann das Risiko, erhebliche Schäden zu erleiden, wenn der Gegner als Erster zuschlägt, Motiv sein, präemptiv selbst anzugreifen. Diese Instabilität bedeutet, dass durch Fehlinterpretation von Beobachtungen, Computerfehler o.ä. ein Krieg aus Versehen ausgelöst werden kann. Ein solches Szenario wurde vor allem in Bezug auf Atomwaffen befürchtet und war ein Grund für deren Begrenzung.

Ähnliches ist auch für AWS abzusehen (Altmann und Sauer 2017). Sie können unerkannt tief in das Gebiet des Gegners eindringen und präzise Überraschungsangriffe führen, auch gegen strategische Waffen und Führungssysteme. Zwei Flotten von AWS, die sich in einer Krise gegenseitig bedrohen, würden sich intensiv beobachten. Bei kurzer Entfernung und wenigen Sekunden Flugzeit müssten die AWS so programmiert werden, dass sie ihre Flugkörper starten, bevor sie durch die der anderen Seite zerstört werden. Ein falsch verstandenes Ereignis oder ein Computerfehler könnte dann in einen Krieg führen, den die Beteiligten eigentlich nicht wollten, mit möglicher weiterer Eskalation. Entsprechend ist zu befürchten, dass automatisierte Gefechtssysteme – »fight at machine speed« – durch gegenseitige Wechselwirkungen schnell zur Eskalation führen.

Ein Verbot autonomer Waffensysteme

Unter Friedens- wie auch Verifikationsgesichtspunkten wäre ein umfassendes Verbot unbemannter Waffensysteme die beste Lösung (Altmann 2013). Allerdings haben schon zu viele Staaten ferngesteuerte Systeme beschafft, das ist auf absehbare Zeit wohl kaum rückgängig zu machen. AWS hingegen sind (mit sehr wenigen Ausnahmen und Vorläufern) noch nicht eingeführt; hier ist ein präventives Verbot noch möglich. Ein Abkommen könnte AWS verbieten – mit bestimmten Ausnahmen für Kurzstrecken-Abwehrsysteme gegen schnell anfliegende Projektile – und vorschreiben, dass jeder einzelne Einsatz von Gewalt unter bedeutsamer menschlicher Steuerung stehen muss (Campaign to Stop Killer Robots 2019).

Mit einer solchen Regelung blieben allerdings ferngesteuerte Waffensysteme erlaubt, die sich von AWS lediglich in der Steuersoftware unterscheiden könnten. Das stellt die Verifikation der Vertragseinhaltung vor schwierige, aber nicht unlösbare Probleme (Gubrud und Altmann 2013; mehr dazu im Text von Anja Dahlmann auf S. 13).

Die Rolle Deutschlands

Deutschland verhält sich widersprüchlich: Einerseits sagte Außenminister Maas bei den Vereinten Nationen: „Ich möchte Sie bitten: unterstützen Sie hier in New York und in Genf unsere Initiative für eine Ächtung vollautonomer Waffen, bevor es zu spät ist.” (Maas 2018) Andererseits schließt Deutschland sich nicht den inzwischen 30 Staaten an, die in Genf und New York für Verhandlungen über ein AWS-Verbot eintreten, und es verwendet eine AWS-Definition, wonach die Systeme, die in den nächsten zehn Jahren kommen könnten, nicht als AWS zählen.

In Bezug auf AWS und die sonstige Nutzung künstlicher Intelligenz für den Kampf fahren gegenwärtig drei Schnellzüge aufeinander zu: Die USA wollen die militärtechnologische Überlegenheit durch Mensch-Maschine-Kampfteams und AWS behalten; Russland baut ein vollautomatisches Kampfmodul und arbeitet an Künstlicher Intelligenz für Drohnenschwärme; China will seine Kriegsführungsfähigkeit durch intelligente und autonome unbemannte Systeme stärken. Die Streitkräfte anderer Staaten orientieren sich daran. Würden die Staaten nur der militärischen Logik folgen, würden das Kriegsvölkerrecht und die militärische Stabilität gefährdet. Es würde ein Wettrüsten und Weiterverbreitung geben, auch an nichtstaatliche Akteure. Diese Gefahren könnten durch ein AWS-Verbotsabkommen eingedämmt werden. Da es allerdings starke militärische, aber auch politische und ökonomische Interessen gegen ein Verbot gibt, ist intensiver Druck einer aufgeklärten Öffentlichkeit nötig, national wie international, dazu die Unterstützung wohlmeinender Staaten, was ja bei Antipersonenminen und Streumunition zu Abkommen geführt hat. Deutschland könnte und sollte bei diesem Prozess eine wichtige Rolle spielen.

Anmerkung

1) Autonomen Systemen wird in der Definition entgegengesetzt „[e]in vollautomatisches/hoch automatisiertes System“, das „allein auf der Basis eines festen Satzes von Eingaben, Verhaltensregeln und Ausgaben arbeitet und dabei insbesondere seine Aufgaben und Ziele nicht eigenständig definiert. Sein Verhalten ist vorherbestimmt und weitestgehend vorhersagbar.“ (BMVg 2014) Dies vernachlässigt die grundsätzliche Problematik der Brüchigkeit komplexer Software und die Wirkungen einer nicht vorherbestimmten Umgebung.

Literatur

Airbus (2020): Future Combat Air System (FCAS) – Shaping the future of air power. airbus.com, ohne Datum.

Airbus und Fraunhofer FKIE (2020): Die verantwortliche Nutzung neuer Technologien in einem Future Combat Air System (FCAS). http://www.fcas-forum.eu/.

Altmann, J. (2013): Arms Control for Armed Uninhabited Vehicles – An Ethical Issue. Ethics and Information Technology, Vol. 15, Nr. 2, S. 137-152.

Altmann, J.; Sauer, F. (2017): Autonomous Weapon Systems and Strategic Stability. Survival, Vol. 59, Nr. 5, S. 117-142.

Altmann, J. (2019): Autonomous Weapon Systems – Dangers and Need for an International Prohibition. In: Benzmüller, C.; Stuckenschmidt, H. (eds.): KI 2019 – Advances in Artificial Intelligence. 42nd German Conference on AI, Kassel, Germany, September 23–26, 2019. Proceedings. Cham: Springer.

Altmann. J. (2020): Armed Uninhabited Vehicles – Dangers and Preventive Arms Control. Osnabrück: Deutsche Stiftung Friedensforschung, DSF Forschung; in print.

Bundesministerium der Verteidigung/BMVg (2014): Definitionsentwurf deutsch/englisch – Letales Autonomes Waffensystem, 2014. Persönliche Mitteilung BMVg Pol II 5.

Campaign to Stop Killer Robots (2019): Key Elements of a Treaty to Ban Fully Autonomous Weapons. November 2019.

Germany (2018): Statement delivered by Germany on Working Definition of LAWS / »Definition of Systems under Consideration«. April 2018.

Gubrud, M.; Altmann, J. (2013): Compliance Measures for an Autonomous Weapons Convention. International Committee for Robots Arms Control, ICRAC Working Paper No. 2, May 2013.

International Committee of the Red Cross/ICRC (2016): Autonomous Weapon Systems – Implications of Increasing Autonomy in the Critical Functions of Weapons. Expert meeting, Versoix, Switzerland, 15-16 March 2016.

Koch, W. (2020): Zur Ethik der wehrtechnischen Digitalisierung – Informations- und ingenieurwissenschaftliche Aspekte. In: Rogg, M.; Scheidt, S.; von Schubert, H. (Hrsg.): Ethische Herausforderungen digitalen Wandels in bewaffneten Konflikten. Hamburg: German Institute for Defence and Strategic Studies, S. 17-54.

Maas, H. (2018): Rede des Bundesministers des Auswärtigen Heiko Maas MdB in der Generaldebatte der 73. Generalversammlung der Vereinten Nationen, New York, 28. September 2018.

Peter Bergen, Melissa Salyk-Virk, David Sterma (2019/2020): World of Drones. Washington, D.C.: New America Foundation.

U.S. Department of Defense/DoD (2012): Autonomy in Weapon Systems. Directive Number 3000.09, 21 Nov. 2012, incorporating Change 1, May 8, 2017.

Jürgen Altmann ist Physiker und Friedensforscher an der Technischen Universität Dortmund.

Mein Beitrag diskutiert das aktuelle (Un-) Verständnis der Rolle Künstlicher Intelligenz (KI) bei autonomen Drohnenschwärmen. Häufig wird KI als todbringende Superintelligenz überstilisiert oder als selbstregulativer Problemlöser oder klassische technische Funktionalität missverstanden. Aktivist*innen, Technik- und Friedensforscher*innen sowie Ingenieur*innen haben jahrelang vergeblich versucht, Diplomat*innen, Verteidigungspolitiker*innen und Militärs zu einem Verbot autonomer Waffensysteme zu bewegen. Einige Forscher*innen veröffentlichten 2017 das Video »Slaughterbots«, um möglichst publikumswirksam das reale Gefahrenpotential dieser Waffen deutlich zu machen. Mein Beitrag will zeigen, wieso weder im Militär und der Politik noch in der Populärkultur die komplexen und widersprüchlichen Dimensionen aktueller Mensch-Maschine-Interaktionen inklusive der Frage der Verantwortung adäquat adressiert werden.

„Wenn nicht einmal erfahrende Verteidigungsexpert*innen, die für autonome Waffenprogramme zuständig sind, die zentralen Herausforderungen dieser Technologien verstehen, dann können wir erst recht nicht erwarten, dass die Öffentlichkeit und ihre gewählten Vertreter*innen angemessene Entscheidungen treffen.“ (Russell et al. 2018; Übs. JW)

Das YouTube-Video »Slaughterbots« von 2017 ist eine der einflussreichsten Darstellungen bewaffneter autonomer Drohnenschwärme. Innerhalb weniger Tage wurde es millionenfach angeklickt. In Auftrag gegeben vom Future of Life Institute, gedreht im »Black Mirror«-Stil1 und unterstützt von der »Campaign to Stop Killer Robots«, will es die Debatte um autonome Waffensysteme neu in Gang bringen, nachdem Waffenkontrollgespräche2trotz der drohenden Proliferation dieser Technologien (Rubenstein et al. 2014) immer wieder im Sande verlaufen (siehe dazu Text von Anna Katharina Ferl auf S. 12).

Einer realistischen Diskussion der Gefahren stehen laut des einschlägigen KI-Experten Stuart Russell jedoch falsche Vorstellungen von künstlicher Intelligenz entgegen, die durch die Populärkultur geprägt wurden. KI könne weder Bewusstsein erlangen noch sei sie eine böse Superintelligenz, wie es Filme wie »Terminator« oder »Ex Machina« nahelegten. Diese Darstellungen bestärkten vielleicht den allgemeinen Technikglauben, aber sie lenkten von den eigentlichen Problemen autonomer Waffensysteme ab: „Maschinen zu erlauben, Menschen zu töten, wird sich verheerend auf unsere Sicherheit und unsere Freiheit auswirken. Wir haben die Möglichkeit, diese Zukunft, die sie gerade [in diesem Video; JW] gesehen haben, zu verhindern. Aber das Zeitfenster dafür schließt sich schnell.“ (Russel et al. 2018; Übs. JW)

Doch es ist offensichtlich nicht nur für Lai*innen, sondern auch für Politiker*innen und Militärs schwer zu verstehen, was genau »Autonomie« im Kontext von Drohnen-Schwarmintelligenz bedeutet und welche Konsequenzen KI-gestützte Waffensysteme haben, die auf einer Mischung aus autonomem und programmiertem Verhalten basieren (Suchmann und Weber 2016).

Um diese komplexen Mensch-Maschine-Konfigurationen zu verstehen, brauchen wir weniger technikverherrlichende, sondern realistische(re) Narrative, die uns unsere technowissenschaftliche Welt nachhaltig erklären.

Sheila Jasanoff und Sang-Hyun Kim verwenden den Begriff der »sociotechnical imaginaries«, um Imaginationen unserer Lebensweise(n), gemeinsame Visionen unserer sozialen Ordnung und wünschenswerte Zukünfte zu benennen (Jasanoff und Kim 2009). Das Slaughterbots-Video kann man als Versuch verstehen, eine adäquatere Vorstellungswelt (»imaginary«) über KI und Drohnenschwärme zu entwickeln, die nicht die alte Trope der superintelligenten, böswilligen KI aufruft, sondern relevante Fragen Künstlicher Intelligenz diskutiert, Verantwortung übernimmt und komplexe Fragen der Verschränkung von Technik und Gesellschaft adäquater adressiert.

In meinem Beitrag werde ich die traditionellen soziotechnischen Vorstellungswelten von KI-gesteuerten Waffensystemen und ihre Konsequenzen im militärischen Bereich, in der Politik, aber auch in Alltagsdiskursen und Populärkultur kurz skizzieren und kritisch diskutieren.

Die militärische Imagination von KI

Die militärische Forschung vieler »Hightech«-Nationen fokussiert heute auf adaptive Schwärme autonomer Drohnen. Im Oktober 2017 kündigte das US-Verteidigungsministerium einen der „signifikantesten Tests autonomer Systeme“ an – den Flug eines Schwarms von 103 Perdix-Drohnen: „Die Mikro-Drohnen zeigten fortgeschrittendes Schwarmverhalten, wie gemeinsame Entscheidungsfindung, adaptiven Formationsflug und Selbstheilung.“ (U.S. DoD 2017; Übs. JW) Kurz darauf testeten chinesische Forscher*innen den Einsatz von 119 Mikro-Drohnen (Xinhua 2017).

Flexible und anpassungsfähige Drohnenschwärme, deren Entitäten auf der Basis selbstorganisierten, synchronisierten Verhaltens kooperieren, sollen komplexe Aufgaben ohne zentrale Steuerung lösen (Arquilla et al. 2000; Kosek 2010). Diese Idee aus der Biomimetik reicht bis in die Anfänge der Kybernetik zurück. Man hofft, dass aus dem einfachen regelbasierten Zusammenspiel von Entitäten ein intelligenteres Ganzes »emergiert« – eine bis heute unerfüllte Hoffnung, die aber durchaus in der aktuellen militärischen Forschung fortwirkt. So sagte William Roper, Direktor des »Strategic Capabilities Office«, einer Behörde des US-Verteidigungsministeriums: „Perdix(-Drohnen) sind nicht vorprogrammierte synchronisierte Individuen, sondern ein kollektiver Organismus, der sich ein verteiltes Gehirn für Entscheidungsfindung und Adaption teilt, wie wir das von Schwärmen in der Natur kennen.“ (U.S. DoD 2017; Übs. JW)

Aktuell ist es nicht möglich, autonome Drohnenschwärme zu steuern. Im Perdix-Drohnen-Experiment konnten nur kurzlebige, mäßige Erfolge erzielt werden. Dennoch gibt man die Hoffnung auf eine höhere Stufe der Autonomie nicht auf, denn dadurch würde man auch die Identifikation und somit die Bekämpfung von Drohnen erschweren. Man träumt davon, mit Hilfe großer komplexer Mini-Drohnenschwärme den Gegner mit »brute force«, sprich mit massiven, koordinierten Attacken, zu überwältigen (Sharkey 2018).

Hollywoods Imagination Künstlicher Intelligenz

Viele Hollywood- oder Science-Fiction-Filme porträtieren künstliche Intelligenz als nicht kontrollierbare und manchmal auch als böse Kraft mit übermenschlicher Intelligenz, die Absichten und Strategien entwickeln kann jenseits moralischer Bedenken. Man denke an HAL 9000 aus »2001 Odyssee im Weltraum«, Skynet in der Terminator-Reihe oder auch Ava in »Ex Machina«. Es wird immer wieder das Narrativ von der tödlichen, manchmal sogar weltzerstörenden Superintelligenz bedient. In diesen Filmen dominiert ein Bild von KI als bewusst, hochintelligent, gefährlich und intransparent – vielleicht nicht zuletzt, weil Rechenleistung, Big-Data-Analyse oder Datenbankzugriff ihr kognitive Möglichkeiten verleihen, die die des Menschen übersteigen. Dieses Bild ändert sich prinzipiell auch nicht, wenn in neueren Filmen, wie »Ex Machina« oder »HER«, die KI partiell menschliche Züge bekommt. Als Gegennarrative kennt man Geschichten über liebenswerte Roboter, wie »Wall-E« oder den Haushaltsroboter in »Bi-Centennial Man«, die Gefühle für die Menschen entwickeln und eher den Touch eines postmodernen Märchens haben, aber eben keine datengetriebenen KI sind. Und die gesellschaftliche Imagination von KI scheint bisher nicht durch die netten Roboter geprägt zu werden.

Die Imagination der Rüstungskontrolleur*innen

Entsprechend versuchen Friedensforscher*innen und Aktivist*innen, eine realistischere Vorstellungswelt von KI im Kontext autonomer Waffensysteme zu etablieren. Das Video »Slaughterbots« beginnt mit einer Show im klassischen »TED«-Stil, in der ein fiktiver CEO recht gut die Funktion und das Potential von autonomen Drohnenschwärmen erklärt – u.a. wie man Drohnen mit Gesichtserkennungssoftware kombiniert und auf der Grundlage von Social-Media-Profilen vorgegebene Zielpersonen »eliminiert«. Das wird kombiniert mit Filmausschnitten und fiktiven Medienberichten, die über die Tötung von kritischen US-Senator*innen und engagierten Studierenden berichten, die via Drohnenschwarm gezielt aus ihrer jeweiligen »peer group« selektiert und getötet wurden.

Der Einsatz der Drohnen im Slaughterbots-Video unterscheidet sich wesentlich vom US-Militärtraum der selbstheilenden, intelligenten Drohnenschwärme, die nur die bösen Feinde übermannen. Im Video räsoniert der CEO zwar darüber, dass man nun endlich ausschließlich die Bösen selektieren könne, aber im Film wird recht schnell klar, dass die Schwärme kleiner billiger Drohnen von schwer zu identifizierenden, illegal agierenden Akteur*innen eingesetzt werden, um politische Feinde mittels KI-gelenkter Drohnenschwärme mit kleinen Sprengladungen zu töten. Die Zielauswahl beruht auf vorprogrammierten Kriterien und Social-Media-Profilen. Das Zielen auf und Töten von Personen auf Grundlage von Datenanalysen und autonomen Waffensystemen ähnelt dabei realen Strategien des US-Militärs, das gezielte Tötungen via Tötungslisten (»Disposition Matrix«) vornimmt, die u.a. durch Big-Data-Analysen erstellt werden (Weber 2016).

Die autonomen Drohnenschwärme in »Slaughterbots« werden also nicht als intelligente Organismen inszeniert, die ihren eigenen Zielen folgen. Bei der Verfolgung der vorprogrammierten Ziele zeigen die »Slaughterbots« zwar koordiniertes, flexibles und dynamisches Verhalten (z.B. die Vermeidung von Hindernissen), aber sie wählen nicht ihre eigenen Ziele aus.

Die Vorstellungswelt, die das Video entwirft, zeigt, dass die KI für die Automatisierung anspruchsvoller Aufgaben geeignet ist, dass aber Softwareprogramme per se nicht intelligent sind. Trotzdem können große adaptive Drohnenschwärme buchstäblich zu Massenvernichtungswaffen werden.

So gesehen ist das Slaughterbots-Video ein wichtiger Schritt für die Entwicklung einer alternativen Imagination von KI, die nicht alte Bilder repetiert, sondern Kernprobleme der KI diskutiert, Verantwortung übernimmt und die enge Verflechtung zwischen Wissenschaft, Technologie und Gesellschaft verdeutlicht.

Ein weiterer interessanter Schritt in diese Richtung ist die Episode »Hated in the Nation« (2016) der »Black Mirror«-Fernsehserie, in der ein Twitter-Spiel Benutzer*innen dazu einlädt, unter dem Hashtag #DeathTo eine »böse« Person auszuwählen, die dann von gehackten »Killerbienen« getötet werden soll. Am Ende der Episode werden allerdings jene, die Opfer ausgewählt haben, selbst von den Killerbienen getötet. Es ist nicht nur eine Satire auf problematische Dynamiken sozialer Medien, sondern zeigt die tödliche Dimension autonomer Drohnenschwärme auch im zivilen Bereich.

Friedensforscher*innen und Aktivist*innen suchen nach neuen Wegen, die wachsende Gefahr von autonomen Drohnenschwärmen zu verdeutlichen. KI-gelenkte Systeme sind weder selbstbewusst noch selbstbestimmt (z.B. in einem Kant‘schen Sinn), sondern verfolgen ihr Ziel autonom und flexibel im Sinne eines komplexen Rückkopplungsmechanismus, dessen Verhalten von einprogrammierten Modellen und Normen abhängt. Versteht man das, können Politiker*innen drängende Fragen der Waffenkontrolle weder mit Verweis auf illusorische Terminatorfantasien abtun noch Militärs mehr von den emergenten Kräften komplexer KI träumen. Deshalb brauchen wir weitere Interventionen und realistische Imaginationen, um die Dimensionen und Kapazitäten tödlicher autonomer Waffensysteme verstehbar zu machen.

Anmerkungen

1) »Black Mirror« ist eine aktuelle dystopische SF-Serie, die sich mit den gesellschaftlichen Effekten neuer Technologien auseinandersetzt.

2) Vgl. die Gespräche der jährlichen »UN Convention on Certain Conventional Weapons« (2020) in Genf; vgl. auch entsprechende Berichte u.a. des Bureau of Investigative Journalism (2020), des International Committee for Robot Arms Control (2020), der Campaign to Stop Killer Robots (2020) oder Code Pink (2020).

Literatur

Arquilla, J.; Ronfeldt, D. F. (2000): Swarming and the Future of Conflict. Santa Monica: Rand Corporation.

Black Mirror, »Hated in the Nation« (series episode), directed by J. Hawes, written by C. Brooker. Netflix, 2016.

Campaign to Stop Killer Robots (2020); stopkillerrobots.org.

Code Pink (2020); codepink.org.

International Committee for Robot Arms Control (ICRAC) (2020); icrac.net.

Jasanoff, S.; Kim, D. F., (2009): Containing the atom – Sociotechnical imaginaries and nuclear power in the United States and South Korea. Minerva, Vol. 47, Nr. 2, S. 119-46.

Kosek, J. (2010): Ecologies of the empire – On the new uses of the honeybee. Cultural Anthropology, Vol. 25, Nr. 4, S. 650-678.

Rubenstein, M.; Cornejo, A.; Nagpal, R. (2014): Programmable self-assembly in a thousand­robotswarm. Science, Vol. 345, Nr. 6198, S. 795-799.

Russell, S.; Aguirre, A.; Conn, A:; Tegmark, M. (2018): Why you should fear »slaughterbots« – A response. IEEE Spectrum, Automaton blog, 23.1.2018.

Sharkey, N. (2020): Autonomous Warfare. Scientific American, Febr. 2020, S. 52-57.

Slaughterbots, directed by S. Sugg, written by M. Wood; youtube.com/watch?v=9CO6M2HsoIA.

Suchman, L.; Weber, J. (2016): Human-machine autonomies. In Bhuta, N.; Beck, S.; Geiss, R.; Liu, H. Y.; Kress, (eds): Autonomous Weapon Systems – Law, Ethics, Policy. Cambridge: Cambridge University Press, S. 75-102.

The Bureau of Investigative Journalism (2020); thebureauofinvestigatives.com.

United Nations Geneva (2020): CCW Meeting of High Contracting Parties – 2019.

U.S. Department of Defense(DoD (2017): Department of Defense announces successful micro-drone demonstration. Press release, 9.1.2017.

Weber, J. (2016): Keep adding – On Kill Lists, Drone Warfare and the Politics of Databases. Environment and Planning D: Society and Space, Vol. 34, Nr. 1, S. 107-25.

Xinhua (2017): China launches record-breaking drone swarm. 11.6.2017.

Prof. Dr. Jutta Weber ist Technikforscherin und Professorin für Mediensoziologie an der Universität Paderborn mit Gastprofessuren u.a. in Uppsala, Twente und Wien. Ihre Forschung dreht sich um die Verschränkung von menschlichen Praktiken und maschinellen Prozessen sowie solidarische(re) Technikgestaltung in der Künstlichen Intelligenz und Robotik; juttaweber.eu.

Künstliche Intelligenz und autonome Systeme werden für sehr unterschiedliche Gebiete entwickelt und können z.B. auf dem Gebiet der Medizin oder der Umwelttechnik dem Menschen und der Natur dienen und hilfreich sein. Eine jeweilige ethische Reflexion über Chancen und Grenzen ist auch für diese Anwendungsfelder zu führen, ist aber nicht Gegenstand dieses Artikels.

Im militärischen Bereich sind autonome Systeme ebenfalls differenziert zu betrachten. So können solche Systeme z.B. bei der Minenräumung ausgesprochen sinnvoll sein. Raketenabwehrsysteme im Sinne einer Verteidigungsstrategie können akzeptabel erscheinen, der Grat zu anderen Anwendungen ist aber schmal, denn ein solches System kann leicht zu einer Angriffswaffe umfunktioniert werden und dazu führen, dass die Rüstungsspirale weiter angeheizt wird.

In den hier ausgeführten Reflexionen soll es im engeren Sinne um eine militärische Anwendung zur Tötung von Menschen durch eine Maschine gehen, die der menschlichen Kontrolle entzogen ist, wenn sie erst einmal gestartet wurde oder Ziele ohne menschlichen Eingriff auswählen und angreifen kann.

Ethische Perspektiven

Ethische Reflexion geschieht – allgemein gesprochen – in Kenntnis und Abwägung der technischen, politischen, gesellschaftlichen, völkerrechtlichen und wirtschaftlichen Fragen und in ständiger Reflexion des eigenen ethischen Referenzrahmens. Im Besonderen soll hier die kritische Funktion einer evangelischen Friedensethik zur Sprache kommen, die m.E. zu einer klaren Begrenzung autonomer Systeme im militärischen Kontext und zu einem Verbot vollautomatisierter Waffensysteme auffordert. Bei allen Vorteilen, die von Befürworter*innen vollautonomer Waffensysteme ins Feld geführt werden (Schutz der eigenen Soldat*innen, Genauigkeit, Geschwindigkeit, Entemotionalisierung von Entscheidungen) stellen sich grundsätzliche Fragen, die im Ergebnis zu einem deutlichen Übergewicht der ablehnenden Argumente führen.

Den eigenen Referenzrahmen bildet in diesem Falle die evangelische Friedensethik vom »Gerechten Frieden«, wie sie in der Denkschrift der Evangelischen Kirche in Deutschland »Aus Gottes Frieden leben – für gerechten Frieden sorgen« aus dem Jahr 2007 formuliert (EKD 2007), in Konsultationsprozessen zum gerechten Frieden weiter diskutiert (Werkner und Hofheinz 2019) und im Jahr 2019 in einer Synodenerklärung aktualisiert wurde (EKD 2019).

Vor dem Hintergrund dieser grundlegenden Orientierungen lassen sich die ethischen Fragen auf drei Aspekte konzentrieren:

Erstens: Menschenwürde

Jedem einzelnen Menschen kommt nach christlichem Verständnis eine unverlierbare Würde zu, die zu achten oberste Maxime des Handelns ist. Diese Orientierung an der Menschenwürde hat bei aller Differenzierung Eingang in das Grundgesetz und die Charta der Vereinten Nationen gefunden. Hinsichtlich der Frage der autonomen Waffensysteme sind zwei Aspekte zu betrachten: Erstens widerspricht es der Menschenwürde, wenn der Mensch Entscheidungen über Leben und Tod im militärischen Konflikt einer Maschine und Algorithmen überlässt. Zweitens degradiert es die Opfer – egal ob Kombattanten oder Zivilisten – zu Objekten und entmenschlicht so jeden einzelnen Menschen. Gesellschaften, die eine solche Praxis beim Töten im Krieg erlauben, geben grundlegende Werte und humanitäre Prinzipien auf.

Zweitens: Verantwortung

Zur Menschenwürde gehört es, Verantwortung zu übernehmen. Nach christlichem Verständnis ist der Mensch ein dem Schöpfer antwortendes und damit sich verantwortendes Geschöpf, das sich auch gegenüber der Mitschöpfung und den Mitmenschen verantworten muss. Hinsichtlich der autonomen Waffensysteme ist die Frage entscheidend, inwieweit der Mensch auch in völkerrechtlich geregelten Konflikten verantwortlich bleibt. Vollautonome Waffensysteme sind gerade dadurch gekennzeichnet, dass der Mensch nicht mehr eingreifen kann, sobald die Waffe gestartet wurde. Es entsteht eine Verantwortungslücke, die auch von hochentwickelten Systemen nicht gefüllt werden kann.

Im kriegerischen Konflikt geht es im humanitären Völkerrecht um Abwägungsprozesse. Im so genannten Unterscheidungsgebot geht es um die Abwägung, ob durch den Einsatz der Waffe Zivilist*innen verschont bleiben, also zwischen Kombattant*innen und Zivilist*innen unterschieden werden kann. Im Verhältnismäßigkeitsgebot geht es um die Frage, ob der Einsatz der Waffe im Falle ziviler Opfer (»Kollateralschaden«) in einem angemessenen Verhältnis zu dem zu erreichenden Ziel steht. Hier ist zudem grundsätzlich zu fragen, ob das humanitäre Völkerrecht überhaupt auf Maschinen anzuwenden ist, bezieht es sich doch eigentlich auf menschliches Handeln. Es sind auch erhebliche Zweifel angebracht, ob Maschinen und Algorithmen je in der Lage sein werden, die notwendigen Abwägungen zu erbringen. Und noch grundsätzlicher ist zu bezweifeln, ob wir diese weitreichenden Entscheidungen über Leben und Tod überhaupt an Maschinen delegieren dürfen.

Verantwortung zu übernehmen beinhaltet auch die Fähigkeit, das eigene Gewissen für die Menschenwürde zu sensibilisieren, und die Bereitschaft zur Schuldübernahme im Falle einer Entscheidung, deren Opfer und Folgen nicht vorher abzuschätzen waren. Eine Maschine aber kann eben nicht zur Verantwortung gezogen werden, und die Verantwortung auf die Entwickler*innen einer entsprechenden Software zu verlagern, dürfte nicht nur rechtlich erheblich Schwierigkeiten beinhalten, sondern rückt die Verantwortungsebene vom Einsatz dieser Waffen weg.

Folgenabschätzung im Kontext des gerechten Friedens

Zur Verantwortungsfähigkeit des Menschen gehört die Folgenabschätzung für die Zukunft. Dazu gehört es auch, die einzelnen ethischen Fragestellungen in einen größeren Horizont einzuzeichnen. Hinsichtlich der autonomen Waffensysteme sind wiederum zwei Aspekte zu nennen:

Erstens sind die Folgen einer technischen Weiterentwicklung zu betrachten, zu denen sowohl eine weitgreifende Robotisierung von Konflikten und menschlichem Zusammenleben insgesamt gehört als auch die Gefahr einer neuen Aufrüstungsspirale sowie das Problem der Weiterverbreitung der Technik und des Missbrauchs durch Unbefugte oder terroristische und diktatorische Regime. Aus einer Sicherheitsperspektive besteht die Gefahr, dass solche Systeme die Konfliktschwelle senken, also insgesamt destabilisierend auf die internationale Sicherheit wirken.

Zweitens sind die finanziellen und wirtschaftlichen Perspektiven zu betrachten. Vor dem Hintergrund des Leitbildes des gerechten Friedens und einer ethischen Maxime der Gewaltfreiheit, der Bekämpfung von Ursachen von Konflikten (Armut, Hunger, Ungerechtigkeit) und der Prävention als »prima ratio« stehen die enormen finanziellen Aufwendungen für neue Waffensysteme im krassen Widerspruch zu dem, was eigentlich nötig ist, um die Probleme dieser Erde und der gesamten Menschheit zu lösen. Gerade in Zeiten einer Corona-Pandemie wird überdeutlich, wo die Prioritäten liegen müssen.

Fazit

Vor dem Hintergrund dieser Reflexionen kam die Synode der EKD im November 2019 folgerichtig zu folgendem Beschluss:

„Bei autonomen Waffen, die der menschlichen Kontrolle entzogen sind, treten wir für eine völkerrechtliche Ächtung ein und appellieren an die Bundesregierung, sich für ein verbindliches Verbot von autonomen Waffensystemen einzusetzen.

Wir unterstützen die internationale Kampagne »Stop Killer Robots« zur Ächtung sogenannter Killerroboter.“ (EKD 2019)

Literatur

Evangelische Kirche in Deutschland/EKD (2007): Aus Gottes Frieden leben – für gerechten Frieden sorgen. Eine Denkschrift des Rates der Evangelischen Kirche in Deutschland. Gütersloh: Gütersloher Verlagsanstalt.

Evangelische Kirche in Deutschland/EKD (2019): Kirche auf dem Weg der Gerechtigkeit und des Friedens – Kundgebung der 12. Synode der Evangelischen Kirche in Deutschland auf ihrer 6. Tagung. Dresden.

Werkner, I.J.; Hofheinz, M. (Hrsg.) (2019): Unbemannte Waffen und ihre ethische Legitimierung. Wiesbaden: Springer VS, Fragen zur Gewalt Band 5.

Renke Brahms ist Friedensbeauftragter des Rates der Evangelischen Kirche in Deutschland (EKD).

Autonome Waffensysteme sind Waffen, die ohne menschliche Kontrolle Ziele auswählen und angreifen können (ICRC 2016, S. 1). Die Entwicklung und der Einsatz solcher Waffensysteme unterliegen dem internationalen Regelwerk des humanitären Völkerrechts, welches in bewaffneten Konflikten Anwendung findet. Das humanitäre Völkerrecht reflektiert internationale Normen, die in einem bewaffneten Konflikt gewisse Handlungen verbieten und Garantien vorsehen, die die Auswirkungen des Kriegsgeschehens auf vom Konflikt betroffene Menschen und Objekte mildern sollen. Es basiert auf der Abwägung des fundamentalen Prinzips der Menschlichkeit gegen das Prinzip der militärischen Notwendigkeit. Das übergeordnete Ziel dieses Rechtssystems ist es, Personen zu schützen, die nicht oder nicht mehr an Feindseligkeiten teilnehmen, sowie die Mittel und Methoden der Kriegsführung zu begrenzen.

Als Mittel der Kriegsführung werden die eingesetzten Waffen oder Waffensysteme bezeichnet, während die Methoden der Kriegsführung durch die Strategien und Taktiken bestimmt werden, die eine Konfliktpartei wählt, um einen Vorteil gegenüber der anderen Partei zu erlangen. Die Wahl dieser Mittel und Methoden in einem bewaffneten Konflikt sind nicht unbeschränkt (Zusatzprotokoll I zu den Genfer Konventionen, Art. 35(1)). Durch völkerrechtliche Verträge und gewohnheitsrechtliche Normen reguliert das humanitäre Völkerrecht einige Mittel der Kriegsführung und verbietet andere. Solche Verträge limitieren oder untersagen nicht nur den Einsatz der entsprechenden Waffen, sondern auch deren Entwicklung, Produktion, Erwerb, Lagerung, Transfer und den Handel mit diesen Waffensystemen sowie die Unterstützung solcher Aktivitäten, beispielsweise durch Investitionen in die Produktion solcher Waffen. Staaten sind außerdem in der Pflicht, während der Entwicklung und Beschaffung neuer Waffensysteme zu prüfen, ob diese neuen Mittel der Kriegsführung unter gewöhnlichen Gegebenheiten mit dem Regelwerk des humanitären Völkerrechts übereinstimmen (ZP I, Art. 36).

Unvereinbarkeit von autonomen Waffen und Völkerrecht

Anhand grundlegender und universal gültiger Prinzipien des humanitären Völkerrechts lässt sich feststellen, ob die Entwicklung und der Einsatz von autonomen Waffensystemen mit geltendem Recht vereinbar und somit rechtmäßig sind (Geiß 2015, S. 14-18). Neben der bereits genannten Balance der fundamentalen Prinzipien der Menschlichkeit und der militärischen Notwendigkeit existieren noch andere Prinzipien, mit denen autonome Waffensysteme nur schwer in Einklang zu bringen sind.

Zum einen ist der Einsatz von Waffensystemen verboten, die überflüssige Verletzungen oder unnötige Leiden verursachen können oder die lang anhaltende und schwere Umweltschäden verursachen. Zum anderen sind Konfliktparteien verpflichtet, immer zwischen der Zivilbevölkerung und zivilen Objekten einerseits und Kombattant*innen und militärischen Objekten andererseits zu unterscheiden. Angriffe sind lediglich zulässig, wenn sie auf Kombattant*innen und militärische Objekte gerichtet sind. Außerdem müssen die Parteien in einem Konflikt Zivilist*innen und zivile Objekte so umfassend wie möglich schützen; geeignete Vorsichtsmaßnahmen hierfür sind zu treffen und so genannte Kollateralschäden zu verhindern. Außerdem müssen für jedes Handeln im Rahmen eines bewaffneten Konflikts die Verhältnismäßigkeit der eingesetzten Mittel und Methoden der Kriegsführung gegenüber der militärischen Notwendigkeit bewertet werden.

Das völkerrechtskonforme Verhalten einer Konfliktpartei setzt die Abwägung dieser Grundsätze und die Analyse ihrer Wechselbeziehungen durch militärische Befehlshaber*innen in einem oftmals dynamischen und schwer vorhersehbaren Konfliktumfeld voraus. Entscheidungen in einer Konfliktsituation sind stark kontextabhängig (Boulanin et al. 2020, S. 6). Mit der Entwicklung und dem Einsatz autonomer Waffensysteme sollen diese komplexen Entscheidungen auf Maschinen beziehungsweise Algorithmen übertragen werden. Allerdings bestehen große Zweifel, ob diese tatsächlich dazu in der Lage sein werden, akkurate und rechtmäßige Entscheidungen im Kriegsgeschehen zu treffen.

Eine grundlegende Vereinbarkeit von autonomen Waffen mit dem humanitären Völkerrecht ist deshalb ausgeschlossen. Dem stehen auch die technologische Komplexität der vielfältig denkbaren Formen und Funktionen einzelner Waffensysteme entgegen sowie die ungeklärte und möglicherweise nicht hinreichend feststellbare Resilienz der Waffensysteme gegenüber Mängeln und Schäden, beispielsweise auf diskriminierenden Daten basierenden Algorithmen, Cyber-Attacken oder anderen unvorhersehbaren Gefahren.

Deshalb braucht es völkerrechtlich verbindliche Regeln, die den Einsatz von Autonomie in Waffensystemen regulieren und völkerrechtswidrige autonome Waffensysteme verbieten. Dies steht in Einklang mit einem entscheidenden Grundsatz des humanitären Völkerrechts von 1899, der so genannten Martens’schen Klausel, die bis heute als Völkergewohnheitsrecht universell gültig und in einer Reihe humanitärer Völkerrechtsverträge enthalten ist. Der Grundsatz besagt, dass auch zukünftige Entwicklungen in der Kriegsführung, die nicht von den Regeln aus bestehenden Verträgen gedeckt sind, den Grundsätzen des Völkerrechts unterstehen „wie sie sich aus den feststehenden Gebräuchen, aus den Grundsätzen der Menschlichkeit und aus den Forderungen des öffentlichen Gewissens ergeben“ (Haager Friedenskonferenz 1899, Präambel).

Autonome Waffensysteme, die selbständig und ohne menschliche Kontrolle Ziele identifizieren und angreifen können, sind nicht mit den Grundsätzen der Menschlichkeit und des »öffentlichen Gewissens« vereinbar. Menschlichkeit erfordert menschenwürdige Behandlung anderer, auch im Falle eines bewaffneten Konflikts. Dies umfasst Respekt gegenüber der Würde des Menschen und ein Verständnis über den Wert eines Menschenlebens – Fähigkeiten, über die ein Algorithmus nicht verfügen kann. Die weitere Entwicklung und der Einsatz von autonomen Waffen – und somit die Übertragung von Entscheidungen über Gewaltanwendung vom Menschen auf das Waffensystem – sind außerdem unvereinbar mit dem »öffentlichen Gewissen«, da alle Staaten, die sich in multilateralen Foren zu autonomen Waffen geäußert haben, die Notwendigkeit der menschlichen Kontrolle über Gewaltanwendung bestätigen.

Die multilateralen Gespräche zu der sich abzeichnenden Autonomie in Waffensystemen haben seit sieben Jahren keine verbindlichen Ergebnisse gebracht. Immerhin hat sich bereits ein Großteil der Staatengemeinschaft darüber ausgetauscht und verständigt, dass Autonomie in Waffensystemen nicht zulässig sei, wenn der Mensch gänzlich aus der Entscheidung über Gewaltanwendung verdrängt wird.

Menschliche Kontrolle als Richtwert

Auch alle Mitgliedsstaaten der VN-Waffenkonvention teilen diese Ansicht. Die VN-Waffenkonvention (Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons, CCW) ist ein zentrales Vertragswerk mit 125 Mitgliedsstaaten, das durch seine fünf rechtsverbindlichen Protokolle die Entwicklung und den Einsatz von Waffensystemen, die überflüssige Verletzungen zufügen oder unnötige Leiden verursachen, einschränkt. Die Vertragsstaaten tagen seit 2014 regelmäßig zum Thema letale autonome Waffensysteme und haben eine Gruppe von Regierungsexperten einberufen, die dazu mandatiert ist, über den Umgang mit autonomen Waffensystemen zu beraten und mögliche zukünftige Schritte festzulegen (mehr dazu im Text von Anna Katharina Ferl auf S. 12). Dazu gehört auch die Entscheidung, ob im Rahmen der VN-Waffenkonvention ein völkerrechtlich verbindlicher Vertrag ausgehandelt wird, der den Einsatz von autonomen Fähigkeiten in Waffensystemen verbietet oder beschränkt.

Die Mitgliedsstaaten der VN-Waffenkonvention konnten sich im November 2019 auf elf unverbindliche Richtlinien (guiding principles) in Bezug auf autonome Waffensysteme einigen. Darin haben die Staaten im Konsens anerkannt, dass für den rechtmäßigen Einsatz von autonomen Waffensystemen das Zusammenspiel zwischen Mensch und Maschine ein ausschlaggebender Faktor ist (CCW 2019, Annex III, Absatz (c)). Sie hielten hierbei fest, dass die konkrete Gestaltung der Interaktion zwischen Mensch und Maschine von den jeweiligen Charakteristika und Fähigkeiten des Waffensystems abhängt und dass diese menschliche Kontrolle verschiedene Formen annehmen und zu verschiedenen Zeitpunkten im Lebenszyklus eines Waffensystems eingebettet werden kann.

Notwendigkeit eines neuen Vertrags

Aus dem oben Gesagten ist offensichtlich, dass autonome Waffensysteme mit dem humanitären Völkerrecht nicht vereinbar sind. Dennoch werden unverbindliche Richtlinien den menschlichen Kontrollverlust über Gewaltanwendung nicht aufhalten können. Die Richtlinien stellen außerdem laut des Mandats der Gruppe der Regierungsexperten der CCW nur ein Zwischenergebnis der Gespräche dieses multilateralen Forums dar. Die Gruppe soll bis Ende 2021 eine Entscheidung über die zukünftigen normativen und operativen Rahmenbedingungen im Umgang mit autonomen Waffen treffen.

Eine Möglichkeit, solche Rahmenbedingungen festzulegen, ist die Verhandlung eines völkerrechtlich verbindlichen Vertrags, der den Einsatz von autonomen Fähigkeiten in Waffensystemen reguliert und vollautonome Systeme verbietet. Bereits in der Vergangenheit konnten explizite Verbote von bestimmten Mitteln der Kriegsführung verabschiedet werden, obwohl diese Waffen ganz offensichtlich ohnehin nicht in Einklang mit dem humanitären Völkerrecht stehen. Beispiele hierfür sind die Verbote von Landminen (1997) und Streumunition (2008), welche nicht zwischen Zivilist*­innen und Kombattant*innen unterscheiden können.

Solche expliziten und verbindlichen Verträge bieten die Möglichkeit, existierendes Recht zu stärken und zu präzisieren. Ein Vertag kann spezifische Verbote, Rechte, Pflichten, Maßnahmen zur Verifikation sowie Sanktionsregime verbindlich festschreiben. Im Falle eines rechtswidrigen Einsatzes von autonomen Waffen kann ein völkerrechtlich verbindliches Regelwerk dazu beitragen, Verantwortung zuzuordnen und die Möglichkeit der Gerechtigkeit für Opfer, gegebenenfalls durch internationales und nationales Strafrecht, zu gewährleisten. Außerdem könnte ein Vertrag über autonome Waffensysteme den Geltungsbereich des humanitären Völkerrechts auch gezielt überschreiten und ein Verbot des Einsatzes solcher Waffen bei Maßnahmen der Strafverfolgung festschreiben. Dies könnte der drohenden Gefahr des innerstaatlichen Einsatzes von autonomen Waffen, beispielsweise gegen Demonstrant*innen oder gegenüber Menschen auf der Flucht, entgegenwirken.

Bereits 30 Staaten fordern einen solchen Vertrag (Campaign to Stop Killer Robots, 2020). Deutschland gehört bisher nicht dazu. Solch ein Regelwerk könnte im Rahmen der VN-Waffenkonvention ausgehandelt werden, durch die VN-Generalversammlung oder im Rahmen eines unabhängigen internationalen Verhandlungsprozesses.

Der aktuelle multilaterale Prozess zu autonomen Waffensystemen im Rahmen der VN-Waffenkonvention wird aktiv von Vertreter*innen der Zivilgesellschaft begleitet. Die »Campaign to Stop Killer Robots«, eine internationale NGO-Koalition mit über 160 Mitgliedsorganisationen in 66 Ländern, fordert einen völkerrechtlich verbindlichen Vertrag und unterbreitete bereits konkrete Vorschläge, wie dieser aussehen kann (Campaign to Stop Killer Robots 2019; Docherty 2020). In Anbetracht der rasanten technologischen Fortschritte und der Entwicklung hin zu vollautonomen Waffensystemen ist es nach sieben Jahren unverbindlicher multilateraler Gespräche höchste Zeit, dass die Staatengemeinschaft Verhandlungen über einen solchen Vertrag aufnimmt.

Literatur

Campaign to Stop Killer Robots (2019): Key Elements of a Treaty on Fully Autonomous Weapons.

Campaign To Stop Killer Robots (2020): Endorsers.

Docherty, B. (2020): The Need for and Elements of a New Treaty on Fully Autonomous Weapons. Human Rights Watch and International Human Rights Clinic, Juni 2020. In Kürze erscheinend bei Brasília: Fundac¸a~o Alexandre de Gusma~o.

Geiß, R. (2015): Die völkerrechtliche Dimension autonomer Waffensysteme. Berlin: Friedrich Ebert Stiftung.

Haager Friedenskonferenz (1899): Haager Abkommen betreffend die Gesetze und Gebräuche des Landkriegs. Den Haag, 29. Juli 1899.

International Committee of the Red Cross/ICRC (2016): Views of the ICRC on autonomous weapon system. Convention on Certain Conventional Weapons (CCW) Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS), Genf, 11. April 2016.

Boulanin, V.; Davison, N.; Goussac, N.; Carlsson, P. (2020): Limits on Autonomy in Weapon Systems – Identifying Practical Elements of Human Control. Stockholm: SIPRI.

CCW (2019): Meeting of the High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects. CCW/MSP/2019/9, Genf, 13.-15. November 2019.

Zusatzprotokoll zu den Genfer Abkommen vom 12. August 1949 über den Schutz der Opfer internationaler bewaffneter Konflikte (Protokoll I), Genf, 8. Juni 1977.

Johanna Trittenbach, LL.M., ist Projektkoordinatorin »Autonome Waffensysteme« bei Facing Finance e.V., der koordinierenden NGO der deutschen Kampagne »Stop Killer Robots«, sowie wissenschaftliche Mitarbeiterin im humanitären Völkerrecht am Kalshoven-Gieskes Forum for International Humanitarian Law an der Universität Leiden (Niederlande).

Letale Autonome Waffensysteme (LAWS) werden als Revolution in Militärangelegenheiten gehandelt. Nicht nur haben sie das Potential, die Art der Kriegsführung zu verändern, sie könnten darüber hinaus auch die bisherige internationale Sicherheitsarchitektur grundlegend umwälzen (Haas und Fischer 2017). Um diesen Entwicklungen zuvorzukommen, werden seit 2014 in Genf Gespräche über die Möglichkeiten einer präventiven Regulierung dieser Waffensysteme im Rahmen der UN-Waffenkonvention (Convention on Certain Conventional Weapons, CCW) geführt. Die nächsten Treffen finden voraussichtlich im September und November 2020 statt. Die Aussicht auf Fortschritte ist jedoch ungewiss – bisher konnte sich die Staatengemeinschaft nicht einmal auf eine gemeinsame Definition für autonome Waffensysteme einigen.

Was ist in den letzten Jahren passiert?

Nach ersten informellen Treffen wird das Thema seit 2017 durch eine offizielle Gruppe von Regierungsexpert*innen (Group of Governmental Experts) diskutiert. Mit am Tisch sitzen neben den Staatenvertreter*innen auch Vertreter*innen der Zivilgesellschaft, z.B. von der internationalen »Campaign to Stop Killer Robots«, die sich für ein völkerrechtliches Verbot autonomer Waffensysteme einsetzt. In bisher acht Gesprächsrunden über eine mögliche Regulierung lag der Fokus auf Aspekten des humanitären Völkerrechts und weniger stark auf ethischen oder sicherheitspolitischen Fragestellungen (Dahlmann und Dickow 2019). Bis zur Überprüfungskonferenz der UN-Waffenkonvention Ende 2021 sind noch vier weitere Treffen angesetzt.

Seit dem ersten informellen Treffen 2014 hat sich einiges getan – allerdings eher bei den (militär-) technologischen Entwicklungen im Bereich Autonomie und Künstliche Intelligenz als bei der Ausarbeitung eines völkerrechtlichen Abkommens zur Eindämmung der militärischen Nutzung dieser Technologien. Insbesondere Staaten, die in diesem Bereich führend sind, u.a. die USA, Russland und Großbritannien, zeigen kein Interesse daran, die Regulierung autonomer Waffensysteme voranzutreiben. Bisher schlossen sich nur 30 Staaten der Forderung nach einem Verbot an (Campaign to Stop Killer Robots 2020). Da Entscheidungen in der CCW traditionell im Konsens getroffen werden, stehen die Chancen auf einen Durchbruch bei den Gesprächen derzeit nicht allzu gut.

Möglichkeiten der Regulierung und nächste Schritte

Als Ergebnis des letzten Treffens der Regierungsexpert*innen im Jahr 2019 wurden elf Leitprinzipien (Guiding Principles) verabschiedet, die Rahmenbedingungen für den Umgang mit autonomen Waffensystemen vorgeben sollen. Sie beinhalten unter anderem die Gültigkeit des humanitären Völkerrechts auch beim Einsatz autonomer Waffensysteme und die menschliche Verantwortung und Rechenschaft über die Maschine bzw. deren Einsatz (UN Geneva 2019). Obwohl die Prinzipien das erste Resultat der langjährigen Gespräche sind, bleiben sie weit hinter den Erwartungen der Kritiker*innen autonomer Waffensysteme zurück. Zum einen entsprechen die Leitprinzipien lediglich einer politischen Willenserklärung und stellen keine völkerrechtlich verbindlichen Regeln auf. Zum anderen werden entscheidende Aspekte vernachlässigt, wie die Achtung von Menschenrechten oder die Kodifizierung der bedeutsamen menschlichen Kontrolle (meaningful human control) im humanitären Völkerrecht (Moyes 2019). Da es zunehmend unwahrscheinlich scheint, dass aus den Leitprinzipien ein völkerrechtliches Instrument oder gar ein Verbotsvertrag im Rahmen der CCW erwächst, stellt sich die Frage, welche alternativen Optionen denkbar sind.

Zunächst geht es bei der Regulierung von LAWS nicht primär um deren Vereinbarkeit mit dem humanitären Völkerrecht, sondern um einen ethisch-moralischen Aspekt, nämlich die Tatsache, dass das Delegieren von Entscheidungen über Leben und Tod an Maschinen die menschliche Würde verletzt (Rosert und Sauer 2019). Über die Definitionsproblematik hinauszudenken und den Fokus auf die Kodifizierung bedeutsamer menschlicher Kontrolle als völkerrechtliches Prinzip zur Regulierung autonomer Waffensysteme zu lenken, böte eine produktivere Diskussionsgrundlage. Dabei muss das Thema nicht zwangsläufig außerhalb des CCW-Kontexts verhandelt werden (wie dies im Falle von Landminen und Clustermunition geschah). Was es braucht, sind mutige und innovative Schritte, um die CCW zu reformieren und der Rüstungskontrolle neuen Aufwind zu verleihen (Schörnig 2019). Hier könnte Deutschland auf internationaler Ebene eine entscheidende Rolle einnehmen, um die Regulierung künftiger Waffentechnologien voranzubringen.

Die Rolle Deutschlands

Nachdem sich Deutschland in den ersten Jahren der Gespräche bereits für eine Ächtung autonomer Waffensysteme stark gemacht hatte, wurde dies auch im Koalitionsvertrag 2018 zwischen CDU/CSU und SPD explizit festgeschrieben: „Autonome Waffensysteme, die der Verfügung des Menschen entzogen sind, lehnen wir ab. Wir wollen sie weltweit ächten.“ (Zeile 7027-7028)

Allerdings ist die Position Deutschlands heute nicht mehr so eindeutig. Das Auswärtige Amt engagiert sich zwar weiterhin dafür, eine rüstungskontrollpolitische Lösung für LAWS zu finden – zuletzt durch Ausrichtung der im April online durchgeführten Konferenz »Berlin LAWS Forum« (Auswärtiges Amt 2020). Allerdings wird nicht mehr explizit ein Verbotsvertrag für autonome Waffensysteme anvisiert. Stattdessen wird auf politische Vorgaben gesetzt, die möglichst alle beteiligten Staaten miteinbeziehen – die elf Leitprinzipien entsprechen einem ersten Schritt in diese Richtung (Auswärtiges Amt 2019). Insbesondere die USA und Russland lehnen eine Regulierung autonomer Waffensysteme aber weiterhin ab.

Dabei könnte Deutschland von einer starken Regulierung autonomer Waffensysteme erheblich profitieren. Die Bundesregierung könnte eine diplomatische Vorreiterrolle übernehmen, wie es Kanada bei Landminen und Norwegen bei Clustermunition getan haben, um die Gespräche in Genf zwei Schritte vorwärts zu bringen – und sich so international friedenspolitisch profilieren.

Literatur

Auswärtiges Amt (2019): Außenminister Maas zur Einigung auf Leitprinzipien zum Einsatz vollautonomer Waffensysteme. Berlin, 15.11.2019.

Auswärtiges Amt (2020) Rethinking Arms Control – Berlin LAWS Forum. Berlin, 1.-2.4.2020; rethinkingarmscontrol.de.

Campaign to Stop Killer Robots (2020): Country Views on Killer Robots. 11.3.2020.

Dahlmann, A.; Dickow, M. (2019): Präventive Regulierung autonomer Waffensysteme – Handlungsbedarf für Deutschland auf verschiedenen Ebenen. SWP-Studie 2019/S01.

Haas, M.C.; Fischer, S.-C. (2017): The Evolution of Targeted Killing Practices – Autonomous Weapons, Future Conflict, and the International Order. Contemporary Security Policy, Vol. 38, Nr. 2, S. 281-306.

Koalitionsvertrag zwischen CDU, CSU und SPD – 19. Legislaturperiode. Berlin, 12.3.2018.

Moyes, R. (2019): Critical Commentary on the »Guiding Principles«. London: Article 36.

Rosert, E.; Sauer, F. (2019): Prohibiting Autonomous Weapons – Put Human Dignity First. Global Policy, Vol. 10, Nr. 3, S. 370-375.

Schörnig, N. (2019): Murmeltiertag in Genf – Probleme, Knackpunkte, mögliche Lösungen. PRIF Blog, 26.3.2019.

United Nations Geneva (2019): Meeting of the High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects – Revised Draft Final Report. Genf, 15.11.2019.

Anna-Katharina Ferl ist wissenschaftliche Mitarbeiterin und Doktorandin am Leibnitz-Institut Hessische Stiftung Friedens- und Konfliktforschung (HSFK) in Frankfurt am Main. Ihr Forschungsschwerpunkt liegt auf autonomen Waffensystemen und Rüstungskontrolle.

Staaten verhandeln derzeit über ein mögliches Verbot letaler autonomer Waffensysteme. Zu den zu regelnden Punkten gehört die Forderung nach menschlicher Kontrolle über den Gewalteinsatz, um völkerrechtlichen und ethischen Bedenken zu begegnen. Ein wichtiger Baustein einer solchen Regelung der humanitären Rüstungskontrolle könnte ein Verifikationsmechanismus sein. Aus den besonderen Eigenschaften von LAWS und ihrer Regulierung erwachsen allerdings Herausforderungen, die nach einem neuen und kreativen Blick auf Überprüfungsmöglichkeiten verlangen. Die folgenden Vorschläge basieren auf einem Konzept des International Panel on the Regulation of Autonomous Weapons (iPRAW).

Verhandlungen über LAWS

Im Rahmen der Waffenkonvention der Vereinten Nationen (Convention on Certain Conventional Weapons, CCW) verhandeln Staaten über eine Regulierung letaler autonomer Waffensysteme (LAWS). Im Folgenden sind mit »LAWS« Waffensysteme gemeint, bei denen der Mensch nicht mehr über die konkrete Zielauswahl und -bekämpfung entscheiden muss, was mithin als maschinelle Autonomie in den kritischen Funktionen bezeichnet wird (ICRC 2016). Diese autonomen (oder automatisierten) Funktionen können in ganz unterschiedlichen Waffenplattformen genutzt werden, seien es bewaffnete Drohnen, Panzer, Schiffe oder U-Boote, aber auch übergeordnete Systeme, wie Battlefield-Management-Systeme.1 Schon lange gibt es Waffensysteme, die, insbesondere zur Verteidigung gegen anfliegende Munition, selbstständig Ziele erkennen und bekämpfen. Durch technische Fortschritte in unterschiedlichen Bereichen, wie der Künstlichen Intelligenz, Sensorik oder Energieversorgung, werden autonome Funktionen in Zukunft aber eine breitere und dynamischere Anwendung finden.

Hier sehen zahlreiche Vertreter*innen der Zivilgesellschaft, aber auch viele Staaten, einen möglichen Regelungsbedarf, da es ethische, rechtliche, aber auch operative Bedenken gegen den Einsatz von LAWS gibt. Aus den Verhandlungen in der CCW könnte neben einer politischen Erklärung oder anderen unverbindlichen Instrumenten auch ein rechtlich verbindliches Protokoll entstehen. Dieses könnte die Entwicklung und Nutzung von LAWS verbieten und/oder ausreichende menschliche Kontrolle beim Einsatz vorschreiben (Rosert und Sauer 2020).

Falls sich die Vertragsstaaten der CCW (oder eines anderen Verhandlungsforums) auf eine rechtlich verbindliche Regulierung einigen, könnte ein Verifikationsmechanismus helfen, der Regelung Geltung zu verschaffen. Da noch kein umfassender Entwurf für eine Regulierung oder ein Verbot vorliegt, basieren die folgenden Überlegungen auf einigen hypothetischen Grundannahmen. So könnte sich eine Regulierung auf die menschliche Kontrolle über den Waffeneinsatz beziehen, wie sie beispielsweise iPRAW beschrieben hat (iPRAW 2018b). Menschliche Kontrolle erfordert hierbei zum einen das Situationsverständnis der militärischen Entscheider*innen und zum anderen deren Möglichkeit, in den Angriff einzugreifen. Beide Elemente müssen sowohl im Design angelegt sein als auch während der Nutzung des Waffensystems umgesetzt werden (»control by design and in use«) (iPRAW 2018a).

Verifikation als Instrument der Rüstungskontrolle

In Rüstungskontrollverträgen hat Verifikation das Ziel, die Einhaltung der jeweiligen Regelung zu fördern. Üblicherweise geschieht das durch die Möglichkeit, die etwaige Nichteinhaltung nachzuweisen. Dies soll das Vertrauen zwischen den Vertragsstaaten erhöhen und spielt darum eine wichtige Rolle in der Abrüstung und Rüstungskontrolle. Meist handelt es sich um technische Methoden, die auf rechtlichen Vorgaben basieren, aber immer auch den politischen Willen der Vertragsstaaten zur Umsetzung benötigen. Dabei müssen die Vertragsstaaten eine Balance zwischen militärischer Geheimhaltung und Transparenz finden.

Noch unterhalb der Schwelle von Verifikationsmechanismen können Transparenzmaßnahmen einen stabilisierenden Effekt haben, da die Vertragsstaaten ein besseres Verständnis erlangen, was von der Gegenseite zu erwarten ist. In Verträgen der humanitären Rüstungskontrolle spielen solche Maßnahmen eine größere Rolle als in der »klassischen« Abrüstung und Rüstungskontrolle. Humanitäre Rüstungskontrolle meint die Beschränkung von Waffentypen oder -anwendungen, die den Regeln des humanitären Völkerrechts zuwider laufen, also z.B. unterschiedslos oder unverhältnismäßig wirken. Dazu gehören unter anderem der Verbotsvertrag für Antipersonenminen oder die CCW mit ihren Protokollen. In diesen finden sich keine Verifikationsinstrumente, aber einige wenige, freiwillige Transparenzmaßnahmen. Andere Rüstungskontrollverträge, wie das Verbot biologischer Waffen, kommen ebenfalls ohne Verifikationsmaßnahmen aus und entfalten dennoch eine große normative Wirkung.

Verifikationsmaßnahmen lassen sich grob in vier Kategorien einteilen, die sich am jeweiligen Regulierungsobjekt orientieren: Existenz/Abwesenheit, Quantität, Qualität und (zum Teil in Überschneidung mit den anderen Kategorien) Veränderungen. Die Verifikation von Vorhandensein bzw. Abwesenheit von Waffen, Emissionen oder Substanzen kann z.B. durch Inspektionen von Produktionsstätten, Strahlungsmessungen oder Umweltproben ermöglicht werden. Die Anzahl von Waffen kann durch Zählungen in bestimmten Gebieten ermittelt werden. Die Qualität oder Fähigkeiten, wie Bombenlast oder Reichweite, können durch standardisierte Tests geprüft werden. Veränderungen, wie Truppenbewegungen, oder Produktionsstätten lassen sich durch Überflüge oder Satellitenbilder feststellen. Relevante Akteure bei solchen Überprüfungen sind Geheimdienste, Nichtregierungsorganisationen und spezielle Vertragsorganisationen, wie die Organisation für das Verbot chemischer Waffen.

Verifikation menschlicher Kontrolle

Die Verifikation eines Vertrages, der menschliche Kontrolle über den Gewalteinsatz einfordert, müsste sich auf das Verhältnis von Mensch und Maschine fokussieren. Die Überprüfung des Situationsverständnisses und der Eingriffsmöglichkeiten müsste überblicken, ob die militärischen Entscheider*innen tatsächlich die Situation während des Angriffs erfassen und über einen Eingriff nachdenken konnten und sich bewusst dafür bzw. dagegen entschieden haben. Da dies ein kontinuierlicher Prozess ist, müssten die Überprüfungsmaßnahmen den gesamten Nutzungszyklus abdecken, also die Vorbereitung des Einsatzes, den Einsatz selbst und die nachträgliche Auswertung des Geschehens.

Die Vertragsstaaten einer LAWS-Regulierung könnten eine Organisation zur Verifikation gründen. Eine solche Institution kann ein wichtiger, vertrauenswürdiger Akteur sein, sofern sie mit ausreichend Budget, Expertise und Befugnissen ausgestattet wird. Zur Vorbereitung und Unterstützung könnte ein technisches Komitee die technischen und rechtlichen Voraussetzungen für die Organisation und konkrete Maßnahmen ausarbeiten (Schörnig 2019).

Entwicklungsphase und Einsatzregeln

In der Phase von Design und Entwicklung könnten Schnittstellen und Kommunikationsverbindungen betrachtet werden. Auch die Art und Weise der Datenerhebung und -speicherung kann relevant sein.

Besondere Herausforderungen ergeben sich aus der Rolle von Software für autonome Funktionen. Diese ist üblicherweise nicht Gegenstand von (rechtlichen) Verifikationsmaßnahmen,2 obwohl sie schon heute die Effizienz von Waffensystemen erhöht, beispielsweise in Kampfflugzeugen. Hier liegt der Fokus auf physischen Merkmalen, wie Reichweite, Traglast oder Anzahl. Erfahrungswerte mit der rechtlichen Rüstungskontroll-Verifikation von Software liegen also nicht vor.

Da die Überprüfung der menschlichen Rolle während der Nutzung schwierig ist, kommt der Betrachtung dieser Phase eine besondere Bedeutung zu. Allerdings könnten einige Designelemente während des Einsatzes umgangen werden; auch eine Veränderung der relevanten Software nach der Inspektion ist denkbar. Klassische Verifikationsinstrumente sind hier also nur begrenzt nützlich.

Eine ähnlich notwendige, aber nicht hinreichende Bedingung für menschliche Kontrolle wie das Design sind die Einsatzregeln. Auch sie könnten bei der Verifikation einer LAWS-Regulierung als ein Indikator für die Rolle des Menschen berücksichtigt werden.

Während des Einsatzes

Während des Einsatzes können Daten über die Mensch-Maschine-Interaktion gesammelt werden. Die Auswertung kann während des Einsatzes oder danach erfolgen.

Die zentrale Herausforderung besteht darin, dafür passende Indikatoren zu finden. Während klassische Rüstungskontrolle militärische Fähigkeiten und Quantitäten reguliert, betrachtet humanitäre Rüstungskontrolle eher die Wirkung von Waffen und Methoden der Kriegsführung (z.B. unterschiedslos oder unverhältnismäßig). Eine Regulierung von LAWS bzw. menschlicher Kontrolle schaut hingegen auf den Prozess der Nutzung. Diese qualitative Eigenschaft ist allerdings schwer greifbar und kontextabhängig, was die Formalisierung für eine Überprüfung erschwert.

Gubrud und Altmann bieten einen ersten, sehr wertvollen Vorschlag zur Verifikation einer LAWS-Regulierung an (Gubrud und Altmann 2013). Sie benennen eine Reihe von Maßnahmen, welche zumindest Indikatoren für die Rolle des Menschen beim Gewalteinsatz bereitstellen. Neben der Überprüfung der Plattform und Mensch-Maschine-Schnittstellen schlagen sie vor, die Bediener*innen mit Kameras zu überwachen und deren Handlungen mit dem Angriff vor Ort abzugleichen. Die gesammelten Informationen sollen sicher gespeichert und nach dem Einsatz ausgewertet werden. Analog zu einem Flugschreiber, der »Black Box«, beschreiben Gubrud und Altmann eine »Glass Box«, also einen virtuellen Glaskasten. Die Daten in diesem Speichermedium dürfen nicht verändert werden können, Zugriff erhält nur die Überprüfungsorganisation.

Diese Idee der Überprüfung ist vor allem auf bewaffnete Drohnen zugeschnitten. Die Bewertung von rechtlichen und operativen Grauzonen, von verteilter Verantwortung und der angemessenen Ausgestaltung menschlicher Kontrolle im jeweiligen Einsatzkontext ist damit kaum möglich. Hier wären mehr Forschung und Austausch von Industrie und Politik nötig, um sinnvolle Indikatoren zu bestimmen, die für den jeweiligen Einsatzkontext sinnvoll wären.

Nach dem Einsatz

Die gesammelten Daten könnten bereits während des Einsatzes, wahrscheinlicher aber danach ausgewertet werden. Die Grundlagen für diese »ex post«-Überprüfung müssen bereits im Design des Systems angelegt sein, die konkrete Umsetzung würde sich nach der Art des Waffensystems und seines Einsatzes richten. Eine Möglichkeit wäre die Auswertung aller militärischen Anwendungen bzw. Angriffe mit unbemannten Waffensystemen oder mit Waffensystemen mit autonomen Funktionen, welche die Nutzerstaaten als relevant gemeldet haben. Ein zweiter Weg wäre die Auswertung einer Stichprobe, z.B. von Verdachtsfällen oder zufällig.

Üblicherweise bieten Verifikationsmaßnahmen keine perfekte Sicherheit oder abschließende Beweise der Vertragstreue, die Einhaltung wird also nicht belegt, sondern falsifiziert. Hier würde die erste Variante – die Überprüfung aller gesammelten Daten – einen neuen Weg beschreiten, da die Daten digital vorlägen und so eine Auswertung der Grundgesamtheit und damit der Beleg der Regeleinhaltung möglich wären (sofern tatsächlich alle relevanten Angriffe und Indikatoren erfasst wurden). Natürlich müssten die Daten angemessen gesichert und verschlüsselt und gegen nachträgliche Änderungen geschützt sein.3 Hier könnten wiederum technische Hilfsmittel die Auswertung großer Datenmengen erleichtern, was eine gewisse Ironie in sich birgt.

Die Auswertung von Verdachtsfällen gestaltet sich schwierig, da die Rolle des Menschen bei der Zielauswahl und -bekämpfung für außenstehende Beobachter*innen kaum erkennbar ist. Mögliche Indikatoren könnten die Reaktionsgeschwindigkeit sein oder Manöver, bei denen keine Kommunikationsverbindung möglich erscheint.

Fazit

Falls sich Staaten auf eine rechtlich verbindliche Regulierung von LAWS einigen und falls sie deren Einhaltung verifizieren wollen, wäre das eine große Herausforderung – aber nicht notwendigerweise unmöglich. Die Schwierigkeiten ergeben sich aus den speziellen Eigenschaften autonomer Funktionen: Sie sind qualitativ und prozessorientiert, die menschliche Rolle ist von außen nicht zu erkennen, und die Software könnte nach Inspektionen relativ unauffällig verändert werden. Diese Schwierigkeiten erfordern eine Mischung von Instrumenten und hängen stark von der jeweiligen Plattform und Anwendung der autonomen Funktionen ab. So gibt es, wie auch bei dem Prinzip der menschlichen Kontrolle, keine einheitliche Lösung für alle Anwendungen. Sofern sich Staaten aus diesen Gründen – oder wegen fehlenden politischen Willens – nicht auf Verifikationsmaßnahmen einigen können, könnten auch weichere Maßnahmen, wie Best Practices, helfen, die Transparenz bei der Nutzung unbemannter Waffensysteme zu erhöhen. Die besonderen Herausforderungen der Verifikation sollten jedenfalls kein Grund sein, eine Regulierung grundsätzlich in Frage zu stellen.4

Anmerkungen

1) So führt nun auch die deutsche Bundeswehr ein digitales System zur Gefechtsführung ein; vgl. WELT (2020).

2) Verifikation spielt zwar auch in der Softwareentwicklung eine wichtige Rolle, der Begriff hat dort aber eine etwas andere Bedeutung.

3) In diesem Kontext wird gelegentlich die Nutzung von Blockchains vorgeschlagen, welche aber auf Dezentralisierung und Transparenz basieren und damit der Logik militärischer Geheimhaltung zuwiderlaufen.

4) So beispielsweise die USA; vgl. Ford (2020).

Literatur

Ford, C. (2020): AI, Human-Machine Interaction and Autonomous Weapons – Thinking Carefully about Taking »Killer Robots« Seriously. U.S. Department of State, Arms Control and International Security Papers, Vol. 1, Nr. 2, S. 1-8.

Gubrud, M.; Altmann, J. (2013): Compliance Measures for an Autonomous Weapons Convention. International Committee for Robot Arms Control, ICRAC Working Paper Nr. 2, Mai 2013.

International Committee of the Red Cross/ICRC (2016): Views of the ICRC on autonomous weapon systems. 11.4.2016.

International Panel on the Regulation of Autonomous Weapons/iPRAW (2018a): Focus on the Human Machine Relation in LAWS. »Focus on« Report No.3, March 2018.

iPRAW (2018b): Concluding Report – Recommendations to the GGE. December 2018.

iPRAW (2019): Verifying LAWS Regulation – Opportunities and Challenges. iPRAW Working Paper, August 2019.

Rosert, E.; Sauer, F. (2020): How (not) to stop the killer robots – A comparative analysis of humanitarian disarmament campaign strategies. Contemporary Security Policy, published online 30.5.2020.

Schörnig, N. (2019): Murmeltiertag in Genf – Probleme, Knackpunkte, mögliche Lösungen. PRIF Blog, 26.3.2019.

Welt (2020): Bundeswehr führt digitales System zur Gefechtsführung ein. 26.5.2020.

Anja Dahlmann arbeitet als Wissenschaftlerin bei der Stiftung Wissenschaft und Politik in Berlin. Sie leitet dort das Projekt »The International Panel on the Regulation of Autonomous Weapons« (iPRAW), welches durch das Auswärtige Amt gefördert wird.

Der Text basiert auf einem iPRAW-Arbeitspapier, welches die Autorin substantiell mitgestaltet hat: iPRAW (2019): Verifying LAWS Regulation – Opportunities and Challenges. Es handelt sich um eine Übersetzung mit leichten Anpassungen.