Die Automatisierung der Kriegsführung

Das Beispiel bewaffnete Drohnen

von Marius Pletsch

Ein Auto fährt auf einer unbefestigten Straße in den pakistanischen Stammesgebieten unter Bundesverwaltung (FATA), die grenznah zu Afghanistan liegen. Weit über ihm kreist eine Drohne, die mit einem Modul bestückt ist, das sich als Mobilfunkmast ausgibt. Die Mobiltelefone der Mitfahrer*innen des Autos wählen sich ein und können nun lokalisiert werden. Sowohl die Gerätenummern wie die Mobilfunknummern werden mithilfe eines Algorithmus überprüft. Ein Mobiltelefon erregt die Aufmerksamkeit der Überwacher. Es ist diese Route öfters abgefahren, wurde mit mehreren SIM-Karten betrieben, und die aktiven Nummern wurden ausschließlich angerufen. Eine zweite Drohne, die sich näher an der aktuellen Position des Autos befindet und schwerer bewaffnet ist, fokussiert ihre Kameras auf das Auto und folgt ihm. Werden die Insassen des Kraftfahrzeuges von Raketen zerfetzt werden?

Die Informationen, die der beschriebene Algorithmus liefert, sind nicht zwingend die alleinige Datenbasis für die Entscheidung, ob eine Rakete auf das Fahrzeug abgeschossen wird. Dem ehemaligen Direktor der National Security Agency (NSA), Michael Hayden, zufolge sind solche gesammelten und analysierten Daten jedoch ein Grundpfeiler für das Drohnenprogramm der USA. Er sagte 2014 auf einer Podiumsdiskussion: „Wir töten Menschen auf der Grundlage von Metadaten.“1 (JustSecurity 2014) Das geschilderte Szenario ist also schon längst keine Science-Fiction mehr, sondern seit Jahren bittere Realität.

Beschrieben wurden zwei Programme, die Teil des US-»Krieges gegen den Terror« sind, der nach den Anschlägen des 11. Septembers 2001 erklärt wurde und weder eine räumliche noch eine zeitliche Beschränkung kennt. GILGAMESH ist eine Vorrichtung, die auf der Unterseite einer Drohne des Typs »MQ-9 Reaper« angebracht wird, sich als Mobilfunkmast ausgibt und Mobiltelefone im Umkreis zwingt, sich einzuwählen (vergleichbar mit einem IMSI-Catcher); dieses Programm hilft bei der Lokalisierung von Zielen (Scahill 2016, S. 81). Der Algorithmus wurde SKYNET getauft – wie die Künstliche Intelligenz, die im Film »Terminator« versucht, die Menschheit zunächst mit einem Atomkrieg und später mit Killerrobotern zu vernichten. Beide Programme wurden der Öffentlichkeit durch die Snowden-Leaks bekannt.

SKYNET kann Metadaten mit 55 Millionen Datensätzen pakistanischer Mobilfunkteilnehmer*innen abgleichen. Anhand verschiedener zuvor bei Verdächtigten beobachteter Verhaltensmuster wird die Wahrscheinlichkeit errechnet, mit der eine Mobilfunknummer oder ein Mobiltelefon von einem Kurier benutzt wird, der für Aufständische tätig ist. In veröffentlichten Folien der NSA wird angegeben, dass der Algorithmus »nur« bei 0,18 % bis sehr optimistisch geschätzten 0,008 % der Fälle fälschlicherweise die Zuschreibung machen würde, es handele sich um ein al-Kaida-Mitglied. Das sind bei dem Datenpool zwischen 99.000 und 4.400 Mobilfunkteilnehmer*innen, die irrtümlicherweise als Terrorist*innen markiert werden könnten (Grothoff/Porup 2016).

Eine zunehmende Automatisierung unterstützt sowohl die Überwachung möglicher Ziele als auch die Identifizierung weiterer Personen von Interesse. Außerdem sollen immer mehr Aufgaben an Algorithmen delegiert werden, da die Zahl an Sensoren und damit die Menge anfallender Daten massiv zunehmen (Magnuson 2010). Teils können die Daten gar nicht auf den Datenautobahnen transportiert werden, da z.B. die Verbindungen über eine zu geringe Bandbreite verfügen, geschweige denn in Echtzeit oder zeitnah von Menschen begutachtet und analysiert werden. Also wird sich mit einer zunehmenden Automatisierung beholfen, um einerseits nur als relevant eingestufte Daten über die limitierten Verbindungen zu schicken und andererseits möglichst schnell Informationen mit den stetig wachsenden Pools an bereits gesammelten, gespeicherten und verwerteten Daten abzugleichen. Um dies und möglicherweise daraus resultierende Probleme zu diskutieren, werden nachfolgend zunächst die wichtigsten Begriffe vorgestellt.

Definitionen

Zunächst sollen automatische, automatisierte und autonome Systeme näher bestimmt und voneinander abgegrenzt werden.

Automatische Systeme sind solche, die einer strengen »wenn-dann«-Logik unterliegen. Dabei nimmt ein Sensor eine Veränderung des Status quo wahr und dies löst eine Reaktion aus. Diese Beziehung ist direkt und linear. Als ein Beispiel sind Minen zu nennen, die beispielsweise bei einem Druck über 10 kg auslösen.

Deutlich komplexer sind automatisierte Systeme, die regelbasiert funktionieren. Dabei können mehr Sensoren und eine Vielzahl von Variablen vorliegen, die abgewogen werden, bevor eine Reaktion erfolgt. Ein Beispiel sind Raketenabwehrsysteme. Die Funktionsweise ist bei diesen Systemen immer ähnlich: Sie sollen Objekte im Luftraum erkennen, durch verschiedene Merkmale ausmachen, ob es sich um gefährliche Objekte, wie feindliche Raketen, handelt, und dann je nach Modus entweder direkt reagieren und die identifizierte Gefahr ausschalten oder auf die Auslösung durch einen Menschen warten. Je nach System besteht für das Bedienpersonal die Möglichkeit, die Abwehrmaßnahme abzubrechen, sollte sich die Lageeinschätzung ändern, es sich z.B. doch um ein Passagierflugzeug handeln.

Bleiben autonome Systeme, die zielgerichtet funktionieren, aber den Weg zum Ziel flexibel verfolgen können. Es gibt mehrere militärische Systeme, die Aufgaben autonom verrichten können. Mit der Drohne X-47B wurde beispielsweise die Fähigkeit zu autonomen Starts und Landungen auf einem Flugzeugträger und zur autonom durchgeführten Luftbetankung demonstriert. Andere autonome Systeme werden eingesetzt, um zu zerstören, die israelische Harpy z.B., um gegnerische Radaranlagen aufzuspüren und zu zerstören (Scharre 2014, S. 13; Scharre 2018a, S. 30-33).

Die Beziehung Mensch-Maschine

Eine Mine, die platziert und nicht weiter beobachtet wird, unterliegt keinerlei menschlichen Kontrolle. Wenn sie jemand auslöst, spielt es keine Rolle, ob es ein Kind oder ein*e Kombattant*in war. Die Komplexität des Systems muss also nicht zwingend etwas über die Möglichkeit des Menschen aussagen, eingreifen zu können, wobei höhere Komplexität die Kontrolle erschwert.

Ob und wie die Kontrolle des Menschen über die oben beschriebenen Systeme ausgestaltet ist, wird meist durch die Einstufung in drei Kategorien unterschieden: Ein Mensch kann entweder »in-the-loop«, »on-the-loop« oder »out-of-the-loop« sein. Verdeutlicht werden soll dies am Beispiel von Drohnen. Bei den meisten Drohnen, die derzeit durch etwa ein Dutzend Staaten in militärischen Konflikten eingesetzt werden, sitzt ein Mensch an einem Joystick und löst die Waffen aus. Der Mensch ist hier also stets »in-the-loop«. Es existieren zwar Programme, die bei der Zielauswahl und -markierung assistieren, aber die Entscheidung trifft ein Mensch. Erst nach seiner Bestätigung wird das Ziel zerstört. Wäre der Mensch nur »on-the-loop«, würde er die Aktivitäten der Drohne lediglich überwachen. Dies ist der Fall bei Flugassistenzsystemen. Würde auch die Waffensteuerung so funktionieren, wäre es dem Bedienpersonal möglich, Aktionen des Systems zu überschreiben und Angriffe abzubrechen. »Out-of-the-loop« ist der Mensch dann, wenn die Drohne selbstständig überwacht, entscheidet und handelt, ohne menschliches Zutun oder eine Vetomöglichkeit, wie dies bei der Drohne Harpy der Fall ist (Scharre 2018a: 27-30,43-50).

Der Bias in der Maschine

Der Schritt, mehr Aufgaben an Algorithmen zu delegieren, wird unter anderem damit begründet, dass die Entscheidungen schneller und – auch in ethischer und völkerrechtlicher Hinsicht – besser getroffen werden. An der Entwicklung hin zu einer Beschleunigung der Entscheidungsfindung besteht kein Zweifel, auch wenn einer schnelleren, automatischen Reaktion ein höheres und nicht intendiertes Risiko der Eskalation innewohnt (Altmann/Sauer 2017; Scharre 2018b). Befürworter*innen von mehr Automatisierung begründen den Schritt u.a. damit, so könnten zivile Opfer reduziert oder es könnte das subjektive und fehleranfällige menschliche Urteil bei Entscheidungsprozessen, die über Leben und Tod bestimmen, vermieden werden. Menschen entscheiden womöglich mit Vorannahmen bezüglich des Alters, Geschlechts, Wohnorts, Einkommens, der Kultur, Hautfarbe und weiterer Merkmale einer Zielperson. Die Annahme, Algorithmen würden dies nicht tun, liegt daran, dass für sie nicht die gleichen Standards gelten und Menschen ihnen zu sehr trauen würden, sagt die Mathematikerin Cathy O’Neil (Knight 2017).

Neben den fundamentalen Argumenten, die gegen mehr Automatisierung sprechen, ist nämlich ein Problem das des Bias (Verzerrung) im Algorithmus. Ein Beispiel für eine Art von Bias im Algorithmus ist der Chatbot »Tay«, den Microsoft auf dem Kurznachrichtendienst Twitter live geschaltet und bereits nach 24 Stunden wieder vom Netz genommen hat. Der Bot sollte in der Konversation mit anderen Benutzer*innen des Kurznachrichtendienstes lernen und mit diesen interagieren. Das klappte nur zu gut: Aus Tay wurde binnen weniger Stunden ein sexistischer, rassistischer Bot, der den Holocaust leugnete, forderte, Feminist*innen „sollten alle in der Hölle brennen“, und zum „Rassenkrieg“ aufrief (Garcia 2016). Große Technologieunternehmen haben längst Probleme mit Algorithmen eingestanden, die in der Gesellschaft vorkommende Diskriminierungen fortsetzen oder gar verschärfen. Welche Konsequenzen in der physischen Welt z.B. ein durch einen Algorithmus stark gefärbter Nachrichtenfeed auf Facebook haben kann, zeigten der Hass und die Gewalt gegenüber den Rohingya in Myanmar (OHCHR 2018; Stecklow 2018).

Automatisierung als Risiko

Bemühungen, letale autonome Waffensysteme (LAWS) zu ächten, gibt es auf Ebene der Vereinten Nationen (VN) schon seit 2014, die aktuellen Gespräche im Rahmen der Konvention über konventionelle Waffen (CCW) verlaufen aber schleppend (Marsiske 2018). Ob sich die Staatengemeinschaft auf ein umfassendes Verbot einigen kann, ist alles andere als wahrscheinlich, was sich aber durchzusetzen scheint, ist die Aufforderung, Waffen müssten stets einer »bedeutsamen menschlichen Kontrolle« (meaningful human control) unterliegen (siehe dazu die Beiträge von Amoroso/Tamburrini und von Sharkey in dieser W&F-Ausgabe).

Während der Fokus und die öffentliche Aufmerksamkeit auf dem wichtigen Verbot von »Killerrobotern« liegen, die mit popkulturellen Referenzen, wie dem Terminator aus der gleichnamigen Filmreihe oder dem Androiden Ava aus dem Film »Ex Machina« anschaulich vermittelbar sind, kam der Aspekt der Automatisierung durch Algorithmen, maschinelles Lernen und künstliche Intelligenz lange zu kurz. Durch das Projekt »Maven« wurde die Problematik einem größeren Publikum bekannt: Im Auftrag des US-Militärs arbeitete Google daran, Kameraaufnahmen von Drohnen automatisch auszuwerten und interessante Objekte zu klassifizieren. Mitarbeiter*innen erklärten sich nicht damit einverstanden, dass ihr Unternehmen dem Staat beim effizienteren Überwachen und Töten assistieren sollte, und sorgten dafür, dass zumindest bei Google das Projekt nicht fortgeführt wird (Shane/Wakabayashi 2018).

Waffensysteme wie Drohnen haben die Art der Kriegsführung bereits massiv verändert und werden dies weiter tun, gerade weil die klare Trennlinie zwischen Krieg und Frieden verwischt (Brooks 2016). Der zunehmende Einsatz von Algorithmen wird dies nicht ent-, sondern eher verschärfen. Die ständige Überwachung und automatische Auswertung der Daten stellt einen enormen Eingriff in die Privatsphäre der Bürger*innen der Staaten da, in denen diese Technologie zum Einsatz kommt, ob durch intervenierende Staaten oder durch den eigenen Sicherheitsapparat. Infolge einer zunehmende Automatisierung auch von kritischen militärischen Aufgaben wird noch schwieriger nachzuvollziehen sein, auf welcher Grundlage eine Entscheidung über den Einsatz tödlicher Gewalt getroffen wurde. Zum einen ist da die operationale Black Box, die dem Militär und militärisch agierenden Geheimdiensten inhärent ist, des Weiteren ist man mit der Black Box des Algorithmus konfrontiert (Deeks 2018, S. 7).

Die »bedeutsame menschliche Kontrolle« kann nicht darin liegen, dass ein Programm ein Ziel vorschlägt und ein Mensch dieses lediglich bestätigt. So wäre zwar der Mensch noch »in-the-­loop«, aber der Prozess, wie die Auswahl zustande kam, ist wenig transparent, erst recht, wenn Entscheidungen unter Zeitdruck fallen müssen. Die Vision einer künstlichen Intelligenz ohne Bias ist noch eine Illusion, und es ist nicht absehbar, dass sich hieran etwas ändern wird.

Eine Ächtung der Automatisierung kritischer militärischer Aufgaben ist im Rahmen der CCW-Gespräche noch möglich und angesichts des Risikos, dass Menschen die Kontrolle über Entscheidungen über Leben und Tod verlieren, geboten. Wem den Durchbruch bei der Künstlichen Intelligenz gelinge, so der russische Präsident Putin, werde „die Welt beherrschen“ (AP 2017). Ein neuer Rüstungswettlauf in dem Bereich ist kein Automatismus. Die Staatengemeinschaft hat die Möglichkeit, dem Einhalt zu gebieten.

Anmerkung

1) Metadaten sind Informationen, die bei der Nutzung von Telekommunikationstechnologie anfallen, wie Teilnehmer, Nummern, Geräte­identifikationen, Standort, Dauer von Konversationen.

Literatur

AP (2017): Putin – Leader in artificial intelligence will rule the world. APnews.com, 1.9.2017.

Brooks, R. (2016): How Everything Became War and the Military Became Everything – Tales from the Pentagon. New York: Simon & Schuster.

Deeks, A. (2018): Predicting Enemies – Military Use of Predictive Algorithms. Lawfareblg.com, 10.4.2018.

Garcia, M. (2016): Racist in the Machine – The Disturbing Implications of Algorithmic Bias. World Policy Journal, Vol. 33, No. 4, S. 111-117.

Grothoff, C.; Porup, J.M. (2016): The NSA’s SKYNET program may be killing thousands of innocent people. ArsTechnica.com, 16.2.2016.

JustSecurity (2014): Video Clip of Former Director of NSA and CIA: “We kill people based on Metadata”. JustSecurity.org, (ohne Datum).

Knight, W. (2017): Biased Algorithms Are Every­where, and No One Seems to Care. TechnologyReview.com, 12.7.2017.

Magnuson, S. (2010): Military “Swimming In Sensors and Drowning in Data”. Nationaldefensemagazine.org, 1.1.2010.

Marsiske, H.-A. (2018): Missing Link: Erfolglose Gespräche über Killerroboter – Dr. Frank Sauer im Interview: „Wir müssen mehr machen“. ­heise.de, 24.9.2018.

United Nations High Commissioner for Human Rights/OHCHR (2018): Statement by Mr. Marzuki DARUSMAN, Chairperson of the Independent International Fact-Finding Mission on Myanmar, at the 37th session of the Human Rights Council. OHCHR.org, 12.3.2018.

Scharre, P. (2018a): Army of None – Autonomous Weapons and the Future of War. New York/London: W.W. Norton & Company.

Scharre, P. (2018b): A Million Mistakes a Second. ForeignPolicy.com, 12.9.2018.

Scahill, J. (2016): The Heart of the drone maze. In: ders. (ed.): The Assassination Complex – Inside the government’s secret drone warfare program. London: Sepent’s Tail, S. 68-83.

Shane, S.; Wakabayashi, D. (2018): “The Business of War” – Google Employees Protest Work for the Pentagon. NewYorkTimes.com, 4.4.2018.

Stecklow, S. (2018): Hatebook – Why Facebook is losing the war on hate speech in Myanmar. Reuters.com, 15.8.2018.

Sauer, F.; Altmann, J. (2014): Autonome Waffensysteme -Staatenkonferenz, 13.-16. Mai 2014, Genf. Wissenschaft und Frieden, No. 3-2014, S. 60-61.

Marius Pletsch ist Redaktionsmitglied von »Wissenschaft und Frieden«, Beirat der Informationsstelle Militarisierung und studiert Politikwissenschaften und Philosophie an der Universität Trier.