Umgang mit Killerrobotern

/von

Umgang mit Killerrobotern

Tagung, Evang. Akademie Loccum, 27.-29. Januar 2020

von Thea Riebe

Autonome Waffensysteme werden die Dynamik bewaffneter Konflikten verändern und bergen neue Risiken für die strategische Stabilität und Sicherheit der internationalen Gemeinschaft. Der Druck zu immer mehr Autonomisierung birgt die Gefahr eines Rüstungswettlaufs, in dessen Verlauf durch den Zwang zu immer schnelleren Entscheidungen der Mensch zunehmend zugunsten von autonomen Waffensystemen verdrängt werden könnte. Um dies zu verhindern, diskutieren Diplomat*innen und Expert*innen im Rahmen der UN Convention on Certain Conventional Weapons (CCW) sowie innerhalb der Nationalstaaten und in Nichtregierungsorganisationen intensiv darüber, wie solche autonomen Waffensysteme reguliert oder verboten werden können.

Die Tagung »Killerroboter – Überlegungen zum zukünftigen Umgang mit automatisierten Waffensystemen« der Evangelischen Akademie Loccum im Januar 2020 bot ein Diskussionsforum zu aktuellen Ansätzen der Regulierung von autonomen Waffensystemen. Dem Organisationsteam gelang es, viele Expert*innen aus der Wissenschaft und Praxis zusammenzubringen, u.a. Mitarbeiter*innen des Auswärtigen Amtes, der Bundeswehr und des Verteidigungsministeriums, Vertreter*innen von Polizei, internationalen Organisationen und Gremien wie NATO und UN, Mitglieder der Campaign to Stop Killer Robots und von Human Rights Watch sowie Mitarbeiter*innen von Airbus und deren Projekt »Future Combat Air System«. Da die Konferenz unter der Chatham-House-Regel stattfand, die festlegt, dass in Konferenzberichten keine Aussagen einer bestimmten Person oder Institution zugeordnet werden dürfen, werden im Folgenden keine direkten Zitate verwendet.

Am ersten Tag wurde die Konferenz mit Beträgen über Grundlagen und Fachperspektiven eröffnet. Die Keynote wurde durch Marcel Dickow, Leiter der Forschungsgruppe Sicherheitspolitik der Stiftung Wissenschaft und Politik (SWP) und Leiter des »International Panel on the Regulation of Autonomous Weapons«, gehalten. Er stellte grundlegende Herausforderungen für die internationale Sicherheit und die Regulierung von autonomen Systemen dar. Anschließend beschäftigten sich die ersten beiden Sessions mit der Frage, wie der technische Fortschritt in den Bereichen Künstliche Intelligenz, Robotik und Sensorik die zukünftige Entwicklung von autonomen Waffen beeinflusst und welche militärischen Anforderungen die zukünftige Kriegsführung in Bezug auf autonome Funktionen hat. Der militärische Bedarf einer zukunftsfähigen Armee wurde von Brigadegeneral Gerald Funke, Unterabteilungsleiter Planung I im Bundesministerium der Verteidigung, und Dr. Jean-Christophe Noël vom Security Studies Center des Institut Français Des Relations Internationales (Paris) diskutiert. In dieser Session zu den Risiken und Chancen sowie zum Bedarf wurde deutlich, dass nicht nur strategische Fragen der internationalen Sicherheit zu bedenken sind (security), sondern auch die technische Sicherheit der Anwendungen (safety) einbezogen werden muss.

In der folgenden Session wurden die strategischen, völkerrechtlichen und friedens­ethischen Bewertungen und erwarteten Konsequenzen autonomer Waffensysteme durch Frank Sauer, Senior Researcher der Bundeswehr Universität München, Dr. Henning Lahmann vom Digital Society Institute der European School of Management and Technology (Berlin) und Peter Asaro, Associate Professor an der School of Media Studies at The New School (New York) sowie Mitgründer und stellvertretender Vorsitzender des International Committee for Robot Arms Control (ICRAC), eingeführt. Hier wurde u.a. die sinkende Hemmschwelle zum Einsatz autonomer Waffensysteme diskutiert, welche schrittweise dazu führen könnte, dass bei militärischen Einsätzen autonome Waffensysteme Entscheidungen treffen und nicht mehr der Mensch. Völkerrechtlich und ethisch ist der Einsatz von letalen autonomen Waffensystemen (LAWS) weder verantwortbar noch mit den Menschenrechten vereinbar, da Roboter keine moralischen Agenten sind und auch keine Verantwortung übernehmen können.

Am zweiten Tag gab der nordmazedonische Botschafter Ljupco Jivan Gjorgjinski, Vorsitzender der Regierungsexpertengruppen zu letalen autonomen Waffensystemen der CCW, den Teilnehmer*innen einen Einblick in die Probleme für die Regulierung autonomer Waffensysteme innerhalb der CCW. In der Diskussion wurde deutlich, dass die Verständnisse und Interessen der Staaten in der UN einen Konsens über die Definition zentraler Begriffe, wie »Autonomie« und »autonome Systeme«, erschweren. Mary Wareham, Koordinatorin der Campaign to Stop Killer Robots in Washington D.C., und Anja Dahlmann, Mitglied der International Security Research Division der SWP, ergänzten die Diskussion um die Perspektive einer Nichtregierungsorganisation und die wissenschaftliche Analyse des Diskurses. Hier werde zunehmend von »Systemen mit autonomen Funktionen« statt von »autonomen Systemen« gesprochen, um den Diskursgegenstand auf die relevanten Funktionen, wie den Zielauswahlprozess, einzugrenzen. Dabei seien nicht nur der Verlauf und die zentralen Akteure der Regulierungsdebatte Gegenstand, sondern auch die Haltung zentraler Staaten, wie den USA, China, Russland, Deutschland und der EU. Das Konzept der »meaningful human control«, welches von IRAC und der Campaign to Stop Killer Robots als Maßstab zur Sicherstellung menschlicher Entscheidungskontrolle eingefordert wird, findet auch bei vielen Staaten kaum Unterstützung und wird sowohl durch NGOs als auch unterstützende Staaten unterschiedlich interpretiert. Auf Grund diplomatischer Verwerfungen zwischen den USA, Russland und China und inhaltlicher Differenzen ist ein Konsens zur Regulierung von letalen autonomen Waffensystemen in den Vereinten Nationen nicht in Sicht.

Anschließend wurde die Diskussion auf mögliche Analogien zu anderen Rüstungskontrollregimen gelenkt, wie dem Biowaffenübereinkommen, das durch Elisande Nexon von der Fondation Pour La Recherche Stratégique (Paris) vorgestellt wurde. Die Lehren der konventionellen Rüstungskontrolle in Europa diskutierte Oberst a.D. Wolfgang Richter von der Forschungsgruppe Sicherheitspolitik an der SWP.

Die Loccumer Konferenz zu autonomen Waffensystemen brachte nicht nur Expert*innen aus unterschiedlichsten Domänen zusammen, sondern experimentierte auch mit interaktiven Formaten, wie dem Ideenworkshop, in welchem ein*e Impulsgeber*in einen Vorschlag zur Rüstungskontrolle von autonomen Waffen unterbreitete und dieser im Anschluss von einem*r weiteren Teilnehmer*in kommentiert wurde. Als Kommentatorin durfte ich Prof. Daniel Amoroso, Professor für internationales Recht an der Universität di Cagliari, kommentierten. Er schlug basierend auf seinem 2019 mit G. Tamburrini verfassten IRAC-Bericht »What makes human control over weapons systems ‚meaningful‘?« vor, die Autonomisierung in fünf Stufen zu klassifizieren, welche je nach Fähigkeit und Einsatzbereich reguliert und unter bestimmten Bedingungen eingesetzt werden könnten, beispielsweise zum Schutz von Menschen, wie im deutschen Nächstbereichsschutzsystem MANTIS. Dieser differenzierte Ansatz wurde positiv aufgenommen und durch meinen Beitrag um Fragen der Datenethik und des Datenschutzes ergänzt. In der zivilen Forschung und Entwicklung von autonomen Systemen entstehen durch den hohen Dual-use von Daten und Algorithmen bereits Ansatzpunkte für eine ethische und soziale Technikfolgenabschätzung, welche auch auf die militärischen Anwendung Auswirkungen hat. Ein weiterer Impuls wurden durch Dr. Jürgen Altmann gegeben, der ein Vorgehen zur nachträglichen Verifikation durch ein Blackbox-System vorschlug, welches im Anschluss an einen Einsatz die menschliche Kontrolle überprüfen könnte.

Nach dem Ideenworkshop fand ein Szenarienworkshop statt. Hier wurden die Teilnehmer*innen in Gruppen aufgeteilt, die die zentralen Akteure des Regulierungsprozesses repräsentierten, u.a. die USA, Deutschland, die NATO, die Blockfreien Staaten, das Internationale Komitee des Roten Kreuzes sowie Google als Vertreter der IT-Industrie. Die Teilnehmer*innen sollten Handlungsempfehlungen für die jeweiligen Akteure erarbeiten; diese wurden am letzten Konferenztag diskutiert.

Auf der Konferenz wurde also aus unterschiedlichen Perspektiven diskutiert, welche strategischen, rechtlichen, ethischen und sicherheitsrelevanten Implikationen durch die zunehmende Automatisierung von Waffensystemen entstehen, wie menschliche Kontrolle sichergestellt werden kann und welche Fragen von »safety« und »security« im Bereich der Systeme mit autonomen Funktionen zu bedenken sind. Es wurde deutlich, dass es in Deutschland zwischen den Regierungsparteien CDU/CSU und SPD sowie zwischen dem Auswärtigem Amt und dem Verteidigungsministerium keine einheitliche Haltung zur Regulierung gibt. Es liegen auf politischer Ebene aber durchaus Vorschläge vor, um den Einsatz letaler autonomer Waffensysteme zu regulieren. Nur zwei Tage nach der hier besprochenen Tagung wurden im Bundestag entsprechende Anträge der Fraktionen Bündnis 90/Die Grünen und Die Linke diskutiert und mit den Stimmen der Koalitionsparteien abgelehnt.

Thea Riebe

Neues Projekt am IFSH

/von

Neues Projekt am IFSH

»Rüstungskontrolle und Neue Technologien«

von Götz Neuneck

Erfolgreiche Rüstungskontrolle, Abrüstung und die Kontrolle neuer Technologien sind zentrale friedens- und sicherheitspolitische Herausforderungen unserer Zeit. Die Debatte um Cyberwar, Laserwaffen, Künstliche Intelligenz oder Hyperschallwaffen ist ein deutliches Indiz für Innovationen, die rüstungsrelevant sind, aber von Rüstungskontrolle momentan nicht erfasst werden. Um Völkerrechtsverträge, Abrüstung und Nichtverbreitung an diese Entwicklung anpassen zu können, ist ein genaues Verständnis der neuen Waffentechnologien erforderlich.

Vor dem Hintergrund des zunehmenden Rüstungswettbewerbes zwischen den USA, China und Russland, der Erosion der klassischen Rüstungskontrolle, der aktuellen Blockade der Abrüstungsbemühungen und der Verbreitung neuer (Waffen-) Technologie beschloss die Bundesregierung, ihre diesbezüglichen Aktivitäten international zu verstärken. Dies fand u.a. Ausdruck in der internationalen Fachkonferenz »Capturing Technology – Rethinking Arms Control«, die am 15. März 2019 in Berlin stattfand. Außenminister Heiko Maas betonte bei seiner Eröffnungsrede, dass wir „einen offenen, ernsthaften Dialog über die Zukunftsfragen der Rüstungskontrolle brauchen“. Er plädierte für mehr Kooperation und Dialog zwischen Parlamentarier*innen, Regierungsvertreter*innen, Thinktanks, Forscher*innen, Militärexpert*innen und Industrievertreter*innen. Mit der Außenministerin von Schweden und dem Außenminister der Niederlanden vereinbarte er bei diesem Anlaß eine engere Zusammenarbeit bei diesen Fragen.

Angesichts der steigenden Bedeutung neuer Technologien ist dafür interdiszi­plinäre Zusammenarbeit nötig. In seinen »Empfehlungen zur Weiterentwicklung der Friedens- und Konfliktforschung« vom 12. Juli 2019 verwies der Wissenschaftsrat zudem darauf, dass „einschlägige natur- und technikwissenschaftliche Kompetenz in Deutschland für die Friedens- und Konfliktforschung immer weniger verfügbar [ist], während zugleich die Nachfrage nach entsprechender Beratung im politischen Raum nicht zuletzt angesichts neuer Formen der Kriegsführung – Stichwort: Cyberwar – zunimmt“ (S. 14/15). Darüberhinaus gilt es auch, neue Rüstungswettläufe zu verhindern, destabilisierende Tendenzen in einer Krise zu identifizieren und weitere Abrüstung möglich zu machen. Diesem Anspruch liegt ein am IFSH seit Jahrzehnten entwickeltes Verständnis von „kooperativer Rüstungssteuerung“ (Wolf Graf von Baudissin/Dieter S. Lutz) und von »präventiver Rüstungskontrolle« zugrunde.

Entsprechend betrieb das Institut für Friedensforschung und Sicherheitspolitik an der Universität Hamburg (IFSH) im Rahmen der Interdisziplinären Forschungsgruppe für Abrüstung, Rüstungskontrolle und Risikotechnologien (IFAR2) bereits in den vergangenen 20 Jahren Forschung in den Bereichen Technologiefolgenabschätzung, Dual-use-Potentiale neuer Technologien und deren Kompatibilität mit Rüstungskontrolle. Die Arbeiten bezogen sich insbesondere auf die Atombewaffnung, neue Trägersysteme, Raketenabwehr und die Bewaffnung von Weltraum und Cyberspace.

Nun ist es dem IFSH gelungen, vom Auswärtigen Amt den Zuschlag für das mehrjähriges Forschungs- und Transferprojekt »Rüstungskontrolle und Neue Technologien« zu bekommen. In einem internationalen Projektteam sollen die Risiken neuer rüstungsrelevanter Technologien und Innovationen für Frieden und Sicherheit erforscht und Vorschläge zu deren Einhegung durch Rüstungskontrolle, Nichtverbreitung und Abrüstung ausgearbeitet werden. Der erweiterte internationale und interdisziplinäre Forschungsbereich widmet sich dabei insbesondere den Technologien, die einen inhärenten zivil-militärischen Anwendungsdualismus (dual use) haben und beispielsweise Rüstungswettläufe antreiben können. Dennoch bleiben weiterhin auch bereits existierende oder noch zu entwickelnde Regulierungen zur Einhegung von Massenvernichtungswaffen im Fokus. Hierbei interessiert insbesondere die konfliktverringernde Anwendung der unterschiedlichen Instrumente zur Abrüstung und Rüstungskontrolle, zur Nichtverbreitung und Vertrauensbildung sowie zur Verifikation bestehender Übereinkommen. Das Paradigma der Abschreckung wird kritisch-distanziert im Sinne der Kriegsverhütung und des Friedenserhalts mit einbezogen.

Das Großprojekt »Rüstungskontrolle und Neue Technologien« wurde mit einer Auftaktveranstaltung am 21. Mai 2019 mit Eröffnungsreden von Außenminister Maas und Hamburgs Oberbürgermeister Tschentscher offiziell gestartet. Bei seiner Rede betonte der Außenminister, dass „die beratende Wissenschaft gerade in langwierigen und komplexen Prozessen wie der Rüstungskontrolle eine unverzichtbare Hilfe“ sei: „Sie ist Ratgeber, Kritiker und intellektueller Sparringpartner für Politik, Diplomatie und auch Militär. Sie sucht in der Forschung und im Austausch mit Experten und Politikern weltweit nach Mitteln und Wegen, die wir noch nicht kennen oder nicht erkennen.“ Damit wird deutlich, dass das Projekt keine Ressortforschung betreibt, wissenschaftlich unabhängig ist und politisch neutral bleibt.

Das zunächst vierjährige Projekt ist unterteilt in vier thematische Schwerpunkte: 1. nukleare Rüstungskontrolle und Massenvernichtungswaffen, 2. »emerging technologies« und präventive Rüstungskontrolle, 3. konventionelle Rüstungskontrolle und 4. Zukunftsfragen der europäischen Friedens- und Sicherheitsordnung. Um die wissenschaftlichen Erkenntnisse des Projektpersonals umfassend an die interessierte Öffentlichkeit, in die Fachgemeinschaft und in den politischen Raum in Berlin zu transferieren, wird eine IFSH-Depen­dance in Berlin eröffnet, die unter anderem mit der Organisation einer alle zwei Jahre stattfindenden Abrüstungskonferenz in der Bundeshauptstadt befasst ist. Weitere Ziele des Projekts sind der Ausbau der international anerkannten deutschen Expertise im Bereich Rüstungskontrolle und Abrüstung und die Förderung des wissenschaftlichen Nachwuchses auf diesem Sektor.

Ein erster internationaler Kooperationspartner des Projekts ist das Henry A. Kissinger Center for Global Affairs der Johns Hopkins School of Advanced International Studies (SAIS) in Washington, D.C., mit welchem das IFSH die alle zwei Jahre tagende Konferenz der »Nuclear Scholars Research Initiative« erstmals in Europa (Hamburg) veranstalten wird. Weitere nationale und internationale Kooperationspartner werden in den kommenden Jahren hinzukommen.

Erste Stellenbesetzungen sind erfolgt, sodass ab Sommer 2019 sieben Wissenschaftler*innen u.a. aus den Politikwissenschaften, den Kulturwissenschaften, der Physik, der Informatik und den Geschichtswissenschaften gemeinsam an den Projektthemen arbeiten werden. Auch besteht die Möglichkeit, internationale Fellows an das IFSH zu holen.

Prof. Dr. Götz ist Stellvertretender Wissenschaftlicher Direktor des IFSH und Leiter des Projekts »Rüstungskontrolle und Neue Technologien«.

Menschliche Steuerung von Waffensystemen

/von

Menschliche Steuerung von Waffensystemen

von Noel Sharkey

Im April 2018 fand in Genf eine Arbeitstagung der »Gruppe der Regierungsexpert*innen« des VN-Waffenübereinkommens statt. An der Sitzung nahmen auch Vertreter*innen von Nichtregierungsorganisationen teil, darunter des International Committee for Robot Arms Control – ICRAC. Der für W&F übersetzte und nachfolgend abgedruckte Text wurde bei der Tagung als ICRAC Working Paper 3 vorgelegt.

Seit 2014 bekunden Vertragsparteien der Convention on Certain Conventional Weapons (CCW; VN-Waffenübereinkommen) ihr Interesse und ihre Besorgnis hinsichtlich einer bedeutsamen menschlichen Steuerung von Waffensystemen. Zur Dynamik der Mensch-Maschine-Wechselwirkung und zur überwachenden Steuerung von Maschinen durch den Menschen liegt eine umfangreiche wissenschaftliche und technische Literatur vor. Nachfolgend wird ein kurzer Leitfaden vorgestellt, der aus zwei Teilen besteht: Teil 1 ist eine einfache Einführung in die Psychologie menschlicher Entscheidungsfindung (human reasoning). Teil 2 skizziert verschiedene Niveaus der Steuerung von Waffensystemen, die sich aus der Forschung zur Mensch-Maschine-Wechselwirkung ergeben, und diskutiert diese in Bezug auf die Eigenschaften menschlichen Denkens. Dies macht deutlich, welche der Niveaus die Rechtmäßigkeit menschlicher Steuerung von Waffensysteme sicherstellen und garantieren können, dass vorbeugende Maßnahmen ergriffen werden, um die Relevanz, Notwendigkeit und Angemessenheit potenzieller Ziele sowie die wahrscheinlichen Nebenwirkungen und möglichen unbeabsichtigten Auswirkungen des Angriffs zu bewerten.

Menschliche Entscheidungen zur Steuerung von Waffen

Eine gut begründete Unterscheidung, die sich auf mehr als 100 Jahre umfangreicher Forschung in der Humanpsycho­logie stützt, unterteilt menschliche Entscheidungen in zwei Typen:

  • schnelle automatische Prozesse, die für Routine- bzw. Basistätigkeiten, wie Fahrradfahren oder Tennisspielen, benötigt werden, und
  • langsamere abwägende (deliberative) Prozesse, die für durchdachte Überlegungen notwendig sind, etwa für eine diplomatische Entscheidung.

Der Nachteil des deliberativen Denkens besteht darin, dass es Aufmerksamkeit und Gedächtnisressourcen erfordert, d.h. es kann durch Stress oder durch den Zwang zu einer schnellen Entscheidungsfindung leicht gestört werden.

Zunächst greifen automatische Prozesse, wir können uns aber über sie hinwegsetzen, wenn wir unter neuen Umständen arbeiten oder Aufgaben ausführen, die eine aktive Steuerung oder Aufmerksamkeit erfordern. Automatische Prozesse sind für unser normales Funktionieren unerlässlich, aber sie haben etliche Nachteile, wenn es darum geht, wichtige Entscheidungen zu treffen, z.B. darum, die Legitimität eines Ziels festzustellen.

Vier der bekannten Eigenschaften automatischen Denkens1 verdeutlichen, warum dieses für die überwachende Steuerung von Waffen problematisch ist:

  • Es vernachlässigt Mehrdeutigkeiten und unterdrückt Zweifel. Automatische Denkprozesse führen zu voreiligen Schlussfolgerungen. Eine eindeutige Antwort drängt sich sofort und unhinterfragt auf. Es wird nicht nach alternativen Interpretationen oder Unsicherheiten geschaut. Wenn etwas wie ein legitimes Ziel aussieht, wird die automatische Entscheidungsfindung sich in einer mehrdeutigen Situation darauf verlassen, dass es tatsächlich ein legitimes Ziel ist.
  • Es folgert und erfindet Ursachen und Absichten. Automatisches Denken erfindet schnell stimmige, kausale Geschichten, indem es Fragmente verfügbarer Information miteinander verknüpft. Ereignisse, an denen Personen beteiligt sind, werden automatisch mit Absichten verknüpft, die zu einer logischen Geschichte passen. Zum Beispiel könnten Menschen, die Mistgabeln auf einen Lastwagen laden, eine kausale Geschichte auslösen, dass sie Gewehre verladen. Dies wird in der Literatur zur menschlich überwachten Steuerung als »Assimilationsverzerrung« bezeichnet.2
  • Es tendiert dazu, zu glauben und zu bestätigen. Automatisches Denken begünstigt die unkritische Annahme von Vorschlägen und fördert eine starke Voreingenommenheit. Wenn ein Computer einem Nutzer ein Ziel vorschlägt, würde es bei nur automatischem Denken sehr wahrscheinlich akzeptiert. Dies wird Automatisierungsverzerrung genannt.3 Demgegenüber wird aufgrund der Bestätigungsverzerrung4 Information ausgewählt, die etwas bereits Geglaubtes bestätigt.
  • Es konzentriert sich auf vorhandene Anhaltspunkte und ignoriert, welche fehlen. Automatisches Denken erstellt stimmige, erläuternde Geschichten, ohne zu berücksichtigen, welche Anhaltspunkte oder Kontextinformationen möglicherweise fehlen. Was man sieht, ist alles, was da ist (What You See Is All There Is, WYSIATI).5 Es erleichtert das Gefühl von Kohärenz, das uns zuversichtlich macht, Informationen als wahr anzunehmen. Zum Beispiel kann ein Mann, der ein Gewehr abfeuert, mit WYSIATI als feindliches Ziel betrachtet werden, während ein kurzer Rundblick zeigen könnte, dass er einen Wolf erschießt, der seine Ziegen jagt.

Niveaus menschlicher Steuerung und wie sie menschliche Entscheidungsprozesse beeinflussen

Wir können Niveaus der menschlichen Steuerung von Waffensystemen betrachten, indem wir die Forschungsliteratur zur menschlichen überwachenden Steuerung auswerten (siehe Tab. 1).6

Niveau 1

Ein Mensch denkt bewusst über ein Ziel nach, bevor er einen Angriff auslöst.

Niveau 2

Das Programm liefert eine Liste von Zielen, und ein Mensch wählt aus, welches Ziel angegriffen werden soll.

Niveau 3

Das Programm wählt ein Ziel aus, und ein Mensch genehmigt es vor dem Angriff.

Niveau 4

Das Programm wählt ein Ziel aus, und ein Mensch hat eine begrenzte Zeit für ein Veto.

Niveau 5

Das Programm wählt ein Ziel aus und löst den Angriff ohne menschliche ­Beteiligung aus.

Tab. 1: Klassifizierung für Niveaus menschlicher überwachender Steuerung von Waffen

Steuerung auf Niveau 1 ist das Ideal

Ein*e menschliche*r Befehlshaber*in (oder Bediener*in) hat zum Zeitpunkt eines konkreten Angriffs volle Kenntnis der Situation und des Kontextes im Zielgebiet und ist in der Lage, jede Veränderung oder unvorhergesehene Situation wahrzunehmen, die seit der Planung des Angriffs aufgetreten sein könnten, und darauf zu reagieren. Es gibt eine aktive kognitive Beteiligung am Angriff und genügend Zeit, um die Art des Ziels und seine Bedeutung im Hinblick auf die Notwendigkeit, die Angemessenheit sowie die Wahrscheinlichkeit von zufälligen und unbeabsichtigten Nebenwirkungen zu bedenken. Es muss auch ein Verfahren für die schnelle Aussetzung oder den Abbruch des Angriffs geben.

Steuerung auf Niveau 2 könnte akzeptabel sein

Dazu muss gezeigt werden, dass Steuerung die Anforderungen an das Nachdenken über mögliche Ziele erfüllt. Menschliche Bediener*innen oder Befehlshaber*innen sollten bewusst beurteilen, ob der Angriff notwendig und angemessen ist und ob die vorgeschlagenen Ziele zulässige Angriffsobjekte sind. Ohne ausreichende Zeit oder in einer Umgebung mit vielen Ablenkungen könnte die Illegitimität eines Ziels übersehen werden.

Eine Rangliste von Zielen ist besonders problematisch, weil Automatisierungsverzerrung eine Tendenz erzeugen könnte, das am höchsten eingestufte Ziel zu akzeptieren, außer es ist genügend Zeit und Aufmerksamkeit für gründliche Überlegungen vorhanden.

Steuerung auf Niveau 3 ist inakzeptabel

Für diese Art von Steuerung wurde experimentell die Automatisierungsverzerrung nachgewiesen, bei der menschliche Bediener*innen darauf vertrauen, dass computergenerierte Lösungen korrekt sind, und deshalb widersprüchliche Informationen ignorieren oder nicht danach suchen. Cummings untersuchte Automatisierungsverzerrung in einer Studie über eine Schnittstelle, die zur Überwachung und Ressourcenverteilung von GPS-gesteuerten Tomahawk-Marsch­flugkörpern entworfen worden war.7 Sie fand heraus, dass Betreiber*innen bei Niveau-3-Steuerung eine deutlich geringere Fehlerfreiheit aufwiesen, wenn die Computerempfehlungen falsch waren.

Steuerung auf Niveau 4 ist inakzeptabel

Dieses Niveau fördert die Validierung der Ziele nicht, und eine kurze Vorgabezeit für ein Veto verstärkt die Automatisierungsverzerrung und lässt keinen Raum für Zweifel oder Nachdenken. Da der Angriff stattfindet, sofern nicht ein Mensch eingreift, untergräbt dies gängige Vermutungen gemäß dem humanitären Völkerrecht, die den Schutz der Zivilbevölkerung fördern.

Der Zeitdruck wird dazu führen, dass Bediener*innen Mehrdeutigkeit außer Acht lassen und Zweifel unterdrücken, Ursachen und Absichten ableiten und erfinden, der Überzeugungs- und Bestätigungsverzerrung ausgesetzt sind, sich auf vorhandene Anhaltspunkte konzentrieren und fehlende, aber notwendige Anhaltspunkte ignorieren. Ein Beispiel für Fehler, die durch den Zwang zu einem schnellen Veto entstehen, ist ein Vorfall im Irakkrieg 2003,8 als das Patriot-Raketenabwehrsystem der US-Armee einen britischen Tornado und eine amerikanische F/A-18 abschoss und vier Piloten tötete.

Steuerung auf Niveau 5 ist inakzeptabel

Niveau 5 beschreibt Waffen, die bei den kritischen Funktionen der Zielauswahl und der Anwendung von Gewalt autonom agieren.

Aus dem oben Gesagten sollte klar sein, dass sowohl aus der Psychologie menschlichen Denkens als auch aus der Literatur über die Mensch-Maschine-Interaktion Lehren gezogen werden müssen. Eine Kenntnis dieser Forschung ist dringend erforderlich, um sicherzustellen, dass die Wechselwirkung zwischen Mensch und Maschine so gestaltet wird, dass sie das beste Maß an menschlicher Steuerung erreicht, das zur Einhaltung des Völkerrechts unter allen Umständen erforderlich ist.

Schlussfolgerung: Notwendige Voraussetzungen für eine bedeutsame menschliche Steuerung von Waffen

Ein*e Befehlshaber*in oder Bediener*in sollte

1. einen vollständigen kontext- und situationsbezogenen Überblick über das Zielgebiet zum Zeitpunkt der Auslösung eines konkreten Angriffs haben;

2. in der Lage sein, Veränderungen oder unvorhergesehene Situationen, die sich seit der Planung des Angriffs ergeben haben, wahrzunehmen und darauf zu reagieren, beispielsweise Änderungen in der Legitimität der Ziele;

3. eine aktive kognitive Beteiligung am Angriff haben;

4. genügend Zeit haben, um über die Art und Relevanz der Ziele, die Notwendigkeit und Angemessenheit eines Angriffs, die wahrscheinlichen Folgen und die zufälligen und unbeabsichtigten Nebenwirkungen des Angriffs nachzudenken; und

5. über die Mittel verfügen, den Angriff rasch auszusetzen oder abzubrechen.

Anmerkungen

1) Kahneman, D. (2011): Thinking, Fast and Slow. London: Penguin Books. Kahnemann bezieht sich auf die beiden Prozesse als System 1 und System 2. Diese entsprechen den Begriffen automatisch und deliberativ, die hier der Klarheit und Konsistenz wegen verwendet wurden.

2) Carroll, J.M.; Rosson, M.B. (1987): Paradox of the active user. In: Carroll, J.M. (ed.): Interfacing Thought – Cognitive Aspects of Human-Computer Interaction. Cambridge/MA: MIT Press, S. 80-111.

3) Mosier, K.L.; Skitka, L.J. (1996): Human decision makers and automated decision aids – made for each other? In: Mouloua, M. (ed.): Automation and Human Performance – Theory and Applications. Milton Park: Lawrence Erlbaum Associates, S. 201-220.

4) Lord, C.G.; Ross, L.; Lepper, M. (1979): Biased assimilation and attitude polarization – the effects of prior theories on subsequently consid­ered evidence. Journal of Personality and Social Psychology, Vol. 37, No. 11, S. 1231-1243.

5) Kahneman (2011), op.cit.

6) Für ein tiefergehendes Verständnis dieser Analysen und Quellen siehe Sharkey, N. (2016): Staying in the Loop – Human Supervisory Control of Weapons. In: Nehal, B. et al. (eds.): Autonomous Weapons Systems – Law, Ethics, Policy. Cambridge: Cambridge University Press, S. 23-38.

7) Cummings, M.L. (2006): Automation and Accountability in Decision Support System Interface Design. Journal of Technology Studies, Vol. 32, No. 1, S. 23-31.

8) Jahreszahl gegenüber dem Originaltext durch Übers. korrigiert.

Noel Sharkey ist Vorsitzender des International Committee for Robot Arms Control (ICRAC).

Ein besonderer Dank geht an Lucy Suchman, Frank Sauer, Amanda Sharkey und weitere Mitglieder von ICRAC für hilfreiche Kommentare.

Aus dem Englischen übersetzt von ­Jürgen Scheffran.

Das International Committee
for Robot Arms Control – ICRAC

Nach der ersten gezielten Drohnentötung durch die USA im Jahr 2001 verdichteten sich die Hinweise, dass bewaffnete unbemannte Luftfahrzeuge ein neuer militärischer Trend werden würden. Bislang wurden und werden Drohnenangriffe durch Menschen ferngesteuert. Aber bereits in den »Unmanned Sytems Roadmaps« des US-Verteidigungsministeriums (2007, 2009, 2011, 2013) wurden autonome Angriffe als Ziel für die weitere Forschung und Entwicklung benannt.

Alarmiert durch die absehbaren Gefahren für das Kriegsvölkerrecht und den internationalen Frieden, gründeten im September 2009 Jürgen Altmann (Physiker/Friedensforscher, TU Dortmund), Peter Asaro (Philosoph, USA), Noel Sharkey (Robotikforscher, Großbritannien) und Rob Sparrow (Philosoph, Australien) das International Committee for Robot Arms Control (ICRAC; icrac.net). Alle vier hatten zu unbemannten bzw. autonomen Waffensysteme geforscht und publiziert, J. Altmann mit Förderung durch die Deutsche Stiftung Friedensforschung (siehe dazu »Unbemannte bewaffnete Systeme – Trends, Gefahren und Präventive Rüstungskontrolle« 2009-2011 auf bundesstiftung-friedensforschung.de).

Im Jahr 2010 organisierte J. Altmann mit Partnern den ersten internationalen interdisziplinären Expert*innen-Workshop »Arms Control for Robots – Limiting Armed Tele-Operated and Autonomous Systems« in Berlin (gefördert durch die DSF und den Joseph Rowntree Charitable Trust, UK). Der Workshop erarbeitete eine Erklärung, die mit Mehrheit verabschiedet und von 21 Teilnehmer*innen persönlich unterzeichnet wurde (icrac.net/statements). Die darin aufgestellten Forderungen sind bis heute relevant: Verbot von robotischen autonomen Waffen, neuen Arten autonomer oder ferngesteuerter Kernwaffen, robotischen Weltraumwaffen; Beschränkungen bei ferngesteuerten bewaffneten unbemannten Systemen. Einige Workshop-Teilnehmer*innen traten ICRAC bei.

Über die Jahre kamen weitere Mitglieder hinzu; heute besteht ICRAC aus 29 Personen. Vorsitzender ist Noel Sharkey, stellvertretende Vorsitzende sind Jürgen Altmann, Peter Asaro und Denise Garcia (Politikwissenschaft, Northeastern University, USA). Weitere in ICRAC vertretene Disziplinen sind Anthropologie, Informatik, Medienwissenschaft, Politikwissenschaft, Psychologie, Recht, Soziologie; neben Akademiker*innen beteiligen sich auch Aktive von regierungsunabhängigen Organisationen.

Kontakte zu den regierungsunabhängigen Organisationen, die sich schon für die Verbote von Landminen und Streumunition eingesetzt hatten, führten 2013 zur Gründung der Campaign to Stop Killer Robots (stopkillerrobots.org), der heute 76 internationale, regionale und nationale Organisationen aus 32 Ländern angehören. Zusammen mit der Campaign to Stop Killer Robots nimmt ICRAC regelmäßig an den Genfer Expert*innentreffen zu »Lethal Autonomous Weapons« im Rahmen des VN-Waffenübereinkommens (CCW) teil. Neben wissenschaftlichen Analysen liefern die Mitglieder Informationen an die Medien und haben Kontakte zu Regierungsvertreter*innen.

Jürgen Altmann

Big Data und Militär

/von

Big Data und Militär

Der Kampf gegen den Zufall

von Daniel Leisegang

Big Data soll ein effektiveres und wirkungsvolleres Handeln des Militärs ermöglichen. Allerdings drohen Kriege damit nicht nur automatisiert, sondern zugleich zum Mittel erster Wahl zu werden. Die Folgen sind dramatisch – auch und gerade für die Demokratie.

In Gefechtssituationen herrscht der „Nebel des Krieges“, wie es einst der preußische Militärtheoretiker Carl von Clausewitz ausdrückte (1834, S. 23). Demnach ist der Krieg „das Gebiet der Ungewißheit; drei Vierteile derjenigen Dinge, worauf das Handeln im Kriege gebaut wird, liegen im Nebel einer mehr oder weniger großen Ungewißheit“. Das Schlachtfeld gerate damit zu einem „Gebiet des Zufalls“.

Um diesen Nebel zu lichten, stößt das Thema Big Data längst nicht nur bei kommerziellen Unternehmen, sondern auch bei Militär und Geheimdiensten auf großes Interesse. Sie erhoffen sich durch die Erfassung und Auswertung großer Datenmengen genauere Prognosen und damit strategische Vorteile – weit über das Schlachtfeld hinaus.

Als Big Data bezeichnet man gemeinhin „Datensätze, deren Größe die Fähigkeit herkömmlicher Datenbankwerkzeuge zur Erfassung, Speicherung, Verwaltung und Analyse übersteigt” (McKinsey 2011, S. 1). Insbesondere drei V’s charakterisieren diese: volume, variety und velocity – zu Deutsch: Volumen, Vielfalt und Geschwindigkeit. Demzufolge sind die Daten so umfangreich, dass Menschen sie ohne technische Hilfe nicht mehr analysieren können (volume). Darüber hinaus unterscheiden sie sich sowohl in ihrer Art – etwa ob sie in Form von Tabellen, E-Mails, Fotos, PDF-Dateien, Videos oder Audio bereitstehen – als auch darin, ob sie strukturiert oder unstrukturiert vorliegen (variety). Und nicht zuletzt wächst die Geschwindigkeit stetig an, mit der Maschinen und Menschen weitere digitale Daten erzeugen (velocity). Schätzungen zufolge werden wir 2025 rund zehn Mal so viele digitale Daten generieren wie im Jahr 2016 (Statista 2018).

Den »Nebel des Krieges« lichten: Wie das Militär Big Data entdeckt

Bereits 2013 äußerte die Führung der US-Armee die Sorge, dass „es massive Folgen nach sich zieht, wenn Big Data und die damit verbundenen Technologien […] ignoriert werden, einschließlich des Verlustes von Menschenleben und dem Scheitern von Missionen“ (Couch/Robins 2013, S. 3). In den vergangen Jahren konzentrierte sie sich daher darauf, Waffensysteme mit neuen Computern auszustatten, Akteure auf dem Gefechtsfeld zu vernetzen sowie digitale Führungsinformationssysteme einzuführen und zu optimieren (Teufel 2016, S. 50). Unterstützt wird die Armee dabei von der Defense Advanced Research Projects Agency (DARPA), einer Forschungsbehörde des US-Verteidigungsministeriums, deren Aufgabe es ist, die technische Überlegenheit des Militärs aufrechtzuerhalten. Die Behörde verfügt über ein Jahresbudget von rund drei Mrd. US-Dollar.

DARPAs Know-how benötigt die US-Armee dringend, gerade mit Blick auf Big Data sind die technischen Herausforderungen immens. Die Daten entspringen zumeist gänzlich unterschiedlichen Quellen: Maschinendaten entstammen etwa den Bewegungen von Schiffen, Flugzeugen, Panzern und Satelliten, Sensoren am Kriegsschauplatz und Radarstationen. Menschliche Daten hingegen werden in sozialen Netzwerken wie Facebook, YouTube oder Twitter generiert. Es ist somit erforderlich, die Daten zu sammeln, zu säubern, durchsuchbar zu machen, um sie schließlich mittels aufwändiger Algorithmen auszuwerten.

Die auf diese Weise gewonnenen Erkenntnisse nutzen Armeen beispielsweise dazu, ihr Personalwesen und ihre Logistik zu optimieren. So wertet die israelische Armee die persönlichen Angaben ihrer Rekrut*innen mit Rechnerhilfe aus, um diese automatisch an die für sie geeigneten Positionen innerhalb der Armee zu versetzen. Und die Bundeswehr arbeitet mit Hilfe der SAP-Software »SAP Analytics« an einer vorausschauenden Wartung (predictive maintance), um ihre Materialprobleme in den Griff zu bekommen.

Eine weitaus bedeutendere Rolle nehmen Big-Data-Analysen jedoch im Bereich der Überwachung in Krisenregionen und unmittelbar auf dem Gefechtsfeld ein. Gerade hier fallen ungemein große Datenmengen an, die möglichst in Echtzeit bereitgestellt und ausgewertet werden müssen.

So nutzt die US-Armee bereits seit einigen Jahren das hochauflösende Videoüberwachungssystem ARGUS-IS, das – an Drohnen angebracht – aus einer Höhe von bis zu 5.000 Metern ein Gebiet von bis zu 35 Quadratkilometern überwachen kann. Bei seinem Einsatz fallen jedoch pro Sekunde rund 40 Gigabytes an Daten an, rund 6.000 Terabyte am Tag. Zum Vergleich: Eine handelsübliche Festplatte verfügt etwa über ein bis zwei Terabytes an Speicherplatz.

Schulter an Schulter: das Pentagon und das Silicon Valley

Diese Daten auszuwerten, stellt ein überaus ressourcen- und zeitaufwändiges Unterfangen dar. Beharrlich spricht sich daher seit Jahren unter anderem der Stabschef der US-Luftwaffe, General David Goldfein, dafür aus, dass die mächtigste Armee der Welt mit den mächtigsten Digitalkonzernen kooperieren müsse (Erwin 2017). Beim ehemaligen Google-Vorstandsvorsitzenden Eric Schmidt rannte er damit offene Türen ein. Dieser hatte bereits 2013 in seinem Buch »Die Vernetzung der Welt« prognostiziert: „Was der Rüstungskonzern Lockheed Martin im 20. Jahrhundert war, werden Technologie- und Cybersicherheitsunternehmen im 21. Jahrhundert sein.“ (Schmidt/Cohen 2013) Inzwischen betreibt Schmidt höchstpersönlich und an vorderster Front den Aufbau des cyber-militärischen Komplexes mit: Er steht heute nicht mehr Google, sondern dem 2016 gegründeten Defense Innovation Board vor. Dieses hat die Aufgabe, die technologischen Innovationen des Silicon Valley in die US-Armee einfließen zu lassen (Leisegang 2015).

Allerdings musste das Vorhaben jüngst einen herben Rückschlag hinnehmen. Ausgerechnet Schmidts ehemaliger Arbeitgeber Google entschied, die Zusammenarbeit mit dem Pentagon einzustellen. Konkret ging es in dem »Project Maven« darum, Drohnenaufnahmen, wie jene des ARGUS-IS, anhand von insgesamt 38 Kategorien automatisch auszuwerten. Auf diese Weise sollen Rechner in die Lage versetzt werden, eigenständig Menschen von Gebäuden, Fahrzeugen und Waffen zu unterscheiden. Google verfügt hierfür nicht nur über die erforderlichen KI-Expert*innen, sondern auch über einen umfangreichen Datenschatz, der für das so genannte Maschinenlernen unentbehrlich ist. Der Direktor des Projekts, Generalleutnant John Shanahan, sieht sein Projekt darüber hinaus als den Funken, an dem sich „die Flammenfront der Künstlichen Intelligenz“ im gesamten Verteidigungsministerium entzünden solle. Nach Informationen des Wall Street Journal gab das Pentagon im vergangenen Jahr rund 7,4 Mrd. US-Dollar im Zusammenhang mit dem Einsatz von Künstlicher Intelligenz aus (Barnes/Chin 2018).

Rund ein Dutzend Google-Angestellte kündigten indes aus Protest gegen die Zusammenarbeit; mehrere Tausend Mitarbeiter*innen unterschrieben eine Petition, der zufolge Google „nichts im Kriegsgeschäft verloren hat“.1 Letztendlich verzichtete der Konzern darauf, den Vertrag mit dem Verteidigungsministerium zu verlängern. Er läuft Ende des Jahres aus. Googles Platz wird nun voraussichtlich Amazon einnehmen. Der führende Cloudanbieter ist ebenfalls an den Vorarbeiten zum »Project Maven« beteiligt und arbeitet seit Jahren unter anderem eng mit der CIA zusammen.

Damit steigen zugleich Amazons Chancen, einen weitaus lukrativeren Großauftrag an Land zu ziehen, um den derzeit viele der großen US-amerikanischen IT-Unternehmen ringen: den Aufbau der »Joint Enterprise Defense Infrastructure« (Jedi) – ein gigantisches Speichersystem samt Datenanalyse mit künstlicher Intelligenz. Die smarte Cloud soll nicht nur sämtliche Armeeeinheiten, Basen und Kriegseinsatzgeräte der USA miteinander vernetzen, sondern obendrein deren Bestände an Munition, Reparaturteilen und Kraftstoffen erfassen, um die Logistik auf dem Schlachtfeld zu optimieren. Rund zehn Mrd. US-Dollar stellt das Verteidigungsministerium dafür bereit.

Der Krieg der Roboter

Big-Data-Analysen sollen allerdings nicht nur die Logistik optimieren, sondern auch den Waffeneinsatz und damit das Töten effektiver gestalten. Die militärische Fachzeitschrift »Defense One« vermeldete, dass die Arbeit des »Project Maven« auch die Treffergenauigkeit von »Killerdrohnen«, wie Reaper und Predator, erhöhen soll – und bestätigte damit die Befürchtungen der Google-Mitarbeiter (Weisgerber 2017).

Geht es nach dem Pentagon, sollen Killerroboter die dritte Revolution der Kriegsführung einleiten – nach Schießpulver und Nuklearwaffen. Bereits heute verfügt die US-Armee über Drohnen, die eigenständig über den Waffeneinsatz entscheiden können. Laut Stabschef General Mark Milley will sie ab dem Jahr 2021 Prototypen für bemannte, unbemannte und hybride Gefechtsfahrzeuge auf dem Schlachtfeld testen. Ab 2031 sollen autonome Waffen- und Aufklärungssysteme dann fester Bestandteil der US-Heeresformationen sein (Lezzi 2018).

Die US-Armee ist nicht die einzige, die ihre Kriegsführung automatisieren will: Auch die russische Armee plant derzeit die Anschaffung weitgehend autonom agierender Roboterpanzer. Und ausgerechnet an der »heißen« Grenze zwischen Nord- und Südkorea wachen bereits seit Jahren mit Maschinengewehren ausgestattete»Sicherheitsroboter« der Firma Samsung.

Der Einsatz von autonom agierenden Waffensystemen droht jedoch den Weg dafür zu ebnen, „bewaffnete Konflikte in nie gekanntem Ausmaß zu führen und schneller, als Menschen sie begreifen können“, wie mehrere hundert Fachleute für Künstliche Intelligenz in einem offenen Brief warnen (Krüger 2018). Dessen ungeachtet steht eine internationale Regulierung der Killerroboter nach wie vor aus. Zwar verhandelten Ende August unter dem Dach der Vereinten Nationen in New York mehr als 75 Staaten über die Regulierung (teil-) autonomer Waffensysteme. Allerdings verhinderten allen voran die USA und Russland eine verbindliche Vereinbarung. Die Abrüstungschefin der Vereinten Nationen, Izumi Nakamitsu, warnt eindringlich, „dass die technologische Innovation der zivilen Kontrolle entgleitet“; ein Missbrauch der KI aber habe „potenziell katastrophale Konsequenzen“ (Nakamitsu 2018).

Die Krisen von Morgen bekämpfen

Die Konsequenzen werden sich nicht nur auf das Schlachtfeld beschränken – ganz im Gegenteil, denn die Armeen wollen weitaus mehr als nur den »Nebel des Krieges« lüften: Big-Data-Analysen sollen es ihnen obendrein ermöglichen, einen Blick in die Zukunft zu werfen.

Schon heute nutzen zahlreiche Armeen Big-Data-Analysen, um zurückliegende Ereignisse und ihre Folgen zu analysieren und auszuwerten (descriptive analytics). Dadurch erhoffen sie zum einen Lerneffekte, zum anderen sollen die gewonnenen Informationen auch den Ausgang künftiger Szenarien oder Ereignisse vorhersagen (predictive analytics). Am Ende sollen Rechner in die Lage versetzt werden, Armeen mittels Datenanalyse entsprechende Handlungsoptionen vorzugeben (prescriptive analystics).

Besonders interessiert zeigen sich die Armeen an der Vorhersage drohender politischer und militärischer Krisen- und Bedrohungslagen, wie die Ukraine-Krise oder den Arabischen Frühling. Beide Ereignisse hatten weder die westlichen Geheimdienste noch die militärischen Führungen vorhergesehen (SPIEGEL ONLINE 2014; Miller 2015).

Um auch hierzulande besser gewappnet zu sein, erstellt das Bundesverteidigungsministerium derzeit gemeinsam mit IBM die Studie »IT-Unterstützung Krisenfrüherkennung«. Sie verfolgt das Ziel, eine softwarebasierte Lösung zu entwickeln, die mithilfe von Big-Data-Analysen Krisen vorhersagen soll. Die Auswertung strukturierter und unstrukturierter Daten aus öffentlichen, offenen und als geheim eingestuften Quellen soll dem IBM-Programm Watson einen »Prognosehorizont« von sechs bis 18 Monaten ermöglichen (BMVg 2016).

Ähnliche Funktionen bietet IBM bereits seit längerem mit seinem System »Blue Crush« an, das Straftaten voraussagt und auch in mehreren Bundesländern zum Einsatz kam (Biermann 2015). Nun will IBM ein System schaffen, dass die gesamte Welt observiert. Das Bundesverteidigungsministerium schließt nicht aus, dass Watsons Prognosen auch militärische Konsequenzen nach sich ziehen könnten.

Somit wollen die Armeen dieser Welt nicht nur den »Nebel des Krieges«, sondern auch den Nebel der Politik lichten. Drohende Volksaufstände werden dabei offenkundig ebenso als Sicherheitsrisiko verstanden wie ein grenzüberschreitender Kriegsausbruch. In beiden Fällen kann das Militär dann frühzeitig eingreifen, um das eine wie das andere zu verhindern.

Dies aber hat zwei dramatische Folgen: Zum einen gilt der Einsatz kriegerischer Mittel noch immer als Ultima Ratio – als letztes Mittel, wenn vorangegangene politische Interventionen nicht zur Lösung eines Konflikts beigetragen haben. Sagen jedoch künftig Computersysteme Krisen voraus, könnte sich dieses Verhältnis umkehren. Damit könnten kriegerische Mittel weitaus früher zum Einsatz kommen als bisher – durch militärische Drohgebärden, Präemptivschläge oder gar dem Einmarsch in ein anderes Land.

Zum anderen gefährdet das prädiktive Vorgehen des Militärs das Wesen demokratischer Politik in ihrem Kern. Wenn Big-Data-Analyse nicht nur dem Krieg, sondern auch der Politik »Ungewißheit« und »Zufall« austreiben soll, setzt dies ein bestimmtes Verständnis sozialer und politischer Prozesse voraus: Diese werden als quasi mechanische Vorgänge begriffen, die sich mittels Rechenkraft analysieren und bewerten lassen. Auf drohende gesellschaftliche Problemlagen reagiert dann nicht länger eine Politik der Aushandlung und des Kompromisses, sondern eine mathematisch hergeleitete Sozialphysik, die, um Sicherheit und Stabilität zu sichern, kühl ihre Lösungsparameter vorgibt. Dass dies eine überaus bedrohliche Entwicklung ist, kann man sich bereits heute ausrechnen – auch ohne aufwändige Big-Data-Analyse.

Anmerkung

1) Die Petition steht unter static01.nyt.com/files/2018/technology/googleletter.pdf.

Literatur

Barnes, J.E.; Chin, J. (2018): The New Arms Race in AI. Wall Street Jorunal, 2.3.2018.

Biermann K. (2015): Noch hat niemand bewiesen, dass Data Mining der Polizei hilft. zeit.de, 29.3.2015.

Bundesministerium der Verteidigung/BMVg (2016): »Gedanken« zum Weißbuch 2016 – Krisen früh erkennen. bmvg.de.

Couch, N.; Robins, B. (2013): Big Data for Defence and Security. Royal United Services Institute, Occasional Paper, September 2013.

Erwin, S.I. (2017): Cold Dose of Reality on DoD Technology. nationaldefensemagazine.org, 19.4.2017.

Krüger, P.A. (2018): Wenn Maschinen über Leben und Tod entscheiden. sueddeutsche.de, 30.8.2018.

Leisegang, D. (2015): Der cyber-militärische Komplex – Die dunkle Seite des Silicon Valley. Wissenschaft und Frieden, No. 2-2015, S. 27-30.

Lezzi, B. (2018): Militärische Roboter werden die Kriegführung revolutionieren, www.nzz.ch, 27.8.2018.

McKinsey Global Institute (2011): Big data – The next frontier for innovation, competition, and productivity. Juni 2011.

Miller, G. (2015): Former CIA official cites agency’s failure to see al-Qaeda’s rebound. ­washingtonpost.com, 3.5.2015.

Izumi Nakamitsu (2018): Remarks by Under-­Secretary-General and High Representative for Disarmament Affairs Ms. Izumi Nakamitsu – Opening of the August meeting of the 2018 Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems, Delivered by the Director of the Geneva Branch of the United Nations Office for Disarmament Affairs, Ms. Anja Kaspersen. 27.8.2018; un.org/­disarmament.

Schmidt, E.; Cohen, J. (2013): Die Vernetzung der Welt. Berlin: Rowohlt.

Statista (2018): Prognose zum Volumen der jährlich generierten digitalen Datenmenge weltweit in den Jahren 2016 und 2025. statista.com.

SPIEGEL ONLINE (2014): US-Geheimdienste wollen Krim-Krise nicht verschlafen haben. spiegel.de, 7.3.2014.

Teufel, D. (2016): Big Data Analytics. Behörden Spiegel, No. 9/2016.

von Clausewitz, C. (1834): Vom Kriege. Hier genutzte Ausgabe von 2018: Köln: Anaconda.

Weisgerber, M. (2017): The Pentagon’s New Artificial Intelligence Is Already Hunting Terrorists. defenseone.com, 21.12.2017.

Daniel Leisegang ist Politikwissenschaftler und Redakteur bei der Monatszeitschrift »Blätter für deutsche und internationale Politik« (blaetter.de).

Kriegsführung 4.0

/von

Kriegsführung 4.0

Ethische und rechtliche Implikationen

von Daniele Amoroso und Guglielmo Tamburrini

Dieser Beitrag gibt einen kurzen Überblick über die Bemühungen der Internationalen Staatengemeinsschaft, sich mit den ethischen und völkerrechtlichen Fragen auseinanderzusetzen, die durch neue destabilisierende Militärtechnologien aufgeworfen werden.

Dieser Text legt den Fokus auf drei Technologien, die die Konturen der Kriegsführung radikal neu zeichnen: bewaffnete Drohnen, Cyberwaffen und autonome Waffensysteme.

Kriegsführung mit Drohnen

Drohnenangriffe werden überwiegend im Kontext gezielter Tötungen eingesetzt und fallen unter das allgemeine Völkerrechtsregime bezüglich gezielter Tötungen (Melzer 2008). Dieses Regime unterscheidet Tötungen, die im Rahmen bewaffneter Konflikte stattfinden, von solchen, auf die das nicht zutrifft.

Im ersten Fall sind gezielte Tötungen dann legal, wenn die Prinzipien der Unterscheidung (zwischen militärischen und zivilen Zielen), der Verhältnismäßigkeit und der Vorsichtsmaßnahmen gemäß dem Humanitärem Völkerrecht (jus in bello) eingehalten werden. Im letzteren Fall sind gezielte Tötungen als Strafverfolgungsmaßnahmen zu behandeln; diese verletzen das Recht des Menschen auf Leben, außer andere Maßnahmen (wie die Gefangennahme) sind aufgrund einer unmittelbar bevorstehenden und ernsthaften Bedrohung nicht gangbar (Alston 2010).

Diese klaren Linien werden von Staaten, die Angriffe mit Drohnen ausführen, häufig verwischt. In den Vereinigten Staaten wird der globale »Kampf gegen den Terror« unzulässigerweise als bewaffneter Konflikt ausgelegt; dadurch fällt die Tötung von Terrorverdächtigen en bloc unter das weniger restriktive Regime des Humanitären Völkerrechts (Cullen 2017, S. 117-120). Außerdem sind Drohnenschläge meistens gegen unbekannte verdächtige Militante gerichtet, die auf der Basis von Verhaltensmustern ausgewählt werden, die auf ihre Beteiligung an terroristischen Aktivitäten schließen lassen. Diese »signature strikes« basieren auf Kriterien, die nicht notwendigerweise mit denen übereinstimmen, die gemäß Völkerrecht einen Einsatz tödlicher Gewalt rechtfertigen (Heller 2013).

Diese besorgniserregenden Entwicklungen verzerren die Interpretation und Anwendung eines Rechtsregimes, das bei korrekter Anwendung adäquate Regelungen für die Drohnenkriegsführung bietet. Es ist wichtig festzuhalten, dass die internationalen Einwände gegen Drohnenprogramme mehrheitlich als Aufruf formuliert sind, sich an das »lex lata«, also das geltende Recht zu halten, und seltener für die Annahme neuer Rechtsnormen plädiert wird (siehe z.B. Alston 2010; European Parliament 2014; Heyns 2014, Abs. 139-140; UNHCR 2014; Council of Europe (2014).

Mit Blick auf die Nichtverbreitung ist zu erwähnen, dass bereits etliche wichtige multilaterale Regime existieren, die den Handel mit Rüstungsgütern und die Exportkontrolle regulieren, entweder explizit (Raketentechnologie-Kontrollregime, Wassenaar Abkommen, Gemeinsamer Standpunkt der EU zu Rüstungsexporten von 2008) oder implizit (der 2013 geschlossene Vertrag über Waffenhandel, siehe Stohl/Dick 2018). Darüber hinaus wurde 2016 von den USA eine multilaterale Initiative gestartet, die sich speziell mit der Proliferation bewaffneter Drohnen auseinandersetzt. Der »Gemeinsame[n] Erklärung zum Export und der anschließenden Verwendung von bewaffneten oder bewaffnungsfähigen Drohnen« schlossen sich bereits 53 Staaten an (siehe dazu Bundestag 2018; d. Übers.). Einige dieser Instrumente sind zwar lediglich politisch bindend (darunter die Gemeinsame Erklärung von 2016), sie signalisieren aber alle eine Verpflichtung der internationalen Gemeinschaft, den Transfer bewaffneter Drohnen an terroristische Gruppierungen und repressive Regime zu unterbinden. Dennoch könnte die Möglichkeit der zivil-militärischen Nutzung (Dual-use-Problematik) nichtmilitärischer Drohnentechnologie eine effektive Kontrolle behindern. Um tatsächlich eine nicht erwünschte Nutzung zu vermeiden, sind daher weitere multilaterale Anstrengungen nötig (Zwijnenburg/van Hoorn 2015, S. 32).

Kriegsführung mit Cyberwaffen

Für die Verfasser*innen der Genfer Konventionen und ihrer Zusatzprotokolle war die Cyberkriegsführung „unvorhergesehen (und unvorhersehbar)“, das verhindert aber nicht ihre Anwendung auf Cyberoperationen (Solis 2016, S. 702). Dieser Ansatz wird im »Tallinn-Handbuch zur Anwendbarkeit des Völkerrechts auf Cyberoperationen«, welches kürzlich in der zweiten Auflage erschien und unter der Schirmherrschaft des NATO Exzellenzzentrums für gemeinsame Cyberabwehr ausgearbeitet wurde, unterstrichen (Schmitt 2017). Mit den 154 »Regeln« des Handbuchs wird versucht, das gesamte traditionelle Völkerrecht mit möglichst sparsamen Anpassungen auf die Cyberdomäne zu übertragen.

In dem Handbuch werden einige neuartige Eigenschaften von Cyberkonflikten offenkundig heruntergespielt, wie im Falle der »Virtualität« des Cyberraums, bei der insbesondere auf den territorialen Zusammenhang mit der Cyberinfrastruktur abgehoben wird (siehe insbesondere die Souveränitätsregeln 1-5), oder wenn der Begriff »Cyberangriffe« auf Cyberoperationen mit potentiell zerstörerischen Auswirkungen in der »physischen“ Welt beschränkt wird (z.B. „Verletzung oder Tod von Personen oder Beschädigung oder Zerstörung von Objekten“; Regel 92 und der zugehörige Kommentar). Nach Einschätzung u.a. des Internationalen Komitees des Roten Kreuzes (IKRK, engl. ICRC) ist die letztere Definition so eng gefasst, dass sie die Notwendigkeit, Zivilisten vor böswilligen Cyberoperationen zu schützen, die »lediglich« zur Löschung oder Veränderung von Daten führen, gar nicht abdeckt (ICRC 2015, S. 43). Dazu ist anzumerken, dass auch Datenverlust oder -fälschung ein »physikalisches« Ereignis ist, selbst wenn es auf Computersysteme und -netzwerke begrenzt ist.

Ein innovativerer Ansatz wurde kürzlich vom Präsidenten und Chefjuristen von Microsoft, Bradford Smith, vorgestellt, der die Staaten dazu aufrief, eine Art »Digitaler Genfer Konvention« zu verhandeln, mit speziellen Normen, die multinationale und globale Hightech-Unternehmen gegen staatliche Cyberattacken schützen, diese aber auch damit beauftragen würden, Zivilisten bei Maßnahmen gegen solche Angriffe zu unterstützen (Smith 2017). Der Vorschlag von Smith sieht auch die Schaffung einer internationalen Organisation vor, lose angelehnt an die Internationale Atomenergieagentur (IAEA), der „technologisch versierte Experten aus Regierungen, dem privaten Sektor, der Wissenschaft und der Zivilgesellschaft“ angehören sollen. Diese Agentur soll „über die Fähigkeit verfügen, spezifische Angriffe zu untersuchen und Material zur Verfügung zu stellen, das beweist, dass ein Angriff von einem bestimmten Nationalstaat durchgeführt wurde“ (Smith 2017). Dieser Punkt berührt das kritische »Attributionsproblem« in der Cyberkriegsführung. Die technische Möglichkeit, einen Angriff zu starten und sich dabei als ein anderer Staat oder eine andere Organisation auszugeben (spoofing), wirft in der Tat Fragen der Beweisführung auf, die mit der aus dem traditionellen Völkerrecht abgeleiteten Verantwortung nur schwer zu beantworten sind. Aus diesem Grund ist die Bekräftigung der klassischen Attributionskriterien (Regeln 15-18) im Tallinn-Handbuch zwar formal korrekt, aber kaum geeignet, ein Schlupfloch zu schließen, welches die Möglichkeit zur Reaktion auf eine rechtswidrige Cyberoperation zu unterminieren droht.

Angesichts dieser Herausforderungen ist es bedauerlich, dass die diesbezüglichen staatlichen Initiativen inzwischen festgefahren sind. So konnte sich die UN-Gruppe von Regierungsexperten (Group of Governmental Experts, GGE), die 2016-2017 tagte, nicht auf einen Konsensbericht einigen, da es bei der Frage der Anwendbarkeit der Prinzipien des »ius ad bellum« (Recht auf Krieg) und des »jus in bello« (Recht im Krieg) auf böswillige Cyberoperationen drastische Meinungsunterschiede gab, weil manche Staaten befürchten, damit würde eine destabilisierende »Militarisierung« des digitalen Raumes gefördert (Sukumar 2017).

Kriegsführung mit autonomen Systemen

Seit 2017 trifft sich eine andere Gruppe von Regierungsexperten, hoffentlich mit mehr Erfolg. Nach mehreren informellen Treffen 2014-2016 entschieden die Mitgliedsstaaten des VN-Waffenübereinkommens (Convention on Certain Conventional Weapons, CCW), eine offene Expertengruppe einzusetzen mit dem Mandat, „mögliche Empfehlungen für Optionen“ zur Frage der tödlichen autonomen Waffensysteme (Lethal Autonomous Weapons Sytems, LAWS) zu erkunden. Das IKRK definiert LAWS als „Waffen, die unabhängig Ziele auswählen und angreifen können, d.h. mit Autonomie in den »kritischen Funktionen« des Aufspürens, Verfolgens, Auswählens und Angreifens von Zielen“ (ICRC 2014 S. 5; für eine Analyse der Definitionen von LAWS siehe auch Amoroso et al. 2018, S. 19-22). Da die Neuartigkeit in der „Technik der Zielauswahl“ (Egeland 2016 S. 97) liegt und nicht in dem Waffensystem per se, ist Autonomie ein Merkmal, dass im Prinzip in jegliche Waffensysteme eingebaut werden kann, auch in bewaffnete Drohnen oder Cyberwaffen.

Die öffentliche Aufmerksamkeit wurde durch die Kampagne »Stop Killer Robots« auf die ethischen und rechtlichen Implikationen einer autonomen Zielauswahl gelenkt. Die Kampagne wurde 2013 von einer internationalen Koalition von Nichtregierungsorganisationen mit dem primären Ziel gestartet, „letale Roboterwaffen zu ächten“ (Stop Killer Robots 2013). Im gleichen Jahr stellte Christof Heyns, der damalige Sonderberichterstatter der Vereinten Nationen zu außergerichtlichen, summarischen oder willkürlichen Hinrichtungen, einen Bericht über LAWS vor, der die weiteren akademischen und diplomatischen Debatten stark prägte. Heyns benannte präzise die zentralen Probleme (Heyns 2013):

1. Die Einhaltung des Rechts hinsichtlich der Zielauswahl (insbesondere der Prinzipien der Unterscheidung und der Verhältnismäßigkeit) würde Fähigkeiten voraussetzen, über die nur der Mensch verfügt, nämlich die Fähigkeit zur Lageerkennung und zur Formulierung qualitativer Urteile (Abs. 63-74).

2. Mit der Herausnahme menschlichen Bedienpersonals aus dem Entscheidungsprozess würde Autonomie in Waffensystemen im Falle von Verstößen die Zuschreibung von Verantwortung behindern (Abs. 75-81).

3. Der Einsatz letaler autonomer Waffensysteme wäre ein Affront gegen die Menschenwürde, die vorschreibt, dass es Menschen vorbehalten sein sollte, einem Menschen das Leben zu nehmen (Abs. 89-97).

4. Autonomie in Waffensystemen könnte schädliche Konsequenzen für die Welt haben, weil es einfacher wird, Krieg zu führen (Abs. 57-62).

Die ersten Diskussionen der Expertengruppe zeigten den Dissens zwischen jenen, die den bestehenden rechtlichen Rahmen für ausreichend halten, um diese Probleme zu klären, und jenen, die sich für die Verabschiedung neuer Regeln einsetzen, sei es in Form von Ad-hoc-Regeln oder eines vollständigen Verbots von LAWS. Über die Jahre hat sich ein Konsens für die Idee herausgebildet, wonach alle Waffen (einschließlich LAWS) einer »bedeutsamen menschlichen Kontrolle« (meaningful human control) unterliegen sollten. Diese Formulierung war von der Nichtregierungsorganisation »Artikel 36« eingeführt worden. Das Konzept der bedeutsamen menschlichen Kontrolle könnte als »Brücke« fungieren, um den Graben zwischen den verschiedenen Positionen innerhalb der Expertengruppe zu schließen. Schließlich ergibt sich die Forderung nach bedeutsamer menschlicher Kontrolle aus dem bestehenden Rechtsrahmen, allerdings bedarf es einer neuen völkerrechtlichen Regelung, um die Details auszuformulieren und zu operationalisieren. Auch ein Zusatzprotokoll zum VN-Waffenübereinkommen, das die bedeutsame menschliche Kontrolle über Waffensysteme vorschreibt, wäre denkbar, das zugleich als ein „Verbot der vollständigen Autonomie über bestimmte (kritische) Funktionen eines Waffensystems“ zählt (Bhuta/Beck/Geiss 2016, S. 381). Daher wird dem Konzept der bedeutsamen menschlichen Kontrolle allgemein das Potenzial zugeschrieben, die Verhandlungen nach vorne zu bringen und ein (hoffentlich völkerrechtlich verbindliches) Instrument zu gestalten, welches im Rahmen des VN-Waffenübereinkommens Zustimmung findet.

Aber was macht menschliche Kontrolle über Waffensysteme tatsächlich »bedeutsam«? Dieser wesentliche Punkt ist weiterhin umstritten. Unsere Arbeitshypothese lautet, dass sich der Streit nicht mit einem definitorischen Patentrezept lösen lässt. Vielmehr wird ein prinzipieller, aber angemessen differenzierter Ansatz benötigt (für eine erste Darstellung siehe Amoroso/Tamurrini 2017, S. 13-14). Die ethischen und völkerrechtlichen Prinzipien, die den Weg zu einem hinreichend präzisen und restriktiven Verständnis der bedeutsamen menschlichen Kontrolle weisen, wurden oben bereits beschrieben. Nichtsdesto­trotz muss die Anwendung dieser Prinzipien in konkreten Situationen durch geeignete Regelsätze unterstützt werden. Entsprechende »Wenn-dann«-Regeln müssen die Entscheidung der involvierten Menschen leiten, ob im jeweiligen Kontext Bedingungen für die Ausübung einer wirklich bedeutsamen menschlichen Kontrolle über Waffensysteme vorliegen. Der »Wenn«-Teil dieser Regeln sollte folgende Faktoren für einen vorgesehenen Angriff berücksichtigen: Zeitfenster, Zielmodus, defensive oder offensive Einsatzziele, die Art des Einsatzes (gegen Menschen oder gegen Objekte), dynamische Umgebungsmerkmale und allgemeine Kalkulierbarkeit.

Mit Erwägungen auf der Basis von »Wenn-dann«-Regeln zu diesen und weiteren Faktoren sollte man in der Lage sein abzuschätzen, welche Art von bedeutsamer menschlicher Kontrolle bei jedem einzelnen Einsatz eines Waffensystems aus juristischer Sicht erforderlich wäre. Des Weiteren ist zu bedenken, ob und gegebenenfalls welche Handlungen Haftungsfragen nach sich ziehen würden, sollte die Entscheidung für eine bestimmte bedeutsame menschliche Kontrollaktion nicht rechtmäßig sein (Einsatz, Planung, Fehler bei der Ablehnung oder Autorisierung eines Ziels). In einem solchen rechtlichen Rahmen wäre die verbliebene Autonomie von Waffensystemen, so der Begriff dann überhaupt noch zutrifft, befreit von den problematischen ethischen und rechtlichen Aspekten bezüglich der vom Menschen unkontrollierten Zielauswahl und Angriffszwecke.

Die „Zehn mögliche[n] leitende[n] Prinzipien für aufkommende Technologien im Zeitalter letaler autonomer Waffensysteme“, die von der UN-Expertengruppe bei ihrem letzten Treffen (27.-31. August 2018) beschlossen wurden, gehen zaghaft in diese Richtung. Von besonderem Interesse für unser Thema sind das zweite Prinzip, welches postuliert, „Menschliche Verantwortung für Entscheidungen über den Einsatz tödlicher Gewalt muss erhalten bleiben“, und das dritte Prinzip, welches festlegt, dass Rechenschaftspflicht u.a. durch eine „verantwortliche Kommando- und Kontroll-Kette“ sichergestellt sein muss. Diese Prinzipien bleiben erkennbar sehr vage. Ob sie geeignet sind, den Grundstein für eine effektive Verrechtlichung letaler automatischer Waffen zu legen, hängt letztlich davon ab, ob weitere, detailliertere »Wenn-dann«-Regeln angenommen werden.

Schlussfolgerungen

Christopher Greenwood, der gegen Ende des letzten Jahrtausends über das Waffenrecht schrieb, lobte die Fähigkeit der bestehenden Normen, die Herausforderungen durch neue Militärtechnologie zu adressieren, und setzte daher die Priorität für das bevorstehende Jahrhundert nicht auf die „Verabschiedung neuer völkerrechtlicher Normen“, sondern auf „die effektive Umsetzung der Normen, die wir bereits haben“ (Greenwood 1998, S. 221-222). Dies lässt sich durch die hier durchgeführte Analyse nur in Teilen bestätigen.

Die Einhaltung des »lex lata«, des bestehenden Rechts, ist ein guter Startpunkt, um die ethischen und rechtlichen Implikationen neuer Technologien zu adressieren. Das trifft auf jeden Fall bei bewaffneten Drohnen zu. Manchmal aber sind Änderungen des Völkerrechts nötig, um mit Problemen Schritt zu halten, die sich neu ergeben, wie die Attribution von Cyberangriffen oder die Notwendigkeit, die bedeutsame menschliche Kontrolle von Waffensystemen zu konkretisieren. Auf der Grundlage des völkerrechtlichen Erbes der Vergangenheit dafür kreative und angemessene Lösungen zu finden, ist vielleicht die wichtigste Herausforderung, vor der die Völkergemeinschaft steht.

Literatur

Alston, P. (2010): Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions. Study on targeted killings. UN-Dokument A/HRC/14/24/Add.6. vom 28.5.2010.
In Auszügen ist eine deutsche Übersetzung des »Bericht[s] des Sonderberichterstatters über außergerichtliche, summarische oder willkürliche Hinrichtungen, Philip Alston, Addendum: Studie über gezielte Tötungen« erschienen in W&F 1-2011, S. 17-21. Die Übersetzung wurde vom Deutschen Übersetzungsdienst der Vereinten Nationen angefertigt und steht in voller Länge inkl. sämtlicher Fußnoten auf un.org/depts/german/de/menschenrechte.html [d. Übers.].

Amoroso, D.; Tamburrini, G. (2017): The Ethical and Legal Case Against Autonomy in Weapons Systems. Global Jurist, S. 1-20.

Amoroso D., Sauer, F., Sharkey, N., Suchman, L. and Tamurrini, G. (2018): Autonomy in Weapon Systems – The Military Application of Artificial Intelligence as a Litmus Test for Germany’s New Foreign and Security Policy. Grossbeeren: Heinrich Böll Foundation.

Cullen, A. (2017): The characterization of remote warfare under international humanitarian law. In: Ohlin, J.D. (ed.): Research Handbook on Remote Warfare. Cheltenham/Northampton: Edward Elgar, S. 110-132.

Deutscher Bundestag (2018): Antwort der Bundesregierung auf die Kleine Anfrage der Abgeordneten Andrej Hunko, Michel Brandt, Ulla Jelpke, weiterer Abgeordneter und der Fraktion DIE LINKE. – Drucksache 19/1406 – Internationale Regulierung bewaffneter oder bewaffnungsfähiger Drohnen. Bundestags-Drucksache 19/1988 vom 4.5.2018.

Council of Europe, Parliamentary Assembly (2015): Drones and targeted killings – the need to uphold human rights and international law. Resolution 2051 (2015), 23.4.2015.

Egeland, K. (2016): Lethal Autonomous Weapon Systems under International Humanitarian Law. Nordic Journal of International Law, Vol. 85, S. 89-118.

European Parliament (2014): Resolution on the use of armed drones. 27.2.2014, Dokumentnr. 2014/2567(RSP). Deutsche Fassung »Entschließung des Europäischen Parlaments zum Einsatz von bewaffneten Drohnen« unter europaparl.europa.eu [d. Übers.]

Greenwood, C. (1998): The Law of Weaponry at the Start of the New Millennium. In: Schmitt, M.; Green, L.C., (eds.): The Law of Armed Conflict – Into the Next Millenium. Rhode Island: US Naval War College, S. 185-232.

Heller, K.J. (2013): One Hell of a Killing Machine -Signature Strikes and International Law. Journal of International Criminal Justice, Vol. 11, Issue 1, S. 89-119.

Heyns, C. (2013): Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions. UN-Dokument A/HRC/23/47 vom 9.4.2013.

Heyns, C. (2014): Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions. UN-Dokument A/HRC/26/36 vom 1.4.2014.

International Committee of the Red Cross and Red Crescent/ICRC (2014): Autonomous weapon systems – Technical, military, legal and humanitarian aspects. Expert meeting, Geneva, Switzerland, 26-28.3.2014.

International Committee of the Red Cross and Red Crescent/ICRC (2015): International humanitarian law and the challenges of contemporary armed conflicts. Report 32IC/15/11 for the 32nd International Conference of the Red Cross and the Red Crescent, Geneva, Switzerland, 8.-10.12.2015.

Melzer, N. (2008): Targeted Killing in International Law. New York: Oxford University Press.

Schmitt, M.N. (ed.) (2017): Tallinn Manual 2.0 on the International Law Applicable to Cyber Operations. New York: Cambridge University Press.

Smith, B. (2017): The need for a Digital Geneva Convention. Keynote Address at the RSA Conference 2017, 14.2.2017); blogs.microsoft.com/on-the-issues/2017/02/14/need-digital-­geneva-convention.

Solis, G. (2016): The Law of Armed Conflict – International Humanitarian Law in War. New York: Cambridge University Press.

Stohl, R. and Dick, S. (2018): The Arms Trade Treaty and Drones. Washington: Stimson Center

Stop Killer Robots (2013): Urgent Action Needed to Ban Fully Autonomous Weapons – Non-governmental organizations convene to launch Campaign to Stop Killer Robots. 30.5.2013). Siehe »Launch Statement« auf stopkillerrobots.org. Die Kampagne betreibt unter killer-­roboter-stoppen.de auch eine deutsche Website [d. Übers.].

Sukumar, A.M. (2017): The UN GGE Failed – Is International Law in Cyberspace Doomed As Well? Lawfare, 4.7.2017.

UN Human Rights Council/UNHCR (2014): Ensuring use of remotely piloted aircraft or armed drones in counterterrorism and military operations in accordance with international law, including international human rights and humanitarian law. UN-Dokument A/HRC/RES/25/22 vom 15.4.2014.

Zwijnenburg, W.; van Hoorn, K. (2015): Unmanned & Uncontrolled – Proliferation of unmanned systems and the need for improved arms export controls. PAX.

Daniele Amoroso ist Professor für Völkerrecht an der Universität von Cagliari, Italien.
Guglielmo Tamburrini ist Professor für Wissenschafts- und Technikphilosophie an der Universität Frederico II von Neapel, Italien.

Aus dem Englischen übersetzt von Marius Pletsch.

Mit Technologie in die Dystopie?

/von

Mit Technologie in die Dystopie?

Ein Diskurs über konkrete und diffuse Risiken

von Frank Sauer und Thomas Gruber

Die Bedrohungsszenarien, welche heute im Zusammenhang mit neuen Technologien gezeichnet werden, sind erschreckend: vollständige und zuverlässige Überwachung durch intelligente Kamerasysteme, automatisiertes Töten mittels selbststeuernder Kampfdrohnen und empfindliche Cyberangriffe auf kritische Infrastrukturen, wie Krankenhäuser oder Kraftwerke. Dabei ist das konkrete Gefahrenpotential dieser Ansätze nur sehr schwer greifbar, denn Überwachung und Cyberattacken sind meist unsichtbar. Autonome Waffensysteme wiederum sind schon deshalb eine diffuse Bedrohung, weil ihre Entwicklung jetzt politisch bekämpft werden muss, obgleich sie bisher noch nicht existieren.
Die W&F-Autoren Frank Sauer und Thomas Gruber sind sich einig über die Notwendigkeit, diese Themen stärker öffentlich zu diskutieren und auf internationaler Ebene möglichst rasch einer Verrechtlichung zuzuführen. Ob die Nutzung neuer Technologien im Sicherheits- und Militärsektor immer weiter voranschreitet, unvermeidlich ist und zu einer dystopischen Zukunft führen wird, darüber gehen ihre Meinungen aber auseinander.

Rolle rückwärts in den Krieg der Zukunft

von Frank Sauer

Es herrscht dieser Tage insgesamt kein Mangel an Gedankenspielen über die Zukunft. Zahlreiche bedeutsame Prozesse, vom Klimawandel über die demographische Entwicklung bis hin zu den Fortschritten im Feld der »Künstlichen Intelligenz« (KI),1 werfen ihre Schatten voraus und werden (zumindest in Fachkreisen) mit Aufmerksamkeit bedacht. Woran es hingegen mangelt, sind informierte und unter breiter gesellschaftlicher Beteiligung geführte Diskussionen über die enormen anstehenden Herausforderungen sowie der politische Wille, sich diesen rechtzeitig aktiv zu stellen.

Auch mit Blick auf die Zukunft des Krieges existiert eine rege Fachdebatte. Befeuert wird diese ebenfalls von den Fortschritten im Feld der KI. In ihrem Zentrum steht derzeit die zunehmende »Autonomie« in Waffensystemen. Längst warnen nicht nur Expert*innen aus der Wissenschaft, sondern auch aus prominenten zivilen Technologieunternehmen – den Innovationsmotoren im Feld – unter großer medialer Aufmerksamkeit vor einem risikobehafteten Paradigmenwechsel in der Kriegsführung (FLI 2015, 2017). Denn vollautonome Waffensysteme würden nach ihrer Aktivierung mit Hilfe von Sensoren und Software selbständig, im Unterschied zu ferngesteuerten Systemen also ohne menschliche Kontrolle oder Aufsicht, den Entscheidungszyklus der Zielbekämpfung durchlaufen. Sie wären demgemäß auch bei »selection and engagement of targets« (Zielauswahl und -bekämpfung) der menschlichen Verfügungsgewalt entzogen, was erhebliche völkerrechtliche, ethische und sicherheitspolitische Risiken aufwirft (Amoroso et al 2018).

Seit 2014 befassen sich zudem die Vereinten Nationen (VN) in Genf bei den Konferenzen zur VN-Waffenkonvention mit der Frage, ob – und wenn ja, wie – eine Regulierung von Autonomie in Waffensystemen erwirkt werden kann (Sauer/Altmann 2014). Doch bisher deutet kaum etwas darauf hin, dass die Staatengemeinschaft dem dringenden Regulierungsbedarf ernsthaft nachkommt (Mariske 2018).

Was droht, wenn die Entwicklung im Bereich der Autonomie in Waffensystemen unreguliert weitergeht? Was, wenn vollautonome Waffensysteme sowohl auf als auch jenseits der Schlachtfelder flächendeckend Einzug halten? Im Folgenden werden diese Fragen in Form drei zugespitzter Beschreibungen (Vignetten) adressiert.

Vignette 1: »Blitz-Krieg«

Vollautonomie in Waffensystemen wird global die Gefahr nichtintendierter Eskalationen zwischen Streitkräften erhöhen (Altmann/Sauer 2017), denn die Interaktionen zwischen vollautonomen Waffensystemen sind nicht vorhersehbar. Von den Finanzmärkten sind durch den Hochfrequenzhandel die Risiken solch unvorhergesehener Interaktionsprozesse zwischen zwei oder mehreren Algorithmen längst bekannt. Die dort vorkommenden »flash crashes« verursachen jedoch nur blitzartige Kursabstürze und somit finanzielle Verluste. Sollte hingegen ein kriegsvölkerrechtlich verbindliches und verifizierbares Verbot von vollautonomen Waffensystemen ausbleiben, dann droht der »flash war«, also eine Kaskade aus blitzartig autonom geführten Angriffen und Gegenangriffen, die in kürzester Zeit eine Eskalationsspirale in Gang setzen, ohne dass dem Menschen Zeit für einen korrigierenden Eingriff bleibt (Scharre 2018). Die Konsequenzen wären dann nicht mehr nur finanzieller Natur.

Der – langsame – Mensch ist, anders als Maschinen, dank seinem Verständnis von Kontext und sozialen Zusammenhängen der bessere Krisenmanager. Seine Kontrolle ist natürlich bisweilen Fehlerquelle, im Zweifel aber doch die überlegene Notfallsicherung. Eindrücklich belegt hat dies das Handeln des jüngst verstorbenen sowjetischen Oberstleutnants Stanislaw Petrow im Jahre 1983. Als das laut Diagnose fehlerfrei arbeitende sowjetische Frühwarnsystem eine Sonnenreflexion auf einer Wolke als Raketenflamme startender US-Interkontinentalraketen interpretierte und einen atomaren Erstschlag meldete, entlarvte Petrow dies als Fehlalarm und verhinderte so eine Kettenreaktion, die leicht in einem Atomkrieg hätte enden können. Zukünftig den gesunden Menschenverstand aus dem Entscheidungszyklus zu entfernen, bedeutet also, den »Blitz-Krieg« zu riskieren.2

Vignette 2: Normerosion

Vollautonome Waffensysteme werden die Erosion zentraler Völkerrechtsnormen beschleunigen. Die gegenwärtige Proliferation unbemannter, bisher noch ferngesteuerter, Waffensysteme markiert den Beginn dieses Trends. Rund 90 Staaten verfügen inzwischen über unbemannte fliegende Waffensysteme – »Drohnen«. Mindestens ein Dutzend Staaten verfügt über bewaffnete Drohnen, ebenso eine Reihe nichtstaatlicher Akteure, darunter der »Islamische Staat« und die Hisbollah. Da ferngesteuerte Systeme nicht das Leben von Pilot*innen riskieren und schwerer einem Akteur zuzuordnen sind, wächst mit ihrer Nutzung der politisch-militärische Handlungsspielraum. Mit anderen Worten: Es sinkt die Hemmschwelle, dort militärisch aktiv zu werden, wo bemannte Systeme zuvor zu mehr Vorsicht gezwungen hätten (Sauer 2014). Vollautonome Systeme werden diesen Trend weiter verstärken und das völkerrechtliche Interventionsverbot weiter untergraben.

Darüber hinaus werden vollautonome Waffensysteme das Kriegsvölkerrecht unterminieren. Auf maschinellem Lernen beruhende Maschinen können die für völkerrechtskonformes Operieren auf dem Schlachtfeld notwendigen Entscheidungen nicht treffen. Dazu gehört die Unterscheidung zwischen Kombattanten und Zivilisten, die Angemessenheit bei der Wahl der militärischen Gewaltmittel im Lichte des zu erreichenden militärischen Ziels sowie die Vorsicht bei der Durchführung des Angriffs, um Kollateralschäden zu vermeiden oder zu minimieren (Amoroso et al 2018, S. 23-24). Vollautonomie rührt darüber hinaus an den ethischen Grundfesten, auf denen das Völkerrechtssystem beruht, denn die Kompatibilität mit geltendem Recht ist das eine, das andere jedoch sind die diesem Recht zu Grunde liegenden Normen und Werte. Es verletzt die Würde des Menschen, Entscheidungen über Leben und Tod auf dem Schlachtfeld an Algorithmen zu delegieren (ICRC 2018), denn die auf diese Weise maschinell Getöteten werden damit zu Objekten im Ablauf einer Maschinerie degradiert. Für sie mag es zwar keinen Unterschied machen, ob ein Mensch oder ein Algorithmus ihren Tod bewirkt. Aber die Gesellschaft, die dieses »Outsourcing« erlaubt und mit dem Töten im Krieg ihr kollektives menschliches Gewissen nicht mehr belastet, gibt grundlegende zivilisatorische Werte und humanitäre Normen auf.

Vignette 3: Unterdrückung

Vollautonome Waffensysteme werden die Kontrolle und die Unterdrückung von Bevölkerungen erleichtern, und insbesondere autoritäre Regime werden sie nicht nur für die Kriegsführung nach außen, sondern auch im Inneren einsetzen. Aus Sicht eines autoritären Herrschaftssystems sind autonome Systeme nicht nur eine im Vergleich zu den üblichen Institutionen ungleich kosten­effizientere Lösung: Inlandsgeheimdienst, Polizei, Justiz, Gefängnisse, Militär, dies sind allesamt Organisationen mit Menschen, die ausgebildet, bezahlt und bestochen sein wollen (Roff 2016). Die automatisierte Unterdrückung ist zudem vor allem eines: verlässlich. Maschinen zögern nicht, haben keine Skrupel, planen nicht klammheimlich einen Coup. Ihre Wirkung auf den Menschen wird dabei natürlich nicht nur letal sein. Ein ganzes Spektrum von algorithmisch determinierten physischen und psychischen Vergeltungsmaßnahmen wird entwickelt werden, um die Bevölkerung in Schach zu halten. Gepaart mit Dauerüberwachung, Gesichtserkennung und einem »Social Credit System«, wie China es gegenwärtig testet (Lee 2017), bestraft die automatisierte Unterdrückung zukünftig tagein, tagaus, sieben Tage die Woche, 365 Tage im Jahr die Gesellschaft bereits für das kleinste Abweichen von der vorgegebenen Linie.

Schlussbetrachtung

Es muss – und es wird hoffentlich – nicht so kommen. Statt per Rolle rückwärts, in deren Zuge die Eskalationsrisiken des Kalten Krieges wiederkehren und bestehende Normen erodieren sowie neue, dringend erforderliche Regeln gar nicht erst geschaffen werden, kann die Menschheit sich die Zukunft auch anders erschließen: mit vorwärtsgerichteten Schritten. Bezüglich der Autonomie in Waffensystemen muss der erste Schritt in die Zukunft jetzt getan werden. Dabei sollten wir Menschen uns die Verfügungsgewalt über Waffensysteme bewahren.3 Ein internationales, völkerrechtlich bindendes und verifizierbares Verbot von Vollautonomie in Waffensystemen wäre dafür das am besten geeignete Mittel. Ein solches Verbot wäre nicht perfekt, es würde zukünftig von Einzelnen miss­achtet werden – das zeigt die Erfahrung, etwa im Falle der Chemiewaffen. Aber deswegen die Norm erst gar nicht zu etablieren, wäre fahrlässig, denn die Alternative, die dystopische Version der Zukunft, steht uns vor Augen. Es braucht nun den politischen Willen, sie Fiktion bleiben zu lassen.

Anmerkungen

1) Der Begriff der »Künstlichen Intelligenz« ist weit und nicht einheitlich gefasst. In Ermangelung einer feststehenden Definition wird darunter in der Regel eine Vielzahl unterschiedlicher softwarebasierter Techniken und Verfahren zur Automatisierung von Aufgaben subsumiert, die zuvor die Anwendung menschlicher Intelligenz erforderten. Im Folgenden wird auf den Begriff der KI weitgehend verzichtet und stattdessen die Autonomie von Systemen in den Mittelpunkt gerückt.

2) Dieser Abschnitt bedient sich bei Hansen/Sauer (im Erscheinen).

3) Siehe Amoroso et al. (2018) für einen Vorschlag, wie die Bewahrung menschlicher Verfügungsgewalt über Waffensysteme so ausgestaltet werden kann, dass Autonomie in Verteidigungssystemen zum Schutz von Soldatinnen und Soldaten gegen schnell anfliegende Geschosse weiterhin Verwendung finden kann.

Literatur

Altmann, J.; Sauer, F. (2017): Autonomous Weapon Systems and Strategic Stability. Survival, Vol. 59, No. 5, S. 117-142.

Amoroso, D.; Sauer, F.; Sharkey, N.; Suchman, L.; Tamburrini, G. (2018): Autonomy in Weapon Systems – The Military Application of Artificial Intelligence as a Litmus Test for Germany’s New Foreign and Security Policy. boell.de, 29.5.2018.

Future of Life Institute/FLI (2015): Autonomous Weapons. An Open Letter from AI & Robotics Researchers. futureoflife.org, 31.8.2015.

Future of Life Institute/FLI (2017): An Open Letter to the United Nations Convention on Certain Conventional Weapons. futureoflife.org, 25.9.2017.

Hansen, A.; Sauer, F. (im Erscheinen): Autonomie in Waffensystemen – Chancen und Risiken für die US-Sicherheitspolitik. Zeitschrift für Außen- und Sicherheitspolitik.

International Committee of the Red Cross/ICRC (2018): Ethics and autonomous weapon systems – An ethical basis for human control? icrc.org, 4.11.2018.

Lee, F. (2017): China – Die AAA-Bürger. zeit.de, 24.9.2018.

Marsiske, H.-A. (2018): Missing Link – Erfolglose Gespräche über Killerroboter. Dr. Frank Sauer im Interview: „Wir müssen mehr machen“. ­heise.de, 24.9.2018.

Roff, H.M. (2016): Autonomous Weapons and Incentives for Oppression. duckofminerva.com, 24.9.2018.

Sauer, F. (2014): Einstiegsdrohnen – Zur deutschen Diskussion um bewaffnete unbemannte Luftfahrzeuge. Zeitschrift für Außen- und Sicherheitspolitik, Vol. 7, No. 3, S. 343-363.

Sauer, F.; Altmann, J. (2014): Autonome Waffensysteme – Staatenkonferenz, 13.-16. Mai 2014, Genf. W&F 3-2018, S. 60-61.

Scharre, P. (2018): A Million Mistakes a Second. foreignpolicy.com, 24.9.2018.

Dr. Frank Sauer forscht und lehrt an der Universität der Bundeswehr München und twittert unter @drfranksauer.

So weit sind wir technisch nicht

von Thomas Gruber

Die Auswirkungen und Gefahren der »künstlichen Intelligenz« und damit einhergehende Technologien und Methoden der Kriegsführung sind bislang zivilgesellschaftlich wenig greifbar, staatlichen und militärischen Stellen scheint es aber wichtig zu sein, diese Nischen zu besetzen. In den letzten Jahren wurden weltweit militärische Kapazitäten für den Cyberkrieg geschaffen und die Drohnenflotten einiger Armeen stark ausgebaut und immer weiter automatisiert (wie etwa bei der Zielfindung oder der Flugstabilisierung). In vielen Städten wurde »intelligente« Videoüberwachung eingeführt, und die Forschung an solchen Überwachungssystemen wurde erheblich gefördert.

Eine kaum greifbare Bedrohung der Zivilgesellschaft auf der einen, staatliche und militärische Aufrüstung auf der anderen Seite – wie groß und vor allem welcher Art sind die Gefahren, die von diesen neuen Technologien und Methoden ausgehen?

Exkurs: Künstliche Intelligenz

Das Fachgebiet, welches sich mit der Entwicklung intelligenter Programme und Maschinen befasst, ist die Künstliche Intelligenz, kurz als »KI« bezeichnet. Bereits Mitte der 1950er Jahre weckte die Forschung zur KI das Interesse staatlicher und militärischer Geldgeber (Crevier 1993 und Nilsson 2014). Die Aussicht auf intelligente Programme und Maschinen lässt vor allem Institutionen wie die US-amerikanische Defense Advanced Research Projects Agency (DARPA) aufhorchen, die die Erforschung von Zukunftstechnologien für das US-Militär fördert. Bis heute können KI-Forscher*innen allerdings kaum nennenswerte Erfolge mit militärischem Nutzwert vorweisen. Dennoch ist »Intelligenz« in vielen ingenieurswissenschaftlichen Publikationen und konkreten technischen Entwicklungen derzeit ein äußerst beliebtes Buzzword.

»Intelligente« Videoüberwachung

Ein Beispiel für die Verwendung von KI-Methoden ist die intelligente Videoüberwachung, mit der in Zukunft ganze Städte, Stadtgebiete oder kritische Infra­strukturen automatisch überwacht werden sollen. Die polizeiliche und militärische Bildauswertung steht derzeit vor einem enormen Problem: Zwar wird der Weg für eine immer umfassendere Überwachung der Zivilgesellschaft politisch sukzessive geebnet, es fehlt aber an der Kapazität, die immer größeren Datenmengen zu verarbeiten. So würde für die Sichtung sämtlicher Überwachungsdaten einer Metropole weit mehr Personal benötigt würde, als das Budget der Stadt hergibt. Die Bürger*innen würden dann zwar abgefilmt, aber ein großer Teil des Materials würde nie von einem Menschen bewertet. Einen vermeintlichen Ausweg bietet hier die intelligente Videoüberwachung: Entweder unterstützend oder vollautomatisch soll sie aus den Bilddaten von Überwachungskameras etwa gesuchte Einzelpersonen anhand bekannter biometrischer Daten erkennen und verfolgen, verdächtiges Verhalten von Individuen und Gruppen ausmachen und bei den menschlichen Auswerter*innen schließlich Alarm schlagen können (Monroy 2018). Oft werden die Überwachungslösungen auch als lernfähige Systeme geplant; die Algorithmen sollen dann beispielsweise verdächtiges Verhalten oder Bewegungsmuster lernen und damit ihre Wirkung verbessern.

Politisch wird die intelligente Videoüberwachung einerseits mit den gleichen Argumenten verteidigt wie die klassische Videoüberwachung: Mehr Kameras bedeuten angeblich mehr Sicherheit. Klassische Videoüberwachung wirkt allerdings kaum präventiv, sondern hilft bestenfalls bei der Aufklärung eines Verbrechens. Eine Ausnahme ist die erhoffte Abschreckung, die allerdings bei Affekthandlungen oder gezielten Anschlägen eher gering ins Gewicht fallen dürfte. Die intelligente Videoüberwachung hingegen soll gefährliche Situationen schon im Entstehen erfassen, sodass eine Eskalation durch herbeieilende Polizist*innen oder Soldat*innen verhindert werden kann. Um diese neue Technik frühzeitig zu fördern, investiert die Bundesregierung aktuell große Summen in die Forschung zur intelligenten Bildverarbeitung, so etwa im »Forschungsprogramm für zivile Sicherheit«, für das seit dem Jahr 2007 knapp 600 Mio. Euro bereitgestellt wurden (BMBF 2018).

Ein Blick auf die Ergebnisse der deutschen Forschungsprojekte lässt die »Intelligenz« der Überwachungssysteme allerdings fraglich erscheinen:1 Objektverfolgung kann oft nur unter erheblicher Fehlertoleranz realisiert werden, Gesichtserkennung ist aufgrund der Häufigkeit falsch erkannter Personen meist nicht praktikabel, »gefährliche« Situationen werden anhand einfachster Bewegungsmuster identifiziert (beispielsweise Rundgänge einer Person in einer Bahnhofshalle, längeres Verweilen oder Gruppenbewegungen im Allgemeinen), und von wirklicher Lernfähigkeit sind die Algorithmen noch weit entfernt. Es ist daher unwahrscheinlich, dass intelligente Videoüberwachung in näherer Zukunft funktioniert. Das bedeutet allerdings nicht, dass von dieser staatlichen Überwachungsoffensive weniger Gefahr für die Zivilgesellschaft ausgeht: Die angeblichen Fortschritte in der intelligenten Bildauswertung werden derzeit als Argument genutzt, um die Überwachung öffentlicher Räume immer weiter auszubauen; gleichzeitig steigt mit der großen Fehleranfälligkeit der Methoden die Wahrscheinlichkeit, vollkommen grundlos verdächtigt zu werden (zusätzlich zum Generalverdacht, der durch Videoüberwachung ohnehin besteht).

Autonome Waffensysteme

Im Jahr 2017 wurde der eindrucksvolle Kurzfilm »Slaughterbots« ins Internet gestellt (FLI 2017a). Er zeigt ein fiktives Szenario, in dem bewaffnete Mikrodrohnen mithilfe von KI-Algorithmen Gesichter erkennen, selbstständig Wege finden und schließlich Zielpersonen töten. Die Mikrodrohnen werden günstig verkauft und bewegen sich in Schwärmen. Angepriesen vom produzierenden Rüstungskonzern finden sie bald Verbreitung und werden schließlich von Unbekannten genutzt, um beliebige Gegner*innen zu töten. Der Film wurde auf Initiative des Future of Life Institute (FLI) und des Informatikprofessors Stuart Russell verbreitet. Das FLI setzt sich schon seit Jahren für ein weltweites Verbot vollautonomer Waffensysteme ein – bisher vor allem mit großer Wirkung auf die Forschungsgemeinschaft und die Industrie (FLI 2015, 2017b). Auch von parlamentarischer Seite wurde kürzlich die Hoffnung genährt, dass autonome Waffensysteme bald verboten werden könnten. Im Jahr 2016 wurden in Genf Treffen zur UN-Waffenkonvention angeregt, die sich mit dem Verbot vollautonomer Waffen befassen sollten. Nach mehreren Treffen von Regierungsexpert*innen der knapp 90 beteiligten Länder wurde am 1. September 2018 schließlich klar, dass es vorerst keine völkerrechtlich verbindliche Erklärung zur Ächtung autonomer Waffensysteme geben wird. Eine Minderheit von Staaten – unter ihnen die USA, Russland, Deutschland und Frankreich – blockierten ein wirksames Verbot (Facing Finance 2018).

Während politisch also bereits um ein Verbot autonomer Waffen gerungen wird, sind die technischen Möglichkeiten, solche Systeme zu realisieren, erst ansatzweise vorhanden. Das wird allein durch die oben angesprochene Problematik der intelligenten Bildverarbeitung deutlich. Von autonom steuernden Drohnen wird erwartet, dass sie mindestens die automatisierte Videoüberwachung ermöglichen: Ziele in Bilddaten eigenständig suchen, erkennen und verfolgen. Zusätzlich müssten sie noch selbst steuern können – eine Aufgabe, die schon bei Autos schwer realisierbar ist, obwohl die Fahrzeuge bei ihrer Bewegung in der Ebene weniger Freiheitsgrade zu bewältigen haben als eine Drohne, die auch nach oben und unten fliegt.

Trotzdem sind die Warnungen vor autonomen Waffen und die Forderungen zu ihrer Ächtung kein politischer Alarmismus, denn die Autonomie wird in Waffensystemen bereits stückweise realisiert, die Wirtschaft und das Militär betreiben vielerorts einen erheblichen Aufwand, um Waffensysteme weiter zu automatisieren. Die teilautonomen Komponenten reichen bei Kampfdrohnen von einer einfachen automatischen Enteisung der Tragflächen über die etwas kompliziertere Kollisionsvermeidung bis hin zur äußerst fragwürdigen Zielerkennung mittels Mobilfunkdaten (wie sie die USA beispielsweise für ihre Drohnenangriffe nutzt; The Intercept 2015).

Cyberkrieg

Ein Thema, das über die letzten Jahre besonders viel mediale Aufmerksamkeit bekommen hat, ist der »Cyberkrieg«. Das Bedrohungsszenario, welches von Politiker*innen und Militärs diesbezüglich gezeichnet wird, ist enorm: Feindliche Staaten, Armeen oder Terrorist*innen könnten uns mithilfe von Viren ausspionieren, Identitäten stehlen und durch Hackingangriffe kritische Infrastrukturen lahmlegen. Auf Basis dieser Gefahrenlage wurden viele Kapazitäten für militärische Strukturen zur Verteidigung des Cyberraumes frei gemacht. So wurde etwa 2008 das NATO-Exzellenzzentrum zur gemeinsamen Cyberverteidigung gegründet, das die Fähigkeiten der NATO-Staaten im Cyberkrieg bündeln soll, 2017 bekam die Bundeswehr ein eigenes Kommando für den Cyber- und Informationsraum (siehe Marischka in dieser Ausgabe), und in den USA wird seit 2017 ein eigenständiges Cyberkommandos augestellt.

So drastisch die vorwiegend westlichen Politiker*innen und Militärs die Bedrohung für die Zivilgesellschaft darstellen, so verwunderlich scheint es doch, dass die schlimmsten Szenarien – wie gezielte militärische Cyberangriffe auf die Gesundheits- oder Energieversorgung eines Staates – nie Wirklichkeit wurden. Im Gegenteil: Der größte bekannte Cyberangriff auf die Energieversorgung eines Staates war die US-amerikanisch-israelische Stuxnet-Attacke auf das iranische Atomprogramm und sie war – gemessen an ihrem immensen Aufwand – aus amerikanischer und israelischer Sicht nicht unbedingt erfolgreich. In Wirklichkeit richten sich die meisten Angriffe im Cyberraum gegen Unternehmen sowie gegen staatliche und militärische Strukturen. Damit wurde auf den virtuellen Raum ausgeweitet, was es im wirtschaftlichen und nationalen Wettstreit schon immer gab: simple Eigentumsdelikte sowie geheimdienstliche Spionage und Sabotage (Denker 2016). Jene geheimdienstlichen und kriminellen Aktionen jedoch zu einem Cyberkrieg zu stilisieren, birgt weit mehr Gefahr für die Zivilgesellschaft als die Cyberangriffe selbst: Mit dem Militär drängt neben Polizei und Geheimdiensten eine weitere mächtige Institution in den vorwiegend zivil genutzten virtuellen Raum und versucht diesen zu vereinnahmen und zu kontrollieren. Außerdem senkt die Militarisierung des Cyberraumes die Schwelle zur militärischen Eskalation erheblich. Die deutsche Bundesregierung, das EU-Parlament und NATO-Generalsekretär Jens Stoltenberg haben bereits kon­statiert, dass auf einen Cyberangriff auch mit einem konventionellen Militärschlag geantwortet werden könnte (Bundesregierung 2018, Europäisches Parlament 2012, Schiltz 2017).

Fazit

Die größte Gefahr im Zusammenhang mit intelligenten Systemen, autonomen Waffen und Cyberattacken scheint also weder von terroristischen Zellen noch von der Technik selbst auszugehen. Im Gegenteil: Viele Systeme und Methoden, die im Zusammenhang mit einer automatisierten und digitalisierten Form der Kriegsführung genannt werden, sind weder momentan realisierbar noch werden sie dies in absehbarer Zeit sein. Viel bedrohlicher als jene dystopischen Zukunftstechnologien ist daher die staatliche und militärische Vereinnahmung der Thematik, denn so wird einerseits erhebliches Eskalationspotential geschaffen – wie im Falle des »Cyberkrieges« –, andererseits wird Technik genutzt, die noch unausgereift, für den jeweiligen Zweck unzureichend und teils enorm fehleranfällig ist. Im Falle automatisierter Videoüberwachung kann das zu falschen Verdächtigungen führen, bei der automatisierten Zielsuche einer Drohne zur direkten Tötung von Zivilist*innen.

Anmerkung

1) Vergleiche dazu beispielsweise die Ergebnisse der Projekte »APFel«, »ASEV« und »CamInSens«.

Literatur

Bundesministerium für Bildung und Forschung/BMBF (2018): Sicherheitsforschung – Forschung für die zivile Sicherheit. bmbf.de.

Deutscher Bundestag (2018): Antwort der Bundesregierung auf die kleine Anfrage zur Cybersicherheit der Abgeordneten Stephan Thomae, Jimmy Schulz, Manuel Höferlin, weiterer Abgeordneter und der Fraktion der FDP. Drucksache 19/2307 vom 24.5.2018.

Crevier, D. (1993): AI – The Tumultuous History of the Search for Artificial Intelligence. New York: Basic Books.

Denker, K. (2016): Die Erfindung des Cyberwars. WeltTrends, Nr. 113.

Europäisches Parlament (2012): Entschließung des Europäischen Parlaments vom 22. November 2012 zu den EU-Klauseln über die gegenseitige Verteidigung und Solidarität: politische und operationelle Dimensionen.

Facing Finance (2018): Killer Roboter vorerst in Sicherheit. Presseerklärung vom 3.9.2018.

Future of Life Institute/FLI (2015): Autonomous Weapons: an Open Letter from AI & Robotics Researchers. futureoflife.org.

Future of Life Institute (2017a): Slaughterbots. youtube.com.

Future of Life Institute/FLI (2017): An Open Letter to the United Nations Convention on Certain Conventional Weapons. futureoflife.org.

The Intercept (2015): Documents: SKYNET – Applying Advanced Cloud-based Behavior Analytics. theintercept.com, 8.5.2015.

Monroy, M . (2018): Berliner Überwachungsbahnhof will jetzt auffälliges Verhalten erkennen. netzpolitik.org, 28.7.2018.

Nilsson, N.J. (2014): Die Suche nach Künstlicher Intelligenz. Berlin: Akademische Verlagsgesellschaft.

Schiltz, C. (2017): NATO-Generalsekretär: „Cyberangriffe können Bündnisfall nach Artikel 5 auslösen“. welt.de, 19.1.2017.

Thomas Gruber promovierte zum Thema »Mathematik, Informatik und moderne Kriegsführung«. Er arbeitet für das Forum InformatikerInnnen für Frieden und gesellschaftliche Verantwortung (FIfF) in der W&F-Redaktion mit.

Die Automatisierung der Kriegsführung

/von

Die Automatisierung der Kriegsführung

Das Beispiel bewaffnete Drohnen

von Marius Pletsch

Ein Auto fährt auf einer unbefestigten Straße in den pakistanischen Stammesgebieten unter Bundesverwaltung (FATA), die grenznah zu Afghanistan liegen. Weit über ihm kreist eine Drohne, die mit einem Modul bestückt ist, das sich als Mobilfunkmast ausgibt. Die Mobiltelefone der Mitfahrer*innen des Autos wählen sich ein und können nun lokalisiert werden. Sowohl die Gerätenummern wie die Mobilfunknummern werden mithilfe eines Algorithmus überprüft. Ein Mobiltelefon erregt die Aufmerksamkeit der Überwacher. Es ist diese Route öfters abgefahren, wurde mit mehreren SIM-Karten betrieben, und die aktiven Nummern wurden ausschließlich angerufen. Eine zweite Drohne, die sich näher an der aktuellen Position des Autos befindet und schwerer bewaffnet ist, fokussiert ihre Kameras auf das Auto und folgt ihm. Werden die Insassen des Kraftfahrzeuges von Raketen zerfetzt werden?

Die Informationen, die der beschriebene Algorithmus liefert, sind nicht zwingend die alleinige Datenbasis für die Entscheidung, ob eine Rakete auf das Fahrzeug abgeschossen wird. Dem ehemaligen Direktor der National Security Agency (NSA), Michael Hayden, zufolge sind solche gesammelten und analysierten Daten jedoch ein Grundpfeiler für das Drohnenprogramm der USA. Er sagte 2014 auf einer Podiumsdiskussion: „Wir töten Menschen auf der Grundlage von Metadaten.“1 (JustSecurity 2014) Das geschilderte Szenario ist also schon längst keine Science-Fiction mehr, sondern seit Jahren bittere Realität.

Beschrieben wurden zwei Programme, die Teil des US-»Krieges gegen den Terror« sind, der nach den Anschlägen des 11. Septembers 2001 erklärt wurde und weder eine räumliche noch eine zeitliche Beschränkung kennt. GILGAMESH ist eine Vorrichtung, die auf der Unterseite einer Drohne des Typs »MQ-9 Reaper« angebracht wird, sich als Mobilfunkmast ausgibt und Mobiltelefone im Umkreis zwingt, sich einzuwählen (vergleichbar mit einem IMSI-Catcher); dieses Programm hilft bei der Lokalisierung von Zielen (Scahill 2016, S. 81). Der Algorithmus wurde SKYNET getauft – wie die Künstliche Intelligenz, die im Film »Terminator« versucht, die Menschheit zunächst mit einem Atomkrieg und später mit Killerrobotern zu vernichten. Beide Programme wurden der Öffentlichkeit durch die Snowden-Leaks bekannt.

SKYNET kann Metadaten mit 55 Millionen Datensätzen pakistanischer Mobilfunkteilnehmer*innen abgleichen. Anhand verschiedener zuvor bei Verdächtigten beobachteter Verhaltensmuster wird die Wahrscheinlichkeit errechnet, mit der eine Mobilfunknummer oder ein Mobiltelefon von einem Kurier benutzt wird, der für Aufständische tätig ist. In veröffentlichten Folien der NSA wird angegeben, dass der Algorithmus »nur« bei 0,18 % bis sehr optimistisch geschätzten 0,008 % der Fälle fälschlicherweise die Zuschreibung machen würde, es handele sich um ein al-Kaida-Mitglied. Das sind bei dem Datenpool zwischen 99.000 und 4.400 Mobilfunkteilnehmer*innen, die irrtümlicherweise als Terrorist*innen markiert werden könnten (Grothoff/Porup 2016).

Eine zunehmende Automatisierung unterstützt sowohl die Überwachung möglicher Ziele als auch die Identifizierung weiterer Personen von Interesse. Außerdem sollen immer mehr Aufgaben an Algorithmen delegiert werden, da die Zahl an Sensoren und damit die Menge anfallender Daten massiv zunehmen (Magnuson 2010). Teils können die Daten gar nicht auf den Datenautobahnen transportiert werden, da z.B. die Verbindungen über eine zu geringe Bandbreite verfügen, geschweige denn in Echtzeit oder zeitnah von Menschen begutachtet und analysiert werden. Also wird sich mit einer zunehmenden Automatisierung beholfen, um einerseits nur als relevant eingestufte Daten über die limitierten Verbindungen zu schicken und andererseits möglichst schnell Informationen mit den stetig wachsenden Pools an bereits gesammelten, gespeicherten und verwerteten Daten abzugleichen. Um dies und möglicherweise daraus resultierende Probleme zu diskutieren, werden nachfolgend zunächst die wichtigsten Begriffe vorgestellt.

Definitionen

Zunächst sollen automatische, automatisierte und autonome Systeme näher bestimmt und voneinander abgegrenzt werden.

Automatische Systeme sind solche, die einer strengen »wenn-dann«-Logik unterliegen. Dabei nimmt ein Sensor eine Veränderung des Status quo wahr und dies löst eine Reaktion aus. Diese Beziehung ist direkt und linear. Als ein Beispiel sind Minen zu nennen, die beispielsweise bei einem Druck über 10 kg auslösen.

Deutlich komplexer sind automatisierte Systeme, die regelbasiert funktionieren. Dabei können mehr Sensoren und eine Vielzahl von Variablen vorliegen, die abgewogen werden, bevor eine Reaktion erfolgt. Ein Beispiel sind Raketenabwehrsysteme. Die Funktionsweise ist bei diesen Systemen immer ähnlich: Sie sollen Objekte im Luftraum erkennen, durch verschiedene Merkmale ausmachen, ob es sich um gefährliche Objekte, wie feindliche Raketen, handelt, und dann je nach Modus entweder direkt reagieren und die identifizierte Gefahr ausschalten oder auf die Auslösung durch einen Menschen warten. Je nach System besteht für das Bedienpersonal die Möglichkeit, die Abwehrmaßnahme abzubrechen, sollte sich die Lageeinschätzung ändern, es sich z.B. doch um ein Passagierflugzeug handeln.

Bleiben autonome Systeme, die zielgerichtet funktionieren, aber den Weg zum Ziel flexibel verfolgen können. Es gibt mehrere militärische Systeme, die Aufgaben autonom verrichten können. Mit der Drohne X-47B wurde beispielsweise die Fähigkeit zu autonomen Starts und Landungen auf einem Flugzeugträger und zur autonom durchgeführten Luftbetankung demonstriert. Andere autonome Systeme werden eingesetzt, um zu zerstören, die israelische Harpy z.B., um gegnerische Radaranlagen aufzuspüren und zu zerstören (Scharre 2014, S. 13; Scharre 2018a, S. 30-33).

Die Beziehung Mensch-Maschine

Eine Mine, die platziert und nicht weiter beobachtet wird, unterliegt keinerlei menschlichen Kontrolle. Wenn sie jemand auslöst, spielt es keine Rolle, ob es ein Kind oder ein*e Kombattant*in war. Die Komplexität des Systems muss also nicht zwingend etwas über die Möglichkeit des Menschen aussagen, eingreifen zu können, wobei höhere Komplexität die Kontrolle erschwert.

Ob und wie die Kontrolle des Menschen über die oben beschriebenen Systeme ausgestaltet ist, wird meist durch die Einstufung in drei Kategorien unterschieden: Ein Mensch kann entweder »in-the-loop«, »on-the-loop« oder »out-of-the-loop« sein. Verdeutlicht werden soll dies am Beispiel von Drohnen. Bei den meisten Drohnen, die derzeit durch etwa ein Dutzend Staaten in militärischen Konflikten eingesetzt werden, sitzt ein Mensch an einem Joystick und löst die Waffen aus. Der Mensch ist hier also stets »in-the-loop«. Es existieren zwar Programme, die bei der Zielauswahl und -markierung assistieren, aber die Entscheidung trifft ein Mensch. Erst nach seiner Bestätigung wird das Ziel zerstört. Wäre der Mensch nur »on-the-loop«, würde er die Aktivitäten der Drohne lediglich überwachen. Dies ist der Fall bei Flugassistenzsystemen. Würde auch die Waffensteuerung so funktionieren, wäre es dem Bedienpersonal möglich, Aktionen des Systems zu überschreiben und Angriffe abzubrechen. »Out-of-the-loop« ist der Mensch dann, wenn die Drohne selbstständig überwacht, entscheidet und handelt, ohne menschliches Zutun oder eine Vetomöglichkeit, wie dies bei der Drohne Harpy der Fall ist (Scharre 2018a: 27-30,43-50).

Der Bias in der Maschine

Der Schritt, mehr Aufgaben an Algorithmen zu delegieren, wird unter anderem damit begründet, dass die Entscheidungen schneller und – auch in ethischer und völkerrechtlicher Hinsicht – besser getroffen werden. An der Entwicklung hin zu einer Beschleunigung der Entscheidungsfindung besteht kein Zweifel, auch wenn einer schnelleren, automatischen Reaktion ein höheres und nicht intendiertes Risiko der Eskalation innewohnt (Altmann/Sauer 2017; Scharre 2018b). Befürworter*innen von mehr Automatisierung begründen den Schritt u.a. damit, so könnten zivile Opfer reduziert oder es könnte das subjektive und fehleranfällige menschliche Urteil bei Entscheidungsprozessen, die über Leben und Tod bestimmen, vermieden werden. Menschen entscheiden womöglich mit Vorannahmen bezüglich des Alters, Geschlechts, Wohnorts, Einkommens, der Kultur, Hautfarbe und weiterer Merkmale einer Zielperson. Die Annahme, Algorithmen würden dies nicht tun, liegt daran, dass für sie nicht die gleichen Standards gelten und Menschen ihnen zu sehr trauen würden, sagt die Mathematikerin Cathy O’Neil (Knight 2017).

Neben den fundamentalen Argumenten, die gegen mehr Automatisierung sprechen, ist nämlich ein Problem das des Bias (Verzerrung) im Algorithmus. Ein Beispiel für eine Art von Bias im Algorithmus ist der Chatbot »Tay«, den Microsoft auf dem Kurznachrichtendienst Twitter live geschaltet und bereits nach 24 Stunden wieder vom Netz genommen hat. Der Bot sollte in der Konversation mit anderen Benutzer*innen des Kurznachrichtendienstes lernen und mit diesen interagieren. Das klappte nur zu gut: Aus Tay wurde binnen weniger Stunden ein sexistischer, rassistischer Bot, der den Holocaust leugnete, forderte, Feminist*innen „sollten alle in der Hölle brennen“, und zum „Rassenkrieg“ aufrief (Garcia 2016). Große Technologieunternehmen haben längst Probleme mit Algorithmen eingestanden, die in der Gesellschaft vorkommende Diskriminierungen fortsetzen oder gar verschärfen. Welche Konsequenzen in der physischen Welt z.B. ein durch einen Algorithmus stark gefärbter Nachrichtenfeed auf Facebook haben kann, zeigten der Hass und die Gewalt gegenüber den Rohingya in Myanmar (OHCHR 2018; Stecklow 2018).

Automatisierung als Risiko

Bemühungen, letale autonome Waffensysteme (LAWS) zu ächten, gibt es auf Ebene der Vereinten Nationen (VN) schon seit 2014, die aktuellen Gespräche im Rahmen der Konvention über konventionelle Waffen (CCW) verlaufen aber schleppend (Marsiske 2018). Ob sich die Staatengemeinschaft auf ein umfassendes Verbot einigen kann, ist alles andere als wahrscheinlich, was sich aber durchzusetzen scheint, ist die Aufforderung, Waffen müssten stets einer »bedeutsamen menschlichen Kontrolle« (meaningful human control) unterliegen (siehe dazu die Beiträge von Amoroso/Tamburrini und von Sharkey in dieser W&F-Ausgabe).

Während der Fokus und die öffentliche Aufmerksamkeit auf dem wichtigen Verbot von »Killerrobotern« liegen, die mit popkulturellen Referenzen, wie dem Terminator aus der gleichnamigen Filmreihe oder dem Androiden Ava aus dem Film »Ex Machina« anschaulich vermittelbar sind, kam der Aspekt der Automatisierung durch Algorithmen, maschinelles Lernen und künstliche Intelligenz lange zu kurz. Durch das Projekt »Maven« wurde die Problematik einem größeren Publikum bekannt: Im Auftrag des US-Militärs arbeitete Google daran, Kameraaufnahmen von Drohnen automatisch auszuwerten und interessante Objekte zu klassifizieren. Mitarbeiter*innen erklärten sich nicht damit einverstanden, dass ihr Unternehmen dem Staat beim effizienteren Überwachen und Töten assistieren sollte, und sorgten dafür, dass zumindest bei Google das Projekt nicht fortgeführt wird (Shane/Wakabayashi 2018).

Waffensysteme wie Drohnen haben die Art der Kriegsführung bereits massiv verändert und werden dies weiter tun, gerade weil die klare Trennlinie zwischen Krieg und Frieden verwischt (Brooks 2016). Der zunehmende Einsatz von Algorithmen wird dies nicht ent-, sondern eher verschärfen. Die ständige Überwachung und automatische Auswertung der Daten stellt einen enormen Eingriff in die Privatsphäre der Bürger*innen der Staaten da, in denen diese Technologie zum Einsatz kommt, ob durch intervenierende Staaten oder durch den eigenen Sicherheitsapparat. Infolge einer zunehmende Automatisierung auch von kritischen militärischen Aufgaben wird noch schwieriger nachzuvollziehen sein, auf welcher Grundlage eine Entscheidung über den Einsatz tödlicher Gewalt getroffen wurde. Zum einen ist da die operationale Black Box, die dem Militär und militärisch agierenden Geheimdiensten inhärent ist, des Weiteren ist man mit der Black Box des Algorithmus konfrontiert (Deeks 2018, S. 7).

Die »bedeutsame menschliche Kontrolle« kann nicht darin liegen, dass ein Programm ein Ziel vorschlägt und ein Mensch dieses lediglich bestätigt. So wäre zwar der Mensch noch »in-the-­loop«, aber der Prozess, wie die Auswahl zustande kam, ist wenig transparent, erst recht, wenn Entscheidungen unter Zeitdruck fallen müssen. Die Vision einer künstlichen Intelligenz ohne Bias ist noch eine Illusion, und es ist nicht absehbar, dass sich hieran etwas ändern wird.

Eine Ächtung der Automatisierung kritischer militärischer Aufgaben ist im Rahmen der CCW-Gespräche noch möglich und angesichts des Risikos, dass Menschen die Kontrolle über Entscheidungen über Leben und Tod verlieren, geboten. Wem den Durchbruch bei der Künstlichen Intelligenz gelinge, so der russische Präsident Putin, werde „die Welt beherrschen“ (AP 2017). Ein neuer Rüstungswettlauf in dem Bereich ist kein Automatismus. Die Staatengemeinschaft hat die Möglichkeit, dem Einhalt zu gebieten.

Anmerkung

1) Metadaten sind Informationen, die bei der Nutzung von Telekommunikationstechnologie anfallen, wie Teilnehmer, Nummern, Geräte­identifikationen, Standort, Dauer von Konversationen.

Literatur

AP (2017): Putin – Leader in artificial intelligence will rule the world. APnews.com, 1.9.2017.

Brooks, R. (2016): How Everything Became War and the Military Became Everything – Tales from the Pentagon. New York: Simon & Schuster.

Deeks, A. (2018): Predicting Enemies – Military Use of Predictive Algorithms. Lawfareblg.com, 10.4.2018.

Garcia, M. (2016): Racist in the Machine – The Disturbing Implications of Algorithmic Bias. World Policy Journal, Vol. 33, No. 4, S. 111-117.

Grothoff, C.; Porup, J.M. (2016): The NSA’s SKYNET program may be killing thousands of innocent people. ArsTechnica.com, 16.2.2016.

JustSecurity (2014): Video Clip of Former Director of NSA and CIA: “We kill people based on Metadata”. JustSecurity.org, (ohne Datum).

Knight, W. (2017): Biased Algorithms Are Every­where, and No One Seems to Care. TechnologyReview.com, 12.7.2017.

Magnuson, S. (2010): Military “Swimming In Sensors and Drowning in Data”. Nationaldefensemagazine.org, 1.1.2010.

Marsiske, H.-A. (2018): Missing Link: Erfolglose Gespräche über Killerroboter – Dr. Frank Sauer im Interview: „Wir müssen mehr machen“. ­heise.de, 24.9.2018.

United Nations High Commissioner for Human Rights/OHCHR (2018): Statement by Mr. Marzuki DARUSMAN, Chairperson of the Independent International Fact-Finding Mission on Myanmar, at the 37th session of the Human Rights Council. OHCHR.org, 12.3.2018.

Scharre, P. (2018a): Army of None – Autonomous Weapons and the Future of War. New York/London: W.W. Norton & Company.

Scharre, P. (2018b): A Million Mistakes a Second. ForeignPolicy.com, 12.9.2018.

Scahill, J. (2016): The Heart of the drone maze. In: ders. (ed.): The Assassination Complex – Inside the government’s secret drone warfare program. London: Sepent’s Tail, S. 68-83.

Shane, S.; Wakabayashi, D. (2018): “The Business of War” – Google Employees Protest Work for the Pentagon. NewYorkTimes.com, 4.4.2018.

Stecklow, S. (2018): Hatebook – Why Facebook is losing the war on hate speech in Myanmar. Reuters.com, 15.8.2018.

Sauer, F.; Altmann, J. (2014): Autonome Waffensysteme -Staatenkonferenz, 13.-16. Mai 2014, Genf. Wissenschaft und Frieden, No. 3-2014, S. 60-61.

Marius Pletsch ist Redaktionsmitglied von »Wissenschaft und Frieden«, Beirat der Informationsstelle Militarisierung und studiert Politikwissenschaften und Philosophie an der Universität Trier.

Kriegsführung 4.0

/von

Kriegsführung 4.0

von Thomas Gruber und Marius Pletsch

Die erste Feuerwaffe, die Entwicklung der Telegrafie, der Krieg in der Luft – die Militärgeschichte ist durchzogen von taktischen und technologischen Neuerungen, welche die jeweilige Form der Kriegsführung vollständig umkrempelten. Jüngere Beispiele hierfür sind die Erfindung und der Einsatz von Nuklearwaffen sowie die militärische Eroberung des Alls. Militärwissenschaftlich hat sich für solche umwälzende Meilensteine der Kriegsgeschichte der Begriff »Revolution in Military Affairs« etabliert. Und wenn wir der aktuellen militärischen und medialen Berichterstattung Glauben schenken, so steht uns eine neue solche »Revolution« ins Haus. Unser Titel »Kriegsführung 4.0« orientiert sich dabei am Editorial »Kriegsführung 3.0« im Heft 1-2011 und soll veranschaulichen, dass sich die »moderne Kriegsführung« in den vergangenen sieben Jahren (leider) in riesigen Schritten weiterentwickelt hat. Wir haben den Schwerpunkt der vorliegenden Ausgabe deshalb auf diejenigen technologischen und taktischen Neuerungen in der Kriegsführung gelegt, die aktuell auf eine grundlegende Umwälzung militärischer Angelegenheiten hindeuten: das militärische Agieren im Cyber- und Informationsraum sowie die immer weitere Automatisierung von Kriegsgeräten und Entscheidungsprozessen.

Seit 2014 befasst die internationale Staatengemeinschaft sich mit der Problematik selbststeuernden Kriegsgerätes: Die Gruppe der Regierungsexpert*innen zu letalen autonomen Waffensystemen traf sich Ende August 2018 im Rahmen der Konvention über konventionelle Waffen fünf Tage lang in Genf, um über Autonomie in Waffensystemen zu diskutieren. Die Ergebnisse können allerdings nur enttäuschen, was vor allem an den USA, Russland, Israel, Südkorea und Australien liegt, die sich im Sicherheitsdilemma gefangen sehen und militärische Vorteile erhoffen. Aber auch der Vorschlag Deutschlands und Frankreichs kann angesichts des Risikopotentials von Waffensystemen, die keiner ausreichenden menschlichen Kontrolle mehr unterliegen, nicht erstrebenswert sein. Gemeinsam schlagen die beiden Staaten eine politische Selbstverpflichtung vor, keine völkerrechtlich verbindliche Ächtung. Eine Mehrheit der 88 an den Gesprächen beteiligten Staaten möchte eine »bedeutsame menschliche Kon­trolle« über Waffensysteme beibehalten, auch wenn die genauen Vorstellungen über die Bedeutung dieses Begriffes noch nicht hundertprozentig abgestimmt sind. Nächstes Jahr werden die Gespräche fortgesetzt.

Auch die Gefahr von Angriffen im virtu­ellen Raum soll bald international diskutiert werden. Der Generalsekretär der Vereinten Nationen, Guterres, möchte Gespräche über Cyber- und Informationsoperationen, über kriminelle Aktivitäten, wie die Attacke mit dem Erpressungsvirus Wannacry, und über die versuchte Beeinflussung stark polarisierter westlicher Gesellschaften beginnen. Schon jetzt halten sich Staaten offen, auf Cyberoperationen mit konventionellen Waffen zu reagieren, was angesichts der Schwierigkeit, solche Operationen zweifelsfrei zuzuschreiben, enormes Eskalationspotenzial hat.

Es ist kaum verwunderlich, dass die deutsche Regierung beide Auswüchse dieser modernen Form der Kriegsführung maßgeblich begünstigt: Sowohl im Cyber- und Informationsraum als auch bei zumindest teilautonomen Systemen soll die Bundeswehr zukünftig erstklassig aufgestellt sein. Im Juni 2018 fällte der Bundestag die Entscheidung, dass auch Deutschland über bewaffnungsfähige Drohnen verfügen soll. Ob die Drohnen auch bewaffnet eingesetzt werden sollen, wird sich in einer noch zu führenden Debatte herausstellen. Seit April 2017 verfügt die Bundeswehr außerdem über das Kommando Cyber- und Informationsraum, das die deutschen militärischen Fähigkeiten im virtuellen Raum bündeln soll, so etwa Cyberangriffe auf Computernetzwerke oder propagandistische Aktionen. Die militärische Besetzung des Cyber- und Informationsraumes durch ein eigenes Führungskommando ist weltweit bisher einzigartig.

Auch diesmal haben wir versucht, den Heftschwerpunkt aus verschiedenen spannenden Perspektiven zu beleuchten. Frank Sauer und Thomas Gruber diskutieren über dystopische Zukunftsszenarien. Marius Pletsch befasst sich mit den Gefahren einer automatisierten Drohnenkriegsführung, und Opratap Chatterje beschreibt die dafür erforderliche Technologie und ihre Schwächen. Daniel Leisegang erörtert die Big-Data-Problematik in militärischen Anwendungen. Christoph Marischka stellt das neue Kommando Cyber- und Informationsraum vor, während Ute Bernhardt und Ingo Ruhmann einen Blick auf die Lebensadern, die Infrastruktur dieser Art der Kriegsführung werfen. Daniele Amoroso und Guglielmo Tamburrini geben einen Überblick über völkerrechtliche Aspekte von Drohnenkriegsführung, autonomen Waffensystemen und Cyberkriegsführung. Noel Sharkey untersucht, was »bedeutsame menschliche Kontrolle« bei autonomen Systemen konkret bedeutet. Moritz Kütt und Alex Glaser schließlich erläutern, wie nicht ganz so moderne Computertechnologie zur Verifikation nuklearer Abrüstung genutzt werden könnte.

Thomas Gruber und Marius Pletsch

Heftarchiv

Dossierarchiv

Blog

Bestellen

Fördern

Jubiläum 40 Jahre

Kontakt

Mediadaten

Hinweise für Autor*innen

Hinweise für Dossiers

Über W&F

Informationsstelle Wissenschaft und Frieden e.V.

Überarbeitung der Homepage mit freundlicher Unterstützung durch:

Friedrich-Ebert-Stiftung (FES)
Deutsche Stiftung Friedensforschung
Deutsche Stiftung Friedensforschung