Frieden durch zivile Konfliktbearbeitung?

Herausforderungen für Evaluierung und Wirkungsanalyse

von Martin Quack

Egal wie Konflikte zivil bearbeitet werden – dies reicht von Traumaarbeit mit Gewaltopfern bis hin zu Gewaltprävention durch Gemeinwesenarbeit – irgendwann stellt sich die Frage, inwieweit es gelingt, Frieden tatsächlich zu fördern. In anderen Politikbereichen gibt es schon längere Erfahrungen mit Evaluation, von denen zivile Konfliktbearbeitung (ZKB) lernen kann, und die um spezifische Aspekte der ZKB erweitert werden müssen.

Funktionen von Evaluationen

Evaluationen können aus vielen Gründen hilfreich sein, nicht allein wirtschaftliche Effizienzgründe müssen sich dahinter verbergen: Die Beteiligten lernen viel über die eigene Arbeit und können herausfinden, ob sie ihre Ziele wirklich erreichen. Evaluationen können dazu dienen, Rechenschaft gegenüber den Betroffenen, aber auch den politisch Verantwortlichen abzulegen. Außerdem können mit Hilfe von Evaluationen laufende Projekte und Programme verbessert werden – sie können wirkungsvoller ausgestaltet werden. (Funktionen von Evaluationen siehe Kasten)

In der Praxis haben Evaluationen oft auch taktische Funktionen, die Evaluationen in Misskredit bringen. Um Missbrauch von Evaluationen zu verhindern, müssen die allgemein anerkannten Standards für Evaluationen ernst genommen werden, nach denen Evaluationen vier grundlegende Eigenschaften aufweisen sollen: Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Diese Eigenschaften werden in 25 Einzelstandards genauer gefasst (DeGEval 2008).

Herausforderung Evaluation

Für die Beurteilung von Interventionen der ZKB stellen sich eine Reihe von Herausforderungen, insbesondere wenn Wirkungen analysiert werden.

Zunächst sind sehr unterschiedliche Wirkungsverständnisse in Gebrauch: Von der Erreichung eines Projektziels über eine langfristige Veränderung der Lebensverhältnisse der Zielgruppen bis zu einem kontrafaktischen Verständnis, nach dem als Wirkung jedes Geschehen gilt, das ohne ein anderes Geschehen, die Ursache, nicht stattfände. Häufig werden bereits durch ein enges Wirkungsverständnis unbeabsichtigte Wirkungen (positive wie negative) und erhaltende Wirkungen (die nicht als Veränderungen sichtbar werden) übersehen.

Zivile Konfliktbearbeitung soll auf Konflikte wirken, die häufig ganze Staaten oder Regionen prägen. Bei den Interventionen der zivilen Konfliktbearbeitung handelt es sich aber in der Regel gemessen an personellem und finanziellem Umfang um sehr kleine Interventionen, die nur einen winzigen Bruchteil anderer wirtschaftlicher und politischer Interventionen ausmachen.

Die zivile Konfliktbearbeitung hat kurz-, mittel und langfristige Wirkungen. Es lassen sich aber immer nur die Wirkungen bis zum Zeitpunkt der Analyse untersuchen, über mögliche spätere Wirkungen kann nur mehr oder weniger gut begründet spekuliert werden.

Ein großes Problem bei der Zuordnung von Wirkungen zu bestimmten Ursachen sind konkurrierende unabhängige Variablen (andere mögliche Ursachen), die nur selten konstant bleiben: endogener Wandel (z.B. interne Veränderungen von Organisationen), exogener Wandel (z.B. wirtschaftlicher Wandel) oder Ereignisse (z.B. Infrastrukturmaßnahmen). Haben die Teilnehmer eines bestimmten Projekts ihr Verhalten wegen des Projekts verändert oder gibt es dafür ganz andere Gründe?

Um solche Wirkungen nachzuweisen werden in den Naturwissenschaften und in der Medizin häufig Experimente oder Untersuchungen mit Kontrollgruppen (z.B. der Vergleich von Menschen, die an einem bestimmten Projekt teilgenommen haben mit anderen, die nicht teilgenommen haben) durchgeführt. Solche Untersuchungen sind in der Konfliktbearbeitung häufig aus praktischen und/oder ethischen Gründen nicht möglich. Stattdessen sind Wirkungsanalysen häufig auf die Messung von Veränderungen im Zeitverlauf und auf die Wirkungsüberzeugungen beteiligter Akteure angewiesen.

Bisher gibt es keine allgemein anerkannten Indikatoren für die Wirkungsweise der ZKB. Ob eine Wirkung in einem Konflikt als friedensfördernd angesehen wird, hängt u.a. auch vom politischen Standpunkt und der damit verbundenen Vorstellung von Frieden ab. Umso wichtiger ist es, die normativen Kriterien der Bewertung von Wirkungen offenzulegen.¹ Die Perspektiven und Schlussfolgerungen der Betroffenen sind u.U. ganz andere als die der »Intervenierenden« und Evaluierenden. Partizipation soll hier integrierend wirken, ein Prinzip, das oftmals aber eher vage bleibt.

Zu vielen ZKB-Interventionen gibt es nur unvollständige Dokumentationen und Daten. Diese sind zudem häufig subjektiv und/oder vertraulich. Die Methoden, mit denen sie erhoben wurden, sind oft unklar, Evaluationen oft nicht extern zugänglich. Die Arbeitsweise in der ZKB erschwert einfache Messungen und Datendokumentation, forschungstechnische Probleme wie notwendiges multidisziplinäres Fachwissen, Regional- und Sprachkenntnisse kommen hinzu.

Verfahren

In einer Evaluation können niemals alle Aspekte untersucht, alle Wirkungen analysiert werden. Deshalb sind Modelle notwendig, die den Blick auf das Wesentliche lenken. Die Modelle basieren zumeist auf Wirkungsketten, zunehmend werden auch Elemente »systemischer« Konzepte integriert. Ein Beispiel hierfür ist eine Evaluation eines Projekts des Zivilen Friedensdienstes zur Stärkung der südafrikanischen Friedensorganisation »Sinani« durch die Berghof Foundation for Peace Support: „[Es] wurde eine Methode für die Evaluierung entwickelt, die auf systemischem Denken und systemischen Konzepten basiert, da diese gut mit Grundkomponenten afrikanischer Kultur harmonieren und zudem auch einen wesentlichen Bestandteil des konzeptionellen Ansatzes von Sinani darstellen. Die Evaluierung versteht sich als ein zyklischer und organischer Prozess von Aktion und Reflektion, in dem gemeinsames Lernen im Vordergrund steht. Ein Hauptziel dieser Methode ist es, die Kapazität von Sinani zu fördern, selbst die eigenen Stärken und Schwächen zu identifizieren und zu verstehen und Ideen für die weitere Entwicklung zu generieren“ (Körppen et al 2008: V).

Den oben genannten Herausforderungen stehen verschiedene etablierte, teilweise spezifisch für die Konflikttransformation entwickelte Verfahren zur Evaluation und Wirkungsanalyse gegenüber. Einige davon – mit jeweils unterschiedlichen Zielen – werden im Folgenden beispielhaft vorgestellt.

Do No Harm

Das inzwischen weit verbreitete Verfahren »Do No Harm« (DNH) soll dazu dienen, die negativen Wirkungen von Interventionen auf gewaltträchtige Konflikte zu minimieren: Jede Intervention in einem Konfliktkontext wirkt sich auf den Konflikt selbst aus, sie wird Teil des Konflikt-Kontextes. Diese Wirkungen sind oft ungeplant und unbedacht. Mit Hilfe des Verfahrens werden beispielsweise die Auswirkungen von Ressourcentransfers oder der impliziten ethischen Botschaften der Intervention analysiert. Sowohl die Wirkungen auf die »dividing factors« und die »sources of tension« in einem Konflikt als auch die »connecting factors« und die »local capacities of peace« werden untersucht. Durch die Eröffnung von Handlungsoptionen sollen negative Wirkungen minimiert und positive verstärkt werden. Maßgeblich für die Identifizierung von Wirkungszusammenhängen ist dabei die subjektive Einschätzung der Akteure.

Peace and Conflict Assessment

»Peace and Conflict Assessment« (PCA) ist ein Verfahren, das den Anspruch erhebt, einen umfassenden Rahmen zur Planung und Evaluation von Interventionen in Konfliktgebieten zu liefern. Die Wirkungsanalyse ist ein Anwendungsgebiet des Verfahrens. Im Vordergrund stehen Wirkungen auf den gesellschaftlichen Meso- und Makroebenen. Prinzipiell sollen alle relevanten Wirkungen erfasst werden: geplante und ungeplante, direkte und indirekte. PCA setzt sowohl auf (mehr oder weniger) objektive Monitoringdaten als auf subjektive Einschätzungen derjenigen Akteure, die an dem Verfahren beteiligt sind (partizipative Wirkungsbeobachtung). Das Verfahren ist in sich geschlossen, ermöglicht aber die Integration anderer Elemente, z.B. von »Do No Harm«. Idealerweise sollte PCA in den Projektzyklus integriert werden. Aufgrund seines Umfangs ist es für kleinere Interventionen weniger geeignet.

Reflecting on Peace Practice

Seit 1999 arbeiten über 100 internationale und lokale Friedensorganisationen und -initiativen im Projekt »Reflecting on Peace Practice« (RPP) zusammen. Die darin erarbeiteten Effektivitätskriterien sollen Wirksamkeit auf der Makroebene (Peace Writ Large) belegen. RPP liefert weitere Erkenntnisse, die für die Untersuchung von ZKB wichtig sind: Prinzipien zu Partnerschaften zwischen Insidern und Outsidern, zur Verortung von Interventionen und speziell zu Dialogen und Trainings als besonders weit verbreitete Methoden. Die fünf Kriterien zur Analyse der Wirkungen auf »Peace Writ Large« sind folgende: Das erste Kriterium: Leistet das Projekt einen Beitrag, um Schlüsselfaktoren des Konflikts zu stoppen? Es bezieht sich auf Menschen, Themen oder Dynamiken, die als »key contributors« des Konflikts identifiziert wurden. Das zweite Kriterium: Werden lokale Akteure in eigenen Friedensinitiativen aufgrund einer ZKB-Intervention selbst tätig? Es bezieht sich also auf die Erweiterung von Handlungsmöglichkeiten von Menschen in Konflikten. Das dritte Kriterium: Kommt es zu institutionellen Reformen? Gemeint sind Institutionen auf allen gesellschaftlichen Ebenen, die Einfluss auf diejenigen Ungerechtigkeiten und Missstände haben, die den Konflikt verursacht haben oder anheizen. Das vierte Kriterium, Widerstand gegen Provokationen, bezieht sich auf Akteure, die dazu ermächtigt werden sollen, Manipulationen und Provokationen besser zu widerstehen. Hierbei geht es sowohl um verbesserte Analysefähigkeiten und neue Handlungsoptionen als auch um veränderte Wertemuster und Einstellungen. Das fünfte Kriterium ist eine verbesserte Sicherheitslage: Wenn Bedrohungen stärker wahrgenommen werden als »objektiv« gerechtfertigt, dann ist bereits eine subjektiv empfundene verbesserte Sicherheitslage ein Erfolg; ist die Bedrohung real, so muss sich die Sicherheitslage auch objektiv verbessern. Die Kriterien des Verfahrens sind additiv zu verstehen, d.h. umso mehr davon erfüllt werden, umso höher die Wirksamkeit der Intervention.

Evaluationskultur

Eine Evaluation, die mit klaren Zielen, einem schlüssigen Konzept und nach den anerkannten Qualitätsstandards durchgeführt und entsprechend genutzt wird, kann sehr nützlich für alle Beteiligten sein. Eine Evaluation, die dem Gegenstand und der Fragestellung nicht angemessen ist, kann jedoch mehr Schaden als Nutzen stiften. Unrealistische Ansprüche an Wirkungsnachweise sollten selbstbewusst zurückgewiesen und nicht durch »zurechtgebogene« Evaluationen scheinbar erfüllt werden.

In vielen Evaluationsberichten – und vermutlich auch in vielen Evaluationsprozessen – fehlt ein wichtiger Schritt: Es bleibt offen, wie die Verantwortlichen die Evaluationen zur Verbesserung ihrer Arbeit nutzen.² Um die Nützlichkeit von Evaluationen zu gewährleisten muss dieser Schritt von Anfang an eingeplant werden.

Da die meisten Evaluationen auch zum Lernen von Dritten dienen können und Evaluationen in der Friedensförderung noch wenig verbreitet sind, ist es besonders wünschenswert, dass Evaluationsberichte veröffentlicht werden.³ Nur dann ist gemeinsames Lernen möglich. Dazu gehört auch, dass bei allen Beteiligten, auch bei den Geldgebern, das Lernen aus Fehlern stärker gewürdigt wird, so dass nicht nur Berichte über besonders erfolgreiche Interventionen zugänglich gemacht werden.

Eine Evaluation der gesamten Friedensförderung in Kosovo im Jahr 2006 (CDA/CARE International Kosovo 2006) etwa hat untersucht, weshalb es bei den Unruhen im März 2004 in Kosovo in manchen Gebieten zu weniger Gewalt kam als in anderen. Diese Evaluation hat ergeben, dass die internationalen Bemühungen zum Zusammenbringen verfeindeter Gruppen nicht die erwünschten Wirkungen hatten. Einige Organisationen in Kosovo haben deshalb ihre Friedensarbeit in Kosovo verändert.

Literatur

Anderson, Mary B. (1999): Do No Harm: how aid can support peace – or war. Boulder/London: Lynne Rienner.

Anderson, Mary B./Olson, Lara (2003): Confronting war: critical lessons for peace practitioners (www.cdainc.com/cdawww/pdf/book/confrontingwar_Pdf1.pdf).

Calließ, Jörg (Hg.) (2006): Evaluation in der zivilen Konfliktbearbeitung, Rehburg-Loccum: Evangelische Akademie Loccum (www.konfliktbearbeitung.net/?info=docs&pres=detail&uid=686).

Caspari, Alexandra (2004): Evaluation der Nachhaltigkeit von Entwicklungszusammenarbeit, Wiesbaden: VS Verlag.

CDA/CARE International Kosovo (2006): What difference has peacebuilding made? A study of the effectiveness of peacebuilding in preventing violence: lessons learned from the March 2004 riots in Kosovo (www.careks.org/pub3.pdf).

DeGEval (2008): Standards für Evaluation (www.degeval.de/calimero/tools/proxy.php?id=19074).

DeGEval, Arbeitskreis Entwicklungspolitik (2009): Verfahren der Wirkungsanalyse – eine Landkarte für die entwicklungspolitische Praxis (www.degeval.de/index.php?class=Calimero_Webpage&id=9037).

GTZ (2007): Peace and Conflict Assessment (PCA): Ein methodischer Rahmen zur konflikt- und friedensbezogenen Ausrichtung von EZ-Maßnahmen. Eschborn (www2.gtz.de/dokumente/bib/07-1526.pdf).

Körppen, Daniela/Mkhize, Nhlanhla/Schell-Faucon, Stephanie (2008): Evaluation Report: Peace Building Programme of Sinani (www.berghof-peacesupport.org/publications/sinani_final_report.pdf).

KwaZulu-Natal Programme for Survivors of Violence

OECD DAC (2008): Guidance on evaluating conflict prevention and peacebuilding activities: working draft for application period (www.oecd.org/secure/pdfDocument/0,2834,en_21571361_34047972_39774574_1_1_1_1,00.pdf).

Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E. (2004): Evaluation – a systematic approach, Thousand Oaks, Canada: Sage.

Quack, Martin (2009): Ziviler Friedensdienst: Exemplarische Wirkungsanalysen. Wiesbaden: VS Verlag.

Zupan, Natascha (2005): Methoden der Evaluation im Konfliktkontext (FriEnt Briefing Nr. 3/2005) (www.frient.de/materialien/detaildoc.asp?id=1).

Anmerkungen

¹⁾ Vor allem in der staatlichen Entwicklungszusammenarbeit spielen die Evaluationskriterien des Entwicklungshilfeausschusses der OECD (DAC) eine wichtige Rolle: Relevanz, Effektivität, Wirkung (impact), Nachhaltigkeit und Effizienz (OECD DAC 2008: 39-45).

²⁾ In einigen Organisationen ist inzwischen die „management response“ integraler Teil des Evaluationsberichts, s. z.B. UNDP http://erc.undp.org/evaluationadmin/manageresponse/view.html?evaluationid=2314 (14.4.2010).

³⁾ Im Rahmen der Arbeit des Berghof Forschungszentrums wurden mehrere Evaluationsberichte veröffentlicht: www.berghof-peacesupport.org/publications/sinani_final_report.pdf www.nenasilje.org/publikacije/evaluation_e. html Auch von staatlichen Akteuren und Geldgebern gibt es eine Reihe von Berichten: www.bmz.de/de/service/infothek/evaluierung/index.html www.ifa.de/foerderprogramme/zivik/projektmonitoring-und-evaluation/projektevaluation

Dr. Martin Quack ist Politikwissenschaftler mit dem Schwerpunkt Friedens- und Konfliktforschung. Er hat die Wirkungen von Interventionen des Zivilen Friedensdienstes in Serbien, Kosovo und Palästina & Israel untersucht. Seit 2008 arbeitet er für das Forum Ziviler Friedensdienst in Kosovo.