Outcome Mapping

Das International Development Research Centre (IRDC) stellt mit der Methode Outcome Mapping ein detailliert ausgearbeitetes Instrument für die Planung, das Monitoring und die Evaluation von Entwicklungs-/Veränderungsprojekten zur Verfügung. Der Fokus liegt dabei auf dem Outcome, verstanden als Veränderungen im Verhalten, den Beziehungen, den Tätigkeiten und Handlungen von Menschen, Gruppen und Organisationen. Die Haltung hinter der Methode ist von der Überzeugung geprägt, dass ein Projekt/Programm in einem sozialen Gefüge „lediglich“ einen Betrag zu Veränderungen leisten kann.

Die Methode des IRDC richtet den Fokus bei der Planung von Veränderungsprojekten/-programmen (im Spezifischen Entwicklungshilfeprojekte) und in weiter Folge beim Monitoring und der Evaluation über den Output (erreichte/umgesetzte Maßnahmen) hinaus auf das Outcome (erzielte Ergebnisse); zu welchen Änderungen im Handeln der vom Projekt/Programm direkt einbezogenen Menschen, Gruppen und Organisationen (Boundary Partners) konnte ein Beitrag geleistet werden. Der letztendlich angestrebte Impact (Entwicklungen/Veränderungen im Zielsystem – setting, Gesellschaft, …) kann nicht direkt erreicht, kontrolliert werden, er ist nur indirekt über die Beeinflussung der Handlungen der Partner möglich. Da die letztendliche Verantwortung für die Handlungsänderungen bei den betroffenen Menschen liegt, gibt es keine Garantie. Indem das Projekt/Programm auf das Empowerment und die Involvierung der PartnerInnen abzielt, wird mit zunehmendem Interventionsverlauf der Einfluss der Intervenierenden bei zunehmenden Einfluss der PartnerInnen geringer.

Mit „Mapping“ kommt zum Ausdruck, dass das Hinarbeiten auf Veränderung kein linearer Prozess, kein kausalen Wirkungsketten folgendes Vorgehen darstellt; vielmehr gibt es viele Wege, die angepasst an die Erfordernisse laufend gewählt werden.

Grundverständnis hinter Outcome Mapping:

• System-Verständnis, als Handelnder ist man Teil eines Netzes von Beziehungen.
• Veränderung erfolgt kontinuierlich, eventuell auf unterschiedlichen Ebenen und Richtungen, ist komplex, nicht linear, nicht kontrollierbar und vom Kontext abhängig.
• Bei sozialen Veränderungen und Innovationen heißt es lernbereit, wachsam zu bleiben, der zu absolvierende Weg ist genauso wichtig wie das angestrebte Ziel.
• Bei der Evaluation geht es nicht um Ursachen-Wirkungs-Zuschreibungen, sondern um die Bestimmung des Beitrages zu Veränderungen; denn Veränderung anderer ist beeinflussbar, aber nicht kontrollierbar.
• Im Mittelpunkt steht das permanente Lernen.

 

Outcome Mapping erfolgt auf drei Ebenen in zwölf Schritten. In Rahmen eines dreitägigen Workshops (das Design findet sich in einem verfügbaren Manuel) kann die Landkarte für das Projekt/Programm gezeichnet werden. Allerdings ist jeder der einzelnen Schritte für sich für jegliches soziales Veränderungsvorhaben von Nutzen.

Ebene 1: Bewusste Planung

Am Anfang steht die Festlegung, das Design des Rahmens für die Aktivitäten, der einen effektiven Beitrag zu den angestrebten Entwicklungen/Veränderungen leisten soll. Die Planungs-Ebene umfasst sieben Schritte.

Schritt 1: Formulierung der Vision

Die Vision gibt die übergeordneten Entwicklungs-/Veränderungsziele wieder, zu deren Erreichung das Projekt/Programm einen Beitrag leisten will. Es beschreibt die angestrebten ökonomischen, politischen, sozialen oder ökologischen Veränderungen, sowie die Handlungsänderungen bei den SchlüsselpartnerInnen des Projekts/Programms.

Die Vision beantwortet die Frage nach dem „Warum“ hinter dem Vorhaben.

Schritt 2: Festlegung der Mission

Die Mission umreißt wie das Projekt/Programm idealer Weise die Erreichung der Vision befördern will. Sie beschreibt mit wem und in welchen Feldern gearbeitet werden soll, liefert aber keine Auflistung der einzelnen Aktivitäten des Vorhabens.

Schritt 3: Bestimmung der Boundary Partners

Boundary Partners sind Personen, Gruppen oder Organisationen mit denen das Projekt-/Programmteam direkt zusammenarbeitet und in denen Chancen zur Beeinflussung für das Vorhaben gesehen werden.

Aus dem Verständnis einer Zusammenarbeit auf gegenseitigem Austausch wird von Partner gesprochen; da mittels dieser Partner über die Beziehungsgrenzen des Projekts/Progamms hinaus gewirkt werden kann, wird die Spezifizierung „Boundary“ hinzugefügt.  Eine wörtliche Übersetzung ins Deutsche erscheint schwierig, eine Möglichkeit wäre von Brücken PartnerInnen zu sprechen.

Die Boundary Partners sind somit mehr als Zielgruppe oder Projektpartner, sie helfen dem Vorhaben durch das Einbringen ihrer Sichtweisen und Erfahrungen und durch die Erweiterung dessen Wirkungsbereichs.

Hilfreich für die Auswahl

• IDRC bietet folgende Typologie: Institutionen die im Feld arbeiten (öffentlich finanziert); Forschungseinrichtungen; Akteure mit der Macht zu fördern, zu behindern oder zu beeinflussen; Nutznießer vom Vorhaben
• Fragen: Wer sind die wichtigsten Akteure, mit denen schon zusammengearbeitet wird? Wessen Handlungen haben maßgeblich Einfluss auf den Erfolg des Vorhabens? Bei welchen Handelnden lässt sich eine Veränderung erwirken um einen Beitrag zur Visionserreichung zu erzielen? Wer sind die wichtigsten Nutznießer? Wer kann das Projekt/Progamm am direktesten beeinflussen? Wer kann helfen oder behindern?
• Es ist nicht von mehr als vier bis fünf Arten von Boundary Partners auszugehen (wiewohl jeder Boundary Partner verschiedene Personen, Gruppen oder Organisationen einschließen kann).

Sofern es im zu bearbeitenden Feld Akteure gibt, mit denen beim Vorhaben zusammengearbeitet werden sollte, bei denen aber keine Notwendigkeit für Handlungsänderungen besteht, können diese als „Strategische Partner“ Eingang ins Projekt/Programm finden.

Schritt 4: Ermittlung der Outcome Challenge

Sobald die Boundary Partners identifiziert wurden, ist für jeden eine Outcome Challenge zu entwickeln und festzulegen. Outcome umfasst die Auswirkungen des Projekts/Programms vorort, mit dem Fokus auf den Handlungen und Beziehungen der AkteurInnen als dessen Ergebnisse. Die Outcome Challenge beschreibt wie sich das Verhalten, die Beziehungen, die Handlungen und Aktivitäten von Personen, Gruppen oder Institutionen ändern werden, wenn das Projekt/Progamm besonders erfolgreich ist.

Die Formulierung der Ergebnisherausforderung soll die angestrebten Handlungsänderungen betonen, soll idealistisch aber noch realistisch sein, eine Quantifizierung oder Terminierung ist nicht erforderlich.

Schritt 5: Entwicklung abgestufter Fortschrittsindikatoren

Für jede Outcome Challenge sind dem Projekt/Programm dienliche Fortschrittsindikatoren zuzuordnen. Sie sollen der Komplexität des Veränderungsfortschritts bei jedem Boundary Partner gerecht werden und Informationen für das Monitoring über die Erreichung der gewünschten Ergebnisse liefern.

Die Indikatoren sollen die Weiterentwicklungen abbilden:

• expect to see … Reaktive Beteiligungen der Boundary Partners, die einfach zu erreichen und zu Vorhabensbeginn zu erwarten sind. (Umfang: vier Indikatoren)
• like to see … Ergebnisse, die auf ein aktiveres Lernen oder Engagement hinweisen. (Umfang: acht Indikatoren)
• love to see … Handlungsveränderungen, die eine tiefgreifende Beeinflussung spiegeln. (Umfang: drei Indikatoren)

Die Fortschrittsindikatoren sollen die Meilensteine wiedergeben, die die Boundary Partner bei ihrem angestrebten zunehmenden Beitrag zur Visionserreichung durchlaufen. Dabei geht es um Veränderungen des Verhaltens, der Aktivitäten und/oder von Beziehungen. Die Indikatoren sollen ein logisches Bild der Komplexität des Veränderungsprozesses wiedergeben.

Schritt 6: Erstellen strategischer Karten

Zweck der Strategischen Karte ist die Herausarbeitung der jeweiligen Strategien zur Beitragsleistung für die Ergebniserreichung; für jede Outcome Challenge eine Strategische Landkarte. Dadurch sollen der gewählte Zugang und die beschränkten Beeinflussungsmöglichkeiten sichtbar, eventuelle Lücken oder Übererfüllungen für die Ergebniserreichung erkannt und die dem Vorgehen entsprechende Evaluationsart ableitbar werden.

Sechs Strategien werden unterschieden, drei die auf die Handelnden (Personen, Gruppen, Organisationen; „I“), drei die auf deren Umfeld („E“ für envirement) abzielen. Diese sind wiederum in drei Kategorien geteilt, auf direkte Ergebnisse (1), auf Überzeugung (2) oder auf Unterstützung (3) abzielend.

• I-1: Bewirken von direkten Effekten, Erzeugung von Output
  (Was wird getan um ein unmittelbares Output zu erzeugen?)
• I-2: Erwecken von neuen Denkweisen, Entwickeln neuer Fertigkeiten - ExpertInnen geleitet, auf einen Zweck ausgerichtet
  (Was wird für die Erweiterung der Fähigkeiten getan?)
• I-3: Aufbau von unterstützenden Netzwerken, Multiplikatoren, regelmäßige und nachhaltige Beteiligung, Stärkung der Selbstwirksamkeit
  (Wie wird nachhaltige Unterstützung, Anleitung und Mentoring für die Boundary Partners bereitgestellt?)
• E-1: Veränderungen im physischen oder normativen Umfeld; Anreize, Regelungen, Handlungsanleitungen
  (Was wird für Veränderungen in der physischen oder normativen Umwelt getan?)
• E-2: Verbreitung von Informationen, Botschaften an ein breites Publikum, Gestaltung einer überzeugungskräftigen Umgebung, verändern oder ergänzen von Mitteilungssystemen
  (Wie werden Medien oder Veranstaltungen zur Unterstützung des Vorhabens genutzt?)
• E-3: Netzwerkaufbau zwecks Lernen, Aktionen; Zusammenarbeit der Boundary Partners
  (Welche Netzwerke, Beziehungsgeflechte werden etabliert oder genutzt?)
  ---

Schritt 7: Ausformulierung der organisatorischen Praxis

Nachdem das Wesen des Vorhabens definiert wurde, gilt es das Vorgehen zur Erfüllung der Mission auszudifferenzieren, mit dem Ziel einer effektiven Arbeitsweise. Die organisatorische Praxis beschreibt eine gut umsetzende Organisation mit dem Potenzial über längere Zeit Veränderungsimpulse zu leisten. Der Blick auf die organisatorische Praxis sichert das permanente Reflektieren und Lernen bei der Umsetzung des Projekts/Programms und erweitert den Blick auf unbeabsichtigte Ergebnisse, da diese zumeist mit Bezug zum Umsetzungsvorgehen auftreten.

In diesem Schritt werden die Outcome Challenges noch einmal überprüft und die Vorgehensweisen für den bestmöglichen Beitrag zu den bei den Boundary Partners intendierten Veränderungen identifiziert.
Die Methode sieht acht Praktiken, wobei jede einen Weg darstellt, der dem Projekt/Programm relevant, innovativ, nachhaltig und mit dem Umfeld verbunden zu bleiben sichert.

1. Suchend nach neuen Ideen, Gelegenheiten und Ressourcen
2. Das Feedback von Schlüsselkräften (mehr als die Partner) einholend
3. Sich die Unterstützung der übergeordneten Stelle sichernd
4. Produkte, Leistungen, Systeme und Prozesse designend und laufend bewertend
5. Nachfragend bei den bereits Unterstützten um sicherzustellen, das Erreichtes noch aufrecht ist.
6. Gemachte Erfahrungen mit der Öffentlichkeit teilend
7. Experimentierend um innovativ zu bleiben
8. Reflektierend über Ausführung, Richtung und Ressourcenverteilung
   ---

Ebene 2: Monitoring der Ergebnisse und der Umsetzung

Auf dieser Ebene der Projekt-/Programmkonzeption wird ein Rahmen für das Monitoring des Fortschritts bei der Erreichung des angestrebten Outcomes geschaffen. Die ausgearbeiteten Instrumente sollen regelmäßig unverfälscht Daten über die geleistete Umsetzungsarbeit und Veränderungen bei den Boundary Partnern liefern. Es liegt dann am Projektteam diese Rückmeldungen zu interpretieren und eventuell Anpassungen vorzunehmen.

Outcome Mapping sieht drei parallel verlaufende Monitoring Prozesse, bzgl. der Entwicklung im Setting, bzgl. der verfolgten Strategien und der Umsetzungsaktivitäten und bzgl. der organisatorischen Praxis.

In Monitoring-Besprechungen sollen die jeweilig erhobenen Ergebnisse (festgehalten in den Journalen) besprochen, bewertet und das weitere Vorgehen festgelegt werden. Dabei sind folgende Fragen zu bearbeiten:

• Was wurde gut umgesetzt und was sollte beibehalten werden?
• Was war gerade noch in Ordnung oder schlecht und was sollte verbessert werden?
• Welche Praktiken oder Strategien müssen wir zusätzlich angehen? Was braucht es um unsere organisatorische Praxis zu verbessern?
• Welche Praktiken oder Strategien müssen wir einstellen (weil sie negative Ergebnisse verursachen, zu viel Aufwand erfordern bzw. Ressourcen binden)
• Wer ist verantwortlich? Wie ist der Zeitplan?
• Hat sich eine Frage ergeben, die einer vertiefenden Evaluation bedarf? Worum geht’s, wann, warum und wie?
  ---

Schritt 8: Festlegung der Monitoring Prioritäten

Ausgehend von Überlegungen über die Verwendung der beim Monitoring erhobenen Informationen wird der Umfang der laufenden Beobachtung eingrenzt. Die vorhandenen personellen und finanziellen Ressourcen sind mit zu bedenken.

Das Monitoring sollte leisten:

• Bereitstellung von Umsetzungsbewertungen für den laufenden Managementprozess zwecks dessen kontinuierlicher Verbesserung
• Erfüllung von Rechenschaftsverpflichtungen
• Lieferung von Informationen für die geplante Evaluation
• Bereitstellung von Informationen für Öffentlichkeitsarbeit und wissenschaftliche Begleitarbeit
• Kontinuierliches Lernen über spezielle Boundary Partner, Strategien und Praxis
• Lernunterstützung für die Boundary Partners

In einem Monitoring Plan wird zusammenfassend festgehalten, wer die Informationen, mit welchem Zweck, erforderlich zu welchem Zeitpunkt, von wem wie oft und auf welche Art erhoben, nutzt.

Schritt 9: Entwicklung des Outcome Journals

Für jeden als prioritär festgelegten Boundary Partner wird ein Journal angelegt. Es beinhaltet:

• Die abgestuften Fortschrittsindikatoren (Stufe 5)
• Die Einstufung des bei den jeweiligen Indikatoren sichtbaren Veränderungsstands (gering, mittel, hoch – inkl. Erläuterung der Grundlagen für die Einstufung)
• Ausführung durch wen die jeweilige Veränderung bewirkt wurde
• Beschreibung der wahrgenommenen Veränderung
• Erläuterung der für die Veränderung maßgeblichen Faktoren und AkteurInnen
• Belege für die dargestellte Veränderung
• Festgestellte unbeabsichtigte Veränderungen
• Ausführungen zu gemachten Erfahrungen, zu erforderlichen Programmanpassungen und zu erlebten Reaktionen
  ---

Schritt 10: Einrichten eines Strategy Journals

Für jede priorisierte Strategie (Stufe 6) wird ein Journal angelegt, das die für die Lern- und die Berichtserfordernisse benötigten Informationen sammelt. Diese umfassen:

• Beschreibung der umgesetzten Aktivitäten. Was wurde von wem, wann geleistet?
• Beurteilung deren Effektivität. Wie hat die Strategie die Veränderung bei (den) Boundary Partner(s) beeinflusst?
• Auflistung der Outputs
• Beschreibung der nächsten Programmschritte oder -adaptierungen
• Gemachte Erfahrungen
  ---

Schritt 11: Einrichten eines Performance Journal

Zur systematischen Unterstützung des Projekts/Programms im Bestreben nach größtmöglichem Beitrag und professioneller Umsetzung liefert das Performance Journal Informationen zu jeder der einzelnen, in Stufe 7 ausformulierten Praktiken.

Für jede der acht Praktiken werden Beispiele oder Indikatoren, die die umgesetzten Aktivitäten abbilden, und Belege dazu gesammelt. Zusätzlich sind gemachte Erfahrungen niederzuschreiben.

Ebene 3: Evaluationsplanung

Liefert das Monitoring umfassende Informationen über die Umsetzung, geht die Evaluation in die Tiefe. Dabei können Strategien, spezielle Aspekte oder Beziehungen studiert und bewertet werden. Auch bei der Evaluation sind infolge beschränkter Laufzeit und Ressourcen bzgl. der Untersuchungsbereiche Prioritäten zu setzen.

Schritt 12: Evaluationsplan

Der Evaluationsplan liefert eine kurze Beschreibung der Hauptelemente der Evaluation. Auf welche Fragestellung, welches Thema sich die Evaluation fokussiert, richtet sich nach den erforderlichen Beiträgen für das Lernen im Projekt/Programm, Rechenschaftsverpflichtungen und Informationsbedarfen von PartnerInnen im Projekt/Programm.

Der Plan umfasst für jedes zu bearbeitende Thema:

• Wer die Evaluation nutzen wird, wie und wann.
• Die Fragestellungen
• Informationsressourcen
• Evaluationsmethode
• Wer die Evaluation umsetzen wird.
• Zeitrahmen (Beginn, Ende)
• Kosten

---

Quellen

https://www.outcomemapping.ca/resource/start-here

https://impact.zewo.ch/de/wirkungsmessung/hilfsmittel/outcome_mapping

https://zoe-online.owlit.de/document.aspx?docid=ZOE0300684&authentication=none

Video mit Einführung von Sarah Earl, einer der EntwicklerInnen der Methode
https://www.outcomemapping.ca/resource/overview-of-outcome-mapping

Erstes von einer Reihe von Einführungsvideos von Simon Batchelor
https://www.youtube.com/watch?v=2ontXwMMBQI