Wort

Evaluation {Substantiv, feminin}

Bedeutung

das Evaluieren, sach- und fachgerechte Bewertung

Evaluationen sind essenzieller Bestandteil der Qualitätssicherung an Hochschulen, anderen öffentlichen Einrichtungen und Unternehmen. Bei der Konzeption, Ausgestaltung, Durchführung und Auswertung von Evaluationen steht Ihnen Konvena als Partnerin zur Seite. Damit können Sie sicherstellen, dass die in der Evaluation gestellten Fragen mit Außenperspektive und aktuellem Know-how zuverlässig beantwortet werden.

Wir arbeiten nach den Standards der Deutschen Gesellschaft für Evaluation (DeGEval-Standards).

Quelle: Duden Online; www.duden.de, abgerufen am 15.05.2018 (Begriffsdefinition).
Autorinnen: Nadine Meidert & Kerstin Nebel

Was kann evaluiert werden?

Die Bandbreite der potenziell evaluierbaren Gegenstände ist sehr groß. Am häufigsten werden Policies, Programme, Projekte und Einzelmaßnahmen evaluiert. Darüber hinaus sind aber auch Reformen, Politiken, Gesetze, Prozesse, Personen(-gruppen) und Organisationen Objekte von Evaluationen. Diese Gegenstände sind nicht immer ganz trennscharf und gehen in der Praxis oft ineinander über. Die am häufigsten evaluierten Gegenstände werden im Folgenden kurz vorgestellt.

Beispiel: Objekte von Evaluationen (eigene Darstellung)

Policy: Eine Policy ist ein spezifisches Themen- oder Problemfeld, in dem eine in die Zukunft gerichtete Vision formuliert ist. Sie hat daher eine Langzeitperspektive. Zur Verwirklichung dieser Vision wird eine in sich geschlossene Handlungsstrategie definiert. Diese Handlungsstrategie ist mehr oder weniger konkret. Sie enthält in jedem Fall Zielformulierungen. Manchmal bleibt es bei diesen Formulierungen, mitunter werden aber auch konkrete Handlungsschritte zur Erreichung dieser Ziele formuliert. Diese Handlungsschritte werden in der Regel mittels aufeinander abgestimmter Programme, Projekte und Einzelmaßnahmen umgesetzt. Beispiel: Bildungspolitik

Programm: Ein Programm besteht aus einer Reihe von aufeinander bezogenen Projekten. Es ist daher ein komplexes Handlungsmodell, das eine Zielformulierung enthält und auf eine oder mehrere definierte Adressatengruppe(n) gerichtet ist. Zur Erreichung der Ziele werden finanzielle, personelle und sonstige Ressourcen bereitgestellt. Ein Programm ist zudem meist zeitlich befristet, was folglich auch auf die darunterfallenden Projekte und Einzelmaßnahmen zutrifft. Beispiel: lebenslanges Lernen

Projekt: Ein Projekt ist ein Bündel von aufeinander abgestimmten Einzelmaßnahmen. Es ist wesentlich konkreter und hat eine klarere Zielformulierung als ein Programm oder die Policy. Beispiel: Erwachsenenbildung an einer Universität X.

Einzelmaßnahme: Eine Einzelmaßnahme stellt die kleinste Aktionseinheit innerhalb einer Policy dar. Es handelt sich hierbei um ein Produkt oder eine Dienstleistung. Beispiel: Studium Generale an der Universität X; Seniorenuniversität an der Universität X.

Eine Evaluation kann eine gesamte Policy mit allen darin enthaltenen Projekten, Programmen und Einzelmaßnahmen umfassen. Sie kann sich aber auch auf einzelne Teile der Policy beschränken, z. B. die Einzelmaßnahmen.

Quelle:
Stockmann, Reinhard und Meyer, Wolfgang (2014): Evaluation. Eine Einführung. Opladen: UTB, S. 75 – 77.

Autorinnen: Nadine Meidert & Kerstin Nebel

Welche Formen von Evaluationen gibt es?

In der Literatur werden unterschiedliche Typen von Evaluationen verwendet. Nachfolgend wird eine Evaluationstypologie vorgestellt, welche die Evaluationen nach dem jeweiligen Ziel unterscheidet.

Proaktive Evaluation: Bevor ein Programm oder Projekt erarbeitet wird, kann eine proaktive Evaluation hilfreiche Informationen über den Bedarf, die Ausmaße und die Zielgruppe, an die das Programm gerichtet werden soll, liefern. Dafür können Vergleichsstudien, Erhebungen oder „need assesments“ durchgeführt werden. Eine fundierte Recherche und Analyse bisheriger Programme und Projekte ist in der proaktiven Evaluation essenziell.

Klärende Evaluation: Wurden Ziele und Ablauf eines Programms formuliert, kann es im Hinblick auf seine Stimmigkeit und Klarheit evaluiert werden. In enger Zusammenarbeit mit den Programmverantwortlichen wird geklärt, ob das Programm geeignet ist, die gewünschten Ziele zu erreichen und ob Verbesserungen vorgenommen werden müssen, um das maximale Potenzial des Programms zu erreichen.

Interaktive Evaluation: Während der Umsetzung des Programms oder Projekts kann eine Evaluation Zwischenergebnisse liefern, um den Programmverlauf zu optimieren und Fehlentwicklungen vorzubeugen. Die Abstimmung mit den Programmverantwortlichen garantiert dabei, dass im Hinblick auf die Ziele des Programms sinnvolle Entscheidungen getroffen werden können.

Dokumentierende Evaluation: Ist ein Programm angelaufen, kann es notwendig sein, dessen Erfolg ständig zu dokumentieren. Dies geschieht meist mithilfe quantitativer Performanzindikatoren oder Kennzahlen, die über die gesamte Programmlaufzeit erhoben werden können. Eine kontinuierliche Auswertung dieser Daten ermöglicht es ggf. Fehlentwicklungen zeitnah zu erkennen und zu beheben.

Wirkungsfestellende Evaluation: Um die Effekte eines Programms zu untersuchen, ist eine Evaluation nach dessen Abschluss sinnvoll. Erste Ergebnisse können jedoch auch von einem laufenden Programm abgeleitet werden. Untersucht wird, in welchem Maße die formulierten Ziele erreicht werden konnten, wie performant das Programm war und welche Folgen – beabsichtigt oder nicht – es hatte. Ziel ist es, die tatsächlichen Auswirkungen der Maßnahmen zu erkennen und nachweisen zu können.

Quelle: Owen, John M. (2006): Program Evaluation. Forms and Approaches. Crows Nest: Allen and Unwin.

Autorinnen: Nadine Meidert & Kerstin Nebel

Wie läuft eine Evaluation ab?

Eine Evaluation unterteilt sich in drei Phasen:

In der ersten Phase wird das  Evaluationsproblem definiert. In dieser Zeit gibt es eine enge Abstimmung zwischen Konvena und dem Klienten. Es wird gemeinsam genau festgelegt, was evaluiert werden soll, welchen Zweck und welche Ziele die Evaluation verfolgt und welche Ressourcen hierfür zur Verfügung stehen. Auf dieser Basis wird ein individuell an die Rahmenbedingungen angepasster Evaluationsplan entwickelt.

Die zweite Phase umfasst die  Datenerhebung und  -auswertung. Anhand des Evaluationsplans werden Informationen und Daten passgenau gesammelt und ausgewertet. Hierbei kommen die für den Einsatzzweck am besten geeigneten Methoden und Instrumente zum Einsatz.

In der dritten Phase werde die  Ergebnisse und die daraus abgeleiteten Empfehlungen präsentiert. Auch hier kann je nach Evaluationsgegenstand und Ziel der Evaluation auf einen umfangreichen Pool von Präsentationsformen zurückgegriffen werden. Eine Zusammenfassung der Ergebnisse und Bewertungen kann in einem klassischen Bericht, einer Präsentation oder einem Abschlussworkshop erfolgen.

Quelle: Owen, John M. (2006): Program Evaluation. Forms and Approaches. Crows Nest: Allen and Unwin, S. 63-104.
Autorinnen: Nadine Meidert & Kerstin Nebel

Referenzprojekt

Die  Katholischen Altstadtpfarreien Konstanz beauftragten Konvena mit einer Evaluation ihrer Gottesdienste und ihrer vielfältigen Angebote für Gemeindemitglieder. Konvena konzipierte die Fragebögen in enger Zusammenarbeit mit einer Arbeitsgruppe des Pfarrgemeinderats. Anschließend führte Konvena eine Mitgliederbefragung (postalisch und online) und eine Gottesdienstbefragung (Papierbefragung) durch. Es wurde ein ausführlicher Bericht erstellt. Den Abschluss bildete eine Ausstellung der Befragungsergebnisse sowie ein Kurzworkshop mit interessierten Gemeindemitgliedern.