Evaluation von eLearning Maßnahmen

Wie lassen sich eLearning Maßnahmen evaluieren?

Evaluation von eLearning, also die systematische Untersuchung des Nutzens oder des Wertes der eLearning Maßnahmen beschreibt das Bemühen um empirische Überprüfbarkeit einer Lernmaßnahme oder eines Lernprogramms anhand von konkreten Einzelfällen. Evaluation ist also praxisorientiert. Eine Evaluation sollte sowohl qualitativ als auch quantitativ erfolgen. Weiterhin ist der Zeitpunkt bzw. Zeitraum der Evaluationsmaßnahme relevant. Man unterscheidet zwischen einer sog. ex-ante angesetzten und einer ex-post angesetzten Evaluation. Eine „mitlaufende“ Evaluation wird Monitoring genannt. Schließlich ist die Methodik der Evaluation im Lerngeschäft wichtig.

Quantitative und qualitative Evaluation von eLearning Maßnahmen

 

• Eine quantitative Bewertung kann beispielsweise durch das Heranziehen wirtschaftlicher Messgrößen durchgeführt werden. Im Aus- und Weiterbildungsbereich wird hierbei beispielsweise der Return on Education (ROE) herangezogen, der sich an den Begriff des Return on Investment (ROI) anlehnt. Der Return on Education ist das Verhältnis des Gewinns zu den Investitionen in Ausbildungs- und Weiterbildungsmaßnahmen einschließlich der eLearning Maßnahmen. Ein solcher Vergleich hat zu berücksichtigen wo Kostenersparnisse, Kostenverschiebungen und Kostenerhöhungen auftreten. Es sind auch Kosten in Betracht zu ziehen, die dadurch entstehen, dass die elearning Maßnahmen nicht eingeführt werden und der Status Quo beibehalten wird.

 

• Bei der qualitativen Bewertung einer eLearning Maßnahme werden Faktoren, die nur schwer mess- oder quantifizierbar sind, herangezogen. Hierzu gehören Faktoren wie die Teilnehmerzufriedenheit, die Lernbereitschaft oder die individuell erzielten Lernerfolge.

 

Zeitpunkt und Zeitraum der Evaluation von eLearning Maßnahmen

 

• Ex ante (lat. „aus vorher“) bezeichnet die Beurteilung eines Zustandes aus früherer Sicht. Auf’s Lernen bezogen will man demnach den Wissenstand von Lernern vor einer Lernmaßnahme dokumentieren.

 

• Ex post (lat. „aus danach“) bezeichnet die Beurteilung eines Zustandes aus nachträglicher Sicht. Auf’s Lernen bezogen will man demnach den Wissenstand von Lernern nach einer Lernmaßnahme dokumentieren. Die Beurteilung ex post bildet den Gegensatz zur Beurteilung ex ante.

 

• Monitoring von Lernaktivitäten dient der systematischen Erfassung und Protokollierung des Lernprozesses mittels technischer Hilfsmittel (zum Beispiel Zwischentests) oder anderer Beobachtungssysteme. Dabei führt die wiederholte regelmäßige Durchführung zu Ergebnisvergleichen um Schlussfolgerungen ziehen zu können.

 

Methoden der Evaluation

 

• Antizipatorische oder prospektive Evaluation: Diese findet vor einer Schulungsmaßnahme statt (z.B. Einstufungstest).

 

• Formative Evaluation: Die formative oder prozessbegleitende Evaluation wird begleitend zu einer Maßnahme durchgeführt. Die Maßnahme wird in regelmäßigen Abständen untersucht und Zwischenresultate erhoben. Dies geschieht auch mit dem Ziel, die laufende Maßnahme anzupassen und zu optimieren. Diese neuen Maßnahmen können wiederum evaluiert werden. Zusätzlich besteht im Rahmen der formativen Evaluation die Möglichkeit subjektive Eindrücke von Betroffenen zu erhalten (ohne retrospektive Verzerrungen).

 

• Summative Evaluation: Als summative Evaluation wird eine ergebnisbewertende, d. h. nach dem Abschluss einer Maßnahme stattfindende, Evaluation bezeichnet. Dies ermöglicht, die Wirksamkeit einer Maßnahme zusammenfassend zu bewerten und kann sich auf Konzeption, Durchführung, Wirksamkeit und Effizienz beziehen.

Eine Anleitung zur systematischen Einstufung von Lernerfolgsevaluation ist bei  Donald Kirkpatrick und seinen „Four Levels of Learning Evaluation“ zu finden. Siehe auch: Wikipedia Donald Kirkpatrick Vor allem im Hinblick auf den wirtschaftlichen Erfolg des betrieblichen Lernens wurde eine weitere, 5. Stufe vorgeschlagen:“.. Several authors have suggested an addition of a fifth level of evaluation. JJ Phillips has argued for the addition of a Return on Investment (ROI) level, which is essentially about comparing the fourth level of the standard model to the overall costs of training. Roger Kaufman has argued that ROI is essentially a Level 4 type of evaluation because it is still internal to the organization and that a fifth level of evaluation should focus on the impact of the organization on external clients and society…” (gleiche Quellangabe). Mit Hilfe eines Lernmangementsystems (LMS) lassen sich hierfür Daten generieren.

Wie könnten nun die Evolutionsschritte konkret aussehen:

1. Ziele/ Kriterien definieren
2. Methoden festlegen
3. Erhebung durchführen/ Daten generieren
4. Interpretation der Ergebnisse
5. Maßnahmen entwickeln

 

Ziele und Kriterien bei der Evaluation von eLearning Maßnahmen könnten dabei sein:

• Nutzungshäufigkeit
• Persönlicher Aufwand
• Intensivere Auseinandersetzung mit den Lehrinhalten
• Informationsgrad
• Lernfortschrittsüberprüfung
• selbstständigeres Lernen
• Zeiteinteilung (Flexibilität)

 

Mögliche Methoden der Evaluation von eLearning Maßnahmen wären beispielsweise:

• Daten aus dem LMS
• schriftliche/ mündliche Befragung

Bei der Evaluation von eLearning Maßnahmen lassen sich in Bezug auf die Nachhaltigkeit folgende Beispiele/Dimensionen aufführen: der Mehrwert und der Wirkungsgrad eines eLearnings (pädagogische-didaktische Dimension), der Erstellungs- und Pflegeaufwand und die notwendigen zeitlichen und personellen Ressourcen (wirtschaftliche Dimension), die Lauffähigkeit und Stabilität des Lernangebotes (technische Dimension) und der Beitrag des Projekts zur Entwicklung einer neuen Lernkultur (sozio-kulturelle Dimension).