Learning Analytics

Learning Analytics im E‑Learning ist das Pendant zu Google Analytics im Web. Es werden Daten zur Nutzung und zum Verhalten gesammelt, die im Nachgang analysiert und ausgewertet werden müssen. Dies natürlich mit dem Ziel, am Lernangebot weitere Optimierungen vornehmen zu können, um ein bestmögliches Lernergebnis sicherzustellen. Die Arbeit mit Zahlen und Fakten (Learning Analytics) ist daher essentiell wichtig, um zum einen die bestmögliche Entwicklung eigener Mitarbeitender sicherzustellen und zum anderen, um Weiterbildungsangebote so effizient wie möglich zu gestalten. Erfahren Sie, welche Daten Sie unbedingt messen sollten, für welchen Zweck Sie diese sinnvoll einsetzen können und wie Sie über KPIs den Erfolg eines Weiterbildungsangebots sichtbar machen.

Als Learning Analytics wird die Interpretation verschiedenster Daten bezeichnet, die “produziert oder [...] erhoben werden, um Lernfortschritte zu messen, zukünftige Leistungen vorauszuberechnen und potenzielle Problembereiche aufzudecken” (Horizon Report 2012). Demnach wird mit dem Begriff Learning Analytics immer ein zweiteiliger Prozess beschrieben: 

1. Die Erhebung von Daten.
2. Die Analyse der Daten mit dem Ziel, aus ihnen einen Mehrwert für die Kompetenzentwicklung im Unternehmen zu ziehen. 

Möglich wird der Zugriff auf die Daten, da E‑Learning Softwares Lern- und Nutzungsverhalten transparent und damit messbar machen. Prozesse, die beim analogen Lernen sonst im Verborgenen stattfinden und nicht oder nur schwer messbar sind, werden an elektronischen Geräten en détail sichtbar - weit über offensichtliche Kennzahlen wie “Testergebnisse” oder “Abschluss des Kurses” hinaus. Entsprechend komplexer gestalten sich die Möglichkeiten der Auswertung: Learning Analytics erlauben nicht nur eine summative Ergebniskontrolle (wurde gelernt oder nicht), sondern darüber hinaus eine formative Evaluation, die es anhand verschiedenster Informationen ermöglicht, den Lernprozess permanent zu verbessern.

Ziel eines jeden bewusst initiierten Lernprozesses ist es, nachweisbar Wissen aufzubauen bzw. Verhalten zu ändern. Am Anfang steht die Entwicklung von Lernzielen, am Ende deren Überprüfung. Im unternehmerischen Kontext stellt sich die Frage nach dem Lernerfolg jedoch weniger idealisiert, sondern vielmehr unter ökonomischen Gesichtspunkten. Kurz: Lohnt sich die Investition in die Bildungsmaßnahme?

So können Daten mit individuellen Key Performance Indikatoren (KPIs) in Korrelation gesetzt werden, sodass am Ende des Analyseprozesses ein präziser ROI abgelesen werden kann. Darüber hinaus lassen sich zahlreiche weitere Datenpunkte in Abhängigkeit individueller Hypothesen erheben und evaluieren. 

Hilfreich ist es natürlich, während des Lern- und  Evaluierungsprozesses keine weiteren neuen Maßnahmen zu ergreifen, die sich ebenfalls auf die KPIs auswirken können. Andernfalls wäre es nicht mehr möglich, sicher zu identifizieren, worin die Ursache (für bspw. eine mögliche Zeitersparnis) liegt. Ergebnisse würden verfälscht und die Wirksamkeit von Bildungsmaßnahmen eventuell über- oder unterschätzt werden.

Tatsächlich verhält es sich so, dass die Frage nach dem ROI trotz ihrer wirtschaftlichen Bedeutsamkeit nur an der Oberfläche der Learning Analytics kratzt. Darüber hinaus vermögen Learning Analytics die Komplexität echter Kompetenzentwicklung zu betrachten – eine eigentlich obligatorische Aufgabe, die jedoch bei fortschreitender Digitalisierung und hybriden Arbeitsmodellen einer gleichermaßen digitalen Lösung bedarf.

Wenn wir von Kompetenzentwicklung sprechen, geht es nicht mehr nur darum, Wissen auf Vorrat zu sammeln, sondern eine höhere Lernzielstufe zu erreichen, die u.a. spezifische Problemlöse- oder Selbstlernkompetenz erfordert.

Während sich die Stufe 1 mit geringem Aufwand (nennen, wiederholen, testen) lehren und damit auch analysieren lässt, bedarf Stufe 2 eines wesentlich komplexeren Lernprozesses. Compliance Regeln müssen sicher im Wissensschatz der Lernenden verankert sein und darüber hinaus anhand konkreter Situationen vermittelt, diskutiert, reflektiert und theoretisch und/oder in Anwendung geprüft werden. 

Je höher dabei der Anspruch an das Lernergebnis und je freier und selbstgesteuerter der Lernprozess, desto schwieriger gestaltet sich die Lernerfolgskontrolle. Logisch: Während sich der Erfolg von Lernzielstufe 1 unseres Beispiels leicht durch summative Ergebniskontrolle ermitteln lässt (wurde gelernt oder nicht), bedarf es für die Bewertung von Stufe 2 weiterer Daten. Die Frage lautet demnach: Welche Informationen lassen sich erheben, um die Kompetenzentwicklung zu betrachten und den Lernerfolg stetig zu optimieren? 

Sind Ziele und Hypothesen des Lernszenarios definiert, lässt sich ableiten, welche Daten benötigt werden, um die vermuteten Zusammenhänge zu überprüfen. Doch wie lassen sich diese Daten erheben?

Besonders geeignet für die Erhebung von Lernaktivitätsdaten sind digitale Lerninhalte in den Formaten SCORM, xAPI und cmi5. Sämtliche Onlinekurse, die in diesen E‑Learning Standards erstellt werden, verfügen über die notwendigen technischen Voraussetzungen zur Messung und Speicherung von Lernaktivitäten innerhalb des Learning Management Systems.

Zusätzlich zu den digitalen Daten lassen sich auch analoge Parameter wie bspw. gelesene Kapitel in Büchern erfassen. Diese müssen für die ganzheitliche Auswertung lediglich digitalisiert und zusammen mit allen anderen relevanten Daten in einer zentralen Datenbank abgelegt werden. Idealerweise nutzt man hierfür einen sogenannten Learning Record Store, in dem sich Daten unterschiedlichster Quellen zentral speichern, verarbeiten und analysieren lassen. Beliebte Learning Record Stores (z.B. Learning Locker) bieten neben der Datenverarbeitung auch Möglichkeiten zur Evaluierung und Visualisierung der Daten in individuellen Reportings.

Wie die Erläuterungen zeigen, lassen sich mittels Learning Analytics Unmengen an Daten erheben. Die eigentliche Herausforderung steckt darin, die Daten sinnvoll auszuwerten und Rückschlüsse auf die Kompetenzentwicklung und den Lernerfolg zu ziehen. Grundlage hierfür ist die Kenntnis unternehmensinterner Aspekte, die die Qualität der eigenen Personalentwicklung bestimmen. Ähnlich der Definition von KPIs gilt es, Kriterien zu ermitteln, die eine Aussage über den Zustand eben jener Aspekte ermöglichen. Was in dieser Form recht theoretisch klingt, lässt sich anhand folgender drei Perspektiven besser verstehen:

Zentrales Interesse der Lernenden beim E‑Learning sind die Usability der Lernplattformen und die User Experience innerhalb der Lernangebote. Ziel ist demnach eine hohe Benutzerfreundlichkeit, bspw. durch

• die Speicherung des Lernfortschritts,
• die Darstellung des aktuellen Status’ von Trainings (neu, abgeschlossen, in progress) und
• die Darstellung von Lernergebnissen (erfolgreich abgeschlossen, Testergebnisse, Übersicht über Zertifikate, etc.)

Die Zufriedenheit der Lernenden, wirkt sich unmittelbar auf den Lernerfolg aus und kann mittels optimierter Usability gesteigert werden. Ablesen lässt sich die User Experience nicht direkt am Lernendenverhalten, jedoch durch eine Befragung direkt im Anschluss an den Lerninhalt.

Daten wie die Verweildauer, Seitenaufrufe und Versuche bei Tests geben Content Autor*innen und Instructional Designer*innen Aufschluss über die didaktische, ästhetische, funktionale und inhaltliche Qualität der Trainings und deren Elemente. So können Ergebnisse aus Tests, die sich bspw. auf ein bestimmtes Video beziehen, Aufschluss darüber geben, ob das Video die Informationen optimal vermittelt oder ob bestimmte Aspekte des Videos einer Optimierung bedürfen.

Aus unternehmerischer Sicht sind Weiterbildungen natürlich dann erfolgreich, wenn die individuellen Lernerfolge zur Umsatzsteigerung führen. Setzt man die Kosten für die Weiterbildung, die relevanten Daten und KPIs wie Lerndauer (Ausfallkosten) und Umsatzsteigerung ins Verhältnis, lässt sich daran der messbare Wert der Weiterbildung ermitteln.

Dabei dürfen jedoch nicht die Erfolge missachtet werden, die vielleicht nicht messbar finanzieller Natur sind, sondern zur Kompetenzentwicklung der Mitarbeitenden beitragen. Häufig werden dafür verschiedene Daten wie 

• Zugriffsgerät 
• Lernort
• vorhandenes Vorwissen
• Klickverhalten
• Abspieldauer von Videos u.ä.
   

erhoben, um individuelle Präferenzen bzw. vorhandene Kenntnisse festzustellen und zukünftige Lerninhalte daran auszurichten.

Auf diese Weise kann die individuelle Kompetenzentwicklung besonders effektiv gefördert und im Idealfall die Lernzeiten verkürzt werden. Somit helfen die Daten nicht nur, Kompetenzen zu entfalten, sondern gleichzeitig auch Personalkosten zur Ausfallzeiten zu verringern.