www.scil-blog.ch

OPCO 2012 und Learning Analytics

Bildungscontrolling, Qualitätsmanagement 2 Responses »

Jun 052012

Im Rahmen des OpenCourse 2012: “Trends im E-Teaching – der Horizon Report unter der Lupe” begann gestern der Block zum Thema “Learning Analytics” und heute fand dazu eine erste Sitzung im virtuellen Klassenzimmer statt. Mehr als 100 Teilnehmende waren dabei und – das schon mal vorab gesagt – ich fand die Sitzung wirklich gut (Kompliment an Jochen Robes als Moderator und Martin Ebner als Referent)!

Worum geht es bei Learning Analytics und worum ging es in dieser Sitzung?

Learning Analytics geht unter anderem auf Educational Data Mining (EDM) zurück und ist – vereinfacht gesagt – die Analyse von Daten, die sich aus Lernaktivitäten ergeben: Welche Lernressourcen werden aufgerufen, welche nicht? Welche Aufträge werden mit welchem Erfolg bearbeitet? Was wird in Foren gelesen und kommentiert? Wer reagiert auf wen? Wann lässt Lernaktivität nach bzw. bricht ab? Analysieren kann man solche Daten auf der Ebene von einzelnen Lernenden, Kursen, Studienprogrammen, Hochschulen, Regionen, Nationalstaaten oder globalen Organisationen und Programmen. Zielsetzungen können sein das Herstellen von Transparenz zu Lernaktivitäten, die Identifikation von potenziellen Kurs- / Studienabbrechern oder auch die Identifikation von Ansatzpunkten zur Verbesserung von Lernprozessen und Lernerfolg. Informativ aus meiner Sicht dazu das Programm der diesjährigen Konferenz “Learning Analytics and Knowledge (LAK 2012)” und ein Dokument der Forschungsgruppe SOLAR.

Im Rahmen der OPCO-Sitzung heute hat Martin Ebner anhand eines Projekts, bei dem es um die Unterstützung von mathematisches Lernen auf der Stufe Grundschule / Primarschule / Volksschule geht, einige Gedanken zu Learning Analytics formuliert. Das war für mich, der ich das Thema bisher eher aus dem Hochschulkontext kenne, interessant zu hören – und auch, dass dieses Projekt ursprünglich gar nicht als Analytics-Projekt angelegt war.

Wie die Schulkinder mit dem im Rahmen des Projekts entwickelten digitalen 1×1-Trainer arbeiten, ist in einem kurzen Video zu sehen. Über einen Beobachtungszeitraum von 1.5 Monaten haben die 230 beteiligten Kinder in mehr als 750 Sitzungen über 28’000 Aufgaben gelöst. Bei der Arbeit mit diesen Datenmengen rückte dann das Thema Learning Analytics in den Vordergrund. Wie kann man sich einen Überblick darüber verschaffen, wie die Kinder selbständig mit dem 1×1-Trainer arbeiten, ob und wie gut sie vorankommen? Hierzu wurden verschiedene Auswertungsalgorythmen und Visualisierungen entwickelt. Dabei zeigte sich unter anderem, dass es im Hinblick auf den Lernfortschritt schon einen Unterschied macht, ob man darauf schaut, ob Kinder zufällig ausgewählte Aufgaben nur einmal oder zweimal in Folge richtig gelöst haben. Und es zeigen sich auch Verlaufskurven bezüglich korrekter Aufgabenlösung, die ein genaueres Hinschauen und gegebenenfalls auch Intervenieren durch die Lehrperson nahelegen.

Parallel zum Bericht von Martin Ebner wurde der Chat intensiv genutzt – aber dem konnte ich nicht wirklich folgen. In der anschliessenden Diskussion wurde unter anderem die Frage gestellt, welchen Arbeitsaufwand solche Analysen für Lehrpersonen mit sich bringen. Martin Ebner machte deutlich, dass dies bisher noch zu aufwändig und für Lehrpersonen nebenher kaum zu bewältigen ist. Hier muss sich also noch einiges tun. Auch die Frage, inwiefern sich diese Herangehensweise auf höhere Ausbildungsstufen und weniger standardisierbare Lernschritte übertragen lässt, wurde angerissen. Und schliesslich waren auch Fragen des Datenschutzes ein Thema. Martin Ebener selbst hatte in seinem Vortrag darauf verwiesen, dass bei der Fülle an Daten(spuren), die wir im Social Web hinterlassen, Anonymität nicht mehr gewährleistet werden kann und Personenprofiling prinzipiell möglich ist.

Die Vision, Lernprozesse durch die Analyse von grossen Mengen an Nutzerdaten besser verstehen und unterstützen zu können, ist formuliert und erste Werkzeuge sind verfügbar. Aber es ist wohl noch ein weiter Weg, bis dies im Alltag von Bildungsinstitutionen seinen Platz gefunden haben wird.

Sinnvolle Kennzahlen für Bildungsorganisationen

Bildungscontrolling, Qualitätsmanagement, Weiterbildung No Responses »

Mai 082012

Bildungsorganisationen, die sich nach ISO 9001 zertifizieren lassen wollen, müssen unter anderem eine Reihe von Kennzahlen für die von Ihnen im Qualitätshandbuch beschriebenen Prozesse (z.B. Führung, Bildung, Beratung & Dienstleistungen, Produktion im Versuchsbetrieb, etc.) definieren. Im Rahmen eines kleinen Projekts haben wir eine öffentliche Bildungsinstitution bei dieser Aufgabe unterstützt.

Mit der Definition solcher Kenngrössen sind verschiedene Herausforderungen verbunden. Zunächst einmal müssen sie für relevante Anspruchsgruppen (z.B. Aufsichtsbehörde, Verwaltungsrat / Geschäftsführung, Bereichsleitungen, etc.) aussagekräftig und steuerungsrelevant sein. Dann sollen sie aber auch mit vertretbarem Aufwand messbar sein. Und schliesslich ist es den Mitarbeitenden in Bildungsorganisationen wichtig, dass die verwendeten Kenngrössen einen Bezug zu Qualitätsansprüchen an die eigene Bildungsarbeit aufweisen.

Ein Beispiel mag dies erläutern. Für die Aufsichtsbehörde, der die öffentliche Bildungsorganisation zugeordnet ist, ist etwa das wirtschaftliche Ergebnis der Produktion im Versuchsbetrieb eine relevante Kenngrösse. Diese Kennzahl ist auch einfach zu ermitteln wenn der Versuchsbetrieb eine eigene Ergebnisrechnung vornimmt. Allerdings sagt diese Kennzahl wenig darüber aus, (1) welches Potenzial dieser Versuchsbetrieb für die Kompetenzentwicklung der Berufslernenden (Auszubildenden) sowie für die Teilnehmenden an Weiterbildungen aufweist und (2) wie gut dieses Potenzial genutzt wird. Eine Kenngrösse, die diesbezüglich schon Aussagekraft hat, ist die Anzahl der Stunden, die Berufslernende / Teilnehmende an Weiterbildungen insgesamt über das ganze Jahr mit Demonstrationen, eigenen Erprobungen und praktischen Arbeitsaufträgen im Versuchsbetrieb verbringen. Und noch weitergehend könnte man eine Kenngrösse ermitteln, die abbildet, wie häufig Lernerfolgskontrollen im Rahmen der Aus- und Weiterbildungsangebote Aufgaben enthalten, die einen deutlichen Bezug zu Demonstrationen, Erprobungen und Arbeitsaufträgen im Versuchsbetrieb aufweisen.

Damit wird deutlich, dass die Maxime “Messen, was einfach zu messen ist” im Bildungscontrolling nicht weit trägt. Vielmehr müssen sinnvolle Kenngrössen auch einen Bezug zu den Zielen einer Bildungsorganisation aufweisen – und diese Ziele beziehen sich auch auf Sachverhalte, die schwer messbar und quantifizierbar sind.

Die Umsetzung von Qualitätsentwicklung und Controlling in Bildungsorganisationen ist Gegenstand des scil Fokusseminars “Nachhaltige Optimierung: Qualitätsmanagement im Bildungsbereich“, das am 21. und 22. Juni 2012 in St.Gallen durchgeführt wird.

Neue Fallstudien zum ROI in der Personalentwicklung

Bildungscontrolling No Responses »

Apr 202012

Jack Phillips (ROI-Institute, http://www.roiinstitute.net/) hat schon
verschiedene Bände mit Fallstudien zur Bestimmung des Return on Invest im Bereich der Personalentwicklung veröffentlicht (z.B. Measuring HR in the public sector, 2002 und Proving the value of HR – ROI case studies, 2007). Kürzlich ist eine weitere solche Sammlung von Fallstudien zur Bestimmung des ROI von Personalentwicklung erschienen: Measuring ROI in learning & development, 2012). Der Band versammelt 15 Fallstudien aus verschiedenen Regionen (z.B. Australien, Brasilien, Indien, Südafrika und USA), Branchen (z.B. Finanzdienstleistungen, Luftverkehr, öffentliche Verwaltung und Telekommunikation) und Entwicklungsmassnahmen (für Mitarbeitende im Produktionsbereich, Techniker, Vertriebsmitarbeitende, Teamleitungen, und Führungskräfte). In einem dieser Beiträge analysiert Frank Schirmer, der zusammen mit Jack Phillips die deutsche Fassung des Buchs ROI in der Personalentwicklung veröffentlicht hat, eine umfangreiche globale Entwicklungsinitiative im Vertrieb eines grossen deutschen Chemie / Pharma-Unternehmens.

scil Intensivseminar Learning Value Management

Bildungscontrolling, Learning Value Management, Qualitätsmanagement, Weiterbildung No Responses »

Apr 022012

Unser scil-Intensivseminar “Vom Bildungscontrolling zum Learning Value Management” fand am Donnerstag, 29. März an der Universität St.Gallen statt. Ausgehend von unserem Rahmenmodell haben wir gemeinsam mit den Teilnehmenden im Verlauf von sieben Aufträgen die zentralen Schritte bei der Konzeption einer Learning Value Management-Initiative (z.B. konsequentere Ausrichtung des Portfolios auf strategische Themen; Einsatz von Lernwirkungskarten zur Verpflichtung der Beteiligten auf die definierten Massnahmenziele) bearbeitet. Insbesondere die Aspekte ‘Einbinden von Anspruchsgruppen’, ‘Zielklärung’ und ‘Evaluation’ waren für die Teilnehmenden wichtig.

scil Arbeitsbericht 23: Learning Value Management

Bildungscontrolling, Learning Value Management, Qualitätsmanagement No Responses »

Apr 012012

Unser scil-Arbeitsbericht 23 zum Thema ‘Learning Value Management’ ist erschienen.

Learning Value Management (LVM) ist die konsequent auf die Erwartungen relevanter Anspruchsgruppen ausgerichtete Bestimmung, Überprüfung und Optimierung des Wertbeitrags von Bildungsarbeit. LVM greift zentrale Anliegen der Arbeitsfelder Evaluation, Qualitätsmanagement und Bildungscontrolling auf, integriert aber auch neuere Entwicklungen und Erweiterungen. LVM zeichnet sich durch folgende Elemente aus:
1) systematische Einbindung relevanter Anspruchsgruppen;
2) erweiterte Sicht auf Kompetenzentwicklung unter Berücksichtigung informellen Lernens;
3) erweiterte Evaluation (Berücksichtigung u.a. der Rahmenbedingungen für Kompetenzentwicklung in Organisationen) und
4) systematische Kommunikation von Evaluationsergebnissen und Ableitung von Massnahmen.

Zum scil Arbeitsbericht…