Beitrag zu “Learning Value Management” in “Personalentwicklung 2013″

 Evaluation, Qualitätsmanagement, Controlling, Wertbeitrag von Bildungsprogrammen  No Responses »
Nov 122012
 
Gravatar_ChristophMeier

Das zuvor unter dem Titel “Jahrbuch Personalentwicklung” jährlich von Karlheinz Schwuchow und Joachim Gutmann herausgegebene Werk heisst jetzt “Personalentwicklung 2013” und ist bei Haufe erschienen.

Die Themenbereiche in diesem Sammelband sind:

  1. Personalentwicklung: Trends und Zukunftsstrategien
    u.a. mit Beiträgen zum Thema ‘Business Partner’ und ‘Steering Partner’ sowie zu Fragen der Globalisierung
  2. Management der Personalentwicklung: Herausforderungen und Konzepte
    u.a. mit Beiträgen zu Führungskräften als Talentmanager und change management durch die PE
  3. Personalentwicklung: Zielgruppen, Methoden und Instrumente
    u.a. mit Beiträgen zu Personalentwicklung und Gesundheitsmanagement, lebenslangem Lernen und Bildungscontrolling.

 

In dem zuletzt genannten Bereich ist auch ein Beitrag von mir zu “Learning Value Management” erschienen.

Learning Value Management (LVM) bezeichnet eine konsequent auf die Erwartungen relevanter Anspruchsgruppen ausgerichtete Bestimmung und Überprüfung von Zielen und Wertbeitrag im Bereich der Bildungsarbeit. Die Bezeichnung „Learning Value Management“ verweist auf verschiedene Erweiterungen gegenüber etablierten Ansätzen für Bildungscontrolling:

  • Learning
    Es geht um mehr als klassische Schulungen und Trainings. Das informelle Lernen (am Arbeitsplatz oder anderswo) in seinen verschiedenen Spielarten ist eine wichtige Quelle von Wissen und Kompetenzen und darf nicht aussen vor bleiben.
  • Value
    Der Wert von Lernen und Kompetenzentwicklung wird nicht von den Personalentwicklern definiert, sondern von den Leistungsempfängern. Die Orientierung an den Anspruchsgruppen der Personalentwicklung steht folglich am Anfang (Auftragsklärung) und am Ende des Bildungsprozesses (Kommunikation von Ergebnissen und Ableitung von Massnahmen). Im Mittelpunkt steht der „Return on Expectations“.
  • Management
    Die verbreitete Wahrnehmung, dass Bildungsbereiche eine vergleichsweise geringe Geschäftsrelevanz aufweisen, wird auf eine verfehlte Ausrichtung von Bildungsorganisationen zurückgeführt. Die Maxime muss lauten: “lieber weniger und dafür konsequent auf Geschäftsnutzen ausgerichtete Bildungsarbeit”. Eine der wichtigsten Aufgaben der Bildungsverantwortlichen besteht somit darin, die Ausrichtung auf und die Verantwortung für die angestrebten Veränderungsziele (z. B. Leistungssteigerungen in der Folgen von Trainings) in der Organisation bzw. bei zentralen Partnern (Teilnehmenden, deren Vorgesetzten, Trainern und Leitungsebenen) zu verankern.

Dieser Beitrag ergänzt unseren aus dem Innovationskreis “Learning Value Management” hervorgegangenen scil-Arbeitsbericht zu ‘Learning Value Management’ und beschreibt zwei Beispiele für die Umsetzung: Anspruchsgruppen-orientierte Trainingserfolgsmessung bei einem Bildungsdienstleister in der Automobilindustrie und Learning Value Audit für IT- und Prozesstrainings.

Hier der Beitrag: Meier_LVM-WB-wertorientiert-steuern_2012

Weiterbildung verändert sich: und das Controlling?

 Evaluation, Qualitätsmanagement, Controlling, Informelle Lernformen  No Responses »
Nov 032012
 

Emmerich Stoffel, HR Swisscom und unser Partner im Innovationskreis (zusammen mit Roland Brunner der Swisscom) im Gespräch um die Herausforderungen in der Weiterbildung. Die internen Auseinandersetzungen mit den Controllern können sicherlich viele nachvollziehen. Diese “Grabenkämpfe” zeigen auf, wie schwierig es ist, Arbeiten&Lernen in der Praxis zusammen zu führen…

Auszug aus der NZZ vom 1. Nov. 2012:

“Grosses Augenmerk legt Stoffel auf die rund 3500 Beschäftigten, die in den Callcentern in ständigem Kontakt mit der Kundschaft stehen. Sie informieren die Kunden nicht nur über die zahlreichen Preisangebote des Telekomunternehmens, sondern sie müssen auch Kenntnisse über die technischen Details der Produktpalette haben. Und schliesslich spielen sie oft den Blitzableiter, wenn unzufriedene Kunden am Telefon ihren Frust loswerden wollen. Nach Angaben von Stoffel werden diese Servicekräfte jährlich an bis zu zehn Tagen weitergebildet; für den Rest der Swisscom-Beschäftigten dürfte der Durchschnittswert zwischen fünf und sechs Tagen liegen, rechnet Stoffel vor.

Der Telekomanbieter lässt sich das etwas kosten. Ohne den Betrag genau zu beziffern, gibt die Swisscom nach Stoffels Worten jährlich einen «zweistelligen Millionenbetrag» für die Weiterbildung aus. Allerdings dürften Stoffel und seine Personalabteilung sich des Öfteren mit den Controllern in die Haare kriegen. Denn oft sind die Massnahmen in der Kostenrechnung nicht eindeutig zurechenbar. Handelt es sich nun um eine Fortbildung, oder entstehen die Kosten im Zusammenhang mit einem laufenden Projekt?”

Informelles Lernen evaluieren – ASTD Webinar mit Saul Carliner

 Evaluation, Qualitätsmanagement, Controlling, Informelle Lernformen  No Responses »
Okt 012012
 
Gravatar_ChristophMeier

Am letzten Donnerstag hat Saul Carliner (Concordia University) im Rahmen eines ASTD-Webinars zum Thema “Evaluation informellen Lernens” berichtet. Ich hatte ja kürzlich in seinem Einführungsbuch “Informal Learning Basics” gelesen und war gespannt auf seinen Vortrag.

Carliner führte nach einer allgemeinen Einleitung in das Thema zunächst einige Fragen auf, die im Zusammenhang mit der Evaluation von informellem Lernen im Rahmen von Unternehmen und Organisationen relevant sind:

  • In welchen Formen findet informelles Lernen im Unternehmen / in der Organisation statt?
  • In welchem Umfang findet informelles Lernen statt?
  • Welche Ressourcen stehen für informelles Lernen zur Verfügung?
  • Wie zufrieden sind die Mitarbeitenden mit diesen Ressourcen?
  • Was genau lernen die Mitarbeitenden informell?
  • Wie wird informelles Lernen im Unternehmen / in der Organisation anerkannt und unterstützt?
  • Welchen Nutzen zieht das Unternehmen / die Organisation aus dem informellen Lernen der Mitarbeitenden?

Das etablierte 4-Ebenen-Modell von Kirpatrick kann aus verschiedenen Gründen keine Grundlage für die Evaluation von informellem Lernen:

  • Lernen ist nicht der Fokus der Aktivitäte und findet häufig unbewusst statt.
  • Es sind keine Lernziele definiert.
  • Es sind keine Transferziele definiert.
  • Informelles Lernen hat seinen Ausgangspunkt in der Regel in persönlichen Interessen, nicht in Geschäftszielen des Unternehmens / der Organisation

Carliner schlägt ein Rahmenmodell vor, das individuelles informelles Lernen und informelles Lernen in Gruppen und Teams unterscheidet. Für jeden Bereich schlägt er drei Kernfragen vor, zu denen er geeignete Verfahren und Instrumente aufführt (vgl. Tabelle).

 

 

 

 

Interessant fand ich beispielsweise den Vorschlag, mit einfachen Formularen zu ermitteln, was und wie informell gelernt wird – sowohl individuell als auch in Teams / Gruppen:

 

 

 

 

 

 

 

 

 

 

 

 

Natürlich müssen solche Übersichten auf den jeweiligen Kontext angepasst werden. Aber Carliner zeigt, dass es auch  jenseits von Learning Analytics Wege gibt, mit vertretbarem Aufwand wichtige Fragestellungen bei der Evaluation von informellem Lernen zu verfolgen.

Insgesamt war das aus meiner Sicht ein interessantes Webinar, das von Carliner / ASTD sehr interaktiv gestaltet wurde.

Lesetipp: Informal Learning Basics

 Evaluation, Qualitätsmanagement, Controlling, Informelle Lernformen  1 Response »
Aug 212012
 
Gravatar_ChristophMeier

Saul Carliner lehrt an der Concordia Universität Montreal, wo er unter anderem Lehrveranstaltungen über „Educational communication“, „Human Performance Technology“ und „Administration of Educational Technology Units“ durchführt. Ich war zum ersten Mal vor knapp drei Jahren auf Saul Carliner aufmerksam geworden, als ich nach Literatur zur Evaluation von informellem Lernen gesucht hatte und auf einen seiner Aufsätze über informelles Lernen in Museen gestossen war.

In der Reihe ASTD Training Basis Series hat Saul Carliner kürzlich ein Buch über informelles Lernen veröffentlicht: “Informal Learning Basics”. Das Buch wendet sich an Trainer und Personalentwickler, die mit dem Auftrag konfrontiert sind, die Potenziale informellen Lernens für ihre Organisation zu explorieren oder informelles Lernen in der eigenen Organisation zu fördern.

Im ersten Kapitel („What is informal learning?“) stellt Carliner verschiedene Definitionen von informellem Lernen gegenüber, er erläutert sein Verständnis eines Kontinuums zwischen formellem und informellem Lernen im Hinblick auf Aspekte wie „Kontrolle des Lernprozesses“ oder „expliziter Zielbezug“ und er verweist auf verschiedene Entwicklungstrends, die dazu geführt haben, dass informelles Lernen gegenwärtig ein Thema ist. Im zweiten Kapitel („How do people learn informally?“) verortet Carliner informelles Lernen anhand von neun Prinzipien (z.B. „Informal learning is but one piece of a larger learning puzzle”). Im dritten Kapitel (“How to use formal and informal learning in the workplace”) zeigt Carliner anhand von acht Entwicklungsstufen beruflicher Expertise („Orientierung zu den grundlegenden Aufgaben der Tätigkeit“ – „Ausweitung der Aufträge“ – „Weiterentwicklung von Wissen und Fertigkeiten“ – „Vorbereitung auf eine nächste Tätigkeit“) auf, welche Potenziale formale und informelle Lernaktivitäten jeweils für diese Entwicklungsstufen haben. Im vierten Kapitel („How can training and development professionals support informal learning?“) geht es darum, wie informelles Lernen sowohl auf der individuellen als auch auf der organisationalen Ebene unterstützt werden kann und welche Rollen Personalentwickler dabei einnehmen können: (1) Aufzeigen eines orientierenden Rahmenmodells für informelles Lernen in der Organisation und (2) Unterstützung einzelner Personen bei informellen Lernaktivitäten. Dabei zeigt Carliner auch auf, wie informelles Lernen über die Elemente „Coaching“ und „Managing organizational knowledge“ Eingang in das Kompetenzmodell der ASTD für Personalentwickler gefunden hat.

Gegenstand des fünften Kapitels („Group activities that promote informal learning“) sind verschiedene soziale Formen informellen Lernens (lunch and learn, team meetings, coaching, communities, etc.) und in welchen der oben schon angeführten acht Entwicklungsstufen diese Formen relevant sind. Das sechste Kapitel („Individual activities that promote informal learning“) fokussiert demgegenüber Lernaktivitäten von Einzelpersonen (developmental assignments, performance support, independent study, etc.). Auch hier erfolgt wieder die Einordnung in die acht Entwicklungsstufen beruflicher Expertise. Im siebten Kapitel („How to use technology to support informal learning“) behandelt Carliner verschiedene Typen von Technologien, mit denen informelles Lernen unterstützt werden kann: Endgeräte (PC, Tablet-PC, E-Book-Reader, etc.), Text und audiovisuelle Medien, Basisdienste wie Email, Diskussionsforen oder Datenbanken, Social Media und schliesslich Learning Management Systeme. Gegenstand des achten und letzten Kapitels ist schliesslich die Evaluation von informellem Lernen („How to evaluate informal learning?“). Ausgangspunkt für Carliner ist die Feststellung, dass das etablierte 4-Ebenen-Modell von Kirpatrick keine Grundlage für die Evaluation von informellem Lernen sein kann. Stattdessen schlägt er ein Rahmenmodell vor, dass das Lernen von Einzelpersonen und das Lernen von ganzen Beschäftigtengruppen auseinander hält. Entsprechend unterscheiden sich auch die Fragestellungen, die verfolgt werden. Im Hinblick auf Einzelpersonen geht es darum herauszufinden, (1) WAS sie gelernt haben (z.B. über Selbsteinschätzungen oder Interviews), (2) WIE sie gelernt haben und (3) OB bzw. IN WELCHER FORM Lernaktivitäten und erworbene Kompetenzen dokumentiert und zertifiziert wurden. Im Hinblick auf ganze Beschäftigtengruppen, dagegen, gilt es herauszufinden, (4) WELCHE RESSOURCEN (z.B. Webseiten, Kommunikationswerkzeuge, etc.) für informelles Lernen herangezogen wurden, (5) WIE ZUFRIEDEN die Nutzer mit diesen Ressourcen waren und (6) WELCHE AUSWIRKUNGEN die Nutzung dieser Ressourcen zeitigt (was genau Carliner unter „Auswirkungen“ versteht, bleibt leider unklar). Auch hier wieder schlägt Carliner eine Arbeitshilfe vor, mit der verschiedene Lernressourcen den schon mehrfach erwähnten acht Entwicklungsstufen beruflicher Expertise zugeordnet werden können.

Insgesamt erscheint mir das Buch eine brauchbare Einführung in das Themenfeld „informelles Lernen“. Dieses Themenfeld ist weit und die Tiefe, in der es abgehandelt werden kann, ist bei knapp 200 Textseiten notwendigerweise beschränkt. Aber das wird ja auch schon mit dem Titel „Informal Learning Basics“ angekündigt.

 

Carliner, Saul (2012). Informal Learning Basics. Alexandria, VA: ASTD Press.

Lesetipp: Measuring Leadership Development

 Evaluation, Qualitätsmanagement, Controlling, Wertbeitrag von Bildungsprogrammen  No Responses »
Aug 062012
 
Gravatar_ChristophMeier

Jack Phillips ist bekannt als Experte für das Thema ‚Return on investment‘ im Bereich Training und Personalentwicklung. Er ist Gründer des „ROI-Institute“ und sein erstes Buch, „Return on investment in training and performance improvement“, in dem er seine „ROI-Methodologie“ entwickelt, datiert von 1997. Gemeinsam mit Rebecca Ray, einer Expertin im Bereich Führungskräfteentwicklung, haben Jack Phillips und Patricia Pulliam Phillips kürzlich ein Buch zum Thema Erfolgsbestimmung in der Führungskräfteentwicklung veröffentlicht. Das Buch gliedert sich in zwei Teile: (1) Erfolgsmessung in der Führungskräfteentwicklung und (2) Fallstudien zur ROI-Bestimmung.

Im ersten Teil des Buches stellen die Autoren zunächst die aktuelle Bedeutung von und Erfolgsfaktoren für Führungskräfteentwicklung heraus. Sie betonen, dass Erfolgsmessungen bei Programmen zur Führungskräfteentwicklung nicht nur möglich sind, sondern dass die Mehrzahl der CEOs grosser Unternehmen an entsprechenden Resultaten interessiert ist. Allerdings zeigen die Ergebnisse einer Befragung der Autoren unter mehr als 350 Führungskräfte-Entwicklern aus 2011, dass ROI-Bestimmungen lediglich bei ca. 11% der Programme umgesetzt werden.

In der Folge stellen die Autoren dann das bereits aus anderen Publikationen (z.B. dem Buch „The value of learning“ von 2007) bekannte ROI Prozessmodell vor (vgl. Abbildung) und Entscheidungskriterien dazu, ob für ein konkretes Entwicklungsprogramm eine ROI-Analyse sinnvoll ist oder nicht.

 

 

 

Im Hinblick auf das Aufzeigen von ‚business impact‘ bei FK-Entwicklungsprogrammen plädieren die Autoren dafür, an Stelle von allgemeinen Kenngrössen (beispielsweise Umsatz pro Mitarbeiter, Stückkosten, Fehlerquote, Personalfluktuation oder Zufriedenheit mit dem Arbeitsplatz) spezifischere Kenngrössen aus den (in der Regel unterschiedlichen) Geschäftsbereichen der Teilnehmenden zu verwenden. Hierzu müssen die Teilnehmenden vorab zwei oder drei Kenngrössen definieren, auf die sie selbst Einfluss haben und die sie mit Hilfe der im Entwicklungsprogramm entwickelten Kompetenzen verbessern können. Dass dabei zahlreiche Erfolgskenngrössen zusammen kommen stellt kein Problem dar, denn die einzelnen Erfolgsmasse werden jeweils in monetäre Werte umgerechnet und können dann für die Gesamtbewertung des Programms zusammengezogen werden.

Auf ein Kapitel zur Fragen der Datenerhebung folgt ein Kapitel dazu, wie die Effekte von Entwicklungsprogrammen isoliert werden können. Hier werden die bereits bekannten Verfahren (Kontrollgruppen, Trendanalyse und Schätzungen – durch die Teilnehmenden selbst, deren Vorgesetzte oder externe Experten) aufgeführt. Allerdings bleibt offen, wie die zuerst genannten Verfahren bei funktionsübergreifenden Entwicklungsprogrammen (‚cross functional management training‘) konkret umgesetzt werden können. Die beiden Folgekapitel behandeln die Konversion der beobachteten Effekte in monetäre Werte sowie die Bestimmung der Kosten von Führungskräfteentwicklungsprogrammen und die Kalkulation des ROI. Zwei weitere Kapitel befassen sich mit der Bestimmung von nicht in Geldwerte konvertierbaren Auswirkungen von Programmen zur Führungskräfteentwicklung (‚intangible benefits‘ – Mitarbeiterzufriedenheit, Organisationsklima, Innovationsfähigkeit, Kundenzufriedenheit, etc.) und mit der Kommunikation von Ergebnissen. Prinzipiell, so die Autoren, können alle Effekte eines Entwicklungsprogramms in monetäre Werte konvertiert werden. Die Frage ist allerdings, (1) ob der dafür erforderliche Arbeitsaufwand vertretbar ist und (2) ob die Adressaten das Ergebnis akzeptieren werden. Können diese Fragen nicht mit „ja“ beantwortet werden, ist es sinnvoller, diese – bei Führungskräfteentwicklungsprogrammen häufig sehr wichtigen – Aspekte zwar systematisch zu beobachten und Ergebnisse zu berichten, nicht aber in einer ROI-Kalkulation zu berücksichtigen. Im Hinblick auf die Kommunikation der Ergebnisse stellen die Autoren heraus, dass diese sorgfältig geplant und zielgruppenspezifisch gestaltet sein muss und sie liefern einen Strukturvorschlag für einen Bericht zu einer ROI-Analyse. Im letzten Kapitel des ersten Buchteils weisen die Autoren auf typische Widerstände gegen die Umsetzung von ROI-Analysen und damit verbundene Veränderungen hin. Sie argumentieren für eine pragmatische Umsetzung und die Einbindung weiterer Beteiligtengruppen neben dem L&D-Bereich (z.B. Linienbereiche und Linienverantwortliche oder auch Controlling-Bereiche) in die Umsetzung.

Den zweiten Teil des Buchs bilden drei Fallstudien zur ROI-Bestimmung von Führungskräfteentwicklung, die in ähnlicher Form bereits in anderen Büchern der Autoren veröffentlicht waren. Gegenstand der ROI-Analysen sind:
(1) ein Coaching-Programm zur Verbesserung von Effizienz, Kundenzufriedenheit und Umsatz für Führungskräfte einer Hotelkette;
(2) ein viertägiges Trainingsprogramm (zuzüglich vorbereitendes Selbststudium) zur Verbesserung der Führungsfähigkeiten von unteren Führungskräften verschiedenster Funktionsbereiche eines international agierenden Autoverleihers; und
(3) ein aus sechs Modulen mit jeweils 4 Stunden Umfang bestehendes Programm zur Mitarbeiterführung, das innerhalb eines Monats umgesetzt wurde und an dem – in der untersuchten Pilotierungsphase – insgesamt 16 untere Führungskräfte in einer Produktionsstätte eines Anbieters von Telekommunikations- und Netzwerkausrüstung teilnahmen.
Die Kosten der drei analysierten Programme (inklusive extern durchgeführte Evaluation) liegen bei US$ 580‘000, US$ 160‘000 und 80‘000; der ermittelte ROI liegt bei 221%, 105% und 581%.

Insgesamt bietet das Buch wenig Neues gegenüber „The value of learning“ von 2007, ist aber konsequent auf die Diskussionen im Bereich der Führungskräfteentwicklung ausgerichtet. Die drei Fallstudien stellen eine gute Ergänzung zu den Ausführungen im ersten Teil des Buches dar und demonstrieren die jeweils fallspezifische Umsetzung der Methodologie.

——————————-

Phillips, J., Phillips, P., & Ray, R. (2012). Measuring Leadership Development: Quantify Your Program’s Impact and ROI on Organizational Performance. New York: McGraw-Hill.

Weitere Publikationen dieser Autoren:

Pulliam Phillips, P., & Phillips, J. J. (2007). The value of learning. How organisations capture value and ROI and translate it into support, improvement and funds. San Francisco: Pfeiffer.

Pulliam Phillips, P., & Phillips, J. J. (2007). Proving the value of HR. ROI case studies. Birmingham, AL: ROI Institute.

OPCO 2012 und Learning Analytics

 Evaluation, Qualitätsmanagement, Controlling  3 Responses »
Jun 052012
 
Gravatar_ChristophMeier

Im Rahmen des  OpenCourse 2012: “Trends im E-Teaching – der Horizon Report unter der Lupe” begann gestern der Block zum Thema “Learning Analytics”  und heute fand dazu eine erste Sitzung im virtuellen Klassenzimmer statt. Mehr als 100 Teilnehmende waren dabei und – das schon mal vorab gesagt – ich fand die Sitzung wirklich gut (Kompliment an Jochen Robes als Moderator und Martin Ebner als Referent)!

 

 

 

 

 

 

Worum geht es bei Learning Analytics und worum ging es in dieser Sitzung?

Learning Analytics geht unter anderem auf Educational Data Mining (EDM) zurück und ist – vereinfacht gesagt – die Analyse von Daten, die sich aus Lernaktivitäten ergeben: Welche Lernressourcen werden aufgerufen, welche nicht? Welche Aufträge werden mit welchem Erfolg bearbeitet? Was wird in Foren gelesen und kommentiert? Wer reagiert auf wen? Wann lässt Lernaktivität nach bzw. bricht ab? Analysieren kann man solche Daten auf der Ebene von einzelnen Lernenden, Kursen, Studienprogrammen, Hochschulen, Regionen, Nationalstaaten oder globalen Organisationen und Programmen. Zielsetzungen können sein das Herstellen von Transparenz zu Lernaktivitäten, die Identifikation von potenziellen Kurs- / Studienabbrechern oder auch die Identifikation von Ansatzpunkten zur Verbesserung von Lernprozessen und Lernerfolg. Informativ aus meiner Sicht dazu das Programm der diesjährigen Konferenz “Learning Analytics and Knowledge (LAK 2012)” und ein Dokument der Forschungsgruppe SOLAR.

Im Rahmen der OPCO-Sitzung heute hat Martin Ebner anhand eines Projekts, bei dem es um die Unterstützung von mathematisches Lernen auf der Stufe Grundschule / Primarschule / Volksschule geht, einige Gedanken zu Learning Analytics formuliert. Das war für mich, der ich das Thema bisher eher aus dem Hochschulkontext kenne, interessant zu hören – und auch, dass dieses Projekt ursprünglich gar nicht als Analytics-Projekt angelegt war.

Wie die Schulkinder mit dem im Rahmen des Projekts entwickelten digitalen 1×1-Trainer arbeiten, ist in einem kurzen Video zu sehen. Über einen Beobachtungszeitraum von 1.5 Monaten haben die 230 beteiligten Kinder in mehr als 750 Sitzungen über 28’000 Aufgaben gelöst. Bei der Arbeit mit diesen Datenmengen rückte dann das Thema Learning Analytics in den Vordergrund. Wie kann man sich einen Überblick darüber verschaffen, wie die Kinder selbständig mit dem 1×1-Trainer arbeiten, ob und wie gut sie vorankommen? Hierzu wurden verschiedene Auswertungsalgorythmen und Visualisierungen entwickelt. Dabei zeigte sich unter anderem, dass es im Hinblick auf den Lernfortschritt schon einen Unterschied macht, ob man darauf schaut, ob Kinder zufällig ausgewählte Aufgaben nur einmal oder zweimal in Folge richtig gelöst haben. Und es zeigen sich auch Verlaufskurven bezüglich korrekter Aufgabenlösung, die ein genaueres Hinschauen und gegebenenfalls auch Intervenieren durch die Lehrperson nahelegen.

 

 

 

Parallel zum Bericht von Martin Ebner wurde der Chat intensiv genutzt – aber dem konnte ich nicht wirklich folgen. In der anschliessenden Diskussion wurde unter anderem die Frage gestellt, welchen Arbeitsaufwand solche Analysen für Lehrpersonen mit sich bringen. Martin Ebner machte deutlich, dass dies bisher noch zu aufwändig und für Lehrpersonen nebenher kaum zu bewältigen ist. Hier muss sich also noch einiges tun. Auch die Frage, inwiefern sich diese Herangehensweise auf höhere Ausbildungsstufen und weniger standardisierbare Lernschritte übertragen lässt, wurde angerissen. Und schliesslich waren auch Fragen des Datenschutzes ein Thema. Martin Ebener selbst hatte in seinem Vortrag darauf verwiesen, dass bei der Fülle an Daten(spuren), die wir im Social Web hinterlassen, Anonymität nicht mehr gewährleistet werden kann und Personenprofiling prinzipiell möglich ist.

Die Vision, Lernprozesse durch die Analyse von grossen Mengen an Nutzerdaten besser verstehen und unterstützen zu können, ist formuliert und erste Werkzeuge sind verfügbar. Aber es ist wohl noch ein weiter Weg, bis dies im Alltag von Bildungsinstitutionen seinen Platz gefunden haben wird.

Sinnvolle Kennzahlen für Bildungsorganisationen

 Evaluation, Qualitätsmanagement, Controlling  No Responses »
Mai 082012
 
Gravatar_ChristophMeier

Bildungsorganisationen, die sich nach ISO 9001 zertifizieren lassen wollen, müssen unter anderem eine Reihe von Kennzahlen für die von Ihnen im Qualitätshandbuch beschriebenen Prozesse (z.B. Führung, Bildung, Beratung & Dienstleistungen, Produktion im Versuchsbetrieb, etc.) definieren. Im Rahmen eines kleinen Projekts haben wir eine öffentliche Bildungsinstitution bei dieser Aufgabe unterstützt.

Mit der Definition solcher Kenngrössen sind verschiedene Herausforderungen verbunden. Zunächst einmal müssen sie für relevante Anspruchsgruppen (z.B. Aufsichtsbehörde, Verwaltungsrat / Geschäftsführung, Bereichsleitungen, etc.) aussagekräftig und steuerungsrelevant sein. Dann sollen sie aber auch mit vertretbarem Aufwand messbar sein. Und schliesslich ist es den Mitarbeitenden in Bildungsorganisationen wichtig, dass die verwendeten Kenngrössen einen Bezug zu Qualitätsansprüchen an die eigene Bildungsarbeit aufweisen.

Ein Beispiel mag dies erläutern. Für die Aufsichtsbehörde, der die öffentliche Bildungsorganisation zugeordnet ist, ist etwa das wirtschaftliche Ergebnis der Produktion im Versuchsbetrieb eine relevante Kenngrösse. Diese Kennzahl ist auch einfach zu ermitteln wenn der Versuchsbetrieb eine eigene Ergebnisrechnung vornimmt. Allerdings sagt diese Kennzahl wenig darüber aus, (1) welches Potenzial dieser Versuchsbetrieb für die Kompetenzentwicklung der Berufslernenden (Auszubildenden) sowie für die Teilnehmenden an Weiterbildungen aufweist und (2) wie gut dieses Potenzial genutzt wird. Eine Kenngrösse, die diesbezüglich schon Aussagekraft hat, ist die Anzahl der Stunden, die Berufslernende / Teilnehmende an Weiterbildungen insgesamt über das ganze Jahr mit Demonstrationen, eigenen Erprobungen und praktischen Arbeitsaufträgen im Versuchsbetrieb verbringen. Und noch weitergehend könnte man eine Kenngrösse ermitteln, die abbildet, wie häufig Lernerfolgskontrollen im Rahmen der Aus- und Weiterbildungsangebote Aufgaben enthalten, die einen deutlichen Bezug zu Demonstrationen, Erprobungen und Arbeitsaufträgen im Versuchsbetrieb aufweisen.

Damit wird deutlich, dass die Maxime “Messen, was einfach zu messen ist” im Bildungscontrolling nicht weit trägt. Vielmehr müssen sinnvolle Kenngrössen auch einen Bezug zu den Zielen einer Bildungsorganisation aufweisen – und diese Ziele beziehen sich auch auf Sachverhalte, die schwer messbar und quantifizierbar sind.

Die Umsetzung von Qualitätsentwicklung und Controlling in Bildungsorganisationen ist Gegenstand des scil Fokusseminars “Nachhaltige Optimierung: Qualitätsmanagement im Bildungsbereich“, das am 21. und 22. Juni 2012 in St.Gallen durchgeführt wird.

scil Intensivseminar Learning Value Management

 Evaluation, Qualitätsmanagement, Controlling  No Responses »
Apr 022012
 
Gravatar_ChristophMeier

Unser scil-Intensivseminar “Vom Bildungscontrolling zum Learning Value Management” fand am Donnerstag, 29. März an der Universität St.Gallen statt. Ausgehend von unserem Rahmenmodell haben wir gemeinsam mit den Teilnehmenden im Verlauf von sieben Aufträgen die zentralen Schritte bei der Konzeption einer Learning Value Management-Initiative (z.B. konsequentere Ausrichtung des Portfolios auf strategische Themen; Einsatz von Lernwirkungskarten zur Verpflichtung der Beteiligten auf die definierten Massnahmenziele) bearbeitet. Insbesondere die Aspekte ‘Einbinden von Anspruchsgruppen’, ‘Zielklärung’ und ‘Evaluation’ waren für die Teilnehmenden wichtig.

scil Arbeitsbericht 23: Learning Value Management

 Evaluation, Qualitätsmanagement, Controlling  No Responses »
Apr 012012
 

Unser scil-Arbeitsbericht 23 zum Thema ‘Learning Value Management’ ist erschienen.

Learning Value Management (LVM) ist die konsequent auf die Erwartungen relevanter Anspruchsgruppen ausgerichtete Bestimmung, Überprüfung und Optimierung des Wertbeitrags von Bildungsarbeit. LVM greift zentrale Anliegen der Arbeitsfelder Evaluation, Qualitätsmanagement und Bildungscontrolling auf, integriert aber auch neuere Entwicklungen und Erweiterungen. LVM zeichnet sich durch folgende Elemente aus:
1) systematische Einbindung relevanter Anspruchsgruppen;
2) erweiterte Sicht auf Kompetenzentwicklung unter Berücksichtigung informellen Lernens;
3) erweiterte Evaluation (Berücksichtigung u.a. der Rahmenbedingungen für Kompetenzentwicklung in Organisationen) und
4) systematische Kommunikation von Evaluationsergebnissen und Ableitung von Massnahmen.

Zum scil Arbeitsbericht…