Qualitätsentwicklung Evaluation von E-Learning eine kritische

Qualitätsentwicklung & Evaluation von E-Learning – eine kritische Zwischenbilanz Prof. Dr. Patricia Arnold Hochschule München Campus Innovation, 26. 11. 09, Hamburg

Anlass: Zeit für einen Rückblick… Qualitätsentwicklung im e-Learning Bis 2003 (Arnold et. al. 2004) Seit 2004 § DIN 9000 ff. § PAS 1032 -1/2 („Prozessmodell) 2004 § EFQM § § LQW ISO 19796 -1/3 (Internationaler Standard) 2005/2009 § PAS 1037 „QM-Stufenmodell“) 2004 § PAS 1068 „Beipackzettel“ 2006 § PAS 1069 „Leitfaden“ 2009 § Qualitätsplattform Lernen § Gütesiegel TU Darmstadt § E-Learning Label TU Darmstadt § Certificate of E-Learning (CEL) § ZFU Leitfaden § … Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 2

Struktur des Vortrags 1. Herausforderung Qualität im E-Learning 2. Qualitätsentwicklung im Überblick 3. E-Learning Label der TU Darmstadt 4. Referenzprozessmodell PAS 1032 -1 5. Qualitätsplattform Lernen (QPL) 6. Zwischenbilanz - und neue Herausforderungen Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 3

Herausforderung: Qualität im E-Learning § „Eine Eigenart von Bildung insgesamt, die sie von anderen Dienstleistungen unterscheidet, ist, dass der Abnehmer der Leistung die Leistung selber mitproduziert. Bildungsarbeit ist die Leistung derjenigen, die sich bilden, sie ist ein Prozess, der wesentlich subjektive Faktoren integriert, wie Interesse, Emotionalität und Engagement. “ (Küchler 2000) § Qualität wird „erst im Prozess des Lernens von den Lernenden selbst hergestellt. “ (Zimmer/Psaralidis 2000) § Ko-Produzentenverhältnis von Qualität im Bereich Bildung berücksichtigen! Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 4

Qualität - ein vielschichtiges Konzept Begriffsdimensionen Qualitätsebenen § • • • Einhalten / Übertreffen von Standards § Fehlerlosigkeit § Zweckmäßigkeit § Angemessener Gegenwert § Transformation: Lernergebnis Input-Aspekte Durchführungs-Aspekte Output-Aspekte Bezugspunkt • • Produktqualität Prozessqualität „Über Qualität […] lässt sich also nicht abstrakt, sondern nur in einem definierten Kontext verhandeln. “ (Küchler 2000) Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 5

Herausforderung: Qualität im E-Learning II • E-Learning hochgradig interdisziplinär, zahlreiche verschiedene Akteure beteiligt, mit je unterschiedlichen Akteurspektiven auf Qualität: Lernende, Lehrende, Autoren, Medienentwickler, Teletutoren etc. • Im Hochschulkontext: Fakultäten, Rechenzentren, Hochschulleitungen etc. § Verständigungsprozess über unterschiedliche Akteurspektiven auf Qualität notwendig § Nachweis von Qualitätsmanagementsystemen zunehmend gefordert z. B. in der Anerkennungs- und Zulasssungsverordnung Weiterbildung (AZVW) im Bereich der beruflichen Bildung Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 6

Qualitätsentwicklung im Überblick § 1 Qualität auf der Ebene des E-Learning-Produkts (Mikroebene) § Z. B. TU Darmstadt Gütesiegel, ZFU-Leitfaden § 2 Qualität auf der Ebene eines Bildungsangebots/Studiengangs (Mesoebene) § Z. B. TU Darmstadt E-Learning Label, Certifcate of E-Learning § 3 Qualität auf Prozessebene der Organisation (Makroebene): § Z. B. QM-Modelle PAS 1032 -1 (ISO 19796 -1), PAS 1037 QM Stufenmodell § 4 Qualität durch Preise/Auszeichnungen entwickeln – E-Learning Awards § 5 Qualität durch Qualifizierung der Lehrenden/Online-Tutoren entwickeln Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 7

Beispiel: Online-Studiengang BA Soziale Arbeit (basa-online) § Mikroebene § Online-Module mit multimedial aufbereiteten Studienmaterialien entwickeln § Mesoebene § Online-Studiengang an den einzelnen Hochschulen (als Angebot des lebenslangen Lernens gemäß Bologna-Zielen) etablieren § Makroebene § Weiterentwicklungsprozesse (Aktualisierung, Evaluation etc. ) auf Ebene des Anbieter. Hochschulverbundes entwickeln Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 8

Beispiel E-Learning Label TU Darmstadt Selbstevaluation mittels Online. Fragebogen Durchführung Evaluation durch Befragung der Studierenden Funktionen Lernerorientierung § § Erweiterung der Lehr/Lerninhalte § Kennzeichnung von ELAngeboten Unterstützung der Selbststudiumsphasen § Sicherung einer Mindestqualität Betreuung und Beratung der Studierenden § Erweiterung der Lernzugänge § Aktivierung der Studierenden Im Lehr/Lernprozess Sonnberger 2008 § § § Definition von ELVeranstaltungen Etablierung von Evaluationsmaßnahmen zur Weiterentwicklung Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 9

Überblick über Evaluationsverfahren Evaluation von E-Learning Expertenverfahren Kriterienkataloge … Cognitive walkthrough Empirische Verfahren Logfile. Analyse Beobachtungen Befragun gen … + reale Lernsituation berücksichtigt + geringer Aufwand, scheinen . . . Qualität objektiv zu messen + Evaluationsdesigns mit Handlungsforschung …möglich - Berücksichtigen Lerner und . . . Rahmenbedingungen nicht + Lernerorientierung Campus Innovation 2009 Patricia Arnold, arnold@hm. edu - aufwändiger, je spezifisches Design Folie 10

Prozessmodell PAS 1032 -1 (ISO 19796 -1) Anforderung sermittlung Rahmen. Konzeption bedingungen … Produktion … Einführung … Durchführung Konzeption Produktion Einführung Evaluation … Konzeption des Medienund Interaktionsdesigns Konzeption Medieneinsatz Konzeption der Kommunikationsmöglichkeiten und -formen Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 11

Qualitätsmanagementmodelle im Überblick generisch. DIN EN ISO 9000 ff. EFQM spezifisch LQW PAS 1032 -1/2 (Lernerorientierte Qualitätstestierung in der Weiterbildung) (Aus– und Weiterbildung mit Schwerpunkt ELearning) (European Foundation for Quality Management) Branchenunabhängig, „Übersetzungsleistung“ erforderlich PAS 1037 (Organisationen der wirtschaftsorientierten Aus- und Weiterbildung: QM STUFENMODELL) für Bildungs sektor Campus Innovation 2009 Patricia Arnold, arnold@hm. edu „Hauskonzept“ ISO 19796 -1/3 (Informationstechnik - Lernen, Ausbilden und Weiterbilden ) für E-Learning Spezifische Entwicklung für die eigene Organisation Folie 12

Weitere Spezifikationen für E-Learning § PAS 1068: 2006 § Aus- und Weiterbildung unter besonderer Berücksichtigung von e-Learning – Leitfaden zur Beschreibung von Bildungsangeboten § „Beipackzettel“ zur Förderung von Transparenz im E-Learning § PAS 1069: 2009 § Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning - Leitfaden zum Referenzprozessmodell für Qualitätsmanagement und Qualitätssicherung - Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen und Bildungsangeboten : Leitfaden und Qualitätsprofile für die PAS 1032 -1 § Leitfaden zur Umsetzung der PAS 1032 -1 mit Praxisbeispielen Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 13

Qualitätsplattform Lernen (QPL) § Verschiedene etablierte Instrumente der Qualitätsenwicklung sind integriert: § Prozessmodell der ISO/IEC 19796 -1 (bzw. PAS 1032 -1 ), PAS 1068 § „Leitfaden für die Begutachtung von Fernlehrgängen“ (ZFU), § Qualitätssiegel E-Learning QSEL sowie alle derzeit relevanten Zertifizierungsmodelle wie z. B. LQW, EFQM § Kriterienkataloge z. B. des TU Darmstadt-Gütesiegels, . § Modularer Aufbau Teil A: Qualität von Bildungsangeboten § Teil B: Qualität von Organisationen - Basic § Teil C: Qualität von Organisationen – Exzellenz § Steht seit Juni 2009 unter Creative-Commons- Lizenz "BY-NC-SA 3. 0" online zur Verfügung Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 14

Zwischenbilanz … § Es liegen eine Reihe E-Learning spezifischer Zertifizierungsmodelle, Spezifikationen sowie ein internationaler Standard ISO 19796 vor - auf Prozess- wie auch auf Produktebene § Qualitätsentwicklung muss aber immer kontextualisiert erfolgen, d. h. auf die eigene Organisation, die Rahmenbedingungen, die Lernenden und die Ziele angepasst werden § Komplexer Aushandlungsprozess, der Ressourcen und Kommunikation benötigt („QM muss leben“) § Qualitätsentwicklung ist ein zyklischer, iterativer Prozess § Formative Evaluationen mit unterschiedlichen empirischen Verfahren integrieren § . . . und neue Herausforderungen: Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 15

Neue Herausforderungen… § Wie lassen sich Qualitätsstandards, Prozessmodelle und Spezifikationen auf E-Learning 2. 0 (mit Wikis, Weblogs, Online Communities)sowie im Bereich der Freien Bildungsressourcen (Open Educational Resources OER) anwenden bzw. hier umsetzen? § Auf der Agenda 2010 der European Foundation for Quality in E-Learning (EFQUEL) § “Promote the use of Open Educational Resources through the identification of suitable methods for quality development for Open Educational Resources § Increasing usage in Open Educational Resources by creating mechanisms which improve the trust in Open Educational Resources within and outside of education” http: //www. qualityfoundation. org/: Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 16

Vielen Dank… …. . für Ihre Aufmerksamkeit! Kontakt: Prof. Dr. Patricia Arnold Fakultät für angewandte Sozialwissenschaften Hochschule München arnold@hm. edu Campus Innovation 2009 Patricia Arnold, arnold@hm. edu Folie 17