Hier wird argumentiert, dass innovative Initiativen wie Open Educaitonal Resources (OER) Erfolgskriterien definieren müssen, damit ihr Erfolg aus von Außenstehenden anerkannt wird. So werden coole Initiativen leichter übertragbar und skalierbar. Die Präsentation basiert auf Gedanken zu einem globalen Monitoringsystem zu OER.

1. Dr. Dominic Orr, Leitender Wissenschaftler
FiBS-Institute for Educational and Socio-Economic Research, Berlin, d.orr@fibs.eu
(zum Teil mit Input von Prof. Fred Mulder, Internationaler OER Experte /
Emeritus UNESCO Chair Fred.Mulder@ou.nl )
Wie misst man den
Einsatz von OER
und deren
Wirkung? Erste Ideen
aus der Arbeit in einer
neuen internationalen
Arbeitsgruppe zu einem
globalen
Monitoringsystem
Campus Innovation 2016 &Konferenztag Digitalisierung von Lehren und Lernen
Hamburg, 18 November, 2016

2. 2Campus Innovation 2016
18/11/2016
Orr
Inhalt
1. Warum messen?
2. UNESCO-Aktivitäten
3. Lernen vom Monitoring-Bericht für den Bologna Prozess
4. Drei politische Steuerungsinstrumente für OER
5. Fokus auf OER-Impact
6. Prozess rund um Monitoring
7. Übersicht der Bereiche für ein Monitoring von OER

3. 3Campus Innovation 2016
18/11/2016
Orr
OER-Initiativen überall in der ganzen Welt
- https://oerworldmap.org/
- http://open-educational-resources.de/16/atlas/

4. 4Campus Innovation 2016
18/11/2016
Orr
Warum den Einsatz von OER und deren Wirkung messen?
*Abbott, K. W., Genschel, P., Snidal, D., & Zangl, B. (Eds.). (2015). International Organizations as Orchestrators. Oxford University Press.
Für das Mainstreaming von OER bedarf es Information über
den weltweiten Einsatz von OER und zu deren Wirkung, um
 Akzeptanz für OER zu entwickeln (OER nicht als beängstigend,
sondern normal)
 Evidenzen zu sammeln, die das Potential von OER aufzeigen
 Unterstützung durch politische Maßnahmen zu erreichen, die
über Rahmenveränderungen, Finanzierung und
Informationskampagnen das Potenzial für die Verbesserung
des Lehrens und Lernens fördern
 Viele OER-Initiativen wollen „machen“, sammeln aber
seltener Informationen / Daten über ihre Erfolge
Mainstream

5. 5Campus Innovation 2016
18/11/2016
Orr
 Slowenien ist in 2017 Gastgeber für den 2. OER-Weltkongress, der ein Meilenstein
nach der Paris OER Deklaration in 2012 darstellt. Initiiert und angeführt von UNESCO
es verfolgt das Ziel OER für Bildung weltweit und für alle einzusetzen.
 UNESCO will die Entwicklung von nun verpflichtenden Empfehlungen für OER-
Umsetzung fortsetzen, aber die Vereinbarung eines solchen normativen
Instrumentes mit allen UN-Mitgliedern ist unwahrscheinlich.
 Monitoring / Benchmarking kann als ein alternatives, weiches
Steuerungsinstrument verwendet werden
 Monitoring kann eine überzeugende, verbindliche Kraft entwickeln, die
internationalen Organisationen nutzen können, um ihre Ziele im Rahmen der
unterschiedlichen nationalen Begebenheiten zu erreichen. * So wurde es erfolgreich
im Rahmen des Bologna-Prozesses verwendet.
UNESCO-Vorhaben: Monitoring zu OER-Einsatz und -Auswirkungen
*Abbott, K. W., Genschel, P., Snidal, D., & Zangl, B. (Eds.). (2015). International Organizations as Orchestrators. Oxford University Press.

6. 6Campus Innovation 2016
18/11/2016
Orr
• Der Bologna-Prozess ist eine kollektive Initiative von Behörden, Universitäten,
Lehrer/inne/n und Schüler/inne/n, Interessenverbänden, Arbeitgebern,
Qualitätssicherungsagenturen, internationalen Organisationen und
Institutionen und der EU
• Koordination der Berichterstattung war (und ist) von einer Arbeitsgruppe aus
Ländervertreter/inne/n und begleitet von den so genannten Datensammlern
(Eurostat, Eurydice, EUROSTUDENT).
• Im Jahr 2009 wurden zwei Berichte produziert, einer der hauptsächlich
qualitative / normative Ziele verwendete um die Erfüllung von gesetzten
Zielen zu überprüfen und der andere, der versuchte die qualitativen Ziele mit
Hilfe quantitativer Indikatoren abzubilden. In den 2012 und 2015 Berichten
wurden beide Ansätze zusammengeführt.
Was können wir vom Bologna Prozess lernen?

7. 7Campus Innovation 2016
18/11/2016
Orr
Was wir lernen können…
• Formulierung von normativen
Zielen (die für jede Monitoring-
Welle aktualisiert werden)
• Einstufung durch Farbe
(angepasstes Ampelsystem)
• NB: Es dauerte 12 Jahre (oder 4
Drei-Jahres-Wellen), um ein stabiles
Monitoring-Instrument zu
entwickeln

8. 8Campus Innovation 2016
18/11/2016
Orr
Regulationen – „Peitsche“
Regelungen einsetzen (von leitenden bis zu legislativen), die versuchen, den
Einsatz von OER zu stimulieren und möglicherweise zu sichern.
Ökonomische Mittel – „Zuckerbrot“
Regierungen tragen zum Einsatz von OER bei durch die Art der Investition in
Bildung im allgemeinen und durch spezielle finanzielle Unterstützung.
Information – „Predige“
Regierungen unterstützen den Einsatz von OER, indem sie Informations- und
Verbreitungsaktivitäten, aber auch Forschung fördern.
Drei politische Steuerungsinstrumente für OER*
*Bemelmans-Videc, M.-L., Rist, R. C., & Vedung, E. (Eds.). (1998). Carrots, Sticks, and Sermons: Policy
Instruments and Their Evaluation. Transaction Publishers.

9. 9Campus Innovation 2016
18/11/2016
Orr
Drei politische Steuerungsinstrumente für OER*
Regulierung, z.B. Finanzierung, z.B. Information, z:B.
 Relative Bedeutung von OER in
nationalen Strategiedokumenten
 OER-förderliche Regulierungen für
OER-Produktion (z.B. wenn
öffentlich gefördert, müssen
Produkte frei lizenziert werden)
 Qualitätssicherung fördert
Flexibilität und Weiterentwicklung
bei Lernressourcen
 OER-Einsatz sowie Zusammenarbeit
zwischen Lehrpersonal wird bei der
Ausbildung, Weiterbildung sowie
Evaluation von Lehrpersonal
berücksichtigt
 Projekt- oder Program-finanzierung
für die Produktion und den Einsatz
von OER
 Angebot von freiwilligen oder
verpflichtenden (Weiterbildungs-
)Kurse für Lehrpersonal zum Einsatz
von OER (ggf. mit Freizeitausgleich
für die Teilnahme)
 Preisausschreibungen für beste
Praxen bei OER-Produktion und
Einsatz
 Investition in Infrastruktur, die für
OER förderlich ist (z.B.
Kollaborationstools)
 Institutionelle Finanzierung
abgängig von OER-Strategien
 Informationskampagnen (Teilnahme
an OER World Map)
 Broschüre, Berichte, Videos zu den
Vorteilen und Herausforderungen
von OER
 Gezielte Forschungsförderung sowie
wissenschaftliche Begleitung bei
OER-Initiativen

10. 10Campus Innovation 2016
18/11/2016
Orr
Impact: Was kann OER aus einer bildungspolitischen Perspektive?
Anzahl der Länder für die ein Argument überhaupt nicht wichtig, weniger wichtig,
sehr wichtig war für die Begründung einer Förderung von OER (2014)*
Orr, D., Rimini, M., & van Damme, D. (2015). Open Educational Resources - A catalyst for innovation. OECD Publishing. http://doi.org/10.1787/9789264247543-en
sehr wichtig

11. 11Campus Innovation 2016
18/11/2016
Orr
Wichtige politische Ziele und OER-Wirkungserwartungen
• Zugänglichkeit von Bildung - erhöhen, da sie online
frei verfügbar sind
• Qualität von Bildung - Qualitätsverbesserung durch
OER erleichtern, weil der offener Charakter von OER
es viele Experten und Benutzern erlaubt, sich in die
Entwicklung von Lernmaterialien einzubringen, diese
zu überprüfen und zu bewerten.
• Effizienz von Bildung – erhöhen, da das Prinzip des
Teilens die Rechtfertigung von mehreren groß
angelegten Entwicklungen ähnlicher Kurse von
verschiedenen Bildungseinrichtungen in Frage stellt.
• & Innovation – stimulieren durch gleichzeitige
Veränderungen von Zugänglichkeit, Qualität und
Effizienz
*Mulder, F. (2013). The LOGIC of National
Policies and Strategies for Open
Educational Resources. IRRODL, 14(2), 5–9.
http://www.irrodl.org/index.php/irrodl/art
icle/view/1536/2505

12. 12Campus Innovation 2016
18/11/2016
Orr
Es gilt zwei Arten der Wirkung von OER zu unterscheiden: (Orr/Mulder 2016):
OER als (wahrscheinliche) direkte Ursache
• z.B. eine Verringerung der Kosten für den Zugriff auf Lernmaterialien, eine Erhöhung
des Innovationsgehalts, eine Erhöhung der Aktualität der Lernmaterialien (z.B. die
offenen Lehrbuch-Initiativen des USA-Community-College-Sektors).
OER mit indirekter Wirkung
• OER als wichtiger Katalysator für bestimmte Tätigkeiten oder Auswirkungen, die auch
ohne OER auftreten könnten. So kann OER z.B. zu neuen (besseren) Lernsituationen
beitragen. Aber sehr oft wird dieses mit einer anderen Maßnahme in Beziehung
stehen (wie problembasiertes Lernen oder kompetenzbasiertes Lernen), so dass der
beobachtete Effekt nicht direkt oder vollständig auf OER zurückzuführen ist.
Auswirkungen von OER schwer zu bewerten, da Ursache/ Wirkung unsicher sind
Daher für Monitoring schwierig, aber mit dem Ansatz “Most-
Significant-Impact”* können Fallstudien und Forschungsstudien im
Monitoring-Bericht integriert werden
*Davies,R.,&Dart,J.(2004).The“MostSignificantChange”
(MSC)Technique.http://doi.org/10.1104/pp.110.159269

13. 13Campus Innovation 2016
18/11/2016
Orr
Die entscheidende Bedeutung einer angemessenen Rahmung des Prozesses
 Die OER Gemeinschaft steht für offene Diskussionen unter ihren Mitgliedern und
wird stark durch das Argumentieren für die „gute Sache“ angetrieben.
 solche Gemeinschaften sind gefährdet, "exklusiv" (geschlossen für Nicht-
Mitglieder) und nicht empfänglich für Fragen von der Außenwelt zu werden.*
Breite Akzeptanz und Nutzung des Monitorings hängt wahrscheinlich von zwei
Bedingungen ab:
 politische Entscheidungsträger/innen sind in allen Prozessstufen beteiligt, von
dem Indikator-Design bis zur Begleitung der Arbeitsgruppe.
 OER-Wirkungen werden im Kontext von nationalen politischen Debatten und
allgemeinem Bildungskontext verortet (z.B. Beispiel USA: OER tragen zur
Erschwinglichkeit des Bildungszugangs durch billige oder kostenfreie Lehrbücher,
aber die Wirkung erscheint nur da, wo Lehrbücher wichtig sind).
*Littlejohn, A., Falconer, I., Mcgill, L., & Beetham, H. (2014). Open Networks and Bounded Communities: Tensions Inherent in Releasing Open Educational
Resources. In A. Littlejohn & C. Pegler (Eds.), Reusing Open Resources: learning in open networks for work, life and education (pp. 57–69). Oxon: Routledge.
Gemeinschaft von
OER- Experten
und -Aktivisten
Regierungen,
politische
Entscheidungsträger
und Geschäftsführer

14. 14Campus Innovation 2016
18/11/2016
Orr
Bereiche für Monitoring – auf internationaler, nationaler und Projektebene
Einsatz-Indikatoren
Regulation
…….
…….
…….
Ökonomische Mittel
…….
…….
…….
Information
…….
…….
…….
Wirkungsindikatoren
Zugänglichkeit
…….
…….
…….
Qualität Innovation
……. …….
……. …….
……. …….
Effizienz Nachhaltigkeit
……. …….
……. …….
……. …….
(direkte Ursache/ indirekte Wirkung)