Evaluationsbericht

Ergebnisse der qualitativen und quantitativen
Evaluation der E-Portfolioarbeit im Rahmen
des Projektes...
1

1 Sozio-demografische Daten
Einstiegsbefragung

Abschlussbefragung

Geschlecht

Geschlecht

15%

25%

75%

85%
weiblich...
2
Lehramtsstudiengängen, verschiedener Fächerkombinationen. Deutsch als Fach an allgemeinund berufsbildenden Schulen ist m...
3

2 Social Media Nutzung
Einstiegsbefragung (EB)

Abschlussbefragung (AB)

Welche Social Media Tools nutzen
Sie bisher?

...
4
Die Übersicht zeigt, dass Studierende Web 2.0-Anwendungen und –Dienste vorrangig
konsumieren und wenig selbst ins Netz s...
5

Ich möchte meine Studienleistungen nicht veröffentlich zur Verfügung
stellen, weil ...
... ich mit den zur Verfügung st...
6
Die Ergebnisse der Einstiegsbefragung zeigen, dass die Studierenden im Vorfeld eher
konsumierend mit OPAL gearbeitet hab...
7

6 Erfahrungen mit der E-Portfolioarbeit
Einstiegsbefragung: Vorerfahrungen mit dem E-Portfolio

Ja, ich führe für mein ...
8
Freitextantworten hervorging, dass die Studierenden sich mehr und intensiveres, auch kritischeres
Feedback gewünscht hät...
9

7 Gesamteindruck von der E-Portfolioarbeit
Einstiegsbefragung

Abschlussbefragung

11%

24%

41%
33%

15%

57%

Mein po...
Nächste SlideShare
Wird geladen in …5
×

Evaluation des Projektes TUDfolio - Kurzbericht

438 Aufrufe

Veröffentlicht am

Dieser Datenreport zeigt die ausgewerteten und visualisierten Ergebnisse der Evaluation im Projekt TUDfolio. Weiterführende Interpretationen und die qualitative Auswertung werden in folgenden Dokumenten beschrieben.

Veröffentlicht in: Bildung
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
438
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
7
Aktionen
Geteilt
0
Downloads
3
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Evaluation des Projektes TUDfolio - Kurzbericht

  1. 1. Evaluationsbericht Ergebnisse der qualitativen und quantitativen Evaluation der E-Portfolioarbeit im Rahmen des Projektes TUDfolio Erstellt und herausgegeben im Rahmen des Projektes „TUDfolio“ durch Andrea Lißner, Bernhard Franke und Lena Zauner
  2. 2. 1 1 Sozio-demografische Daten Einstiegsbefragung Abschlussbefragung Geschlecht Geschlecht 15% 25% 75% 85% weiblich männlich N=46; 39 weiblich; 7 männlich weiblich männlich N=28; 21 weiblich; 7 männlich Alter Alter 6,3% 29,2% 22% 7% 22,9% 26% 44% 41,7% 1984-1985 1986-1988 1983-1985 1986-1988 1989-1991 1992-1994 1989-1991 1992-1994 N=48 N=27 Lehramtsstudierende Lehramtsstudierende 39% 45% 61% ja N=46; 28 ja; 18 nein nein Ja 55% Nein N=29; 16 ja; 13 nein An der Einstiegsbefragung nahmen 46 Studierende teil, was einer Rücklaufquote von 47 % entspricht. Die Teilnehmenden sind überwiegend weiblich und mehr als die Hälfte studieren in
  3. 3. 2 Lehramtsstudiengängen, verschiedener Fächerkombinationen. Deutsch als Fach an allgemeinund berufsbildenden Schulen ist mit 19 Nennungen am meisten vertreten. Dicht gefolgt von Lebensmittel-, Ernährungs- und Hauswirtschaftswissenschaften und Geografie. Weiterhin werden die Fächer Latein, Geschichte, Wirtschafts- und Sozialkunde, Griechisch, Italienisch, Kunst, Religion, Gesundheit und Pflege, Englisch, Mathematik, Physik und Informatik genannt. Hier ist zu erkennen, dass die untersuchte Studierendenschaft eine hohe Diversität ausweist.
  4. 4. 3 2 Social Media Nutzung Einstiegsbefragung (EB) Abschlussbefragung (AB) Welche Social Media Tools nutzen Sie bisher? Wikis (z.B. Wikipedia) lesen 97,8% Video Community Portale (z.B. YouTube, MyVideo) 86,7% 13,3% Online-Archive/Datenbanken (z.B. Deutsche Digitale… 86,7% 13,3% 4,3% Soziale Netzwerke mit privatem Charakter (z.B. Facebook,… Videotelefonie/VoIP (z.B. Skype, Adobe Connect) 77,8% Internetforen Internetforen 75,0% Soziale Netzwerke mit privatem Charakter (z.B. Facebook,… 71,4% 28,6% Weblogs/Blogs lesen 71,4% 28,6% 31,1% 56,5% 2,2% 41,3% 9,1% 52,3% 38,6% 55,6% Online-Texteditoren (z.B. 17,8% EtherPad, Google Docs) Literaturverwaltung (z.B. 13,3% Mendeley, Zotero) 44,4% Microblogs (z.B. Twitter, Bleeper) lesen N=46 nein 64,3% 25,0% 71,4% 50,0% 51,1% 26,7% 53,3% 60,0% 14,3% 85,7% Literaturverwaltung (z.B. 10,7% Mendeley, Zotero) 64,3% 25,0% Soziale Netzwerke mit 10,7% beruflichem Charakter (z.B.… 67,9% 21,4% Persönliche Startseiten (z.B. 10,7% Netvibes, iGoogle) 71,4% Social Bookmarking Services 3,6% (z.B. Delicious, Bibsonomy) 93,3% 32,1% 14,3% Microblogs (z.B. Twitter, 14,3% Bleeper) schreiben Virtuelle Forschungsumgebungen (z.B.… Wikis (z.B. Wikipedia) bearbeiten 60,7% 57,1% 14,3% 35,7% 39,3% 100,0% 0% 20%40%60%80% 100% 0% 20%40%60%80% 100% ja 35,7% 71,4% 24,4% 66,7% 40,0% 50,0% 71,4% 86,4% 46,7% 35,7% Online-Texteditoren (z.B. 14,3% EtherPad, Google Docs) 42,2% 42,2% 39,3% 50,0% Soziale Netzwerke mit 14,3% wissenschaftlichem Charakter… 2,3% Wikis (z.B. Wikipedia) bearbeiten 6,7% Social Bookmarking Services (z.B. Delicious, Bibsonomy) 57,1% 7,1% 32,1% Feedreader (z.B. Bloglines, 14,3% Google Reader) 62,2% Soziale Netzwerke mit 6,7% beruflichem Charakter (z.B.… Virtuelle Forschungsumgebungen (z.B.… 2,2% 82,2% Weblogs/Blogs schreiben und 11,4% kommentieren Soziale Netzwerke mit 6,7% wissenschaftlichem Charakter… Videotelefonie/VoIP (z.B. Skype, Adobe Connect) 26,7% 80,0% Persönliche Startseiten (z.B. 13,3% Netvibes, iGoogle) 60,7% Weblogs/Blogs schreiben und kommentieren 2,2% Microblogs (z.B. Twitter, 15,6% Bleeper) schreiben 60,7% Chat/Instant Messaging (z.B. Skype, ICQ) Mailinglisten 32,6% 55,6% Microblogs (z.B. Twitter, 17,8% Bleeper) lesen E-Portfolio-Systeme (z.B. Mahara, integrierte E-Portfolio… 20,0% 43,5% 3,6% 25,0% 19,6% 68,9% 23,9% 17,9% 21,4% 77,3% Feedreader (z.B. Bloglines, Google Reader) 82,1% 75,0% 15,2% 2,2% E-Portfolio-Systeme (z.B. 24,4% Mahara, integrierte E-Portfolio… Online-Archive/Datenbanken (z.B. Deutsche Digitale… Content Sharing/ Cloud-Dienste (z.B. Dropbox, Slideshare,… 80,4% Mailinglisten 100,0% 22,7% 80,4% Weblogs/Blogs lesen 100,0% 20,0% Content Sharing/ Cloud-Dienste (z.B. Dropbox, Slideshare,… Chat/Instant Messaging (z.B. Skype, ICQ) 100,0% Lernmanagementsysteme (z.B. OLAT/OPAL, Moodle) 2,2% Wikis (z.B. Wikipedia) lesen Video Community Portale (z.B. YouTube, MyVideo) 100,0% Lernmanagementsysteme (z.B. OLAT/OPAL, Moodle) Welche Social Media Tools nutzen Sie bzw. haben Sie schon einmal benutzt? ja kenne ich nicht N=28 nein kenne ich nicht
  5. 5. 4 Die Übersicht zeigt, dass Studierende Web 2.0-Anwendungen und –Dienste vorrangig konsumieren und wenig selbst ins Netz stellen. Besonders erstaunlich ist, dass die SocialMedia-Nutzung nach der E-Portfolioarbeit sogar noch zurückgegangen ist, wie man zum Beispiel an „Content Sharing/Cloud-Dienste“ oder „Social Bookmarking-Diensten“ sehen kann. Hier ist allerdings auch vor einer zu hohen Verzerrung durch den geringeren Rücklauf in der Abschlussbefragung auszugehen, weshalb ein direkter Vergleich vor und nach der EPortfolioarbeit kaum möglich ist. 3 Studienleistungen im Netz (EB) Ich habe keine Bedenken, meine Studienleistungen öffentlich ins Internet zu stellen. 4,3% Ich habe keine Bedenken, meine Studienleistungen innerhalb meiner Hochschule zur Verfügung zu stellen (über OPAL, über Intranet usw.), solange dies nicht öffentlich ist. 26,1% Ich möchte meine Studienleistungen nur ausgewählten Personen zur Verfügung stellen. Ich möchte meine Studienleistungen niemandem zur Verfügung stellen. 0,0% 65,2% 4,3% 20,0% 40,0% 60,0% 80,0% N=46 In der Einstiegsbefragung wurden die Studierenden gefragt, ob Sie Ihre Studienleistungen ins Netz stellen würden und wie öffentlich sie dies tun möchten. Dabei zeigte sich, dass die Befragten grundsätzlich schon an einer Bereitstellung der eigenen Leistungen interessiert sind, unter der Bedingung, dass sie selbst entscheiden können, wer diese Leistungen abrufen kann. Zu den Gründen für die Zurückhaltung wurden folgende Aspekte angeführt:
  6. 6. 5 Ich möchte meine Studienleistungen nicht veröffentlich zur Verfügung stellen, weil ... ... ich mit den zur Verfügung stehenden Werkzeugen/Tools nicht umgehen kann/möchte. ... ich denke, dass sich damit schlechtere Job/Karrierechancen habe. ... ich nicht möchte, dass KommilitonInnen meine Leistungen kennen. ... ich nicht möchte, dass mich betreffende Daten im Netz kursieren. ...ich mir Sorgen mache, dass jemand meine Leistungen öffentlich kritisiert. ...ich nicht möchte, dass andere "abschreiben"/kopieren ohne zu zitieren. 6,3% 21,9% 9,4% 9,4% stimme eher zu 34,4% 31,3% 9,4% 31,3% 18,8% 3,2% 12,9% 32,3% 38,7% 12,9% 3% 52% 35% 10% 9% 22% 31% 22% 0% stimme völlig zu 28,1% 28% 47% 20% unentschieden 40% 9% 22% 60% stimme eher nicht zu 80% 9% 100% stimme nicht zu Diese Frage wurde nur denjenigen angezeigt, die nicht „Ich habe keine Bedenken, meine Studienleistungen öffentlich ins Internet zu stellen.“ Es zeigte sich, dass der bedeutendste Grund, die Angst vor Datenmissbrauch ist. Insgesamt 87% stimmen dem Item „Ich möchte nicht, dass mich betreffende Daten im Netz kursieren“ zu bzw. völlig zu. Weitere bedeutende Gründe sind die Sorgen, dass die Leistungen öffentlich kritisiert werden und der Vorbehalt gegenüber Kommilitonen, die sich unredlich der Ergebnisse bedienen und diese nicht zitieren. 4 OPAL Nutzung (EB) Intensive Nutzung (z. B.: habe bereits selbst Kurse erstellt, Nutzung der persönlichen Ablage als cloudbasierten Speicher, intensive Nutzung von Foren und Wikis, u.s.w.) Regelmäßige Nutzung (z. B.: nutze OPAL für fast alle Lehrveranstaltungen, arbeite regelmäßig mit der Foren-, E-Mail-, Abgabe- und/oder TestFunktion, u.s.w.) Eingeschränkte Nutzung (z. B.: nutze OPAL nur zum Download von Materialien, zur organisatorischen Information über Lehrveranstaltung, u.s.w.) Bisher keine Nutzung (keine der OPAL-Funktionen wurde bisher genutzt) 6,5% 26,1% 67,4% 0,0% 0,0% N=46 20,0% 40,0% 60,0% 80,0%
  7. 7. 6 Die Ergebnisse der Einstiegsbefragung zeigen, dass die Studierenden im Vorfeld eher konsumierend mit OPAL gearbeitet haben. Die bedeutendste Aktivität ist das Herunterladen von Materialien und Beziehen von Informationen. 5 Zufriedenheit mit OPAL Einstiegsbefragung Abschlussbefragung 0% 2,2% ∑ 67,4% N=46 7,1% 3,6% ∑ 67,8% ∑ 32,6% ∑ 32,1% N=27 Vor und nach der E-Portfoliopilotierung wurde nach der Zufriedenheit mit OPAL gefragt. Vorher gaben 67,4% an, zufrieden mit OPAL zu sein. Zu berücksichtigen ist dabei die eher eingeschränkte Nutzungsintensität (siehe Punkt 4). Auch nach der E-Portfolioarbeit geben 67,8% an zufrieden mit dem System zu arbeiten. Diese Nutzer arbeiteten nur sehr intensiv mit der Lernplattform. In den qualitativen Ergebnissen zeigen sich anders gelagerte Aussagen. Im Gespräch und in den Freitexten geben die Studierenden an, dass sie unzufrieden mit der E-Portfoliofunktionalität im OPAL sind und dieses System nicht noch einmal für die E-Portfolioarbeit nutzen möchten. Hierfür sind verschiedene Erklärungen denkbar. Zum einen antworteten in der Abschlussbefragung nur noch 27 Personen, wobei anzunehmen ist, dass dies diejenigen sind, die mit Motivation dabei geblieben sind und sich mit den Problemen des Systems arrangiert haben und deshalb zum Positiven tendieren. Zum anderen könnte es sein, dass die Studierenden durch das Projekt OPAL besser kennenlernten und von der Vielseitigkeit und Vielfalt der Funktionalitäten des Lernmanagementsystems insgesamt überzeugt wurden, weshalb sie es deshalb insgesamt positiv einschätzten.
  8. 8. 7 6 Erfahrungen mit der E-Portfolioarbeit Einstiegsbefragung: Vorerfahrungen mit dem E-Portfolio Ja, ich führe für mein persönliches Wissensmanagement ein sehr aktives E-Portfolio. 2,2% Ja, ich habe bereits im Rahmen meiner schulischen, beruflichen oder akademischen Ausund Weiterbildung mit E-Portfolios gearbeitet. 4,3% Nein, aber ich hatte bereits davon gehört. 26,1% Nein, ich hatte noch nie davon gehört. 67,4% 0,0% 20,0% 40,0% 60,0% 80,0% N=46 Die Grafik zeigt, dass die Vorerfahrungen mit der E-Portfolioarbeit gegen 0 tendieren. In absoluten Zahlen ist es nur ein/e Studierende/r, die/der bereits ein aktives E-Portfolio führt. Daher ist davon auszugehen, dass die Studierenden noch unvoreingenommen sind und alle Details vom Projektteam erklärt werden müssen. Abschlussbefragung: Einstellungsmessung 4% Durch die E-Portfolio-Arbeit habe ich mich intensiver mit den einzelnen Themen auseinandergesetzt. 78% 59% 15% 37% 19% 0% stimme eher zu 30% 22% 7% 11% 15% 4% Ich nehme meinen persönlichen Lernprozess jetzt viel bewusster wahr als vorher. stimme zu 7% 4% Durch das Reflektieren des Gelernten habe ich mir die Inhalte besser eingeprägt. Das Feedback in der Lerngruppe hat mir geholfen, Fehler auszubessern, bevor ich meine Arbeit zur Bewertung eingereicht habe. 11% neutral 37% 20% 40% stimme eher nicht zu 22% 60% 19% 80% 100% stimme nicht zu N=27 Rückblickend auf die Portfolioarbeit reflektieren die Studierenden ihre Erfahrungen. Mehrheitlich geben die Befragten an, sich durch die E-Portfolioarbeit intensiver mit dem Lehrstoff auseinandergesetzt und sich die Inhalte durch das Reflektieren besser eingeprägt zu haben. Das Feedback in der Gruppe wurde zurückhaltend positiv eingeschätzt, wobei auch aus den
  9. 9. 8 Freitextantworten hervorging, dass die Studierenden sich mehr und intensiveres, auch kritischeres Feedback gewünscht hätten. Die bewusstere Wahrnehmung des Lernprozesses spielt eine nicht ganz so wichtige Rolle. Grund dafür können Fragebogeneffekte sein: Die Formulierung „viel bewusster“ lässt auf eine etwas zurückhaltendere Zustimmung schließen. Des Weiteren war dieses Item das letzte der vier positiv gerichteten Item, bei dem man hin und wieder dazu tendiert die sehr großzügige Zustimmung zu den anderen drei Items ein wenig abzuschwächen. Generell ist darauf hinzuweisen, dass Befragte dazu tendieren, positiv zu antworten (Akquieszenz)1. Des Weiteren waren auch zwei negativ gerichtete Items vorgegeben, welche aber tendenziell mit geringerer Zustimmung bewertet wurden. Zum einen wurde nach dem Aufwand von Einarbeitung in die Technik und Lösung technischer Probleme gefragt, zum anderen nach der Einstellung gegenüber dem häufigen Reflektieren. Mehr als die Hälfte der Befragten gab an, dass die technische Arbeit keinen größeren Aufwand bedeutete als die inhaltliche Arbeit, bzw. dass dieser etwa ähnlich hoch war. Die Ergebnisse des zweiten Items zeigen, dass die häufigen Reflexionen mehrheitlich nicht als Belastung wahrgenommen werden. 4% Ich habe mehr Energie in das Bezwingen der Technik als in die inhaltliche Arbeit gesteckt. 11% 30% 22% 33% 4% Das ständige Verfassen von Reflexionen hat mich genervt. 15% 0% stimme zu stimme eher zu neutral 11% 20% 37% 40% stimme eher nicht zu 33% 60% 80% 100% stimme nicht zu Vgl. Dieckmann, A. (2011): Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Hamburg: rowohlt, S. 452 1
  10. 10. 9 7 Gesamteindruck von der E-Portfolioarbeit Einstiegsbefragung Abschlussbefragung 11% 24% 41% 33% 15% 57% Mein positiver Eindruck, den ich zu Beginn der E-Portfolio-Arbeit hatte, hat sich bestätigt. Ich ziehe ein positives Fazit aus dem Projekt. 20% Obwohl ich am Anfang einen positiven Eindruck von der E-PortfolioArbeit hatte, muss ich im Nachgang sagen, dass mir die Arbeit keine Vorteile gebracht hat. Ich habe bisher einen positiven Eindruck von der E-Portfolio-Arbeit in der Lehrveranstaltung. Das E-Portfolio als Methode und Medium erscheint mir sinnvoll und ich bin gespannt, wie sich die weitere Arbeit gestalten wird. Ich habe bisher einen negativen Eindruck von der E-Portfolio-Arbeit in der Lehrveranstaltung. Ich bin skeptisch, ob das E-Portfolio einen Mehrwert für mich bringt. Ich weiß nicht. Mein negativer Eindruck, den ich zu Beginn der Portfolio-Arbeit hatte, hat sich bestätigt. Ich kann mit der E-Portfolio-Arbeit nichts anfangen. Mein negativer Eindruck, den ich zu Beginn hatte, hat sich nicht bestätigt. Die E-Portfolio-Arbeit hat sich für mich als hilfreich erwiesen. Vorher hatte ich keine Idee, ob die E-Portfolio-Methode für mich geeignet ist. Nun ziehe ich ein positives Fazit und muss sagen, dass mir diese Methode sehr geholfen hat. Vorher hatte ich keine Idee, ob die E-Portfolio-Methode für mich geeignet ist. Nun habe ich erkannt, dass die Methode nichts für mich ist. Die Studierenden hatten vor Beginn der E-Portfolioarbeit einen positiven Eindruck und gingen mit einer motivierten Einstellung an die E-Portfolioarbeit heran. Etwa ein Viertel der Teilnehmenden hatte im Vorfeld keine Idee, ob die E-Portfolioarbeit positiv oder negativ einzuschätzen ist. Im Nachgang gaben 41% an, dass sich der positive Eindruck, den sie zu Beginn hatten, bestätigt hat. Ein Drittel der Befragten ziehen ebenso ein positives Fazit, obwohl sie vor Beginn der Arbeit unentschlossen gegenüber der E-Portfolioarbeit waren. Etwa ein Viertel ist zieht nach der EPortfolioarbeit ein negatives Fazit. Abschlussbefragung: E-Portfolios für das zukünftige Lern- und Wissensmanagement Ja, ich möchte weiterhin in OPAL mein E-Portfolio weiterführen. 18,5% Ja, ich möchte mir aber dafür aber ein anderes Werkzeug, zum Beispiel einen Blog, suchen. 22,2% Ja, ich werde an dem Thema dranbleiben, kenne aber derzeit kein gutes Werkzeug. Nein, E-Portfolio-Arbeit ist nichts für mich. 48,1% 11,1% Ich halte generell nichts von der Methode und 0,0% würde auch jedem davon abraten, ein E-Portfolio… 0,0% 20,0% 40,0% 60,0%

×