Mahara - komplex ePortfolió megoldás szabad forráskódú alapokon
MI/AI alapú tesztkérdés generálás LMS rendszerekben
1. MI/AI alapú tesztkérdés generálás
LMS rendszerekben
Vágvölgyi Csaba
vagvolgyi.csaba@metk.unideb.hu
Debreceni Egyetem
Multimédia és E-learning
Technikai Központ
Eszterházy Károly Katolikus Egyetem
Eger, 2024. április 03-05.
2. MIről lesz szó?
• Az MI/AI lehetséges szerepe az e-learningben
• AI-hoz kapcsolódó Moodle fejlesztések
• Kérdésgenerálás Moodle eszközökkel
• Kérdésgenerálás általános AI eszközökkel
(OpenAI, Google Gemini, Microsoft Copilot, …)
• Problémák és lehetőségek
3. Néhány AI-hoz kapcsolódó Moodle plugin
• Az alábbi AI-hoz kapcsolódó Moodle kiegészítő modulok elérhetőek a
https://moodle.org/plugins oldalon:
• OpenAI Chat Block
• Teaching Assistant Block
• AI Text to Image
• AI Connector
• Compilatio Plagiarism and AI Content Detector plugin
• Copyleaks Plagiarism and AI Content Detector plugin
• AI Text to questions generator
• OpenAI Question Generator
6. AI Text to questions generator
• Moodle Local Plugin
• Támogatott verziók: Moodle 4.0, 4.1, 4.2
• Utolsó frissítés: 2023. június 6.
• Beállítási opciók:
OpenAI API key
„Próbálkozások száma”
Nyelv megadása
9. Tapasztalatok…
Pozitívum
• A nyelvhasználat alapvetően jó
• A használata egyszerű
• A generált kérdések és a „rossz válaszok” jól kapcsolódnak az eredeti
szöveghez
• A kérdések automatikusan bekerülnek az adott kurzus kérdésbankjába
Problémák
• Csak feleletválasztós kérdéseket használhatunk (4 válasz opcióval)
• Korlátozás a forrásként használt szöveget illetően
• Költségek (OpenAI API)
• „Hallucinációból” illetve elavult GPT modell használatából (feltételezés!)
adódó hibás kérdések („nem jó a jó válasz”)
13. A könyv első bekezdése
Gorcsev Iván, a Rangoon teherhajó matróza még huszonegy éves sem
volt, midőn elnyerte a fizikai Nobel-díjat. Ilyen nagy jelentőségű
tudományos jutalmat e poétikusan ifjú korban megszerezni példátlan
nagyszerű teljesítmény, még akkor is, ha egyesek előtt talán
szépséghibának tűnik majd, hogy Gorcsev Iván a fizikai Nobel-díjat
a makao nevű kártyajátékon nyerte el Noah Bertinus professzortól,
akinek ezt a kitüntetést Stockholmban, néhány nappal előbb, a svéd
király nyújtotta át, de végre is a kákán csomót keresők nem
számítanak; a lényeg a fő: hogy Gorcsev Iván igenis huszonegy éves
korában elnyerte a Nobel-díjat.
15. OpenAI Question Generator
• Moodle Block
• Támogatott verziók: Moodle 4.0, 4.1, 4.2, 4.3
• Utolsó frissítés: 2023. december 16.
• Beállítási opciók:
OpenAI API key
GPT verzió kiválasztása
• Nincs nyelvválasztás (!)
16. Furcsaságok
• A szolgáltatás egy kurzus blokkban megjelenő gomb segítségével érhető
el, de a tesztelés során az egyik tesztportálon hibás volt a blokk által
hivatkozott URL (manuálisan javítható volt)
17. Tapasztalatok…
Pozitívum
• A használata egyszerű
• A generált kérdések és a „rossz válaszok” jól kapcsolódnak az eredeti szöveghez
• Feleletválasztós, igaz/hamis és Short answer kérdéstípusokat is tud generálni
• A kérdések automatikusan bekerülnek az adott kurzus kérdésbankjába
Problémák
• Nincs direkt nyelvválasztás
• A használt LLM modell függvényében generált magyar, illetve angol nyelvű
kérdéseket
• Korlátozás a forrásként használt szöveget illetően (plain text, limitált
szövegmennyiség)
• Költségek (OpenAI API)
18.
19.
20.
21.
22. Kérdésgenerálás általános AI eszközökkel
• A legtöbb LLM alapú modell alkalmas a kérdés generálásra
• Ebben az esetben a generált tartalom minőségén túl a legfontosabb
kérdés, hogy hogyan kerülnek be a kérdések a LMS rendszerbe
• Az AI „megtanítható” a tömeges kérdésimportálás során használható
formátumokra (pl.: AIKEN, GIFT, Moodle XML, …), de ez nem minden
esetben zökkenőmentes
• A tesztelés során az OpenAI szolgáltatásának különböző verzióit és
implementációit is kipróbáltam: ChatGPT (OpenAI), Microsoft Bing
csevegés, copilot.microsoft.com
• Google Geminivel (Google Bard)
30. Összefoglalás
• Jelenleg az oktatási intézmények számára túl drága az IA a tömeges
használathoz. (pl.: Copilot költségek)
• Ezek a költségek akár kiválthatók a lehetséges alternatív megoldások
megismerésével és befektetett munkával
• Várhatóan a jövőben számos új (egyre megfizethetőbb) megoldás
jelenik meg az érkező újabb nyelvi modellek támogatásával és
pontosabb beállítási lehetőségekkel
• Továbbra sem hagyható el az emberi ellenőrzés, különösen speciális
szakmai tartalmak esetén
31. Köszönöm a figyelmet!
Vágvölgyi Csaba
vagvolgyi.csaba@metk.unideb.hu
Eszterházy Károly Katolikus Egyetem
Eger, 2024. április 03-05.