This is the presentation of my thesis in university. It is about research on evaluating e-learning using ISO 19796 and analytic hierarchy process to weight the score of category. It also uses geometric mean method to aggregate the weighting result

1. ANALISIS PENGEMBANGAN APLIKASI
PENILAIAN KUALITAS E-LEARNING BERDASARKAN ISO 19796-1
!
Oleh: Adhi Wicaksono

2. E-learning semakin banyak

3. Standar e-learning bermacam-macam

4. ISO 19796

5. Sistem yang ada:
Belum menggunakan banyak ahli dalam
memberikan pembobotan
!
Belum ada penelitian tentang kualitas
sistem penilaian kualitas e-learning

6. Identifikasi masalah:
1. Standar diperlukan untuk mengukur kualitas suatu e-learning.
2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan
standar kualitas.
3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan
sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya
standardisasi.
4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan
bobot penilaian dari banyak ahli.
5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.

7. Batasan masalah:
1. Standar diperlukan untuk mengukur kualitas suatu e-learning.
2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan
standar kualitas.
3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan
sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya
standardisasi.
4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan
bobot penilaian dari banyak ahli.
5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.

8. Rumusan masalah:
1. Bagaimana merancang dan membuat aplikasi penilaian kualitas e-learning
berdasarkan ISO 19796-1 yang dapat memberikan bobot penilaian dari
banyak ahli?
2.Bagaimana tingkat kualitas aplikasi yang dikembangkan dari sisi
functionality, reliability, efficiency, usability, portability, maintainability?

9. Tujuan penelitian:
1. Mengetahui proses perancangan dan pembuatan aplikasi penilaian kualitas
e-learning berdasarkan ISO 19796-1 yang dapat memberikan bobot
penilaian dari banyak ahli.
2. Mengetahui analisis tingkat kualitas aplikasi yang dikembangkan dari sisi
functionality, reliability, efficiency, usability, portability, maintainability?

10. KAJIAN TEORI

11. E-learning berarti pembelajaran dengan
menggunakan media atau jasa bantuan
perangkat elektronika (Munir, 2008)
Secara garis besar, apabila kita menyebut
tentang e-learning, ada tiga komponen
utama yang menyusun e-learning tersebut,
yaitu: peralatan, sistem dan isi (Wahono,
2008)
E-learning

12. Tahun 2005 ISO merilis ISO 197961 tentang
kualitas e-learning (ISO, 2005).
Kategori kualitas e-learning menurut ISO
19796: need analysis, framework analysis,
conception/design, development,
implementation, learning process,
evaluation
Pendekatan standar kualitas dalam e-learning

13. ISO 19796 Reference Process Model

14. Analytic Hierarchy Process

15. Geometric Mean Method
AHP 4
AHP 1
AHP 2
AHP 3
AGGREGATED!
RESULT

16. Faktor Kualitas Perangkat Lunak
ISO 9126

17. Penelitian yang relevan
1. Tahun 2004, Chua dan Dyson (Chua &
Dyson, 2004) mengajukan framework pada
ISO 9126 untuk menilai kualitas produk e-
learning yaitu Blackboard system. Hasilnya
ISO 9126 mampu diadaptasi untuk menilai
sistem e-learning tetapi belum mencakup
aspek pengajaran, hanya menilai sistem e-
learning dari sisi software engineering.

18. Penelitian yang relevan
2. Tahun 2005, pada bulan Oktober ISO
melalui tim SC 36 (ISO, 2005) merilis ISO
19796-1 tentang Learning, Education and
Training. Standardisasi bersifat lebih
spesifik, tetapi masih memerlukan usaha
untuk mengadaptasikannya sesuai dengan
organisasi masing-masing.

19. Penelitian yang relevan
3. Tahun 2009, Pinghong Zhou (Zhou, 2009)
mengimplementasikan RFDQ yang terdapat
dalam ISO 19796-1 pada Huangzhong
Normal University. Hasil penelitian:
penggunaan kategori need analysis dan
framework analysis untuk mendesain
platform.

20. Penelitian yang relevan
4. Tahun 2010, Andharini Dwi Cahyani
(Cahyani, 2010) melakukan penelitian
terhadap penilaian kualitas sistem e-
learning dengan menggunakan ISO
19796-1. Hasil penelitian ini adalah aplikasi
yang dibuat mampu menilai kualitas sistem
e-learning sesuai dengan ISO 19796-1,
tetapi penelitian ini menggunakan satu ahli
dalam memberikan bobot AHP

21. METODE

22. Jenis Penelitian
Langkah'langkah)Metode)Research(and(Development)
(Diadaptasi)dari)Sugiyono,)2013:)298)
Research and Development (RnD)

23. Desain Penelitian
Functionality
!
Pengujian fitur dengan menggunakan
checklist yang dilakukan oleh 5 orang
ahli
Reliabilty
!
Stress testing dengan menggunakan
LoadImpact dan WAPT 8.1
Usability
!
Diuji dengan menggunakan kuisioner
J.R. Lewis
Efficiency
!
Diuji dengan menggunakan YSlow dan
PageSpeed Insight
Maintainability
!
Diuji dengan menggunakan checklist
dan pengujian metrik
Portability
!
Diuji dengan menggunakan
menggunakan beberapa browser

24. Analisis Data
Functionality
!
Menghitung persentase kesuksesan
aplikasi untuk menjalankan fungsi
tertentu
Reliabilty
!
Menghitung success rate dan failure
rate dari stress testing yang dilakukan
Usability
!
Menggunakan rumus konsistensi Alpha
Cronbach
Efficiency
!
Menghitung overall rate dari pengujian
yang dilakukan
Maintainability
!
Mencocokkan hasil pengujian dengan
metrik yang ada
Portability
!
Menguji performa dengan mengakses
menggunakan browser

25. HASIL & PEMBAHASAN

26. Use Case Diagram

27. Class Diagram

28. Database

29. Mockup

30. Hasil tampilan

31. Hasil Pengujian
Functionality
!
Nilai persentase aspek functionality
98.75% (sangat tinggi)
Reliabilty
!
Pada pengujian aspek reliability,
didapat hasil 100% dengan pengujian
menggunakan tool dari LoadImpact,
sementara pengujian dengan WAPT 8.1
untuk tiga metrik, hasilnya adalah:
sessions 95%, pages 99,68% dan
hits 99,64% sehingga dari aspek
reliability menunjukkan nilai
sangat tinggi
Usability
!
nilai konsistensi alpha cronbach
sebesar 0.937 (excellent) dan
persentase 79.32%
Efficiency
!
Yslow menunjukkan rata-rata overall
performance score 93 dan grade A.
Sementara pengujian efficency dengan
menggunakan PageSpeed Insight
menunjukkan nilai rata-rata untuk
mobile 83.5 (baik) dan desktop
92.93 (sangat baik).
Maintainability
!
Pengujian dari aspek maintainability
menunjukkan bahwa aplikasi telah diuji
dan memenuhi metrik maintainability,
yaitu: instrumentation, consistency
dan simplicity
Portability
!
aplikasi telah diuji menggunakan
dengan beberapa web browser.
Hasilnya aplikasi bisa diakses
menggunakan semua web browser
tersebut tanpa ada error

32. KESIMPULAN & SARAN

33. Kesimpulan
1. Pengembangan aplikasi penilalian kualitas e-learning
dilakukan melalui 7 langkah
2. Pengembangan aplikasi penilaian kualitas e-learning telah
memenuhi aspek reliability, functionality, efficiency,
portability, usability, dan maintainability menurut kaidah
software quality sesuai standar ISO 9126.

34. Saran
1. Kategori penilaian diperbanyak dan lebih dari dua kategori
sesuai dengan ISO 19797-1.
2. Jumlah ahli yang memberikan bobot penilaian
diperbanyak untuk mendapatkan data yang labih obyektif.
3. Melibatkan lebih banyak responen yang melakukan
penilaian kualitas e-learning

35. DEMO

36. Terimakasih