Как эффективно подвести итоги онлайн-курса: метрики и метод.аудит 2021 EdMarket

1. Методический
Skills Puzzle 2021
18-19 мая

2. Марина Литвинова
Директор по продукту, EdMarket
Презентация от EdMarket
«Как эффективно подвести
итоги курса»

3. Обо мне
Марина Литвинова
Директор по продукту, EdMarket
• Преподаватель и ментор EdMarket
• Ментор Акселератора «Нетологии»
• 13 лет работаю в проектах по онлайн-обучению
• Создаю курсы и линейки образовательных продуктов
• Создаю и развиваю профессиональные комьюнити
• 300+ статей об онлайн-обучении
• Автор курса «e-learning: от стратегии внедрения до разработки
контента и оценки эффективности»
• Автор книги «Архитектура корпоративного онлайн-обучения»
• Автор канала в Телеграм PRO онлайн-обучение
@howwelearn

4. О чем поговорим?
4
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик
4. Ошибки, которые допускают при оценке обучения
5. Что такое методический аудит и зачем его проводят?
6. Профессия «Методический директор»
7. Книги для вдохновения

5. • Хочу спроектировать обучение таким же увлекательным, как Netflix!
• Пожалуйста, сделайте так, чтобы сотрудники любили онлайн-курсы
• Пожалуйста, помогите поднять COR до 80%, и чтобы учиться было легко!
• Мы хотим, чтобы вы создали креативную учебную программу, которую люди точно будут
проходить до конца. Чтобы им казалось, что они играют, а на самом деле чтобы они
учились.
• Подскажите, какой формат обучения выбрать, чтобы ученики «не сливались»?
• Я хочу создать такой курс, чтобы студенты «залипали» в него, а не в соцсети.
• Мы придумали такой крутой формат — онлайн-встречи с коучем, а наши ученики не
ходят. Как их заставить/убедить?
• У нас низкий NPS по использованию корпоративного портала обучения. Как его
увеличить?
Стена желаний разработчиков курсов
5

6. В поисках волшебной кнопки
Нажимать тут ;-) button.dekel.ru
6

7. В поисках волшебной кнопки
Нажимать тут: button.dekel.ru
7

8. Давайте отрегулируем настройки
восприятия объективной реальности
8

9. О чем поговорим?
9
1. Что включает в себя этап оценки результатов обучения?

10. включает оценку качества образовательного продукта и его экономической эффективности
Что должно произойти на этом этапе?
10
Этап «Оценка результатов обучения»
❏ Оценены результаты обучения учащихся (до/после обучения, приняты
промежуточные и финальные задания)
❏ Подсчитаны метрики конкретного набора (CSI и COR промежуточно и финально,
NPS финально)
❏ Собрана обратная связь по результатам обучения (от учащихся, преподавателей,
ведущих образовательного процесса, аудиторов, коллег-методистов)
❏ Принято решение о дальнейшей судьбе курса (остается, уходит, меняется
формат/контент/эксперт/ЦА/периодичность наборов)
❏ Намечены доработки контента и процесса обучения на основе обратной связи

11. О чем поговорим дальше?
11
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?

12. Обучение оказалось полезным, когда …
достигнута цель, ради которой был
приобретен/заказан онлайн-курс
(студент/плательщик)
12

13. Обучение прошло эффективно, когда …
после обучения произошли изменения
установок и поведения человека
(методист/заказчик)
13

14. Онлайн-курс как продукт эффективен, когда
…
затраты на его создание и сопровождение
экономически оправданы
(организатор обучения/заказчик)
14

15. 15
Что можно измерить в образовательном
продукте?
Учебные метрики, например:
• Достижение промежуточных и финальных учебных
целей (учебная аналитика)
• Динамика посещения / просмотра занятий и его
отдельных элементов
• Динамика и скорость выполнения домашних
заданий
Вы наверняка слышали о том, что есть способы эффективно
учиться онлайн. Если нет, тогда читайте статью “15 лайфхаков от
студентов EdMarket” в нашем блоге
edmarket.ru/blog/all-how-to-learn-effectively

16. 16
Что можно измерить в образовательном
продукте?
Метрики сопровождения процесса обучения, например:
• Скорость и качество проверки домашних заданий
• Качество учебного контента, основного /
дополнительного (лайки, стандарты)
• Достижение финальной цели учащегося / заказчика /
плательщика (находится за границами обучения)
Знаете ли вы о том, что … Когда человек в стрессе, он хуже учится и
хуже выполняет задачи, для которых нужны когнитивные
способности (Дэн Ариели, Позитивная иррациональность).

17. 17
Что можно измерить в образовательном
продукте?
Метрики эффективности образовательного продукта, например:
• Удовлетворенность учащихся, CSI (контентом, сопровождением,
преподавателями)
• Вовлеченность / активность студентов (ответы в чатах, обратная связь)
• Лояльность выпускников, NPS (готовы ли рекомендовать курс / проект)
• Доходимость до финала обучения, COR (% учащихся, завершивших курс)
• Процент возвратов (случаи, когда студентам курс не подошел)
• «Инсайтометр» (прототип метрики) — кол-во инсайтов, подтолкнувших
студентов к действию
Слышали ли вы о том, что … Зачастую образовательный бизнес — это бизнес про работу с
мотивацией, и больше ни про что. (А. Ларьяновский, SkyEng).

18. 18
Инсайт — действие
Что будет после обучения?

19. 19
Инсайт
Рефлексия на онлайн-защите проектов.

20. 20
Действие
Рефлексия на онлайн-защите проектов

21. P.S. Модель Кирпатрика-Филлипса
Для корп. обучения
21

22. О чем поговорим?
22
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик.

23. 23
Разнообразные инструменты
для сбора метрик

24. Метрики в EdMarket
● 5.5 из 6 средний показатель CSI за 2021 год
● 52% средний показатель COR по всем курсам
● 84% трудоустроенных выпускников
● 100% устроенных на стажировку студентов
24

25. Метрики EdMarket.
Посещение занятий
Организовано в Metabase. Информация из LMS
25

26. Метрики EdMarket.
Кол-во сданных/проверенных ДЗ
26
Организовано в Metabase. Информация из LMS

27. Метрики EdMarket.
Срок проверки ДЗ, дней
27
Организовано в Metabase. Информация из LMS

28. Метрики EdMarket.
ОС на занятия и ДЗ
28
Организовано в Metabase. Информация из LMS

29. Метрики EdMarket.
Оценка преподавателей
29
Организовано в Metabase. Информация из LMS

30. О чем поговорим дальше?
30
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик.
4. Ошибки, которые допускают при оценке обучения

31. 31
А бывает так...
«В финале обучения очень мало студентов оставляют
обратную связь, и мы не можем понять, надо ли что-то
изменить в курсе»
Плохо, когда не спрашиваем ОС в начале и в середине
курса. Когда измеряем только один показатель CSI, то не
понимаем реакцию по разным направлениям:
● преподаватели,
● теор. материал,
● домашние задания,
● сопровождение обучения.

32. 32
А бывает так...
«У нас низкий COR и CSI “хромает”. Но мы решили, что
лучше, если ДЗ будет проверять сам эксперт. Даже
если надо будет немного подождать»
Если эксперт проверяет с задержкой, то лучше освободить
его от тех ДЗ, которые может проверить куратор/тьютор.
Организовать чат. Ускорить ответы на вопросы учащихся.

33. Студент очень недоволен обратной связью
на выполненную практику.
Оставил негативную ОС в анкете.
33
Что будем делаем?
33

34. Плохая ОС на практику в анкете.
Что делаем? Проверяем:
34
1. формулировку ДЗ
2. критерии оценки ДЗ
3. качество ОС в ДЗ
4. вопросы в анкете, из которой ОС (открытые поля)
5. ОС от других студентов, потоков
И только потом решаем, что делать.

35. О чем поговорим дальше?
35
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик.
4. Ошибки, которые допускают при оценке обучения
5. Что такое методический аудит и зачем его проводят?

36. Методический аудит
Задача на стыке:
● методологии и маркетинга
● методологии и бизнеса
● интересов учащегося/студента и интересов
плательщика
36

37. Методический аудит
Как видит его методист?
Блум, SSDL и вот это все о
прекрасных теориях и способах
проектирования онлайн-курсов и
образовательной среды
37

38. Методический аудит
Как видит его методист?
Блум, SSDL и вот это все о
прекрасных теориях и способах
проектирования онлайн-курсов и
образовательной среды
38
Как видит его заказчик?
После аудита я смогу …
● повысить COR, CSI, NPS
● увеличить LTV, расширить линейку
● привлечь больше учеников
● получить больше положительных отзывов
● получить меньше негативных отзывов
● понять, почему люди не доучиваются
● выяснить, почему нет результатов в работе
сотрудника после обучения на курсе

39. Сколько стоит услуга аудита на рынке?
● 1 час работы методиста от 500 до 5 000 руб
● Аудит одного курса от 50 000 руб
Конечная стоимость зависит от курса, объема работ и
желаемого результата, а также от экспертизы методиста или
методистов.
39

40. Кто может провести метод.аудит?
Метод. аудит может провести только опытный методист.
Иногда проводит методический директор/руководитель
метод.отдела или продюсер/маркетолог.
Методическое агентство EdMarket проводит
методический аудит онлайн-курсов.
Если есть такой запрос, обращайтесь.
40

41. Методический аудит. Пример
чек-листа проверки курса
Во время метод.аудита анализируется:
● информация о ЦА
● логика обучения
● удобство учебной среды
● качество контента
● качество практикумов
● все имеющиеся метрики
● процесс сопровождения обучения
* Работы по улучшению курса идут
дополнительно
41

42. Провели метод. аудит. И что дальше?
42
В вашем курсе нужно «перекрасить стены» или
«перекрыть крышу», «передвинуть мебель» или
«заложить новые коммуникации», «посадить
дерево» или … «найти другое место жительства».
После аудита заказчик либо сам вносит
изменения по рекомендациям, либо привлекает
методиста для исправлений.
Есть ошибки, которые исправить проще, а есть те, на
исправление которых нужно достаточно много времени:

43. О чем поговорим дальше?
43
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик.
4. Ошибки, которые допускают при оценке обучения
5. Что такое методический аудит и зачем его проводят?
6. Профессия «Методический директор»

44. 44
Хотите эффективно развивать линейку
продуктов и делать качественный аудит?
44

45. 45
Онлайн-курс в EdMarket
«Методический директор онлайн-
школы»
Длительность: 5 месяцев
45

46. 46
Для кого этот курс максимально
подходит?
Эксперты и руководители
онлайн-школ
Учителя, преподаватели школ,
сузов и вузов, репетиторы
Методисты
онлайн‑курсов

47. 47
Анализ рынка и
формирование УТП
7 недель 4 недели
Педагогический
дизайн
От разработки онлайн-курса
к разработке линейки
6 недель 2,5 недели
Научимся оценивать
спрос и проводить
конкурентный анализ
рынка.
Создадим портрет
целевой аудитории (ЦА)
и разработаем
Уникальное Торговое
Предложение (УТП)
вашего продукта.
Разберемся, как
распределять роли в
образовательном проекте и
выбирать форматы
обучения под задачи курса.
Расскажем про основные
методы организации
контента в учебном курсе,
определим те, что подходят
вашему образовательному
проекту
Создадим линейку
образовательных продуктов.
Научимся собирать
аналитические данные,
рассчитывать бюджет на
разработку и управлять
качеством контента.
+ 2 консультации
с ментором-наставником
Продумываем онлайн-
практику для вашего
проекта.
Создаем наполнение
курса и образоват. среду.
Разрабатываем
мотивационную
стратегию.
+ Видеоурок
«Трудоустройство в
онлайн-образовании»
Проектируем
образовательную онлайн-
среду
Полная программа в EdMarket

48. 48
Сможете:
✔ Обучаться, как на своем, так и на
учебном проекте
✔ претендовать на «менеджерские»
должности, где нужно управлять
процессом разработки курсов
✔ претендовать на более высокую
должность и зарплату от 80 000 руб.
Получите навыки:
● выбор ниши для курса
● анализ конкурентов
● анализ целевой аудитории
● поиск экспертов для курса
● оценка затрат на запуск курса
● построение линеек онлайн-курсов
● разработка курсов
● подбор форматов
● внедрения метрик эффективности
● сбор обратной связи
● подбор тех.решений для сборки и
проведения курсов
В чем плюсы этого курса?

49. 49
Также вы получаете БОНУСЫ
в ходе обучения
49
+БОНУСЫ
+БОНУСЫ
+БОНУСЫ

50. 50

51. О чем поговорим дальше?
51
1. Что включает в себя этап оценки результатов обучения?
2. Что можно измерять в образовательном продукте?
3. Инструменты и ресурсы для анализа метрик.
4. Ошибки, которые допускают при оценке обучения
5. Что такое методический аудит и зачем его проводят?
6. Профессия «Методический директор»
7. Книги для вдохновения

52. 52
Книги для вдохновения

53. Если у вас возникли вопросы или предложения, пишите:
• Email: m.litvinova@netology-group.ru
• Телеграм: @marilitvinova
• Инстаграм: marina_litvinova
Марина Литвинова
Директор по продукту, EdMarket
Контакты