Александр дал общую характеристику рынка бизнес-аналитики в Беларуси. На примере реальных бизнес-задач он рассказал о проблемах, с которыми сталкиваются специалисты при внедрении Data Mining, и о том, как эти проблемы можно решить при помощи программного обеспечения

1. Практическое применение
Data Mining-технологий
Гринчук Александр
ООО «Нанотех»
ИБМТ БГУ

2. Текущее состояние дел
 Точно знаем надо
 Примерно знаем почему
 Плохо знаем как
2

3. Национальные особенности
 Банки – в аутсайдерах
 Лидеры: телеком и игровая индустрия
 Торговые сети: сдержанный интерес
3

4. Данные
 Собираются не для анализа
 Собираются не всегда, когда можно
 Собираются некачественно
4

5. Проблемы
 Малая выборка
 Несоблюдение чистоты
 Недооценка динамики
 Недоверие к первым результатам
5

6. «Малые» данные
 Много для статистики
 Мало для автоматизации
 Пример: прогнозирование
6

7. «Ручное» прогнозирование
 Много для статистики
 Мало для DataMining
7

8. «Ручное» прогнозирование
 Много для статистики
 Мало для DataMining
8

9. «Ручное» прогнозирование
 Стратегия:
 выявить шаблоны «вручную»
 применить автоматически
9

10. Несоблюдение чистоты
 Сложность выявления
 Сложность обработки
 Последствия серьезнее, чем кажутся на
первый взгляд
10

11. Примеры (реальные случаи)
 ошибки при вводе марки автомобиля: 14 (!)
вариантов написания марки “Mercedes”. DEU
указано вместо DAEWOO в 6-ти анкетах, все
заемщики рассчитались с кредитом. Ошибочный
вывод: наличие автомобиля марки DEU
свидетельствует о высокой надежности клиента;
 указана область проживания как БРЕСЦКАЯ (4 случая
– все «плохие»). На практике выяснилось, что
значимость региона не столь высока;
 количество не столь очевидных примеров велико.
Доля строк хотя бы с одной ошибкой, опечаткой или
пропуском может достигать 70%.
11

12. Сравним
 Между прочим: алгоритмы
разрабатывались для первой ситуации!
Требования теории Банковская практика
Образцы для исследования берутся
в одинаковых условиях
12
Клиенты приходят в разное время и
их качественный состав меняется
Измерения производятся точно,
результаты тщательно
регистрируются
Работают люди: ошибаются,
пропускают, путают
Отбираются образцы в пропорциях,
отражающих реальное положение
дел
Есть сведения только о клиентах,
получивших одобрение на выдачу
кредита

13. Способ решения
 Предобработка данных
 Модификация алгоритмов
13

14. Пример: квантование
14

15. Недооценка динамики
 Банки: старение кредитов
 Отток: смешивание групп
 Причина: из-за недостатка данных
объединяются наблюдения за
относительно большой промежуток
времени
15

16. Эффект старения
 Ложное ощущение опасности, из-за роста
доли «старых»
16
8%
7%
6%
5%
4%
3%
2%
1%
0%
янв.10
фев.10
мар.10
апр.10
0 2 4 6 8 10 12 14 16

17. Отток клиентов
 Три группы, не одна
 Остались «упрямые», а не улучшилась
ситуация
0.7
0.6
0.5
0.4
0.3
0.2
17
1 2 3 4 5
0.1
0 2 4 6 8 10
0.5
0.4
0.3
0.2
0.1

18. Недоверие к результатам
 Требование «обзорности»
 Требование «привычности»
 Результат должен «выражаться в денежных
единицах»
18

19. Ошибки
 Заранее задаются:
 вид результата
 ограничения по набору данных
 Ошибки бывают в разные стороны
19

20. Пример: успеваемость
 Факторный анализ: 2 фактора
 Прогноз = Коэффициент0
+Коэффициент1 × Фактор1
+ Коэффициент2 × Фактор2
№ Фамилия МЕНЕДЖ МАТЕМ_1 ОСЕ ЭКОН_1 ИТ МАТЕМ_2 БУХУЧЕТ ЭКОН_2
77 … 7 2 6 4 7 6 6 7
78 … 8 4 7 4 5 6 7 7
79 … 6 6 7 3 5 4 7 7
80 … 7 9 7 7 8 8 9 9
81 … 10 5 5 7 8 9 8 8
82 … 6 4 5 4 6 4 6 6
83 … 7 8 6 7 8 7 10 8
84 … 9 4 8 7 8 4 8 8
85 … 9 10 9 9 9 9 9 9
86 … 4 2 4 2 4 2 5 5
20
Входные поля Корреляция с выходными полями
№ Поле Фактор 1 Фактор 2
1 МЕНЕДЖ 0,842 0,083
2 МАТЕМ_1 0,881 0,249
3 ОСЕ 0,804 0,396
4 ЭКОН_1 0,951 -0,172
5 ИТ 0,784 -0,536
6 МАТЕМ_2 0,901 -0,185
7 БУХУЧЕТ 0,846 0,058
8 ЭКОН_2 0,92 0,101

21. Отслеживание динамики
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5
21
2
1,5
1
0,5
0
-0,5
-1
-1,5
-2
-2,5
-3

22. Игнорирование известного
 Результаты отличаются от соседей и
аналогичных организаций?
 Причина ошибка или особенности?
 Пример: продажи мобильных телефонов,
особенности для категории «Образование
среднее специальное»
22

23. Доведение до результата
23

24. Ограничения по алгоритмам
 Интерпретируемые
 Проверяемые
 Необходимость взаимопроверки
24

25. Пример: деревья решений
25

26. Пример: карты Кохонена
26

27. Взаимная подстраховка
27

28. Кластеризация и деревья решений
28

29. «Госзаказ»
 Тестирование
 Складские задачи
29

30. Тестирование
 Применение ассоциативного анализа
30

31. Платформа
 Требования
 Гибкость в работе
 Удобство вместо наворотов
 Возможность маневра
31

32. Алгоритмы
 Дерево решений
 Логистическая регрессия
 Самоорганизующиеся сети
 Apriory
 Линейная регрессия
 Возможности комбинирования
32

33. Варианты ПО
 Deductor Studio
 RExcel
33

34. Deductor
 Простота в освоении и «промышленная
мощность»
34

35. RExcel
 Привычный интерфейс и алгоритмы R
35

36. Заключение
 Часто наблюдается: недостаток данных и их
неготовность к непосредственному анализу
 В такой ситуации предпочтительнее
использование комбинации простых и
прозрачных алгоритмов вместо разработки
и применения сложных
 Поэтому удобное ПО хотя бы с
минимальным «джентельменским
набором» лучше неудобных «комбайнов»
36