Введение в машинное обучение. Кластеризация (Bitworks Software, Кирилл Жданов)
•
2 gefällt mir•2,317 views
Презентация Введение в машинное обучение. Кластеризация. Алгоритм кластеризации k-means. Автор - Кирилл Жданов (Bitworks Software), 2015 г.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Введение в машинное обучение. Кластеризация (Bitworks Software, Кирилл Жданов)
Ähnlich wie Введение в машинное обучение. Кластеризация (Bitworks Software, Кирилл Жданов) (20)
Mehr von Dmitry Kornev
Mehr von Dmitry Kornev (8)
Введение в машинное обучение. Кластеризация (Bitworks Software, Кирилл Жданов)
- 1. Введение в машинное обучение. Кластеризация. Алгоритм кластеризации k-means. Bitworks Software Жданов Кирилл
- 2. Машинное обучение Компьютер Что это? Использование программ Программа Входные данные Выходные данные Создание программ при помощи машинного обучения Компьютер Входные данные Выходные данные Программа
- 3. Машинное обучение Пример: обнаружение спама Компьютер Входные данные: множество писем Выходные данные: метки для писем из входных данных (спам/не спам) Программа
- 4. Машинное обучение Пример: обнаружение спама Компьютер Программа Спам Не спам Письма
- 5. Машинное обучение Примеры задач ● Поиск похожих элементов – Сайты-двойники – Плагиат ● Обработка естественного языка – Выделение документов со схожими темами – Выделение ключевых слов ● Самонастраивающиеся приложения – Рекомендательные системы (Ozon, Netflix)
- 6. Машинное обучение Примеры задач Поиск плагиата Выбор групп слов Хэширование Хэширование Сравнение Слова, фразы, абзацы Слова, фразы, абзацы Веса слов, фраз, абзацев Веса слов, фраз, абзацев Выбор групп слов
- 7. Машинное обучение Примеры задач Выделение документов со схожими темами SVD/CUR TF-IDF Политика: 136 статей Спорт: 409 статей Общество: 302 статьи Культура: 254 статьи Автомобили: 150 статей Наука: 95 статей Определение тем Список ключевых слов для каждой статьи и их значимость Выделенные скрытые компоненты
- 8. Машинное обучение Примеры задач Рекомендательные системы: ● На основании исторических данных о предпочтениях пользователей, находим пользователей со схожими вкусами ● Рекомендуем пользователю одной группы товары, понравившиеся другим пользователям этой же группы
- 9. Задачи машинного обучения ● Обучение с учителем – Регрессия ● Предсказание значения непрерывной величины (например, линейная регрессия)
- 10. Задачи машинного обучения ● Обучение с учителем: регрессия Предсказание веса в зависимости от роста: по обучающей выборке построена линейная регрессия
- 11. Задачи машинного обучения ● Обучение с учителем: регрессия Для человека с ростом 187 сантиметров теперь можем предсказать вес: 79 килограммов.
- 12. Задачи машинного обучения ● Обучение с учителем – Регрессия ● Предсказание значения непрерывной величины (например, линейная регрессия) – Классификация ● Предсказание значений дискретной величины (например, линейная классификация)
- 13. Задачи машинного обучения ● Обучение с учителем: классификация Дано: точки двух классов в двухмерном пространстве.
- 14. Задачи машинного обучения ● Обучение с учителем: классификация Какой класс у точки с такими координатами?
- 15. Задачи машинного обучения ● Обучение с учителем: классификация Строим линейный классификатор.
- 16. Задачи машинного обучения ● Обучение с учителем: классификация На основании положения точки относительно классификатора, определяем её класс.
- 17. Задачи машинного обучения ● Обучение с учителем – Регрессия ● Предсказание значения непрерывной величины (например, линейная регрессия) – Классификация ● Предсказание значений дискретной величины (например, линейная классификация) ● Обучение без учителя ● Найти скрытые закономерности в данных, сжать данные (например, уменьшение размерности пространства, кластеризация)
- 18. Задачи машинного обучения 1000 измерений A B C D E 3.7 0.3 0.0 0.0 1.7 0.0 0.1 3.5 0.0 7.2 5.8 3.8 0.2 3.8 0.0 2.1 4.5 8.7 1.2 0.2 0.3 2.6 6.2 3.5 8.2 0.8 3.3 7.1 0.0 5.3 4.5 1.0 6.1 9.9 7.3 5 измерений Уменьшение размерности пространства ● Для чего: – Уменьшение трудоёмкости вычислений – Визуализация 0 1 2 3 4 5 6 7 8 9 10 11 12 ... 0.7 0.9 0 0 0 0 0 0 1 1.7 2.8 0 0 ... 4.3 8.1 0 1.8 0.4 0 2.1 0 3.7 0 0.1 0 0.6 ... 0 1.1 1.8 0 6.5 7.1 0 0.6 0 0 1.4 1.8 0.3 ... 1.9 7.7 0 7.3 1.1 1.0 0.4 0 4.4 3.5 0 1.2 0 ... 8.0 0.4 7.1 0 0 1.9 3.4 0.3 0 2.7 0 1.2 6.2 ... 0 9.2 1.2 0.3 0.1 0 3.7 0 0 1.8 9.1 0 1.1 ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
- 19. Задачи машинного обучения Уменьшение размерности пространства Переводим точки из двухмерного пространства в одномерное. Для этого нужно всего лишь подобрать прямую, при проекции на которую точки будут максимально далеки друг от друга.
- 20. Задачи машинного обучения Уменьшение размерности пространства
- 21. Задачи машинного обучения Кластеризация Дано: группа элементов, для каждого элемента определены значения нескольких характеристик (например, рост, вес, температура и т.д.). Необходимо выделить группы похожих элементов.
- 22. Кластеризация ● Иерархическая – Каждая точка – кластер – Объединение ближайших кластеров с сохранением древовидной структуры ● Назначение точек – Определить несколько кластеров – Присвоить каждую точку ближайшему кластеру ● На основании связности – Близкие друг к другу точки объединяются в кластеры
- 23. K-means Пример В наличии набор точек в двухмерном пространстве (в общем случае – в многомерном).
- 24. K-means Пример Хотим выделить два кластера – случайно выбираем две точки из множества.
- 25. K-means Пример Создаём на их месте две новые точки – центры кластеров. Распределяем точки между кластерами на основании расстояния.
- 26. K-means Пример Перемещаем центры кластеров так, чтобы расстояние от центра до всех точек этого кластера было минимальным.
- 28. K-means Пример Продолжаем обновлять позиции центров кластеров и распределять точки между кластерами.
- 29. K-means Пример До тех пор, пока позиции центров кластеров изменяются.
- 30. K-means Пример
- 31. K-means 0) Определить метрику расстояния 1) Выбрать количество кластеров 2) Нормализовать данные 3) Выбрать центроиды (центры кластеров) 4) Присвоить точки кластерам 5) Обновить центроиды 6) Повторять 4 и 5 Алгоритм
- 32. K-means ● Требования: – E(x, y) = 0 если и только если x = y – E(x, y) = E(y, x) – E(x, y) + E(y, z) > E(x, z) ● Евклидово расстояние: 0) Определить метрику расстояния E E12=√(x1−x2) 2 +( y1− y2) 2
- 33. K-means Хорошо, если изначально известно. Но чаще всего этим знанием исследователи не обладают, поэтому был предложен метод, позволяющий оценить нужное количество кластеров – метод локтя (Elbow method). 1) Выбрать количество кластеров
- 34. J= 1 n ∑ i=1 n E( pointi ,centroid( pointi)) K-means ● Функция стоимости: ● Далее производится кластеризация множества точек с различными значениями количества кластеров и строится график зависимости значения функции стоимости от количества кластеров 1) Выбрать количество кластеров: метод локтя Центроид кластера, которому принадлежит эта точка
- 35. K-means Метод локтя (Elbow method) J Количество кластеров Нужно выбрать такую точку на графике, которая определит оптимальное соотношение количества кластеров и значения функции стоимости: на сгибе “локтя” графика.
- 36. K-means Многократная кластеризация всего исходного набора точек – чаще всего очень трудоёмкая задача из-за того, что точек и измерений много. Поэтому выбирается подмножество точек и используется в качестве входных данных для методя локтя. 1) Выбрать количество кластеров
- 37. K-means 2) Нормализовать данные ID Заработная плата Возраст 1 80000 37 2 50000 23 3 120000 52 4 75000 28 E12=√(x1−x2) 2 +( y1− y2) 2 E14=√(80000−75000) 2 +(37−28) 2 ≈5000
- 38. K-means 2) Нормализовать данные В приведённом примере возраст вносит незначительный вклад в определение расстояния между двумя точками из-за того, что заработная плата измеряется в тысячах, а возраст в десятках. После нормализации масштабы шкал измерения параметров будут совпадать и мы избавимся от этой проблемы.
- 39. K-means 2) Нормализовать данные ID З/п Возраст 1 80000 37 2 50000 23 3 120000 52 4 75000 28 ID З/п Возраст 1 0.4285 0.4827 2 0 0 3 1 1 4 0.3571 0.1724
- 40. K-means 2) Нормализовать данные ID З/п Возраст 1 0.4285 0.4827 2 0 0 3 1 1 4 0.3571 0.1724 E14=√(80000−75000) 2 +(37−28) 2 ≈5000 E14=√(0.4285−0.4827) 2 +(0.3571−0.1724) 2 E14≈0.19153
- 41. K-means ● Случайные точки в границах [min; max] 3) Выбрать центроиды При данном подходе могут быть выбраны центроиды в “пустынных” областях пространства и им придётся проделать лишний путь в процессе минимизации значения функции стоимости.
- 42. K-means ● Случайные точки в границах [min; max] ● Случайные точки из множества точек 3) Выбрать центроиды Подход, который был использован нами при рассмотрении первого примера. Выбираем с равной вероятностью несколько точек из набора исходных, дублируем их и используем дубликаты в качестве центроидов.
- 43. K-means 3) Выбрать центроиды Однако, если большинство точек сгруппированы в одном месте, а небольшие группы точек расположены на периферии, то с большей вероятностью все центроиды будут выбраны из большего по размеру множества точек – и выделить кластеры на периферии не удастся.
- 44. K-means ● Случайные точки в границах [min; max] ● Случайные точки из множества точек ● Взвешенный случаный выбор точек из множества (k-means++): – Выбрать одну случайно – Вычислить вероятности для всех остальных точек на основании расстояния до выбранных – Выбрать следующую, учитывая вероятности – Пересчитать вероятности 3) Выбрать центроиды
- 45. K-means 4) Присвоить точки кластерам На основании метрики расстояния E12=√(x1−x2) 2 +( y1− y2) 2
- 46. K-means 5) Обновить центроиды ● Среднее значение всех точек кластера по каждому измерению: ● Выбрать в качестве центра кластера точку из этого кластера, которая ближе всех ко всем остальным точкам кластера (кластроид). Полезно, когда сложно посчитать среднее значение по какому- либо измерению и/или пространство многомерное. 0.17+0.12+0.22+0.96 4 =0.37
- 47. K-means 6) Повторять 4 и 5 ● Критерий остановки: – Количество итераций (задаётся заранее) – Пока значение функции стоимости изменяется
- 48. K-means Пример
- 49. K-means Пример
- 50. K-means Пример
- 51. Недостатки ● Априорное знание о количестве кластеров ● Сферическая форма выделяемых кластеров (справедливо для Евклидовой метрики расстояния; для решения этой проблемы используются другие метрики расстояния, например, расстояние по Махаланобису)
- 52. K-means Недостатки: локальный минимум Не гарантируется, что в результате использования алгоритма кластеризации k-means будет получено оптимальное разбиение множества точек на кластеры (не гарантируется достижение глобального минимума). Многое зависит от начального распределения центроидов.
- 53. K-means Недостатки: локальный минимум В рассматриваемом примере жёлтый центроид не сдвинется с места, так как это не приведёт к улучшению значения функции стоимости – из-за того, что рядом расположен зелёный кластер и расстояния от ближайших точек до зелёного центроида меньше, чем до жёлтого.
- 54. K-means Недостатки: локальный минимум При этом с целью улучшения значения функции стоимости синий кластер формируется из двух групп точек, которые могли бы быть выделены в отдельные кластеры.
- 55. K-means Недостатки: локальный минимум В конце концов будет получена следующая кластеризация точек.
- 56. Недостатки k-means ● Априорное знание о количестве кластеров ● Сферическая форма выделяемых кластеров ● Локальный минимум (для решения этой проблемы предлагается провести кластеризацию несколько раз и выбрать наилучший вариант)
- 57. Применение кластеризации ● Сегментирование рынка (целевая аудитория для рекламы) ● Анализ социальных сетей ● Определение групп похожих продуктов (рекомендательные системы) ● Уменьшение количества анализируемых элементов (представить каждый кластер как одну точку; анализ каждого кластера по отдельности) ● Квантование цвета
- 58. Пример (сотрудники организации) Данные ID ФИО Адрес 10 Редькин Магнус Федорович г. Томск, улица Мокрушина, 24 13 Демин Кербер Псоевич г. Томск, Картасный переулок, 17 19 Малянов Дмитрий Алексеевич г. Томск, Иркутский тракт, 142 26 Зыков Игорь Петрович 32 Ойра-Ойра Роман Петрович г. Томск, улица Бела Куна, 12 35 Бородин Юрий Алексеевич г. Северск, Транспортная улица, 79/6 42 Киплинг Джозеф Редьярд 43 Привалов Александр Иванович г. Томск, Новгородская улица, 44/1 ● Всего: 60 записей
- 59. Пример ● Фильтрация: игнорировать все записи без адресов (было: 60; стало: 43) ● Преобразовать каждый адрес в кортеж (широта, долгота), используя Yandex.Maps API ● Часто бывает полезно для дальнейшего анализа визуализировать данные (помогает выделить характерные особенности) Подготовка данных
- 61. Пример ● Выбираем 40% от всего набора данных, проводим кластеризацию для количества кластеров 2, 4, 8, 16, 32 (21 , 22 , 23 , ...) – для определения отрезка, в котором находится точка, отражающая нужное нам соотношение количества кластеров и значения функции стоимости. После определения этого отрезка можно провести более детальное его исследование. Метод локтя
- 62. Метод локтя Количество кластеров – степени двойки Рассмотрим подробнее отрезок [6, 16], так как именно в этих границах наблюдается резкое уменьшение скорости изменения значения функции стоимости.
- 63. Метод локтя Отрезок от 6 до 16 Значение 8 или 9 для количества кластеров подойдёт наилучшим образом так как данных не очень много: если взять 16 кластеров, то получится примерно по 2 с половиной объекта на кластер. Но, безусловно, это зависит от решаемой задачи.
- 64. 8 кластеров Можно видеть, что разбиение более или менее оптимально.
- 65. 12 кластеров На этом изображении видно, что 12 кластеров – это слишком много, так как возникло два кластера с одним элементом: жёлтый и серый.
- 66. 2 кластера При разбиении на два кластера ожидаемо были выделены Северск и Томск.
- 67. Применение ● Задача коммивояжёра: уменьшение количества точек для посещения (доставка почты, доставка сотрудников до офиса) ● Определение оптимальных по расстоянию мест для пунктов голосования, магазинов и других публичных мест ● Определение оптимальных по расстоянию мест для вышек сотовой связи или ретрансляции ● Таргетированная реклама новых магазинов в разных районах города
- 68. Другие функции оптимизации ● Диаметр кластера (максимальное расстояние между двумя точками в кластере) ● Радиус кластера (максимальное расстояние между центроидом/кластроидом кластера и точкой этого кластера) ● Межкластерное расстояние (минимальное из расстояний между всеми точками двух кластеров)
- 69. Другие метрики ● Lr -norm (L2 -norm это Евклидово расстояние, L1 -norm – расстояние по Манхэттену) ● Расстояние Махаланобиса (обобщение расстояния по Евклиду) ● Жаккардово расстояние (для множеств) ● Косинусное расстояние (угол между векторами) ● Расстояние редактирования (для строк)
- 70. ● Что такое машинное обучение? ● Задачи машинного обучения – Обучение с учителем – Обучение без учителя ● Кластеризация – Выделение групп похожих объектов ● Алгоритм кластеризации k-means – Выбрать центроиды – Ассоциировать точки с центроидами – Обновить центроиды Итоги