Сложные вопросы реализации и интерпретации

1. Кластеризация и текстовый анализ
Сложные вопросы реализации и интерпретации
Алексей Чекушин
Head of search tech в Ostrovok
Основатель Just-Magic.org

2. Who is mr. clustering
True
False

3. А почему так?
Гипотеза 1: Если N урлов могли быть продвинуты по двум запросам
– значит и мы можем.
Гипотеза 2: Качество выдачи за топ-10 быстро падает.

4. Проблема 1: как выбрать кластер?

5. Идем от задачи!
Ускорение разбора больших ядер Разделение запросов по типам

6. Проблема 2: малые группы
39 - Ростов 213 - Москва
© кластеризатор Just-Magic.org

7. Два вида ошибок
Ошибка 1го рода:
В 1 кластер попали
Несовместимые
запросы.
Ошибка 2го рода:
Совместимые запросы
попали в разные
кластеры.

8. Решение проблемы 1
Минимизируем ошибку 1го рода
Ошибка 2го рода – как получится

9. Проблема решена?

10. Опять идем от задачи!
Постраничное распределение
Маркерный запрос
Просто кластеризация
Метод наибольшей плотности

11. Проблема решена?
Маркер

12. Точность и полнота
Точность
Полнота
Подходящие Не подходящие

13. WTF? Опять этот слайд??!!!111
Маркер

14. Проблема 3: какой N правильный?
22%
49%
92%
95%
98% 100% 100% 100% 100% 100%
9%
21%
61%
74%
89%
97%
100% 100% 100% 100%
0%
20%
40%
60%
80%
100%
120%
1 2 3 4 5 6 7 8 9 10
Точность кластеризации
Точность - hard Точность - soft

15. Неужели опять от задачи?
«Трафиковое» продвижение
Soft-метод, порог 4+
«Позиционное» продвижение
Hard-метод, пороги 3 или 4

16. Текстовый анализ?
Гипотеза 1: Существуют «оптимальные» для попадания в топ
значения.
Гипотеза 2: Сайты в топе соответствуют «оптимальным» значениям.
Гипотеза 3: Вычисления интервалов допустимо проводить
независимо.

17. Что такое «оптимальное значение»?
0
2
4
6
8
10
12
14
16
1 2 3 4 5 6 7 8 9 10
[пластиковые окна] - вхождение "пластиковые окна"

18. Окей гугл, как вычислить оптимальные?
1) Выбросить все ненужное.
2) Срезать выбросы.
3) Определить диапазон.

19. Диапазон?
0
5
10
15
20
25
30
35
1 2 3 4 5 6 7 8 9 10
[купить пластиковые окна] - вхождение [пластиковые окна]

20. Проблема 4: Сколько вхождений правильно?
© текстовый анализатор Just-Magic.org

21. А если запросов несколько?

22. Проблема 5: так сколько вхождений правильно?
0
5
10
15
20
25
30
35
1 2 3 4 5 6 7 8 9 10
Вхождения "пластиковые окна"
[пластиковые окна] [купить пластиковые окна]
0
5
10
15
20
25
30
35
1 2 3 4 5 6 7 8 9 10
Вхождения "пластиковые окна"
[пластиковые окна] [купить пластиковые окна]

23. Еще одно решение

24. Всегда ли это применимо?

25. Fin
Ваши вопросы?
Связаться со мной:
a.chekushin@ostrovok.ru
a.chekushin@just-magic.org
Попробовать самому (онлайн, бесплатно, без смс): Just-Magic.org