Когда в базе 1.3 млн. контактов компаний по всей России, неудивительно, что её периодически кто-то пытается распарсить. Здесь возникает проблема: как отличить добропорядочных пользователей от ботов? В своем докладе мы расскажем, как эволюционировала наша система защиты от парсинга. Мы рассмотрим следующие этапы и подходы: — особая локация в Nginx; — PHP + Redis (счетчик по ключу); — Nginx + Redis (конфигурационный файл); — Nginx + Lua + Redis : усложнение логики защиты без снижения скорости ответа. Также мы собираемся рассказать про язык Lua в связке с Nginx не только в случае защиты от парсинга, но и в других частых кейсах, когда не хочется «поднимать» тяжёлое основное приложение. Справочный API 2ГИС — крупнейший REST API в Рунете. Более 300 партнёров, среди которых 2ГИС-Онлайн, Mail.ru, НГС, Е1.ru. Месячная аудитория — 14 млн. Сервис предоставляет информацию об 1.3 млн. фирм и 1.8 млн. POI в 200 городах России, Падуе (Италия), нескольких городах в Украине и Казахстане.

1. Защита от парсинга под
нагрузкой
Дмитрий Бархатов
2gis.ru
@rnd2gis

2. 2ГИС

3. 3
Данные
• 5 стран
• 10 тыс. населенных пунктов
• 5 млн. гео-объектов
• 2 млн. организаций
• 15 тыс. маршрутов

4. Нас парсят

5. 5

6. Проблемы
Мусорная нагрузка
+
Плохая карма

7. Что делать?

8. 1. IP

9. 9
NAT
• Студенческая сеть
• Сотовая вышка

11. 11
2. API-ключ
http://api.2gis.ru/search?what=Пиво&where=Москва&key=1234
Ограничение по referer

12. ›cr -rfrr2i.u
ul -eee gsr

13. Кийя!

14. 3. Аналитика
на лету

15. 15
Анализируем нагрузку
• RPS
• Нагрузка в динамике

16. 16
Нагрузка за длительный период
Нормальная ситуация

17. 17
Нагрузка за длительный период
Парсер

18. 18
Анализ активности на проекте
• Хостинг
• Прачечные
• Школы каскадёров
• Матрасы
• Алмазное бурение

19. 19
Итого по аналитике
• Текущая нагрузка
• Кратковременная нагрузка
• Долговременная нагрузка
• Поведение

20. Как делать?

21. 21
Каменный век — локация в NginX
0 .g o $ a {
1 e bn
0.
2
0 .}
3
2310134
1.8.9.9
1
;

22. 22
Средневековье — PHP + Redis

23. 23
Современность — Lua
openresty.org

24. 24
ngx_lua
0 .l c t o / {
1 oain
0.
2
cnetb_u '
otn_yla
0.
3
0.
4
0 .}
5
nxsy"el,hgla+"
g.a(hlo ihod+)
'
;

25. 25
Lua: считаем RPS
0 .h t {
1 tp
0.
2
lasae_itRS1m
u_hrddc P 0;
0.
3
..
.

26. 26
Lua: считаем RPS
0 .i = n x v r r m t _ d r
1 p
g.a.eoead
0 .r s = n x s a e . P : n r i , 1
2 p
g.hrdRSic(p )
0 .i r s > X t e
3 f p
hn
0.
4
nxsae.ANDsti,1
g.hrdBNE:e(p )
0.
5
nxei(4)
g.xt44
0 .e d
6 n

27. 27
Lua: смотрим динамику
0 .f r i = - 0 0 d
1 o
6,
o
0.
2
- сормдны вхаиие
- мти ане
рнлщ
0.
3
- пииамршне
- рнме ееи
0 .e d
4 n

28. 28
Нагрузка в течение суток
Lua как поставщик данных
0 .l c t o / e _ a _ u s {
1 oain gtbdgy
0.
2
cnetb_u '
otn_yla
- оде дны и хаииа
- там ане з рнлщ
0.
3
0.
4
0 .}
5
'
;

29. 29
Отстреливаем негодяев
0 .i n x s a e . A N D g t i ) t e
1 f g.hrdBNE:e(p hn
0.
2
0 .e d
3 n
nxei(4)
g.xt44

30. Скорость?

31. 31
Бенчи голосуют за Lua
http://openresty.org/#Benchmark
http://benchmarksgame.alioth.debian.org/u64/benchmark.php
http://attractivechaos.github.io/plb/

32. 1 мс

33. Да ладно!

34. 1 мс

35. 16000 RPS

36. Lua (1 мс) vs PHP (15 мс)

37. Попался, голубчик!

38. 38
Бан или не бан
• Уверены → Бан
• Не уверены → Помогите, люди добрые

39. Когда снимать бан?

41. 41
Минусы всего подхода
• Нет однозначной идентификации
• Бот может замаскироваться

42. 42
Результат
В связи с временными техническими проблемами онлайн-версии
2GIS, мы решили предложить Вам выгодные условия по
приобретению нашей программы: успейте купить парсер организаций
2GIS по цене 2000 рублей вместо 4000 рублей

43. 43
Просто и быстро
Используйте простые скриптовые языки в связке с NginX с
алгоритмами анализа статистики в реальном времени.

44. 44
Вопросы?
Дмитрий Бархатов
d.barkhatov@2gis.ru