allegro.tech Data Science Meetup #2: Elasticsearch w ekosystemie Allegro Andrzej Wisłowski, Paweł Bobruk Wystąpienie z meetupu: http://www.meetup.com/allegrotech/events/226484033

1. Elasticsearch w
ekosystemie Allegro
Andrzej Wisłowski, Paweł Bobruk

2. O nas:
zespół zajmujący się dostarczaniem zespołom
Elasticsearch jak usługę w Grupie Allegro
infrastruktura
konsultacje
szkolenia wewnętrzne

3. Agenda
Dlaczego elasticsearch
Teoria wyszukiwania informacji
Agregacje
Przypadki użycia w Allegro
Infrastruktura klastrów ELS w Allegro
Nowości w elasticsearch 2.0

4. Dlaczego
elasticsearch

7. Real-Time data & analytics

8. System Rozproszony

9. Wyszukiwanie pełnotekstowe

10. Restowe API

11. Dokumenty JSONowe

12. Teoria
wyszukiwania
informacji

13. Wyszukiwanie informacji
Wyszukiwanie informacji (information
retrivial) jest pozyskaniem istotnych dla
szukającego informacji (zazwyczaj
dokumentów) z ze zbioru danych
informatycznych (zazwyczaj
niestrukturalnych).

14. Odwrócony indeks
Dokument - element, na którym budujemy
system
(np. produkt w sklepie, strona internetowa)
Term - element indeksu, zazwyczaj
pojedyncze słowo zestaw termów tworzy
słownik indeksu

15. Wyszukiwanie pełnotekstowe
Term Doc_1 Doc_2 Doc_3
------------------------------------
brown | X | X |
dog | X | |
dogs | | X | X
fox | X | | X
foxes | | X |
in | | X |
jumped | X | | X
lazy | X | X |
leap | | X |
over | X | X | X
quick | X | X | X
summer | | X |
the | X | | X
------------------------------------
Odwrócony index
Doc_1: The quick brown fox jumped over the lazy dog
Doc_2: Quick brown foxes leap over lazy dogs in summer
Doc_3: The quick fox jumped over dogs

16. Analizatory

17. Analizatory
- Tokenizer
- whitespace - tokeny tylko po białych znakach
- standard - tokeny po białych znakach + znakach interpunkcji
- keyword - np. dla marek “Hugo Boss”
- regexp - własna definicja
- Token Filter
- lowercase
- stopword

18. Wyszukiwanie pełnotekstowe
GET /my_index/_search
{
"query" : {
"match" : {
"body" : "brown"
}
}
}
Term Doc_1 Doc_2 Doc_3
------------------------------------
brown | X | X |
dog | X | | X
dogs | | X | X
fox | X | | X
foxes | | X |
in | | X |
jumped | X | | X
lazy | X | X |
leap | | X |
over | X | X | X
quick | X | X | X
summer | | X |
the | X | | X
------------------------------------
Odwrócony index

19. Agregacje
Term Doc_1 Doc_2 Doc_3
------------------------------------
brown | X | X |
dog | X | | X
dogs | | X | X
fox | X | | X
foxes | | X |
in | | X |
jumped | X | | X
lazy | X | X |
leap | | X |
over | X | X | X
quick | X | X | X
summer | | X |
the | X | | X
------------------------------------
Odwrócony index
GET /my_index/_search
{
"query" : {
"match" : {
"body" : "brown"
}
},
"aggs" : {
"popular_terms": {
"terms" : {
"field" : "body"
}
}
}
}

20. Field data
Doc Terms
-----------------------------------------------------------------
Doc_1 | brown, dog, fox, jumped, lazy, over, quick, the
Doc_2 | brown, dogs, foxes, in, lazy, leap, over, quick, summer
Doc_3 | dog, dogs, fox, jumped, over, quick, the
-----------------------------------------------------------------
doc values - field data na dysku

21. Field data
Doc Terms
-----------------------------------------------------------------
Doc_1 | brown, dog, fox, jumped, lazy, over, quick, the
Doc_2 | brown, dogs, foxes, in, lazy, leap, over, quick, summer
Doc_3 | dog, dogs, fox, jumped, over, quick, the
-----------------------------------------------------------------
GET /my_index/_search
{
"query" : {
"match" : {
"body" : "brown"
}
},
"aggs" : {
"popular_terms": {
"terms" : {
"field" : "body"
}
}
}
}
Term Doc_1 Doc_2 Doc_3
------------------------------------
brown | X | X |
dog | X | | X
dogs | | X | X
...
-----------------------------------
{
"hits": {
"total": 2,
...
},
"aggregations": {
"popular_terms": {
"buckets": [
{
"key": "brown",
"doc_count": 2
},
{
"key": "lazy",
"doc_count": 2
},
{
"key": "over",
"doc_count": 2
},
{
"key": "quick",
"doc_count": 2
},
{
"key": "dog",
"doc_count": 1
},
...
]
}}}
Inverted index

22. Agregacje

24. Metrics
min
max
sum
avg
value_count
sum_of_squares
std_deviation
variance

25. terms
agregacja po polu

26. Najczęściej wyszukiwane słowa
{
"aggs": {
"mostCommonSearched": {
"terms": {
"field": "phrase"
}
}
}
}
{
"key": "samsung",
"doc_count": 3321830
},
{
"key": "galaxy",
"doc_count": 2664985
},
{
"key": "audi",
"doc_count": 2343937
},
{
"key": "nike",
"doc_count": 2234019
},
...

27. agregacje
zagłębione

28. Najczęściej wyszukiwane per
kategoria
{
"aggs": {
"category": {
"terms": {
"field": "category",
"size": 5
},
"aggs": {
"mostCommonSearched": {
"terms": {
"field": "phrase",
"size": 5
}
}
}
}

29. Main Page Motoryzacja Książki i Komiksy Komputery Odzież, Obuwie,
Dodatki
samsung audi testy lenovo nike
nike bmw historia tablet adidas
galaxy mercedes matematyka office buty
buty opel nauczyciela microsoft air
audi honda księga gtx sukienka

30. stats
count, min, max, avg, sum

31. Statystyki cen per kategoria
{
"aggs": {
"category": {
"terms": {
"field":
"category",
"size": 10
},
"aggs": {
"stats": {
"stats": {
"field": "price"
}
}
}
}
}
{
"key": "Oświetlenie/Lampy",
"stats": {
"count": 157452,
"min": 1,
"max": 66479,
"avg": 297.42634631508975,
"sum": 46830373.080003515
}
},
...

32. percentile

33. {
"key": "Oświetlenie/Lampy",
"percentile": {
"values": {
"50.0": 162.65936064485723,
"75.0": 330.90439138409306,
"95.0": 980.0905118431161,
"99.0": 2147.587473335171
}
}
},
...
Ceny w percentylach per kategoria
{
"aggs": {
"category": {
"terms": {
"field":
"category.path",
"size": 10
},
"aggs": {
"percentile": {
"percentiles": {
"field": "price",
"percents": [
50,
75,
95,
99
]

34. date_histogram
statystyka wg daty

35. Nowe produkty Sprzedawcy
{
"aggs": {
"date": {
"date_histogram": {
"field": "createdAt",
"interval": "month"
}
}
}
}
{
"key":
“April”,
"doc_count": 13
},
{
"key":
“May”,
"doc_count": 40
},
{
"key":
“June”,
"doc_count": 28

36. script

37. Koniec aukcji wg dni tygodnia
{
"query": {
"aggs": {
"auctionsPerWeekDay": {
"terms": {
"script":
“doc['endDate'].date.dayOfWeek().getAsText(
)",
}
}
}
}
Niedziela 3672219
Sobota 3144495
Poniedziałek 3090514
Piątek 2823472
Środa 2729971
Czwartek 2724953

38. geo

40. Punkty odbioru w promieniu 1,5 km
{
"aggs": {
"byPlace": {
"geo_distance": {
"field": "location",
"origin": "52.2401,21.0421",
"ranges": [
{ "to": 700},
{"from": 700, "to":
1000},
{"from": 1000, "to": 1500}
],
"unit": "m"
}
}
}
}
{
"key": "*-700.0",
"from": 0,
"to": 700,
"doc_count": 1
},
{
"key": "700.0-1000.0",
"from": 700,
"to": 1000,
"doc_count": 6
} ,
{
"key": "1000.0-1500.0",
"from": 1000,
"to": 1500,
"doc_count": 12
}

41. pipeline v 2.0

43. Pipeline
statystyczne (min, max, avg, ...)
percentile
cumulative
moving
...

44. Moving

45. Elasticsearch w
Allegro

46. Rekomendacje

47. Rekomendacje
- indeksowane są oferty allegro zawierające id meta
produktu oraz ranking (score) oznaczający jakość oferty
{
“name”: “iphone 6, super oferta”
offerId: “23”,
metaProductId: “p12”,
score: 0,324
}
- system rekomendacji wybiera meta produkty które mają
być zarekomendowane użytkownikowi

48. Rekomendacje
{
"aggregations": {
"by_meta_product_id": {
"buckets": [
{ "key": "p12",
"top_n_items": {
"hits": {
"total": 15,
"max_score": null,
"hits": [
{ { "name": "iphone 6s" },
"sort": [ 0.1485 ]
},
{ { "name": "iphone 6s nowość", },
"sort": [ 0.1348 ]
},
...
]
}}}]}}}

49. Problemy- optimize
- w Lucene zmiana dokumentu to usunięcie i dodanie
nowego
- przy częstych zmianach indeksu, rośnie ilość
skasowanych dokumentów, przy przekroczeniu pewnego
progu - u nas 20% ma to wpływ na czasy odpowiedzi
- dlatego raz na dobę wymuszamy optimize indexu

50. Wydajność
- wielkość indeksu: 25 mln dokumentów
- odczyty > 3000 rps
- czasy odpowiedzi : < 500ms (p99)
Skalujemy odczyty przez większą liczbę replik.

51. http://hermes.allegro.tech/
https://github.com/allegro/hermes

52. Hermes
wykorzystanie do audytów “eventów”, zapisywane są
wysłane i opublikowane “eventy”
wydajne zapisy ponad 4000 rps
indeksy timeseries (per dzień), łatowść kasowania
około 1,8 mld dokumentów
zapisy bulkami

53. DWH
- KIBANA - analityczne - biznes potrafi używać
- marketing / reklama
- 4 mld dokumentów
- 2000 indeksów
- indeksy timeseries z użyciem aliasów

54. Bilingi
Billingi serwisów allegro
około 400 mln dokumentów
indeksowań 100 rps
użycie timeseries i aliasów
routing po użytkowniku

55. Punkty odbioru - GEO
wyszukiwanie geolokalizacyjne

56. Setup
klastrów

57. Setup cloudowy
prywatny cloud oparty na openstacku
ansible do automatyzacji stawiania klastrów (łatwe
rozszerzanie)
backupy na hdfsa - rozszerzyliśmy o autoryzację kerberos
monitoring oparty na graphite, cabot i pagerduty

58. Narzędzie do reindeksacji
https://github.com/allegro/elasticsearch-reindex-tool

59. Nowości w
elasticsearch 2.0

60. Elasticsearch 2.0
Agregacje Pipeline
uproszczone query API - (filtry zmergowane w query)
konfigurowalne kompresowanie (LZ4, DEFLATE)
doc-values - domyślne
Shield na poziomie pól i dokumentów (płatny)
Marvel opensoursed
Sense opensourced

61. Pytania