Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.
•Als PPT, PDF herunterladen•
0 gefällt mir•723 views
Konrad Latkowski, PricePanorama. Presentation at the TMT.AllThings`13 conference on 24.10.2013 at the WSE HQ: Big Data dla sprzedawców: doświadczenia Manubia.pl.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Mehr von Ewa Stepien
Mehr von Ewa Stepien (20)
Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.
- 1. Big Data dla sprzedawców TMT.AllThings'13, Warszawa, 24.10.2013
- 2. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
- 3. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
- 4. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
- 5. Grupa Manubia • Monitorowanie sprzedaży : • Pobieranie danych z WebAPI • Raporty dedykowane / System SaaS • Monitorowanie cen: • Crawlerowanie danych • Raporty dedykowane / System SaaS
- 7. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
- 9. Discovery: Rynek około 17k sklepów Poszukujemy: 5 667 Monitorujemy: 11 333
- 10. Discovery: Rynek około 21k sklepów Poszukujemy: 9 667 Monitorujemy: 11 333
- 11. Discovery: Pobieranie • 40 równoczesnych botów • Wykorzystanie łącznie 80 rdzeni • Jeden bot pobiera około 1 mln podstron • Część infrastruktury uruchomiona w chmurze Microsoft Azure
- 12. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
- 13. Extraction Kategoria asortymentu: AGD - Odkurzacze Produkt: Zelmer Odyssey 450.0 ST Cena: 251,90 zł Dostępny: 1 dzień
- 14. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
- 17. Data quality verification: Dostępność • • • • • Na stanie W ciągu 24h Od ręki Natychmiastowa wysyłka Od 2 do 5 dni • Niedostępny • Przedsprzedaż • Oczekiwanie na dostawę
- 18. Data quality verification Extraction Data quality verification Correction Reporting and analytics
- 19. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
- 21. Reporting and analytics • Wykrywanie słabych produktów • Wykrywanie sezonowych zmian cen • Wykrywanie dostaw • Określanie fazy cyklu życia produktu • Określanie zatowarowania sklepu • Określanie cen nowych produktów
- 22. Cena vs źródło Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10oz-.html (16.09.2013)
- 23. Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10oz-.html (16.09.2013)
- 24. Spadki cen Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
- 27. Dziękuje, pytania? konrad.latkowski@manubia.pl | 506-623-451
Hinweis der Redaktion
- Witam nazywam się Konrad Latkowski jestem współwłaścicielem, oraz koordynatorem marketingu i PR-u w Grupie Manubia. Zanim zaczniemy to słowem wstępu wyjaśnię skąd nazwa „Manubia” – w języku Łacińskim, „Manubia” oznacza „zysk z rabunku, łup”. A my taki cenny łup dostarczamy codziennie naszym klientom. Dostarczamy im wirtualne złoto – czyli informacje.
- Dostarczamy te informacje poprzez trzy nasze produkty – najstarszy czyli manubia.pl zajmuje się monitorowaniem sprzedaży na Allegro, a także dostarczać dedykowane raporty dla eBaya. Raporty te wcale nie są dedykowane tylko dla sprzedawców na Allegro. Dane, które tam pozyskujemy dostarczamy do producentów, importerów, dystrybutorów a także dla centrów badawczych.
- Dostarczamy te informacje poprzez trzy nasze produkty – najstarszy czyli manubia.pl zajmuje się monitorowaniem sprzedaży na Allegro, a także dostarczać dedykowane raporty dla eBaya. Raporty te wcale nie są dedykowane tylko dla sprzedawców na Allegro. Dane, które tam pozyskujemy dostarczamy do producentów, importerów, dystrybutorów a także dla centrów badawczych.
- A także nasz najnowszy produkt, który w pełni komercyjnie ruszył w połowie września, ale a pozostawać zaczął w kwietniu tego roku. Jest to nieco inne narzędzie, bo skupia się wokół cen produktów i ich dostępnośći. Nie jest to też narzędzie, które ogranicza swoje działanie do jednej plaformy jak Allegro. Nie. PricePanorama ma w swojej ambicji monitoranie całych rynków.
- Manubia i Aukcjolog działają w oparcu o dane wystawiony przez platformy eBay oraz Allegro w ramach ich WebAPI. Natomiast działanie PricePanoramy opiera się o naszą autorską infrastukrurę, takiego „micro-googla”.
- I to własnie na PricePanoramie chcielbyśmy się dzisaj skupić. Bo wydaje nam się, że z punktu widzenia pojęcia „big data”, crowlerowanie danych, ich przetwrazanie i rozumienie w przypadku PricaPanoramy jest dużo ciekawsze niżeli pobieranie uporządkwanych zbiorów z WebAPI.
- Działanie PP opiera się o 4 punkty. To wprawdzie nie jest tak proste i co więcej ciązy na nas wileka odpowiedzialność. Mechanizmy badania cen produktów na poziomie całego rynku umożliwiające ocenę ich wpływu na własny biznes. I dlatego dostarzana przez nas dane, muszą być najwyższej jakości aby decyzje pdoejmowane przzez nasszych klinetów były możliwe właściwie.
- Zanim zaczniemy warto zastanowić się na jakim rynku operujemy. Jest to istotne o tyle, że nikt tego nie wie…. Nawet my ;) W tej chwili mamy już gotowe szablony dla 11 333 sklepów. Kolejne 2k sklepów wiemy, że istnieją, ale mamy z nimi takie czy inne problemy aby zacząć je monitorować. Ale czy 11k sklepów to znacząca liczba? Czy mamy tam wszystkich najważniejszych graczy?
- To zależy. Wewnętrznie szacujemy, ze w Polsce mamy około 17 tysięcy sklepów internetowych. Czyli PricePanorama posiada już bardzo zaczący zasięg. Co nie oznacza, że w każej branży udało już nam się monitorować lidera. Każdy nowy klient sprawa, że poznajmy jakiegoś nowego „gracza”, który za jakiśc zas zoobaczymy dopiero czy jest faktycznie znaczacy dla tej branży.
- Ale jest też drugi scenariusz, który mówi, że w Polsce mamy aż 21 tysięcy sklepów, i wtedy PricePanorama ma wprawdzie ponad połowę rynku, ale przed nami jeszcze dużo więcej. Warto więc już tutaj odpowiedź skąd taka różnica? Wszystko zależy od tego jakie pojęcie przyjemmy dla „sklepu internetowego”. Według nas to………….
- Dane ze sklepów pobierane są przez boty (crawlery), które odwiedzają codziennie strony tych sklepów jedna po drugiej i poszukują informacji o produktach. Realizacja tego projektu możliwa jest wyłącznie dzięki zastosowaniu cloud computingu:- dane pobierane są przez 40 równocześnie uruchomionych botów. Wykorzystują one łącznie 80 rdzeni procesorów- jeden bot pobiera dziennie około 1 miliona podstron - całość uruchomiona jest w chmurze Microsoft Azure i może być elastycznie skalowana
- Dane z każdej znalezionej strony muszą być wydobyte do formy możliwej do przetwarzania. Używane do tego są mechanizmy automatycznego wykrywania danych, wsparte tysiącami wzorców przygotowanymi przez opratorów systemu PricePanorama.
- Weryfikacja pobranych danych jest niezbędnym elementem do prowadzenia analiz i dostarczania wysokiej jakości wyników
- Weryfikowanie danych jest procesem stałym, który wpływa na ciągłe udoskonalanie mechanizmu ekstrakcji danych. Wykrywanie nieprawidłowych danych jest wykonywane w większości automatycznie na podstawie analiz statystycznych i data miningu, jednak to człowiek określa w jaki sposób powinny być one poprawnie interpretowane.
- Na podstawie kompletnych danych dostarczamy raportow, które odpowiadają na pytania: Produkt:- W ilu sklepach jest dostępny?- Jak wygląda trend ceny i dostepnosci?Sklep:- Jakie produkty ma w ofercie- Które produkty zostały ostatnio dodane/usuniętez oferty
- Przykładowo mennicawroclawska.pl wyceniając produkty na bieżąco reaguje na ceny złota (przynajmniej tak to wygląda). Cena tego produktu zmieniała się praktycznie z dnia na dzień.
- Nikt nie obniża ceny jeśli produkt się sprzedaje. Obniża się jak się nie sprzedaje lub jak konkurencja obniża ceny. Czasami obniżka wynika z sezonowości. Ceny mogą być obniżane przez człowieka lub przez automat.