Oszałamiające wizualnie, intuicyjne rozwiązanie, które pozwala wykorzystać potencjał Hadoop i przekształcić surowe dane w nowe odkrycia w ciągu kilku minut, bez potrzeby uczenia się skomplikowanych rozwiązań przeznaczonych dla wąskiego grona specjalistów.

2. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery...
...ludzka twarz Hadoop'a
Oracle Confidential – Internal
Filip Kaznowski – Cloud & Big Data Lead–ECE Region, Consulting
Michał Grochowski – BI Architect, Pre-sales
Data Science Meetup, 12 maja 2015

3. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Świat cyfrowej rewolucji – nowe wyzwania dla analizy
danych
3
Przeanalizujmy ilość
danych
generowanych w jedną
minutęw globalnym
internecie oraz
aktywność ludzi i
organizacji.

4. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Struktura danych„on Write” vs „on Read”
• Tradycyjna struktura danych “on Write”
– Dane muszą być zidentyfikowane i zamodelowane
w określonej strukturze
– W kolejnych krokach dane są przetwarzane i
ładowane w procesie ETL
– Analiza danych możliwa po zakończeniu
przetwarzania
• Struktura danych Big Data “on Read”
– Dane źródłowe bezpośrednio dostępne w
narzędziach analitycznych
– Przetwarzanie danych poprzez algorytmy
map/reduce lub rozproszone przetwarzanie w
pamięci
Elastyczność i szybkość analizy danych

5. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Analiza dużych wolumenów danych niestrukturalnych
Szczegółowa analiza danych niezagregowanych
=
Odkrycia nowych związków i zależności
=
Skuteczniejsze decyzje

6. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
• Mężczyzna, urodzony w
1948
• Wychowany w Anglii
• Dwukrotnie żonaty,
dziecko
• Bogaty celebryta
• Kocha psy
• Uwielbia spędzać czas w
Alpach
Jak dobrze znamy własnych klientów?
Oracle Confidential – Internal/Restricted/Highly Restricted | #BeyondBigData

7. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 7
DNA Klienta
Analiza zachowania i interakcji
Szczegółowe profilowanie
Analiza danych społecznościowych
"We don’t have better algorithms.
We just have more data.“
Peter Norvig, Google's Research Director

8. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Czy potrafimy wystarczająco szybko analizować strumień danych?
8
Złożoność narzędzi
• Większość narzędzi Hadoop wymaga wiedzy
eksperckiej
• Narzędzia BI nie są dostowane do specyfiki Hadoop
• Nowe technologie nie są wystarczająco wszechstronne
Duże nakłady pracy:
ocena przydatności i
przygotowanie
danych
Złożoność danych
• Różnorodność i wielkość danych
• Przydatność danych trudna do oszacowania
• Wymagane złożone transformacje
Niebędne
specjalistyczne
kompetencje

9. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 9

10. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential | Business Analytics Product Group
Jakie narzędzia są wykorzystywane w analizie danych?
Source: O’Reilly: 2013 Data Science Salary Survey

11. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential | Business Analytics Product Group
Proces analizy danych
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
RAPORTOWANIE
POZYSKANIE PRZEKSZTAŁCANIE
WYCIĄGANIE WNIOSKÓW
ODKRYWANIE
WARTOŚCI
DANYCH
Independency, correlation,
dimensionality, missing values,
relevancy
Objectives, Modeling, Simulation,
Optimization, Visualization
Transactions, Web-scraping, Web-clicks
& logs, Sensor Data, Mobile Data, Docs,
Emails, XLS, Social Feeds, Flume & Sink
HDFS
MapReduce, ETL, Data Wrangle,
Data Cleansing, Data Jujitsu,
Dimensionality Reduction,
Sample, Select, Join, Bind
MODELOWANIEODKRYCIA
Actionable, Predictive, Immediate
Impact, Business Value, Easy to
explain
Description & Inference, Data &
Algorithm models, Machine
Learning, Regression & Prediction,
Classification & Clustering

12. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential | Business Analytics Product Group
Proces analizy danych – wąskie gardła
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
RAPORTOWANIE
POZYSKANIE PRZEKSZTAŁCANIE
WYCIĄGANIE WNIOSKÓW
ODKRYWANIE
WARTOŚCI
DANYCH
Independency, correlation,
dimensionality, missing values,
relevancy
Transactions, Web-scraping, Web-clicks
& logs, Sensor Data, Mobile Data, Docs,
Emails, XLS, Social Feeds, Flume & Sink
HDFS
MapReduce, ETL, Data Wrangle,
Data Cleansing, Data Jujitsu,
Dim Reduction, Sample, Select,
Join, Bind
MODELOWANIEODKRYCIA80% czasu jest poświęcone
na
Przekształcanie,
Transformacje,
& Modelowanie

13. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Analityka biznesowa i Data Discovery
Uzupełnienie koncepcji analitycznych
Oracle Confidential 13
Znane zależności
Analityka biznesowa
Odpowiedzi na zdefiniowane pytania
Nowe pytania
wymagają dalszej
analizy danych i
odkryć
Nowe zależności
Data Discovery
Odkrycia nowych znaczeń i związków w
danych
Okrycia pozwalają
zbudować nowe
metryki i kryteria do
monitorowania
Analityk biznesowy
Data Scientist
Pytania mogą wynikać z danych
Testowanie hipotez na całym
dostępnym zbiorze

14. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Potrzebne są narzędzia nowej generacji
14
Szybkiego
przekształcenia i
wzbogacenia danych
Dokonywania odkryć i
udostępniania
wniosków dla wielu
użytkowników
Przejrzysty i intuicyjny kokpit do pracy z danymi w celu...
Łatwej identyfikacji
danych i zrozumienia
ich potencjału do
analizy
find explore transform discover share

15. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 15
Big Data Discovery. The Visual Face of Hadoop
find explore transform discover share

16. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery. The Visual Face of Hadoop
16
find explore transform discover share
Analiza potencjału pozyskanych danych

17. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Katalog
17
• Interaktywny katalog
danych składowanych
w Hadoop
• Przyjazny i łatwy w
użyciu interfejs
• Możliwość
umieszczania
komentarzy i
rekomendacji
• Zarządzanie zbiorami
danych prywatnymi i
publicznymi

18. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Explore
18
• Wizualizacja
atrybutów
• Sortowanie
atrybutów zgodnie
z potencjałem
danych
• Statystyki, miary
jakości danych,
elementy
odstające
• Wstępna korelacja
pomiędzy
atrybutami

19. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery. The Visual Face of Hadoop
19
find explore transform discover share
Szybkie przekształcanie i
wzbogacanie danych

20. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 2020
• Intuicyjny interfejs
• Rozbudowana
biblioteka
transformacji i
wzbogacania danych
• Symulacja działania,
możliwość
wycofywania i
powtarzania
transformacji
• Testowanie na
próbkach, a potem
na zbiorze danych
w Hadoop
Transform

21. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery. The Visual Face of Hadoop
21
find explore transform discover share
Odkrycia i udostępnianie wniosków

22. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 22
• Łączenie danych i
szukanie związków i
relacji
• Konfigurowalne
kokpity analityczne
• Silniki zapytań do
wyszukiwania
danych
• Odkrywanie nowych
wzorców poprzez
interaktywne
wizualizacje
Discover

23. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 23
• Współdzielenie
projektów
pomiędzy
użytkownikami
• Budowa
reużywalnych
galerii wzorców
• Współpraca w
ramach zespołu
analityków
• Publikacja danych
do innych narzędzi
Share

24. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Efektywne połączenie dwóch środowisk danych
24
• Kompletna platforma
analityczna
• Oszczędność czasu na
procesach
pomocniczych
• Wydajne
przetwarzanie w
pamięci
Data Warehouse
Dane operacyjne Dane niestrukturalne
Ocean danychHurtownia danych

25. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 25
Jeżeli pasjonujesz się „data science”, masz praktyczne
doświadczenia z obszarem Big Data, jesteś kreatywny i
lubisz wyzwania, serdecznie zapraszamy do kontaktu:
Wojciech Wcisło: wojciech.wcislo@oracle.com
Rekrutujemy
pracowników do regionalnego zespołu Big Data!