Aleksejaus Kovaliovo, BDC programavimo paslaugų centro direktoriaus, prezentacija, kurią jis skaitė metinėje IT vadovų konferencijoje „IT Summit“ 2013 metų gegužės 30-ą dieną. Šis pranešimas konferencijos dalyvių buvo geriausiai įvertintas iš visų tą dieną skaitytų pranešimų. Pranešimas skirtas aptarti šiuo metu vis aktualesnei didžiųjų duomenų (angl. big data) temai. Per kelis pastaruosius metus apdorojamų ir saugomų duomenų apimtys eksponentiškai išaugo ir šis augimas tęsiasi toliau kosminiu greičiu. Natūraliai vyksta eilinė kompiuterinių sistemų technologijų bei architektūros evoliucija. Paradigmos pokyčio mąstą galima palyginti su perėjimu nuo universaliųjų kompiuterių (angl. mainframes) prie personalinių, toliau prie kliento-serverių ir žiniatinklio sistemų. Prezentacijoje pateikiamas įvadas į didžiųjų duomenų (angl. big data) bei duomenų mokslo (angl. data science) tematiką, apžvelgti iki šiol retai versle nagrinėjami duomenų šaltiniai, pateikti naujoviškos verslo analitikos sistemų architektūros modeliai.

1. VERSLO ANALITIKOS ATEITIS
Aleksej Kovaliov, BDC programavimo centro direktorius
2013 05 30

2. © Back to the Future movie
VERSLO ANALITIKOS ATEITIS

3. Kodėl?
3
2015 metai
4.4M IT darbo vietų, susijusių su BIG DATA
iš jų 1.9M x 3 = 6M JAV
Peter Sondergaard, Sr VP at Gartner and global head of Research
http://www.gartner.com/newsroom/id/2207915
Jau dabar

4. 4
http://ec.europa.eu/digital-agenda
BIG DATA ir OPEN DATA - strateginė ES investavimo kryptis
http://data-forum.eu/
Svarbiausias metinis ES duomenų ekonomikos renginys

5. 5
http://www3.lrs.lt/pls/inter/w5_show?p_r=8861&p_k=1
O dar kodėl?

6. 6
© Thierry Gregorius, http://www.flickr.com/photos/t_gregorius/5839399412/

7. © Minority Report movie
ATEITIS

8. DABARTIS
MPP
NoSQL
Hadoop
MapReduce
BIG DATA
FAST DATA
OPEN DATA

9. Keičiasi duomenų bazių karta
9

10. 90% per 2 metus
10
Labai daug duomenų
90% duomenų sugeneruota per pastaruosius 2 metus
Techninės platformos pinga
Debesų platformos tampa įprastu dalyku
http://www.sciencedaily.com/releases/2013/05/130522085217.htm

11. Duomenys ateina iš visur
11
Internetas kiekvienoje kišenėje
Socialinių tinklų rinkos ir revoliucijos
E-valstybės
Protinga energetika 20/20/20
Protingi daiktai...

12. Defragmentuoti dividualai
12
Tradiciniai segmentai nustoja galioti
Personalinės informacijos gausybė
E-Sociumai
1 žmogus : N personų

13. Karaokė
13
Apimčių
santykis
Apimties
augimo
greičio
santykis
NE-interneto ir NE-gigantai einam tuo pačiu keliu

14. Išmetam duomenis = Išmetam pinigus
14
Prarandame duomenis, nes „netelpa“
Nebandome moksliškai tyrinėti
Nežinome savo tikrų klientų, aplinkos, istorijos
Ignoruojame „baltą triukšmą“

15. 15
BIG DATA OPEN DATA
HADOOP NOSQL
FAST DATA MPP

16. BIG DATA
16
Duomenų kiekiai, kuriuos tikrai sunku apdoroti įprastomis
priemonėmis (Wikipedia)
V. V. V.
Volume – 100-ai Tbytes, Pbytes ...
Velocity –„Duomenų srovė“, FAST DATA
Variety – Struktūriniai / ne / pusiau
Nuodėmė#8: ne kaupti, o juolab, trinti duomenis

17. OPEN DATA
17
Duomenų viešinimas pakartotinam panaudojimui
Žali duomenys, skirti ne žmogui, o mašinai
Nemokamos licencijos
LINKED OPEN DATA: Semantinis atvirų duomenų tinklas
Strateginė ES kryptis
http://open-data.europa.eu/
http://data.gov.uk/
Lietuvoje užuomazgos
http://opendata.gov.lt/
http://data.ukmin.lt/

18. OPEN & BIG, BIG & OPEN?
18
Ne tas pats
BIG  Technologijos
OPEN  Teisiniai klausimai, standartizacija, procesai
Tačiau
BIG DATA technologijos  gali būti taikomos OPEN DATA
OPEN DATA  gali išaugti iki BIG

19. OPEN & BIG PAVYZDŽIAI1
http://www.buildingsdata.eu/
19

20. OPEN & BIG PAVYZDŽIAI2
20

21. HADOOP
21
Paskirstyta failų sistema su replikavimu ir Java dorokliais
Palaiko milžiniškas duomenų apimtis ir failų dydžius
Daugybė atviro kodo ir komercinių versijų

22. MAP-REDUCE
22
„Pasidaryk pats“ Java dorokliai failams
Kai kurie Hadoop numato SQL

23. MPP - Massive Parallel Processing
23

24. VERSLO ANALITIKOS ATEITIS
DABARTIS

25. Įprasta verslo analitika
25

26. Nauja verslo analitika
26

27. Verslo analitika Duomenų mokslas
27

28. Duomenų verslo brandos lygiai
28
© Bill Shmarzo
https://infocus.emc.com/william_schmarzo/the-4-ms-of-big-data/
Tradicinės verslo analitikos
lūžio taškas

29. Pranašystės
29
1. Esamų BI sistemų papildymas duomenų rezervuarais
2. Gamybiniai duomenų mokslininkų padaliniai
3. Verslo analitikos platformos, kaip paslauga (aaS)
4. Prognozinės analitikos plėtra operatyvinėse sistemose
5. Atvirų duomenų pajungimas į verslo analitiką
6. „Balto triukšmo“ standartizacija

30. 1. Duomenų rezervuarai
30

31. 2. The Sexiest Job of the 21st Century©
31
http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/

32. Duomenų mokslo gamybos ciklas
32

33. Praeitis
33
Idėjos ir
charizma

34. Ateitis
34
Faktai ir
mokslas

35. 3. Platformos As-A-Service
35

36. 4. Prognozinė analitika gali būti visur
36
Modeliai, įkomponuoti į „kasdienes“ IS:
• Prekyba: Individuali prekių pasiūla
• Prekyba: Kainų optimizacija
• Telco: Abonento išėjimo rizikos eskalavimas
• Telco, Gamyba: Avarijos pavojaus aptikimas
• Gamyba: Atsargų pirkimo optimizavimas
• Gamyba: Išteklių švaistymo aptikimas
• Kiber-saugumas: Botnetų identifikavimas tinkle
• Finansai: Sukčiavimo prevencija
• Medicina: Epidemijos pavojaus eskalavimas
• . . .

37. 5. Atvirų duomenų pajungimas
37
http://linkeddatabook.com/editions/1.0/
2015: ^N
2013: *N
2010:

38. Duomenų rezervuarai IN-OUT
38
http://linkeddatabook.com/editions/1.0/

39. 6. Standartizacija
39
Terminai ir klasifikavimas
„Sidabrinės kulkos“ nebus
Architektūros parinkimo faktoriai:
• Priimam ar publikuojam
• Saugom ar skaičiuojam
• Transakcionalumas
• Vėlavimas
• Srauto pastovumas
• Vizualizavimas
• Saugumas
• Privatumas
• ...

40. 40
0. Nauja DB technologijų ir architektūros karta
1. Esamų BI sistemų papildymas duomenų rezervuarais
2. Gamybiniai duomenų mokslininkų padaliniai
3. Verslo analitikos platformos, kaip paslauga (aaS)
4. Prognozinės analitikos plėtra operatyvinėse sistemose
5. Atvirų duomenų pajungimas į verslo analitiką
6. „Balto triukšmo“ standartizacija

41. © Back to the Future movie
Po 7 metų visa tai bus JUST DATA