2. Bij het opzetten van een business intelligence
omgeving is een van de grote uitdagingen: data
integratie.
In het domein data integratie zijn er verschillende
uitdagingen:
• Kennissilo’s zie
https://www.slideshare.net/DannydeBree/wat-is-een-
kennissilo
• Data kwaliteit
https://www.slideshare.net/DannydeBree/datakwaliteit
• Data gedreven werken?
https://www.slideshare.net/DannydeBree/data-gedreven-
werken
• Infrastructuur
• Innovatie
• Filosofie
• GDPR issues
In deze presentatie zal ik het begrip data gedreven
werken behandelen.
Auteur: Danny de Bree
Founder en consultant Gerse Cloud
Inleiding
3. (data)Infrastructuur
uitdagingen
Als organisatie de stap zetten naar data gedreven werken?
Dan kom je in conflict als Mr & Mrs Smith; grote plannen,
idealen maar een achterhaalde infrastructuur met
verschillende data formats.
In deze presentatie neem ik je mee om te voorkomen dat je
plannen in conflict komen met je infrastructuur en voorkom
een Mr & Mrs Smith scenario.
Infrastructuur
Organisaties produceren data in elke vorm en formaat.
Relationele data die applicaties produceren (CRM,
administratiesoftware etc) Data in Excel geproduceerd door
werknemers, documenten(contracten etc).
Inzicht
Elke actie die wordt gemaakt in een onderneming creëert
data. Om dus inzicht te verkrijgen in oorzaak & gevolg in een
onderneming is data de gemakkelijkste en goedkoopste
manier.
4. Infrastructuur
uitdagingen
Menselijke factoren die zorgen voor uitdaging
• Data wordt niet juist opgeslagen en gedeeld
met rest van organisatie.
• Software wordt door de leeftijd obscure en is
lastig om specialisten voor te vinden.
Technologische factoren die zorgen uitdaging
• Data is lastig te ontsluiten doordat de legacy
software daarin niet kan voldoen.
• Data in verschillende vormen/formats.
• ‘Syncen’ tussen databronnen
• Infrastructuur wordt groot, lomp en langzaam.
• Huidige infrastructuur is niet ingericht om data
gedreven te werken.
5. Legacy wat kost het een organisatie nou
echt?Wat hebben Google , Uber en Facebook gemeen?
Extreme groei en een hoge validatie. Het is komt door
de cultuur, een cultuur hoe kunnen we de klant zo goed
mogelijk van dienst zijn op een schaalbare manier met
technologie.
Directe kosten
Net als een tweedehands auto gaan de kosten na
verloop van tijd ook omhoog bij legacy software.
Daarnaast kennis wordt schaarser en dus duurder. Data
projecten kosten daarnaast aanzienlijk meer met een
oude infrastructuur.
Indirecte kosten
Door een up to date en goed uitgerolde data
infrastructuur werkt de organisatie sneller, beter en
slimmer.
Elk moment dat het dit niet doet kost dit omzet en dus
geld.
6. How to?
Hoe zet je een juiste data infrastructuur neer en zorg je
dat je stappen kunt zetten als organisatie.
Probeer infrastructuur niet te zien als een fundament van
steen maar van Lego. Inwisselbaar, flexibel en
toekomstbestendig.
Filosofie
Zorg dat je als organisatie een vaste filosofie hebt
waarmee je infrastructuur gaat vormgeven. Maar kijk ook
naar oplossingen die misschien out of scope zijn om te
kijken of je extra stappen kunt zetten. Hier zal ik later
een aparte presentatie aan wijden.
Opbouw infrastructuur
In een data infrastructuur zijn er altijd een vaste
onderdelen die op verschillende manieren ingevuld
kunnen worden.
Maar door goed te kijken naar concrete filosofie kun
weloverwogen keuzes maken die je later simpel kunt
aanpassen door de flexibele structuur.
7. Je kunt niet alles hebben.
Flexibiliteit
Schaalbaarheid
Snelheid
Bij het opzetten van een data infrastructuur zal je keuzes
moeten maken. En het belangrijkste is het kiezen van
twee eigenschappen van je platform. Je zult altijd
compromissen moeten sluiten ook gezien budget en
kennis.
Snelheid en flexibiliteit
Bij kleine datasets denk aan MySQL of andere aan ’’in-
memory’’ databases.
Maar is niet ideaal om te gebruiken als data warehouse.
Dus denk aan real time querys die een app of website
voeden.
Schaal en flexibiliteit
Indien je grote datasets gebruikt in de organisatie kun je
iets als Apache Hive gebruiken bovenop Hadoop.
Dit is wel een oplossing die vaak enkel voor grotere
ondernemingen toereikend is.
8. Je kunt niet alles hebben
Bij het opzetten van een data infrastructuur zal je keuzes
moeten maken. En het belangrijkste is het kiezen van
twee eigenschappen van je platform. Je zult altijd
compromissen moeten sluiten ook gezien budget en
kennis.
Snelheid en Schaal
Cassandra is hier een goede keuze hierbij, vooral use
cases waarbij data niet vaak wordt veranderd.
Tracking van processen of bijvoorbeeld IOT data.
Out of the box
Denk aan oplossingen als SQL datawarehouse op Azure
of de vergelijkbare oplossingen op Google, Amazone.
Geeft je minder vrijheid en is tegenover de functionaliteit
misschien iets te duur maar is wel gemakkelijk te
integreren.
Flexibiliteit
Schaalbaarheid
Snelheid
9. Infrastructuur(voorbeeld)
Een data infrastructuur bestaat in essentie uit vier
onderdelen.
En daarbinnen kun je kijken naar verticale
eigenschappen; dus de keuze van
technologie/eigenschappen.
Data laag
Hier komt de data binnen vanuit de verschillende bronnen.
Belangrijk hier is om te kijken welke data het is en hoe het
gestructureerd is.
Data opslag laag
Hier leeft de data en kan het afhankelijk van de structuur
verschillend opgeslagen worden. Denk hierbij aan een tabel
gebaseerd systeem of een file gebaseerd systeem.
Data analytisch laag
Hier wordt de data geprepareerd en kun je verschillende
technieken toepassen om data klaar te maken voor de
eindgebruikers.
Data presentatie laag
Hier staat de data voor de eindgebruiker en kan worden gebruikt
voor dashboards of voor data science toepassingen.
Data laag
Data opslag
laag
Data analytisch
laag
Data
presentatie laag
10. Uitrol van infrastructuur
Voorkom om van de een of andere dag de knop over te
zetten naar je nieuwe omgeving. Tijdens het opzetten
van een infrastructuur zal je altijd aanlopen tegen
bottlenecks. Zo ook bij Gerse Cloud inmiddels zijn we
begonnen met de 4.0 versie van onze software.
Dit tijdens het toevoegen van waarde voor onze klanten
die enkel de verbeteringen merken, maar geen
gegevensverlies of andere problemen.
Werkwijze
Blijf bezig met innoveren zonder dat het je core business
aantast.
Probeer als organisatie in te zetten op de 80/20 regel.
Gebruik 80% van je tijd om waarde te leveren aan
klanten binnen de huidige mogelijkheden, en gebruik
20% van de tijd om te richten op innovatie.
11. Uitrol van infrastructuur
Snel tot waarde is het meest belangrijk bij de uitrol van
infrastructuur. Probeer dan ook verbeteringen meetbaar
te maken.
Welke oplossing je ook kiest van zelf bouw tot aankoop
het kan alleen tot een succes worden zodra
eindgebruikers sneller en beter hun werk kunnen doen.
Zodat de organisatie kan groeien.
ASAP
Dus breng architectuur zodra gevalideerd zo snel
mogelijk naar een klein deel van organisatie en/of
klanten.
Je kunt dan niet enkel de technische capaciteiten testen
maar ook of de architectuur ook waarde toevoegt aan
bestaande werkprocessen. En zorgt ervoor dat
architectuur een asset wordt in plaats van een
kostenpost.
12. Afsluiting Wil je meer weten over data
integratie?
Volg mij op Linkedin en dan zie
je vanzelf nieuwe presentaties
voorbij komen.
Lees mijn vorige presentatie:
https://www.slideshare.net/Dann
ydeBree/top-6-pijnpunten-data-
projecten
&
https://www.slideshare.net/DannydeBre
e/wat-is-een-kennissilo
&
https://www.slideshare.net/DannydeBre
e/datakwaliteit
&
https://www.slideshare.net/DannydeBre
e/data-gedreven-werken
Of kijk op onze website:
www.gersecloud.nl
In het kort
Gebruik data architectuur om
naar extra waarde voor de
organisatie en klanten.
Wees flexibel vanuit een
sterke filosofie en kijk goed
naar huidige werkprocessen.
En breng nieuwe architectuur
zo snel mogelijk in een live
case/omgeving.
Heb je hier verder vragen
over?
Dan kun je me altijd mailen:
Danny@gersejongens.nl
