Anomaly detection and data imputation within time series
Eneco roy muller
1. Eneco’s Data Science programma:
nieuws uit de front linie
September 2016
Roy Muller
2. Weer even ophalen van vorige keer..
Wat betekent Big Data voor Eneco?
3. Eneco in een paar getallen
2,2 million customers in
the Netherlands and Belgium
100 years of Energy Experience 230.000 Toon’s installed
Active in the Netherlands, Belgium,
the UK, Germany and France
One of the cleanest energy
enterprises in north-west Europe, and the first
energy company in the world to become a WWF
Climate Savers Partner
Independent energy company with 53
shareholding municipalities
100
4. Waar gaan en staan we voor?
Duurzaam, Decentraal, Samen (since 2007)
5. We staan niet meer alleen in ons streven!
Tijdsdruk en hectiek nemen toe
12 34
6. Eneco strategie: geen route, maar een kompas
Bottom up ondernemerschap in goede banen geleid
9. We have lift off!
9
(From Board update, Jan 2015)
The Data Science program followed an agile approach in the start-up phase,
Aiming to quickly establish the basic necessities, insights and traction
High lights are summarized below:
Data Science ‘tribe’ expanded
Data Science started out by leaning on the available quants within Trading and I&V. This obviously limited available capacity.
Therefore, we followed up by attracting top talent from the market through an event & network based recruitment strategy.
Take away: we expected having trouble recruiting Data Scientists. This is not the case. Supply exceeds demand.
Innovation process organized: fast lane for Data Science created
We now have a controlled & supported fast lane for Data Science based innovation within the Eneco group.
An A-team of experts (X-BU) manage the funnel from opportunity idea selection exploration solution launch
Privacy assured (governance & infrastructure)
Data Lakes in place and being filled
Last but certainly not least: significant business results, program more than pays for it self
** Mln of recurring PnL (** mln Trading, ** mln Network, ** mln Consumer), defensive estimates
A variety of other important milestones achieved (strategically relevant apps, features and models brought live).
11. Lessons learned (2) – business is leading
At some point, local “Python and R-
jungles” need to be organized and
need for e.g. data lake becomes
urgent
Source: CapGemini
14. Predictive: Toon® Ketel IQ
24/7 boiler monitoring: carefree!
in 2 years system
lost 0.5 bar
in 3 years system
close to critical
Key Benefit
• Know directly what to do with mailfunctions
and maintenance
15. Simulation: InSolar
Get the most out of your sun
Potential
> 2,000,000 roofs
< 50% monitored
Application
iteratively developed
with customers
Engine based on
Sandia national
Laboratories model
Welke fasering doorlopen we om te komen tot duurzame energie voor iedereen?
we ontwikkelen van centrale, fosiele energie (1) via een periode van fosiele en duurzame oplossingen samen (2) naar een volledig duurzaam energielandschap (3).
Eneco is ervan overtuigd dat in die laatste fase (3) alle energie duurzaam is en ook lokaal geregeld wordt.
Energie wordt zo lokaal mogelijk opgewekt, opgeslagen, verhandeld, getransporteerd, verbruikt en aangestuurd.
Dit vereist een lokaal samenspel tussen producenten, afnemers en energie spelers.
Een samenspel waar Eneco reeds belangrijke ervaring mee heeft (denk aan onze positie in de tuinderij van het Westland)
Eneco geeft als enig integraal energiebedrijf een actieve zet aan deze revolutie
@ integraal: kleine energiebedrijven zijn vrijwel zonder uitzondering slechts verkoopkantoren (doen geen investeringen in productie of netten, daarvoor missen ze het risicokapitaal en de expertise)
Wij zijn van de integrale energiebedrijven de enige die het zich kan veroorloven om de oude business om te trekken
Ook ons doet het pijn, maar die is ingecalculeerd
De focus van de wereldwijde innovatie (bv. ook in Sillicon Valley) is zich aan het richten op energie.
Overvloed aan duurzame energie is namelijk de kritieke en onderliggende katalysator voor het oplossen van de overige grote wereldproblemen:
Met energie kan je drinkwater maken (uit zeewater)
Met drinkwater kan je lokaal voedsel produceren
Etc..
Om deze reden heeft Singularity University Energie als nr 1 challenge benoemd. Haar deelnemers (i.e. de grootste spelers van Sillicon Valley) zijn hier dan ook vol ingesprongen
In het licht van deze wereldwijde revolutie zal Eneco vooruit moeten blijven rennen
Doorbraken op dit vlak komen echter steeds meer van de super experts op de vloer
Wij kunnen die niet aansturen, activeren, motiveren met een 5 jaren plan.
Bovendien is de wereld ook niet zo ver uit te voorspellen
Wij hebben dus geen planmatig uitgeschreven strategie, maar een strategisch kompas
Daar binnen geven we ondernemerschap de vrijheid
Hier boven de belangrijkste domeinen waar het razendsnel verwerken, analyseren en distribueren van gegevens key zijn:
Smart Products & Services. Onze stake in de Internet of Things business
Smart Home: Slimme Toon thermostaten met achter gekoppelde hardware.
Smart Buildings: Gebouw beheer systemen met achter gekoppelde hardware
Smart Charging: Jedlix
Etc. (alles onder de vlag van een dedicated business unit voor Innovatie en Venturing die 2 jaar geleden is opgericht)
Trading & Flex. Energie optimalisatie
Real time balanceren van opwek, opslag, verbruik, inkoop & verkoop
Maximale groei van de duurzame productie en consumptie tegen zo laag mogelijke kosten
Asset Management. Energie hardware aanleggen en beheren.
Slim investeren (grid simulaties, stretch testen etc.)
24/7 monitoring en steering van energy hardware
Slim onderhoud (predictive maintenance)
Customer Intelligence
Juiste klant selectie, aanbod en benadering
Maatwerk, maar nieuwe stijl: van gut feel naar data supported naar predictive/proactief…
Performance Improvements
Customer Service (slimme portals ontsluiten complexe materie voor klant)
Forecasting & Logistieke optimalisatie (bemensing call center & montage pool, just in time deliveries…)
Trading team completely self supporting and on the move
Data Lake is live, filled with necessary data
Several load forecasting, price prediction, asset optimization and trading models live and bringing in earnings
Preparing to move from machine learning to artificial intelligence (knowledge brought on board, infrastructure in PoC phase)
Consumer + Smart Home team is expanded and making progress
First Marketing Intelligence earnings achieved
Toon Data Lake prepared (IT infrastructure)
Tight & reliable privacy governance assured (organization & automation)
Several Smart Home apps ready for commercial launch
Network company is expanding the team and is hitting the ground
First PoC with satelite data already saved 1mln on a single project in a small neighborhood
First net simulations for long term investment management are live
24/7 net monitoring & steering (control tower) currently being upgraded
Niet beginnen met grote plannen, grote programma’s en IT investeringen.
Kort de tijd nemen om een visie te bepalen: weten waar je strategisch gezien de waarde wilt gaan halen. Als kompas op de route.
Dan zsm in het hier en nu op meerdere plekken bottom up verbeteringen initieren. Pilots en PoCs.
Zo maak je als organisatie snel de techniek eigen, went aan het innovatieproces, bouwt partnerships op en je krijgt gevoel bij de interesse uit de markt. Vanaf daar gaat de sneeuwbal rollen. Maar waar en waarheen weet je vooraf niet.
Veel partijen praten over Big Data, maar zorg dat jij de grond raakt!
(input van 1 van onze leads)
ORIENTATION & LEARNING PHASE
So how to start? I think initially, it is just about becoming a bit more data driven, and getting to know the potential value of new techniques.
It should really start with a business problem, not as an IT topic. Just start a pilot, e.g. on smart meter data, to see whether you can build a simple customer application based on it, e.g. identifying standby usage.
Then make sure that the analysts are in close cooperation with business subject matter experts, and give them the freedom to discover potential other sources of value, or unexpected insights.
EXPANSION PHASE
When this learning curve keeps going in the right direction, and justifies continuous expansion of the team, at some point, you hit more fundamental IT issues. E.g., you want your top-data scientists to be quick on their feet, but this also means cutting corners on structure, which is fine as long as you’re doing pilots. But once you want to scale, it is necessary to stop local R-jungles of code to proliferate, and start a more structural IT program, to create some sort of data lake, which you can fill one by one with other data sources. Our approach here is really agile-based, i.e. per data source you want add, you need to create at least one (simple) application based on it. Further we heavily invest in knowledge sharing of both skills and domain and use searchable Jupyter Notebooks to capture and share working data science products.
ANALYTICAL INSIGHT
Note that although the big promise of big data is finding unexpected insights and correlations, in practice it works best if you just start with some well-defined hypotheses you would like to test.
In my experience, there is so much you can do already based on existing hypotheses, and then the unexpected insights will come anyway
Er is een duidelijk patroon in hypes.
Gartner publiceert er periodiek een mooi plaatje van.
Hoe houd je het hoofd koel in deze storm van hypes?
Takeaways
In contact blijven met ontwikkelingen, maar ze nuchter beschouwen
Merit order: strategie, propositie, toepassing, data, technologie
Dus niet andersom (dat leidt tot veel gepraat, verspeelde tijd en energie. Weinig resultaten)
Leukste voorbeelden om vandaag te bespreken zijn diegene die het dichtst bij de klant staan.
Kom je uit bij Toon.
Wat was het ook al weer:
TECHNISCH
Begonnen als slimme thermostaat (icm ketel)
Maar uitgebreid richting uitlezen en aansturen van veel meer energie gerelateerde zaken (zonnepanelen, batterijen, elektrische auto, verlichting…)
COMMERCIEEL
Zeer succesvol.
Meer dan 10% van onze eigen klanten heeft er al een, groei gaat nu heel hard
Grootste energiebedrijf van Belgie is al om, anderen zitten ver in het proces
Win-Win situatie.
Klanten besparen veel meer dan de fee die het apparaat hen kost. Het comfort is een upside
Het energiebedrijf is dagelijks in contact met de klant
Het energiebedrijf kan allerlei toegevoegde waarde diensten leveren (inzicht & optimalisatie van energie in en om het huis)
Volgende slide 2 voorbeelden van toepassingen
Met Toon Ketel IQ testen we onze PoC in een pilot groep van 500 friendly customers (onze Toon Innovator Group)
Wij herkennen symptomen van een ketel die achteruit gaat, wij weten welk mankement aanstaande is
We kijken of klanten reageren op onze meldingen
We verbeteren hiermee ons voorspel model
We onderhandelen met 3rd party installatie en onderhoudsbedrijven
Testen lopen nu (Sep-Dec).
Einde jaar kijken we hoe we verder gaan
700 duizend klanten in NL en BE hebben zonnepanelen.
Dit begint met een geweldige drive waar wij als bedrijf vol achter staan
Onafhankelijk zijn
Duurzaam zijn
Geld besparen
Maar <50% van de zonnepanelen wordt gemonitord op hoe ze het doen
Wat wordt er opgewekt?
Hoe verhoudt mijn opwek zich dat tot de specificaties van het paneel, mijn verwachtingen en de opwek van anderen in de buurt?
Haal ik het doel wel wat ik er mee beoogde?
Deze informatie is ook van waarde voor technische partijen (producenten, installatie & onderhoud partijen)
Casus is feitelijk vergelijkbaar met Ketel IQ (vorige sheet)
Maar meeste zonne panelen zijn niet ‘smart’ (connected)
Maar dat wil niet zeggen dat de performance informatie niet af te leiden is voor Eneco!
Wij kunnen dat doen obv Toon, dit vereist sensor plaatsen op het paneel en uitlezen (betrouwbaar, maar kost wat extra)
Wij kunnen onze energy data science ervaring gebruiken, obv predictive models voor opwek en consumptie, controle op eindtotalen
Dit zit nu nog in de eerste fase (als logic met app op zonnepanelen van onze data scientists)
Basis: Data Science bepaald jouw habits (Hidden Markov model), wanneer kom je thuis, hoe laat ga je slapen etc.
Dan in 3 stappen naar 1 planet duurzaamheid met kachel coach:
1: Kachel Coach elimineerd verspilling door de thermostaat laag te zetten als je er niet bent.
2: Kachel Coach motiveert om een warme trui aan te trekken door te laten zien wat het je financieel op jaar basis op leverd
3: Kachel Coach helpt je gebruik te maken van de thermische opslag van jouw huis, Kachelcoach weet hoe goed je huis is geisoleerd op basis van de afkoel kromme en weet wanneer jij naar bed gaat. Hierdoor kan hij eerder de thermostat laag zetten zonder dat je in hoeft te leveren op comfort.
Algemeen: we geven en een indicatie van het besparingspotentieel en een cijfer hoe goed de klant zijn of haar thermostaat al passend op hun weekritme heeft ingesteld.
Ook dit zit nog in PoC fase.
