Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Solita ja Agile Data

584 Aufrufe

Veröffentlicht am

Datastrategian toteutus pilvessä -tapahtuma järjestettiin yhteistyössä Snowflaken kanssa 24.1.2018. Tilaisuudessa kuultiin Pasi Jalosen puheenvuoro Solitan kehitystä nopeuttavasta Agile Data Enginestä ja modernista tietovarastoinnista. Lue lisää tapahtumasta täältä: https://www.solita.fi/tapahtumat/datastrategian-toteutus-pilvessa/

Veröffentlicht in: Daten & Analysen
  • Als Erste(r) kommentieren

Solita ja Agile Data

  1. 1. DATASTRATEGIAN TOTEUTUS PILVESSÄ Pasi Jalonen 24.1.2018
  2. 2. DATASTRATEGIAN TOTEUTUS PILVESSÄ - AGENDA 9:00 – 9:20 Solita & Agile Data lyhyesti (Pasi Jalonen, Solita) 9:20 – 9:50 Snowflake – The Data Warehouse built for Cloud (Philip Stenholm, Snowflake) 9:50 – 10:30 Case Finavia: Ketterä pilvipohjainen DW-kehittäminen: käytännön kokemuksia (Tommi Vihervaara, Finavia) 10:35 – 11:30 Demo: Snowflake + Agile Data Engine (Mika Heino & Timo Voipio, Solita) 11:30 Yhteenveto ja lopetus
  3. 3. DATA JA ANALYTIIKKA OVAT KAIKKIALLA
  4. 4. Data ja informaatio eivät ole enää vain organisaation sisäistä johtamisjärjestelmää varten. Niistä on tullut kriittinen osa operatiivisia liiketoimintaprosesseja ja asiakaspalvelua ’’
  5. 5. ?
  6. 6. KOMPLEKSISUUS JA JATKUVA MUUTOS OVAT NORMAALI TILA LIIKETOIMINNASSA
  7. 7. MUUTOSKYVYKKÄÄT ORGANISAATIOT SÄILYVÄT HENGISSÄ JA MENESTYVÄT
  8. 8. DATAKYVYKKYYS MAHDOLLISTAA JATKUVAN SOPEUTUMISEN JA MÄÄRITTELEE TULEVAISUUDEN MENESTYKSEN Ja sen pitää myös pystyä mukautumaan nopeasti ja kustannustehokkaasti muuttuviin tarpeisiin ja teknologioihin
  9. 9. DATASTRATEGIA? › Mitä dataa tarvitaan ja miten sitä kerätään? › Miten datan avulla voidaan kehittää liiketoimintaa? Miten organisaation dataosaamista kehitetään? › Miten datasisällöt kuvataan ja kommunikoidaan käyttäjille? › Miten datan laatua ja siihen liittyviä riskejä hallitaan? Teknologia Kulttuuri Liiketoiminta
  10. 10. TEKNOLOGIA TOIMII SEKÄ MUUTOKSEN AJURINA ETTÄ MAHDOLLISTAJANA DATASTRATEGIASSA 3. Teknologian avulla voidaan muuttaa tekemisen kulttuuria. 1. IT:tä ja liiketoimintaa ei voida enää erottaa toisistaan. 2. Pilvi on muuttanut tavat toteuttaa ja ostaa IT:tä. 4. Työkalut tulevat muuttumaan ja kehittymään jatkuvasti.
  11. 11. Operointi KäyttöKehitys Käyttöönotto Infran ja työkalujen pystytys › Ohjelmistokokonaisuus, joka koostuu useammasta softamodulista. › Yhdistetty tiedon mallintaminen ja ETL toiminnallisuus toisiinsa. Ytimessä mallintaminen ja SQL. › Metadatapohjaisuus. Loogisen tason mallinnus. Teknologia-agnostisuus. › Modularisoi, automatisoi ja ohjaa DW kehitys- ja operointityötä. › Integroituu julkisiin pilvipalveluihin ja helpottaa pilvimaailmaan siirtymistä. › Yhdistää ohjelmistokehittämisen ja tietovarastoinnin parhaat käytännöt = Data DevOps Integroitu Data DevOps ympäristö modernien pilvipohjaisten tietovarastojen toteuttamiseen ja operointiin. Designer Runtime
  12. 12. ””Toi vie tän datatekemisen kyllä ihan toiselle tasolle mitä on totuttu.”
  13. 13. › Aito elastisuus, kapasiteettia joustavasti tarpeen mukaan › Rajoittamaton skaalautuvuus eri käyttäjille ja käyttötapauksille. › Tukee monimuotoisen datan hallintaa ja hyödyntämistä. › Yksinkertaistaa ja vähentää perinteistä DBA työtä. Nopeammin arvoa liiketoiminnalle (Time to value) Kustannus- tehokkaammin (TCO) Muutosjoustava arkkitehtuuri (Resilience) › Yksinkertaistaa ja nopeuttaa pilvipohjaista tiedonhallintaa. › Datatoteutusten standardointi helpottaa ylläpitoa. › Helpottaa data-arkkitehtuurin kokonaisuuden hallintaa. › DevOps (continuous integration/deployment)
  14. 14. DEMO: ”SELAINPOHJAISTA TIETOVARASTOINTIA” (ADE) (SNOUKKA)
  15. 15. AGILE DATA ENGINE + SNOWFLAKE DEMO 1. Avoin data New Yorkin taksimatkoista 2. Avoin data New Yorkin säästä 6. Koneoppimismallit ennustamista varten 4. Integroitu DW tietomalli Snowflakessa 3. Data mappaukset ja lataukset DW:n populointiin 7. Datan visualisointi R kielellä 8. Dashboard esimerkki Tableaulla 5. Deployment & DW latausorkestrointi
  16. 16. Agile Data Engine (ADE) Designer Web-käyttöliittymä tiedon mallintamiseen ja latausten määrittämiseen Agile Data Engine (ADE) Runtime Operointitoiminnallisuus, jolla ajetaan ja orkestroidaan datalatauksia. ADE Dagger (Apache Airflow) DW latausten orkestrointiohjelmisto. Osa ADE Runtime kokonaisuutta. Amazon S3 (Simple Storage Service) AWS PaaS palvelu tiedostojen (objektien) tallennukseen ja hallintaan. Snowflake Web UI Helppokäyttöinen web-käyttöliittymä ympäristön hallintaan ja SQL kyselyihin. Käytettävät ohjelmistot: Agile Data Engine käsitteitä: Snowflake käsitteitä: Package = Tietovaraston “sisältömoduli”, kokoelma entiteettejä. Entity = Entiteetti, eli tietokannan taulu tai näkymä tai vastaava objekti. Load = Entiteetin latausmääritys, miten entiteetti populoidaan. Latausmääritys on entiteetin mukana. Entity mapping = Latausmäärityksen osa, jossa kerrotaan miten lähde- ja kohde-entiteetti liitetään toisiinsa. Deployment = Viedään DW malli versionhallintaan. Viedään muutos ohjelmallisesti (automaattisesti) Snowflake kantaan. Custom load step = Tapa tehdä joustavasti mitä tahansa datakäsittelyjä. Yleensä SQL pohjainen. Attribute = Entiteetin attribuutit, eli esim. taulun sarakkeet. DAG (Directed Acyclic Graph) = Ajastettava lataus- kokonaisuus (workflow), automaattisesti generoitu. Virtual warehouse = Helposti skaalautuva laskentayksikkö, jota käyttäjien kyselyt käyttävät. History = Web-käyttöliittymän näkymä joka näyttää kaikki ajetut SQL lauseet ja niiden ajostatisiikat. Databases = Näkymä, jossa hallitaan tietokantoja (storage) Account = Näkymä, jossa hallitaan tiliä, käyttäjiä ja oikeuksia. Warehouses = Näkymä, jossa hallitaan laskentayksikköjä (compute, virtual warehouse) Worksheet = Näkymä, jossa tehdään SQL kyselyjä. Suspend / resume = Laskentayksikön alas/ylösajo, voidaan automatisoida (auto- suspend, auto-resume).

×