KIT – Universität des Landes Baden-Württem ber g und
nationales Forschungszentrum in der Helmholtz-Gemeinschaft
Steinbuch ...
2 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
Partners
3 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
SDI-X fu...
4 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
Running ...
5 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
funded b...
6 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
SDIL Pla...
7 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
#Cores R...
8 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
security...
9 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
legal is...
10 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
3 netwo...
11 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
IBM Wat...
12 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
SAP HAN...
13 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing
Continu...
Nächste SlideShare
Wird geladen in …5
×

SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform

149 Aufrufe

Veröffentlicht am

Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform;
Nico Schlitter, Karlsruhe Institute of Technology, SCC;
1st Smart Data Innovation Conference (SDIC'16)

Veröffentlicht in: Daten & Analysen
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
149
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
0
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

SDIC'16 - Betrieb des Smart Data Innovation Labs - Vorstellung der Plattform

  1. 1. KIT – Universität des Landes Baden-Württem ber g und nationales Forschungszentrum in der Helmholtz-Gemeinschaft Steinbuch Centre for Computing www.kit.edu Betrieb des Smart Data Innovation Labs Vorstellung der Plattform Nico Schlitter, 13. Oktober 2016
  2. 2. 2 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing Partners
  3. 3. 3 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing SDI-X funded by BMBF 09/2015 – 08/2018 to strengthen the cooperation between industry and science self organizing data innovation communities industry research partner meet at community meetings and define projects SDIL strategy board approves project proposals within two weeks project members get access to the SDIL platform hosted by KIT Smart Data Innovation Lab MedicineSmart Cities Energy Industry 4.0
  4. 4. 4 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing Running the SDIL platform at KIT Developmentof tools, best practices und operating concepts Developing a legal framework Research in the field of data processing infrastructure data integration data analytics data curation data anonymization and pseudonymization Tasks within SDIL
  5. 5. 5 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing funded by the state of Baden-Württemberg 10/2014 – 09/2017 educating SME in regard to data analytics (~30 contacts to far) free of charge consulting for local SME in the field of data analytics evaluating the potential of existing data performing data analysis recommending additionaldata collection investigating further analysis steps Smart Data Solution Center BW • First contact • Checking requirements • Defining Objectives • Legal Issues • Data hand over • Data analysis • Evaluation • Presenting results • Recommendations • Next steps Preparation Realization Finalization
  6. 6. 6 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing SDIL Platform Overview
  7. 7. 7 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing #Cores RAM [GB] Disk Space [TB] Network Software IBM Watson Foundation Power 8 7 x 20 = 140 4096 300 40Gbit/s Ethernet IBM Open Platform with Hadoop/Spark SPSS Modeler SPSS Analytic Server DB2 with BLU Acceleration SAP HANA 4 x 80 = 320 4096 80 10Gbit/s Ethernet SAP HANA PredictiveAnalysis Library Business Function Library Software AG Terracotta ( * on request * ) BigMemory Max HTCondor 32 x 4 = 128 1024 1Gbit/s Ethernet RapidMiner, Python, R, Matlab, Virtualization 3 x 12 = 36 576 6 10Gbit/s Ethernet Red Hat Enterprise Virtualization on GlusterFS SDIL Platform Resources
  8. 8. 8 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing security is important due to storing of sensitive data strict access control of the server room multiple state-full firewalls are in place access via dedicated login server fine granular permission managementfor all SDIL components unified storage solution enables users to use several different technologies w/o the need to migrate large volumes of data home and project directories with snapshots encrypted backup on tape for disaster recovery ticket system (xGUS) for user support SDIL Operations – user perspective
  9. 9. 9 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing legal issues are much bigger than expected heterogeneous infrastructure different architectures and operating systems specialsoftware stacks like HANA and Terracotta not everything is nicely packaged data privacy protection SDIL Platform Challenges
  10. 10. 10 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing 3 networks:BMC, deployment/configuration,services Two firewalls, strict access control, encryption IBM Spectrum Scale as storage solution Foreman and Puppet for deploymentand configuration of SDIL machines (continuous integration) GitLab as code repository Icinga for monitoring (integrated with puppet) RedhatEnterprise Virtualization (RHEV) on glusterFS Ticket system for all operation tasks Weekly shifts for incidentresponse SDIL Operations – nerd perspective
  11. 11. 11 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing IBM Watson Foundations on Power 8
  12. 12. 12 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing SAP HANA & RHEV
  13. 13. 13 13.10.2016 Betrieb des Smart Data InnovationLabs(SDIL) SteinbuchCentrefor ComputingSteinbuchCentrefor Computing Continuously upgrading …

×