SlideShare ist ein Scribd-Unternehmen logo
1 von 25
Downloaden Sie, um offline zu lesen
Visuelle Analyse von komplexen Daten
am Beispiel der Panama Papers
Karin Patenge | Oracle Deutschland B.V. & Co. KG
Dr. Thorsten Liebig | derivo GmbH
t
11. – 14.12.2017
Frankfurt am Main
#ittage2017„Making value out of data“
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
Agenda
1
2
3
Oracle Strategie: All Data Management
Von Graphen und Datenbanken
Analyse komplexer Daten am Beispiel der Panama Papers
Zusammenfassung
Q&A
4
5
@kpatenge #ittage2017
Oracle All Data Management: Entwicklungssicht
@kpatenge #ittage2017
Programmiersprachen
Datenmodelle
Database Requirements For Modern Development
http://www.oracle.com/technetwork/articles/database/db-requirements-developers-wp.pdf
Oracle All Data Management: Integration und Betrieb
Oracle SQL
@kpatenge #ittage2017
“All data are graphs
(… or networks)”
"Linking Open Data cloud diagram 2017, by Andrejs Abele, John P. McCrae,
Paul Buitelaar, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/"
@kpatenge #ittage2017
Datenmodelle mit Fokus auf Beziehungen
• Def.: Graphen beschreiben die Beziehungen zwischen den Elementen einer Menge von
Objekten (der realen Welt).
• Bausteine / Zentrale Begriffe:
– Knoten (Nodes)  Objekte
– Kanten (Links)  Beziehungen
• Basis-Operationen auf Graphen
– Operationen aus der Mengenlehre
– Traversieren im Knoten-Kanten-Modell
• Analysen
– Anwendung von Algorithmen aus Graphentheorie
– Neues Wissen ableiten (Inferencing)
– Mustererkennung
– Semantische Suchen
• Graph wird häufig synonym verwendet für Linked (Open) Data
@kpatenge #ittage2017
Was macht Graphen besonders attraktiv?
• Intuitives und flexibles/elastisches
Datenmodell
– Einfach und beliebig erweiterbar
• Neue Knoten und Kanten
• Neue Eigenschaften von Knoten und Kanten
• Modellierung unterschiedlichster
Informationszusammenhänge
• Bilden komplexe Datenstrukturen
ab und erlauben effizienten Zugriff
darauf
• Erfordern kein vorher definiertes
Schema
• Einfach zu traversieren
• Einfach zu verknüpfen
• Vielfältige Analysemöglichkeiten
• Natürliches Verständnis durch
Möglichkeiten der Visualisierung
@kpatenge #ittage2017
Unterstützung für Graphen bei Oracle
RDF Graph
• Data Federation
• Semantic Web
• Knowledge Representation
Social Network
Analysis
• Public Safety
• Social Media search
• Marketing - Sentiment
Linked Data /
Semantic
Metadata Layer
Property Graph
• Graph Data Management
• Social Network Analysis
• Entity Analytics
• Life Sciences
• Health Care
• Publishing
• Finance
Spatial Network
Analysis
• Logistics
• Transportation
• Utilities
• Telecoms
Spatial Graph
• Network Path Analysis
• Transportation Modeling
@kpatenge #ittage2017
Typische Analysen auf Graphen: Eine (kleine) Auswahl
@kpatenge #ittage2017
Train Neural
Network model
Data Cleansing
& Preparation
Generate
Property Graph
Load
Property Graph
into BDSG
Graph
Visualization
Dataset
Selection
Anwendungsbeispiel Property Graph:
Network Intrusion Detection
• Results
– Blue edges: malicious
– Other edges: normal traffic
– Many attacks originated from
• 175.45.176.1 to target
• 149.171.126.17
• Big Data Spatial and Graph
• Visualization: Cytoscape
Karin Patenge | karin.patenge@oracle.com
Business Development Manager Technology
Oracle Deutschland B.V. & Co. KG
http://oracle-spatial.blogspot.de
www.biwasummit.org
derivo
17
• KMU (2010)
• Entwicklung und Realisierung von
Software-Lösungen
• Expertise:
Smart Data, Big Data und
Semantische Technologien
• Kunden:
Sicherheitsbehörde
Maschinenindustrie
Verlage
Rating-Agentur
Panama Papers Leak
18
• 2,6 Terabyte Daten
• 11,5 Millionen Dokumente; verwaltet von ICIJ
bearer
beneficial owner
nominee
owner/shareholder/director/…
entity
bank
Quelle:SZ
Panama Papers – ICIJ Datenforensik
19
CSV-Datei
+
Graphdatenbank
Import +
Texterkennung
textuelle
Suchmaschine
Entity Adresse Land Gründung
Blue Sky Vision Ltd. c/o Mossfon Panama 11-Nov-2014
Flower of Sky Corp. c/o Bank of Samoa, Ms. Berg Samoa 11-Oct-2005
Joyful Sky Int. Ltd. c/o Mossfon Panama 06-Nov-2013
Officer Beziehung Entity
Peter N. executive of Flower of Sky Corp.
... nominee shareholder of ...
... ... ...
Semantische Technologien
20
Ontologie
Schlussfolgerungen
semantische Anwendung
RDF/OWL
z.B. Oracle Spatial and Graph,
Reasoner, Triple Store
SemSpect
Semantische Technologien - Beispiel
21
Hans
Petra
Jan
sind-geschwister
hat-sohn
Kategorie Objekt
Mann Hans
Frau Petra
Mann Jan
Objekt Beziehung Objekt
Petra hat-sohn Jan
Petra sind-geschwister Hans
hat-neffe
• Die “sind-geschwister” Beziehung ist symmetrisch
“Experten”-Wissen:
• Die “hat-neffe“ Beziehung ist eine Verkettung von „sind-geschwister“ und „hat-sohn“
• Ein Mann ist ein Onkel, wenn er einen Neffen hat
Onkel Hans
Hans sind-geschwister Petra
Hans hat-neffe Jan
FrauMann
Mann
Die Panama Papers
22
Ontologieschema:
• Kategorien
• Gegeben: Officer, Entity, Address, Country, ...
• Definiert: Z.B. Entity in Deutschland, ...
• Beziehungen:
• address of
• executive of
• intermediary of
• is in jurisdiction
• is served by
• service agent of
• shareholder/beneficial
• similar to
• unclassified
Wie werden die 250
verschiedenen
Verknüpfungstexte der über
4,5 Mio. Aussagen auf diese 9
Beziehungen gebracht?
secretary
corporate secretary
secr.
company secretary
secretar
secretary of
…
Regelbasierter Importer
23
Interaktives Werkzeug:
Musteraussage Beziehung
① mit zusammenfassender Darstellung aller Verknüpfungs-aussagen:
Musteraussagen (ohne Füllwörter, Trenner etc.)
② geführter Erstellung von textbasierten Abbildungsregeln auf
Ontologiebeziehungen (mit/ohne Präfix/Suffix etc.)
Regel
Officer shareholder Entity
Officer beneficiary Entity
Officer executive director Entity
Officer director Entity
Officer records &
registers
Entity
* director
* registers
shareholder
executive of
service agent of
beneficiary
shareholder
Importer
24
Visualisierung und Analyse semantischer Daten
25
Herausforderung:
• Übersichtliche Präsentation großer, vernetzter Datenmengen
• Intuitive Abfragesprache
• zur schnellen Überprüfung von Hypothesen
• ohne kryptische Anfragesprache
• zur Beantwortung komplexer Fragestellungen
• Erstellung belastbarer Berichte
SemSpect
28
Zusammenfassung
29
▶ Viele Daten haben inhärent eine Graph-Struktur
▶ Unterstützung zur Verwaltung von Graphdaten vorhanden
▶ Semantische Methoden mit RDF zur automatischen Nutzung von
Anwendungswissen
▶ Hauptnutzen: Höhere Datenqualität und Anwendungslogik „näher an den
Daten“
▶ Anfrageschnittstelle und Datenvisualisierung erfolgskritisch
▶ Mit SemSpect schnelle und belastbare Analyseergebnisse
▶ Panama Papers: http://panama.semspect.de
Mehr Beispiele unter: http://www.semspect.de
Danke.
d erivo Gm b H
Jam es Franck Ring
890 81 Ulm
w w w.d erivo.d e
Sem ant ische Syst em e
Dr. Thorsten Liebig
liebig@derivo.de
derivo GmbH
Münchner Straße 1
89073 Ulm
www.derivo.de
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama Papers

Weitere ähnliche Inhalte

Ähnlich wie IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama Papers

Sitzung 11
Sitzung 11Sitzung 11
Sitzung 11scuy
 
Linked Data - Das Ende des Dokuments?
Linked Data - Das Ende des Dokuments?Linked Data - Das Ende des Dokuments?
Linked Data - Das Ende des Dokuments?Semantic Web Company
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open DataStadt Wien
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationThomas Kurz
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern
 
tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment
tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessmenttech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment
tech4comp - Kompetenzmessung durch Datenanalyse für E-AssessmentLeipziger Semantic Web Tag
 
1st Open Government Data Meetup Austria, Keynote by Andreas Langegger
1st Open Government Data Meetup Austria, Keynote by Andreas Langegger1st Open Government Data Meetup Austria, Keynote by Andreas Langegger
1st Open Government Data Meetup Austria, Keynote by Andreas LangeggerAndreas Langegger
 
3. PM-Tag Karlsruhe, Projektwissensmanagement
3. PM-Tag Karlsruhe, Projektwissensmanagement3. PM-Tag Karlsruhe, Projektwissensmanagement
3. PM-Tag Karlsruhe, ProjektwissensmanagementStefan Landwehr
 
Data Governance Journey from UM to VF
Data Governance Journey from UM to VFData Governance Journey from UM to VF
Data Governance Journey from UM to VFMarco Geuer
 
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp research
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp researchFujitsu Storage Days 2018 - Erfahrungsbericht crisp research
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp researchFujitsu Central Europe
 
Big Data - Die große Innovation?
Big Data - Die große Innovation?Big Data - Die große Innovation?
Big Data - Die große Innovation?BARC GmbH
 
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...Georg Rehm
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsGeorg Blum
 
[Expertengespräch] Jedox & BARC über Advanced Planning
[Expertengespräch] Jedox & BARC über Advanced Planning[Expertengespräch] Jedox & BARC über Advanced Planning
[Expertengespräch] Jedox & BARC über Advanced PlanningJedox
 
Objekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBsObjekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBsSebastian Dietrich
 

Ähnlich wie IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama Papers (20)

Effimag präsentation05
Effimag präsentation05Effimag präsentation05
Effimag präsentation05
 
Sitzung 11
Sitzung 11Sitzung 11
Sitzung 11
 
Linked Data - Das Ende des Dokuments?
Linked Data - Das Ende des Dokuments?Linked Data - Das Ende des Dokuments?
Linked Data - Das Ende des Dokuments?
 
RecSys NL - Meetup
RecSys NL - MeetupRecSys NL - Meetup
RecSys NL - Meetup
 
Data Governance & Open Data
Data Governance & Open DataData Governance & Open Data
Data Governance & Open Data
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
KI und Architektur
KI und ArchitekturKI und Architektur
KI und Architektur
 
Keynote: Andreas Langegger
Keynote: Andreas LangeggerKeynote: Andreas Langegger
Keynote: Andreas Langegger
 
tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment
tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessmenttech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment
tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment
 
1st Open Government Data Meetup Austria, Keynote by Andreas Langegger
1st Open Government Data Meetup Austria, Keynote by Andreas Langegger1st Open Government Data Meetup Austria, Keynote by Andreas Langegger
1st Open Government Data Meetup Austria, Keynote by Andreas Langegger
 
3. PM-Tag Karlsruhe, Projektwissensmanagement
3. PM-Tag Karlsruhe, Projektwissensmanagement3. PM-Tag Karlsruhe, Projektwissensmanagement
3. PM-Tag Karlsruhe, Projektwissensmanagement
 
Data Governance Journey from UM to VF
Data Governance Journey from UM to VFData Governance Journey from UM to VF
Data Governance Journey from UM to VF
 
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp research
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp researchFujitsu Storage Days 2018 - Erfahrungsbericht crisp research
Fujitsu Storage Days 2018 - Erfahrungsbericht crisp research
 
Big Data - Die große Innovation?
Big Data - Die große Innovation?Big Data - Die große Innovation?
Big Data - Die große Innovation?
 
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...
Generische Kuratierungstechnologien für spezifische Anwendungsfälle: Hintergr...
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A Relations
 
[Expertengespräch] Jedox & BARC über Advanced Planning
[Expertengespräch] Jedox & BARC über Advanced Planning[Expertengespräch] Jedox & BARC über Advanced Planning
[Expertengespräch] Jedox & BARC über Advanced Planning
 
Objekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBsObjekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBs
 
Ms dos-and-donts-doag
Ms dos-and-donts-doagMs dos-and-donts-doag
Ms dos-and-donts-doag
 

Mehr von Karin Patenge

20190704_AGIT_Georaster_ImageryData_KPatenge
20190704_AGIT_Georaster_ImageryData_KPatenge20190704_AGIT_Georaster_ImageryData_KPatenge
20190704_AGIT_Georaster_ImageryData_KPatengeKarin Patenge
 
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatengeKarin Patenge
 
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAsKarin Patenge
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickKarin Patenge
 
20181210_ITTage2018_OracleNoSQLDB_KPatenge
20181210_ITTage2018_OracleNoSQLDB_KPatenge20181210_ITTage2018_OracleNoSQLDB_KPatenge
20181210_ITTage2018_OracleNoSQLDB_KPatengeKarin Patenge
 
20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatengeKarin Patenge
 
20181123 dn2018 graph_analytics_k_patenge
20181123 dn2018 graph_analytics_k_patenge20181123 dn2018 graph_analytics_k_patenge
20181123 dn2018 graph_analytics_k_patengeKarin Patenge
 
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatengeKarin Patenge
 
20181019 code.talks graph_analytics_k_patenge
20181019 code.talks graph_analytics_k_patenge20181019 code.talks graph_analytics_k_patenge
20181019 code.talks graph_analytics_k_patengeKarin Patenge
 
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraph
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraphOracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraph
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraphKarin Patenge
 
Graph Analytics on Data from Meetup.com
Graph Analytics on Data from Meetup.comGraph Analytics on Data from Meetup.com
Graph Analytics on Data from Meetup.comKarin Patenge
 
5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial Technologies5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial TechnologiesKarin Patenge
 
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatengeKarin Patenge
 
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatengeKarin Patenge
 
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12Karin Patenge
 
20160310_ModernApplicationDevelopment_NoSQL_KPatenge
20160310_ModernApplicationDevelopment_NoSQL_KPatenge20160310_ModernApplicationDevelopment_NoSQL_KPatenge
20160310_ModernApplicationDevelopment_NoSQL_KPatengeKarin Patenge
 
20160229_ModernApplicationDevelopment_Python_KPatenge
20160229_ModernApplicationDevelopment_Python_KPatenge20160229_ModernApplicationDevelopment_Python_KPatenge
20160229_ModernApplicationDevelopment_Python_KPatengeKarin Patenge
 
Datenbank-gestützte Validierung und Geokodierung von Adressdatenbeständen
Datenbank-gestützte Validierung und Geokodierung von AdressdatenbeständenDatenbank-gestützte Validierung und Geokodierung von Adressdatenbeständen
Datenbank-gestützte Validierung und Geokodierung von AdressdatenbeständenKarin Patenge
 
Raster Algebra mit Oracle Spatial und uDig
Raster Algebra mit Oracle Spatial und uDigRaster Algebra mit Oracle Spatial und uDig
Raster Algebra mit Oracle Spatial und uDigKarin Patenge
 
Geodatenmanagement und -Visualisierung mit Oracle Spatial Technologies
Geodatenmanagement und -Visualisierung mit Oracle Spatial TechnologiesGeodatenmanagement und -Visualisierung mit Oracle Spatial Technologies
Geodatenmanagement und -Visualisierung mit Oracle Spatial TechnologiesKarin Patenge
 

Mehr von Karin Patenge (20)

20190704_AGIT_Georaster_ImageryData_KPatenge
20190704_AGIT_Georaster_ImageryData_KPatenge20190704_AGIT_Georaster_ImageryData_KPatenge
20190704_AGIT_Georaster_ImageryData_KPatenge
 
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge
20190703_AGIT_GeoRasterWorkshop_GriddedData_KPatenge
 
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs
20190604_DOAGDatabase2019_OracleNoSQLDB_for_DBAs
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
 
20181210_ITTage2018_OracleNoSQLDB_KPatenge
20181210_ITTage2018_OracleNoSQLDB_KPatenge20181210_ITTage2018_OracleNoSQLDB_KPatenge
20181210_ITTage2018_OracleNoSQLDB_KPatenge
 
20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge
 
20181123 dn2018 graph_analytics_k_patenge
20181123 dn2018 graph_analytics_k_patenge20181123 dn2018 graph_analytics_k_patenge
20181123 dn2018 graph_analytics_k_patenge
 
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge
20180921_DOAG_BigDataDays_OracleSpatialandPython_kpatenge
 
20181019 code.talks graph_analytics_k_patenge
20181019 code.talks graph_analytics_k_patenge20181019 code.talks graph_analytics_k_patenge
20181019 code.talks graph_analytics_k_patenge
 
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraph
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraphOracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraph
OracleCode_Berlin_Jun2018_AnalyzeBitcoinTransactionDataUsingAsGraph
 
Graph Analytics on Data from Meetup.com
Graph Analytics on Data from Meetup.comGraph Analytics on Data from Meetup.com
Graph Analytics on Data from Meetup.com
 
5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial Technologies5 Gründe für Oracle Spatial Technologies
5 Gründe für Oracle Spatial Technologies
 
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge
20171106_OracleWebcast_ITTrends_EFavuzzi_KPatenge
 
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
 
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12
Oracle NoSQL Database: Integration in den Oracle Enterprise Manager 12
 
20160310_ModernApplicationDevelopment_NoSQL_KPatenge
20160310_ModernApplicationDevelopment_NoSQL_KPatenge20160310_ModernApplicationDevelopment_NoSQL_KPatenge
20160310_ModernApplicationDevelopment_NoSQL_KPatenge
 
20160229_ModernApplicationDevelopment_Python_KPatenge
20160229_ModernApplicationDevelopment_Python_KPatenge20160229_ModernApplicationDevelopment_Python_KPatenge
20160229_ModernApplicationDevelopment_Python_KPatenge
 
Datenbank-gestützte Validierung und Geokodierung von Adressdatenbeständen
Datenbank-gestützte Validierung und Geokodierung von AdressdatenbeständenDatenbank-gestützte Validierung und Geokodierung von Adressdatenbeständen
Datenbank-gestützte Validierung und Geokodierung von Adressdatenbeständen
 
Raster Algebra mit Oracle Spatial und uDig
Raster Algebra mit Oracle Spatial und uDigRaster Algebra mit Oracle Spatial und uDig
Raster Algebra mit Oracle Spatial und uDig
 
Geodatenmanagement und -Visualisierung mit Oracle Spatial Technologies
Geodatenmanagement und -Visualisierung mit Oracle Spatial TechnologiesGeodatenmanagement und -Visualisierung mit Oracle Spatial Technologies
Geodatenmanagement und -Visualisierung mit Oracle Spatial Technologies
 

IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama Papers

  • 1. Visuelle Analyse von komplexen Daten am Beispiel der Panama Papers Karin Patenge | Oracle Deutschland B.V. & Co. KG Dr. Thorsten Liebig | derivo GmbH t 11. – 14.12.2017 Frankfurt am Main #ittage2017„Making value out of data“
  • 2. Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
  • 3. Agenda 1 2 3 Oracle Strategie: All Data Management Von Graphen und Datenbanken Analyse komplexer Daten am Beispiel der Panama Papers Zusammenfassung Q&A 4 5 @kpatenge #ittage2017
  • 4. Oracle All Data Management: Entwicklungssicht @kpatenge #ittage2017 Programmiersprachen Datenmodelle Database Requirements For Modern Development http://www.oracle.com/technetwork/articles/database/db-requirements-developers-wp.pdf
  • 5. Oracle All Data Management: Integration und Betrieb Oracle SQL @kpatenge #ittage2017
  • 6. “All data are graphs (… or networks)” "Linking Open Data cloud diagram 2017, by Andrejs Abele, John P. McCrae, Paul Buitelaar, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/" @kpatenge #ittage2017
  • 7. Datenmodelle mit Fokus auf Beziehungen • Def.: Graphen beschreiben die Beziehungen zwischen den Elementen einer Menge von Objekten (der realen Welt). • Bausteine / Zentrale Begriffe: – Knoten (Nodes)  Objekte – Kanten (Links)  Beziehungen • Basis-Operationen auf Graphen – Operationen aus der Mengenlehre – Traversieren im Knoten-Kanten-Modell • Analysen – Anwendung von Algorithmen aus Graphentheorie – Neues Wissen ableiten (Inferencing) – Mustererkennung – Semantische Suchen • Graph wird häufig synonym verwendet für Linked (Open) Data @kpatenge #ittage2017
  • 8. Was macht Graphen besonders attraktiv? • Intuitives und flexibles/elastisches Datenmodell – Einfach und beliebig erweiterbar • Neue Knoten und Kanten • Neue Eigenschaften von Knoten und Kanten • Modellierung unterschiedlichster Informationszusammenhänge • Bilden komplexe Datenstrukturen ab und erlauben effizienten Zugriff darauf • Erfordern kein vorher definiertes Schema • Einfach zu traversieren • Einfach zu verknüpfen • Vielfältige Analysemöglichkeiten • Natürliches Verständnis durch Möglichkeiten der Visualisierung @kpatenge #ittage2017
  • 9. Unterstützung für Graphen bei Oracle RDF Graph • Data Federation • Semantic Web • Knowledge Representation Social Network Analysis • Public Safety • Social Media search • Marketing - Sentiment Linked Data / Semantic Metadata Layer Property Graph • Graph Data Management • Social Network Analysis • Entity Analytics • Life Sciences • Health Care • Publishing • Finance Spatial Network Analysis • Logistics • Transportation • Utilities • Telecoms Spatial Graph • Network Path Analysis • Transportation Modeling @kpatenge #ittage2017
  • 10. Typische Analysen auf Graphen: Eine (kleine) Auswahl @kpatenge #ittage2017
  • 11. Train Neural Network model Data Cleansing & Preparation Generate Property Graph Load Property Graph into BDSG Graph Visualization Dataset Selection Anwendungsbeispiel Property Graph: Network Intrusion Detection • Results – Blue edges: malicious – Other edges: normal traffic – Many attacks originated from • 175.45.176.1 to target • 149.171.126.17 • Big Data Spatial and Graph • Visualization: Cytoscape
  • 12. Karin Patenge | karin.patenge@oracle.com Business Development Manager Technology Oracle Deutschland B.V. & Co. KG http://oracle-spatial.blogspot.de www.biwasummit.org
  • 13. derivo 17 • KMU (2010) • Entwicklung und Realisierung von Software-Lösungen • Expertise: Smart Data, Big Data und Semantische Technologien • Kunden: Sicherheitsbehörde Maschinenindustrie Verlage Rating-Agentur
  • 14. Panama Papers Leak 18 • 2,6 Terabyte Daten • 11,5 Millionen Dokumente; verwaltet von ICIJ bearer beneficial owner nominee owner/shareholder/director/… entity bank Quelle:SZ
  • 15. Panama Papers – ICIJ Datenforensik 19 CSV-Datei + Graphdatenbank Import + Texterkennung textuelle Suchmaschine Entity Adresse Land Gründung Blue Sky Vision Ltd. c/o Mossfon Panama 11-Nov-2014 Flower of Sky Corp. c/o Bank of Samoa, Ms. Berg Samoa 11-Oct-2005 Joyful Sky Int. Ltd. c/o Mossfon Panama 06-Nov-2013 Officer Beziehung Entity Peter N. executive of Flower of Sky Corp. ... nominee shareholder of ... ... ... ...
  • 16. Semantische Technologien 20 Ontologie Schlussfolgerungen semantische Anwendung RDF/OWL z.B. Oracle Spatial and Graph, Reasoner, Triple Store SemSpect
  • 17. Semantische Technologien - Beispiel 21 Hans Petra Jan sind-geschwister hat-sohn Kategorie Objekt Mann Hans Frau Petra Mann Jan Objekt Beziehung Objekt Petra hat-sohn Jan Petra sind-geschwister Hans hat-neffe • Die “sind-geschwister” Beziehung ist symmetrisch “Experten”-Wissen: • Die “hat-neffe“ Beziehung ist eine Verkettung von „sind-geschwister“ und „hat-sohn“ • Ein Mann ist ein Onkel, wenn er einen Neffen hat Onkel Hans Hans sind-geschwister Petra Hans hat-neffe Jan FrauMann Mann
  • 18. Die Panama Papers 22 Ontologieschema: • Kategorien • Gegeben: Officer, Entity, Address, Country, ... • Definiert: Z.B. Entity in Deutschland, ... • Beziehungen: • address of • executive of • intermediary of • is in jurisdiction • is served by • service agent of • shareholder/beneficial • similar to • unclassified Wie werden die 250 verschiedenen Verknüpfungstexte der über 4,5 Mio. Aussagen auf diese 9 Beziehungen gebracht? secretary corporate secretary secr. company secretary secretar secretary of …
  • 19. Regelbasierter Importer 23 Interaktives Werkzeug: Musteraussage Beziehung ① mit zusammenfassender Darstellung aller Verknüpfungs-aussagen: Musteraussagen (ohne Füllwörter, Trenner etc.) ② geführter Erstellung von textbasierten Abbildungsregeln auf Ontologiebeziehungen (mit/ohne Präfix/Suffix etc.) Regel Officer shareholder Entity Officer beneficiary Entity Officer executive director Entity Officer director Entity Officer records & registers Entity * director * registers shareholder executive of service agent of beneficiary shareholder
  • 21. Visualisierung und Analyse semantischer Daten 25 Herausforderung: • Übersichtliche Präsentation großer, vernetzter Datenmengen • Intuitive Abfragesprache • zur schnellen Überprüfung von Hypothesen • ohne kryptische Anfragesprache • zur Beantwortung komplexer Fragestellungen • Erstellung belastbarer Berichte
  • 23. Zusammenfassung 29 ▶ Viele Daten haben inhärent eine Graph-Struktur ▶ Unterstützung zur Verwaltung von Graphdaten vorhanden ▶ Semantische Methoden mit RDF zur automatischen Nutzung von Anwendungswissen ▶ Hauptnutzen: Höhere Datenqualität und Anwendungslogik „näher an den Daten“ ▶ Anfrageschnittstelle und Datenvisualisierung erfolgskritisch ▶ Mit SemSpect schnelle und belastbare Analyseergebnisse ▶ Panama Papers: http://panama.semspect.de Mehr Beispiele unter: http://www.semspect.de
  • 24. Danke. d erivo Gm b H Jam es Franck Ring 890 81 Ulm w w w.d erivo.d e Sem ant ische Syst em e Dr. Thorsten Liebig liebig@derivo.de derivo GmbH Münchner Straße 1 89073 Ulm www.derivo.de