Vorstellung der HyperGraphDB (NoSQL-Datenbank).
Vortrag wurde am 20.06.13 im Rahmen der "Tage der Datenbanken" an der FH Köln, Campus Gummersbach gehalten.
Projekt AMSL: Entwicklung eines Electronic Resource Management Systems für Bi...Björn Muschall
Die Publikation von wissenschaftlichen Ergebnissen in elektronischer Form ist heute gängige Praxis. Die Entwicklungen der letzten Jahre führten dabei zu einer Vielfalt an elektronischen Ressourcen und zusammen mit neuen Geschäfts- und Lizenzierungsmodellen zu immer komplexeren Geschäftsprozessen. Das Angebot an kommerzieller Bibliothekssoftware zur Abbildung dieser Prozesse (Electronic Resource Management, ERM) ist jedoch überschaubar. Auch eine tragfähige Open-Source-Lösung existiert nicht, obwohl für die Verwaltung von E-Medien ein offenes, flexibles System erforderlich ist, um auf die stetigen Veränderungen schnell reagieren zu können.
Basis einer solchen ERM-Anwendung ist ein entsprechender Datenbestand, wobei die Nutzung hochwertiger Wissensdatenbanken (Knowledge bases), vorhandener Lokalsysteme und anderer Quellen eine Homogenisierung der Daten notwendig macht. Die Linked Data-Technologie bietet durch die Flexibilität der Datenmodelle, die Verlinkung zu externen Datenbeständen und die derzeitigen Bestrebungen zum Aufbau bibliothekarischer Vokabulare eine optimale Grundlage für die Integration dieser Daten.
Die Universitätsbibliothek Leipzig stellt sich mit Unterstützung der Forschungsgruppe Agile Knowledge Engineering and Semantic Web (AKSW) den genannten Herausforderungen. Das Projekt ERM ist Teil des EFRE-geförderten Projekts Wissenschaftskommunikation im Semantischen Web und hat zum Ziel, ein offenes ERM-System auf Basis von Linked Data-Technologien zu entwickeln. Projektpartner ist die SLUB Dresden, die eine Datenmanagement-Plattform zur automatischen Verknüpfung von Bibliotheksdaten entwickeln wird. Im Rahmen des Vortrags sollen Anforderungen an ein ERM-System unter Berücksichtigung des Reports der ERM Initiative der Digital Library Federation sowie Lösungskonzepte dargestellt werden.
Mit CALIPRI können – wie mit Passstiften oder Schablonen - Geometriedaten von Spalten geprüft werden. Im Gegensatz anderen Verfahren liefert CALIPRI durch die berührungslose Profilerfassung bis in die Tiefe des Spalts von Annahmen befreite Messergebnisse.
Hochgenaue Spaltmessung im Karosseriebau durch die Verwendung des plattformunabhängigen CALIPRI-Verfahrens.
Projekt AMSL: Entwicklung eines Electronic Resource Management Systems für Bi...Björn Muschall
Die Publikation von wissenschaftlichen Ergebnissen in elektronischer Form ist heute gängige Praxis. Die Entwicklungen der letzten Jahre führten dabei zu einer Vielfalt an elektronischen Ressourcen und zusammen mit neuen Geschäfts- und Lizenzierungsmodellen zu immer komplexeren Geschäftsprozessen. Das Angebot an kommerzieller Bibliothekssoftware zur Abbildung dieser Prozesse (Electronic Resource Management, ERM) ist jedoch überschaubar. Auch eine tragfähige Open-Source-Lösung existiert nicht, obwohl für die Verwaltung von E-Medien ein offenes, flexibles System erforderlich ist, um auf die stetigen Veränderungen schnell reagieren zu können.
Basis einer solchen ERM-Anwendung ist ein entsprechender Datenbestand, wobei die Nutzung hochwertiger Wissensdatenbanken (Knowledge bases), vorhandener Lokalsysteme und anderer Quellen eine Homogenisierung der Daten notwendig macht. Die Linked Data-Technologie bietet durch die Flexibilität der Datenmodelle, die Verlinkung zu externen Datenbeständen und die derzeitigen Bestrebungen zum Aufbau bibliothekarischer Vokabulare eine optimale Grundlage für die Integration dieser Daten.
Die Universitätsbibliothek Leipzig stellt sich mit Unterstützung der Forschungsgruppe Agile Knowledge Engineering and Semantic Web (AKSW) den genannten Herausforderungen. Das Projekt ERM ist Teil des EFRE-geförderten Projekts Wissenschaftskommunikation im Semantischen Web und hat zum Ziel, ein offenes ERM-System auf Basis von Linked Data-Technologien zu entwickeln. Projektpartner ist die SLUB Dresden, die eine Datenmanagement-Plattform zur automatischen Verknüpfung von Bibliotheksdaten entwickeln wird. Im Rahmen des Vortrags sollen Anforderungen an ein ERM-System unter Berücksichtigung des Reports der ERM Initiative der Digital Library Federation sowie Lösungskonzepte dargestellt werden.
Mit CALIPRI können – wie mit Passstiften oder Schablonen - Geometriedaten von Spalten geprüft werden. Im Gegensatz anderen Verfahren liefert CALIPRI durch die berührungslose Profilerfassung bis in die Tiefe des Spalts von Annahmen befreite Messergebnisse.
Hochgenaue Spaltmessung im Karosseriebau durch die Verwendung des plattformunabhängigen CALIPRI-Verfahrens.
Der Maschinenbau Bericht von Bisnode präsentiert aktuelle Zahlen zur Maschinenbauindustrie. Informieren Sie sich hier zum Zahlungsverhalten des deutschen Maschinenbaus in Deutschland.
Die Solar Passive Residental School for Girls ist eine Schule zur Unterstützung tibetischer Flüchtlingskinder. Die Schule wird tibetischen Mädchen, aus ärmsten Verhältnissen, Zugang zu Bildung ermöglichen.
Infografik - Die Immobilienprofis aus Hamburg zeichnen ein Stimmungsbild der ...Euroforum Deutschland GmbH
Für wie attraktiv halten Sie das Hamburger Umland für Immobilien-Investitionen? Diese und andere interessante Fragen haben wir im Vorfeld des 20. IIR Immobilienstandorts Hamburg gestellt. Lesen Sie hier die Antworten. http://www.iir.de/hamburg/
LinkedGeoData is an effort to add a spatial dimension to the Web of Data / Semantic Web. LinkedGeoData uses the information collected by the OpenStreetMap project and makes it available as an RDF knowledge base according to the Linked Data principles http://linkedgeodata.org
Bei vielen Unternehmen fallen extrem viele Daten an, die mit geeigneten Auswertungen gewinnbringend analysiert werden können. Doch häufig werden solche Auswertungen mühsam manuell erstellt, sodass Aufwand und Ertrag kaum übereinstimmen. Der Markt für die moderne Datenanalyse hat sich in den letzten Jahren entwickelt. Die Tools zur Datenauswertung sind einfacher, effizienter und skalierbarer geworden. Zudem können die Daten interaktiv und in Echtzeit ausgewertet und präsentiert werden.
Referent Matthias Gessenay zeigte in seinem Referat, wie mit mit Hilfe einfacher Tools wie PowerBI, PoverView, PowerPivot und SharePoint Daten analysiert und ästhetisch ansprechend dargestellt werden können.
• Welche Daten Sie nutzen können
• Nutzen von Big Data
• Was leistet Microsoft Excel?
• Was bedeutet am meisten Aufwand?
• Wie Sie Daten am besten konsolidieren
• Natural Language Query
• So einfach ist PowerBi
• Was SharePoint in diesem Zusammenhang bietet
In einer Demo zeigte Matthias Gessenay zudem praktische Anwendungen mit Natural Language Query und PowerBI.
Gerne stellen wir Ihnen die Slides des Referats zur Verfügung.
Nach einer kurzen Einführung in verteilte Systeme zeige ich die Motivation für die Entstehung von NoSQL-Datenbanken auf. Ich stelle die Haupt-Kategorien der NoSQL-Datenbanken vor: Key-Value, Column Store, Graphen- und Dokumentenoriente Datenbanken. Danach gehe ich auf konkrete Datenbanken wie MongoDB, Neo4j und Redis ein.
Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?KurtStockinger
Applikationen und Datenbanken generieren Logfiles, deren Inhalte wichtige Aussagen über Zugriffsmuster enthalten. So kann ermittelt werden, welche Produkte am häufigsten abgefragt werden oder welche Kundentrends sich abzeichnen. In diesem Vortrag beleuchten wir zunächst die Problematik anhand von praktischen Use Cases. Danach zeigen wir, wie sich die Probleme mit einem herkömmlichen Datenbankansatz, mit Hadoop und mit Splunk lösen lassen.
Der Maschinenbau Bericht von Bisnode präsentiert aktuelle Zahlen zur Maschinenbauindustrie. Informieren Sie sich hier zum Zahlungsverhalten des deutschen Maschinenbaus in Deutschland.
Die Solar Passive Residental School for Girls ist eine Schule zur Unterstützung tibetischer Flüchtlingskinder. Die Schule wird tibetischen Mädchen, aus ärmsten Verhältnissen, Zugang zu Bildung ermöglichen.
Infografik - Die Immobilienprofis aus Hamburg zeichnen ein Stimmungsbild der ...Euroforum Deutschland GmbH
Für wie attraktiv halten Sie das Hamburger Umland für Immobilien-Investitionen? Diese und andere interessante Fragen haben wir im Vorfeld des 20. IIR Immobilienstandorts Hamburg gestellt. Lesen Sie hier die Antworten. http://www.iir.de/hamburg/
LinkedGeoData is an effort to add a spatial dimension to the Web of Data / Semantic Web. LinkedGeoData uses the information collected by the OpenStreetMap project and makes it available as an RDF knowledge base according to the Linked Data principles http://linkedgeodata.org
Bei vielen Unternehmen fallen extrem viele Daten an, die mit geeigneten Auswertungen gewinnbringend analysiert werden können. Doch häufig werden solche Auswertungen mühsam manuell erstellt, sodass Aufwand und Ertrag kaum übereinstimmen. Der Markt für die moderne Datenanalyse hat sich in den letzten Jahren entwickelt. Die Tools zur Datenauswertung sind einfacher, effizienter und skalierbarer geworden. Zudem können die Daten interaktiv und in Echtzeit ausgewertet und präsentiert werden.
Referent Matthias Gessenay zeigte in seinem Referat, wie mit mit Hilfe einfacher Tools wie PowerBI, PoverView, PowerPivot und SharePoint Daten analysiert und ästhetisch ansprechend dargestellt werden können.
• Welche Daten Sie nutzen können
• Nutzen von Big Data
• Was leistet Microsoft Excel?
• Was bedeutet am meisten Aufwand?
• Wie Sie Daten am besten konsolidieren
• Natural Language Query
• So einfach ist PowerBi
• Was SharePoint in diesem Zusammenhang bietet
In einer Demo zeigte Matthias Gessenay zudem praktische Anwendungen mit Natural Language Query und PowerBI.
Gerne stellen wir Ihnen die Slides des Referats zur Verfügung.
Nach einer kurzen Einführung in verteilte Systeme zeige ich die Motivation für die Entstehung von NoSQL-Datenbanken auf. Ich stelle die Haupt-Kategorien der NoSQL-Datenbanken vor: Key-Value, Column Store, Graphen- und Dokumentenoriente Datenbanken. Danach gehe ich auf konkrete Datenbanken wie MongoDB, Neo4j und Redis ein.
Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?KurtStockinger
Applikationen und Datenbanken generieren Logfiles, deren Inhalte wichtige Aussagen über Zugriffsmuster enthalten. So kann ermittelt werden, welche Produkte am häufigsten abgefragt werden oder welche Kundentrends sich abzeichnen. In diesem Vortrag beleuchten wir zunächst die Problematik anhand von praktischen Use Cases. Danach zeigen wir, wie sich die Probleme mit einem herkömmlichen Datenbankansatz, mit Hadoop und mit Splunk lösen lassen.
Die Oracle Datenbank und Apache Hadoop
DOAG -Big Data für Oracle Entwickler: Zweitagesveranstaltung mit Hands-On - 25.09.2014 in Köln
DOAG 2014 -Die größte Anwenderkonferenz rund um alle Oracle Themen, vom 18.11.2014 - 20.11.2014 in Nürnberg
Die Oracle Datenbank in die Welt von Hadoop und NoSQL integrieren
Wie lassen sich die beiden Welten, Oracle RDBMS und der NoSQL Ansatz sinnvoll für die Archivierung und das Datensammeln einsetzen?
Ziel des Vortrags ist es aufzuzeigen, wie die Kombinationen aus den Vorteilen der beiden Welten für die Analyse und Archivierung von Daten eingesetzt werden kann.
Hadoop, mit einer entsprechen Container Datenbank Lösung, eignet sich gut, um im ersten Schritt Daten zu sammeln und/oder im letzten Schritt Daten zu archivieren.
Die eigentliche Oracle RDBMS Datenbank kann dabei schnell und schlank gehalten werden, um Hardware und damit Lizenzkosten einzusparen.
Es werden Architekturansätze aufgezeigt, wie die Integration der Oracle RDBMS und NoSQL Datenbank in das Hadoop Ökosystem dabei erfolgen kann.
Mit den kostenpflichtigen Adaptern der Oracle RDBMS lässt sich zwar einfacher eine tiefe Integration mit Hadoop erreichen, aber auch mit den freien Lösungen kann bereits eine umfangreiche Lösung implementiert werden.
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen ExtraktionCONOGY GmbH
In diesem Webinar lernen Sie die Möglichkeiten und Grenzen für die Gestaltung der Extraktionswege aus einem S/4HANA-System im Vergleich zu einem herkömmlichen ECC-System mit BI-Extraktoren.
Es wird erklärt, wie bereits genutzte BI-Extraktoren weiter verwendet werden können und welche alternativen Extraktionsszenarien im S/4HANA-Umfeld möglich bzw. empfohlen sind. Es werden die relevanten Begriffe erklärt und anhand von Beispielen die verschiedenen Lösungen vorgestellt.
Dieses Webinar eignet sich für:
- SAP-Anwender, die S/4HANA evaluieren oder schon einsetzen.
- BI-Entwickler und Berater, die sich mit der Extraktion aus SAP-Systemen beschäftigen.
Große Datenmengen und kleine gelbe Elefanten: eine vielzitierte Kombination. Aber wie sieht es in der Realität denn konkret damit aus? Dieser Praxisbericht will aufzeigen, wie man in modernen BI-Architekturen große Datenmengen mit dem Hadoop-Ökosystem erfolgreich beherrschen kann und welchen verschiedenen Herausforderungen man auf diesem Weg begegnet.
Already 4 years we plan the upgrade from 11c to a new supported version.
Somehow, on the one hand business projects were more important, on the other hand the exact technical procedure was not clear.
All databases have to be migrated, but some software vendors did not offer support at all.
The requirements diverged: consolidation to save costs versus dedicated environments to manage security and operations more easily.
When we finally knew how we wanted to proceed, technical details quickly threw the planning off course.
The target platform became 12c, 18 and now 19c
At some point, however, the threat of the final loss of support for 11g and the accumulating other requirements put the necessary pressure on the implementation.
This presentation will show you how and why we proceeded in this way and how we finally reached the finish line.
Maybe our experiences will help some of you to finally take the step!
Pandas und matplotlib im praktischen EinsatzThomas Koch
Präsentation auf dem PyBonn UserGroup Meeting am 27.02.2013 - Thema "Scientific Computing" - mit Vorträgen zu pandas und matplotlib.
Der Vortrag zeigt den praktischen Einsatz von pandas und matplotlib am Beispiel des Forschungsprojektes EnArgus.
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopCloudera, Inc.
Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbaren Mehrwert zu unterscheiden. Ob es Unternehmen gelingt, sich die Vorteile zunutze zu machen, untersucht diese Studie zum Stand und zur zukünftigen Entwicklung von Big Data und dessen Anwendungsfälle in Unternehmen. Mit weltweit über 380 Teilnehmern bei einer breit gefächerten Branchenverteilung gehört die vorliegende Studie „Hadoop und Data Lakes“ zu den größten Untersuchungen, die sich speziell den Herausforderungen bei der Datenanalyse mit Hadoop widmen.
Teaching and Learning Experience Design – der Ruf nach besserer Lehre: aber wie?Isa Jahnke
Der Ruf danach, dass es bessere Lehre geben muss oder das Lehre verbessert werden sollte, ist nicht neu. Es gibt auch schon seit längerer Zeit Rufe danach, dass Lehre der Forschung in Universitäten gleichgestellt werden soll. (Und in den letzten Jahren ist in Deutschland auch einiges an positiven Entwicklungen geschehen, z.B. durch die Aktivitäten des Stifterverbands). Wie kann die Verbesserung der Lehre weitergehen? Fehlt etwas in dieser Entwicklung? Ja, sagt dieser Beitrag, der zum Nachdenken und Diskutieren anregen soll. In diesem Beitrag wird ein forschungsbasierter Ansatz zur Diskussion gestellt. Es wird argumentiert, dass Lehre nur dann besser wird, wenn es mit den Prinzipen der Wissenschaft und Forschung angegangen wird (d.h. gestalten, Daten erheben, auswerten, verbessern). Es benötigt neue Verhaltensregeln oder -prinzipien bei der Gestaltung von Lehrveranstaltungen. Das bedeutet zum Beispiel das Prinzipien der Evidenzbasierung und wissenschaftliche Herangehensweisen im Lehr-Lerndesign als zentrales Fundament etabliert werden sollte. Evidenzbasierung hier meint, folgt man der Logik der Forschung, dass Lehrveranstaltungen als Intervention verstanden werden. Mit dieser Intervention werden Studierende befähigt, bestimmte vorab festgelegte Kompetenzen zu entwickeln. Und die Frage, die sich bei jeder Lehr-Lernveranstaltung dann stellt, ist, ob diese Objectives bzw. Learning Outcomes auch erreicht wurden. Klar ist, dass die subjektive Lehrevaluation der Studierenden oder auch die Notengebnung nicht ausreichen, um diese Frage zu beantworten. Hierfür gibt es eine Reihe von Methoden, die genutzt werden können, z.B. aus dem Bereich des User- / Learning Experience Design. Diese Methoden umfassen unter anderem Usability-Tests, Learner Experience Studies, Pre-/Post-Tests, und Follow-up Interviews. Diese können zur Gestaltung und Erfassung von effektiven, effizienten und ansprechenden digitalen Lerndesigns verwendet (Reigeluth 1983, Honebein & Reigeluth, 2022).
Der Beitrag will die Entwicklung zur Verbesserung von Lehre weiter pushen. Neue Ideen in die Bewegung bringen. Als Gründungsvizepräsidentin der UTN hab ich die Chance, hier ein neues Fundament für eine gesamte Uni zu legen. Wird das Gelingen? Ist dieser Ansatz, den ich hier vorstelle, eine erfolgsversprechende Option dafür? Hier können sich die TeilnehmerInnen an dieser Entwicklung beteiligen.
9. Bestandteile eines Graphen: G= (V, E)
Knoten(menge) => V (engl. vertices)
Kanten(menge) => E (engl. edges)
Gerichtete und ungerichtete Kanten
Speicherung von weiteren Informationen
möglich (Labels/Properties)
9
Vgl. Edlich u.a., S. 172
Label
1
Label
2
Label: 1,5
10. Hypergraph
Besitzt Hyperkanten
Gerichteter Graph: Startknoten 1 : n Zielknoten
Ungerichteter Graph: Menge von Knoten
Vorteil(e)?
Nachteil(e)?
10
Vgl. Edb Wiki FH Köln, Campus Gummersbach: Hypergraph
15. Zentrale Merkmale der HyperGraphDB (1)
Multifunktionale Datenbank
Anfrage-API: HGQuery, Traverser-API
Datenmodell: Hypergraph
Replikation: Peer-to-Peer-Framework
Lizenz: LGPL (ohne Berkeley DB)
Szenario für mögliche Einsatzgebiete (Bsp.)*
Bioinformatik-Projekte
15
Vgl. Edlich u.a., 2010, S. 223, S. 227 & hypergraphdb.org: What is it? sowie Oracle 2009
*Vgl. hypergraphdb.org: Possible Usage Scenarios.
16. Zentrale Merkmale der HyperGraphDB (2)
Persistenz: Oracle Berkeley DB
Eingebettete Datenbank-Engine
Verschiedene Ausprägungen vorhanden:
Berkeley DB
Berkeley DB Java Edition
Berkeley DB XML
Transaktion: ACID, MVCC (optional)
16
Vgl. Edlich u.a., 2010, S. 223, S. 227 & hypergraphdb.org: What is it? sowie Oracle 2009
18. Das Datenmodell (Überblick & Vergleich)
Das Property-Graph-
Modell (zum Vergleich)
Modell der HyperGraphDB
18
Vgl. Edlich u.a. 2010, S. 223 & Iordanov 2010, S. 3 sowie Abb. in Anlehnung an: Iordanov o. J., Folie 8
23. Fazit – KaWa* „HyperGraphDB“
23
Hypergraph
(Datenmodell)
Eingebettete
DB
Replikation:
P2P-Framework
*Technik „KaWa“: nach Vera F. Birkenbihl
Graphdatenbank
Graphenalgorithmen:
Breiten-/Tiefensuche
Persistenz-
basis
Berkeley DB
Atom
ACI(D)
APIs
Datenmodell
nicht intuitiv
24. Ausblick
Fallstudie: Fahrradhersteller
Eignung von HyperGraphDB?
Hier keine aussagekräftige Entscheidung möglich
Bisher nur Betrachtung eines Ausschnitts der Beispiel-DB
Ausstehend: Wie erfolgt die Ausgabe der hierarchischen
Struktur?
Evtl. Alternative zur Ersetzung des RDBS
RDBS (Grunddaten) & HyperGraphDB
(Produktionsdaten) parallel laufen lassen
Probleme/Risiken?
25
25. Vielen Dank für Ihre Aufmerksamkeit!
Noch Fragen/Anmerkungen?
26
27. Literatur (1)
Edb Wiki FH Köln, Campus Gummersbach: Das
Property-Graph-Modell. http://wikis.gm.fh-
koeln.de/wiki_db/Datenbanken/PropertyGraphModell
(07.05.2013)
Edb Wiki FH Köln, Campus Gummersbach:
Hypergraph. http://wikis.gm.fh-
koeln.de/wiki_db/Datenbanken/Hypergraph
(07.05.2013)
Edlich, Stefan; Friedland, Achim; Hampe, Jens;
Brauer, Benjamin (2010): NoSQL. Einstieg in die Welt
nichtrelationaler Web 2.0 Datenbanken. München:
Hanser.
28
28. Literatur (2)
Faeskorn-Woyke, Heide; Bertelsmeier, Birgit; Riemer,
Petra; Bauer, Elena (2007): Datenbanksysteme.
Theorie und Praxis mit SQL2003, Oracle und MySQL.
München: Pearson Studium.
hypergraphdb.org: Possible Usage Scenarios.
http://hypergraphdb.org/about (01.06.2013)
hypergraphdb.org: What is it?
http://www.hypergraphdb.org/index (23.03.2013)
Iordanov, Borislav (2010): HyperGraphDB: A
Generalized Graph Database.
http://www.hypergraphdb.org/docs/hypergraphdb.pdf
(01.06.2013)
29
29. Literatur (3)
Iordanov, Borislav (o. J.): Präsentation
„HyperGraphDB. Data Management for Complex
System“.
http://www.hypergraphdb.org/docs/HyperGraphDB-
Presentation.pdf (23.03.2013)
Oracle (2009): A Comparison of Oracle Berkeley DB
and Relational Database Management Systems. An
Oracle Technical White Paper. March 2009.
http://www.oracle.com/us/products/database/berkeley-
db-v-relational-066565.pdf (23.04.2013)
30