20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge

Copyright © 2017, Oracle and/or its affiliates. All rights reserved !
JSON und NoSQL:
Ein starkes Team
Karin Patenge | Oracle Deutschland B.V. & Co. KG
Email: karin.patenge@oracle.com | Twitter: @kpatenge
Business Development Manager Technology (Europe North)
DOAG 2017 Konferenz
Nürnberg | 21. November 2017

Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.

Agenda
JSON – Eine kurze Einführung
NoSQL Datenbanken im Allgemeinen
Die Oracle NoSQL DB im Speziellen
Demo: JSON mit Oracle NoSQL DB im Team
Zusammenfassung und Weiterführende Informationen
1
2
3
4
5
4

JSON – Eine kurze Einführung

Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
• Sehr einfaches Austauschformat für
Daten
• Maschinen-lesbar
• Einfachere Konzepte als XML
• Basiert auf (Subset von) JavaScript
• Breite Unterstützung durch Web-
APIs und Programmiersprachen
– Google, Twitter, LinkedIn, XING,
Facebook & u.v.m.
• Weit verbreitet auch für Open Data
oder IoT („Message payload“)
• http://json.org
JSON – JavaScript Object Notation

Warum JSON?
• Agilität und "Continuous Delivery"
– Flexible Datenmodelle
– “Schema-on-read” anstatt “Schema-on-write”
– Änderungen an Datenstrukturen immer häufiger
– Lange Zyklen für Schema-Änderungen werden immer weniger akzeptiert
• Komplett unabhängig von Programmiersprachen, aber eine universelle
Datenstruktur, die von vielen Programmiersprachen unterstützt wird

1. Menge von Key-Value-Paaren
2. (Sortierte) Listen
• " " umschließen Strings
• {} umschließen JSON Objekte
• [] umschließen JSON Arrays
• Key und Value werden durch
Doppelpunkt getrennt
• Werte in Arrays bzw. Key-Value-
Paare in Objekten sind jeweils
durch Komma getrennt
• Schlüssel (Key) in JSON
– String
• Werte (Value) in JSON
– String
– Number
– Object
– Array
– Boolean
– Null
JSON Grundstrukturen und Syntax

"type":"object"
• Bsp.:
{
"fullname":"Karin Patenge",
"cat":5,
"demo":true,
"age":null }
}
• Beliebig viele Key-Value-Paare
• Values vom Typ:
string, number, object, array,
boolean, null
"type":"array"
–Bsp.:
["NoSQL", "JSON",
"JavaScript"]
–Listenelemente vom Typ:
string, number, object, array,
boolean, null
–Beliebig viele Werte
–Arrays in JSON Objekten
–Verschachtelte Arrays
Nicht-skalare Datentypen

NoSQL Datenbanken im Allgemeinen

Wofür steht NoSQL?
• NoSQL - Not Only SQL
– 1998 erstmals verwendet für eine (Open-Source) Datenbank, die auf SQL als Anfragesprache für
die Daten verzichtet
• NoSQL – Eine Bewegung
– Alternatives Modell zur relationalen Datenhaltung
• NoSQL – Begriff für eine Gruppe von nicht-relationalen Datenbanken
– Weitgehender Verzicht auf Datenmodellierung („Schema-less“, „Schema on read“)
– Nicht zwingenderweise konsistente Daten („Eventually Consistent“). Typischerweise Verzicht auf
ACID-Eigenschaften.
– Daten werden horizontal verteilt abgelegt („Shared nothing“). Massiv parallelisierbar. Einfach
skalierbar durch Hinzufügen von Speicherknoten.
– „Eingebaute“ Replikation für Ausfallsicherheit. Ein „Datensatz“ wird immer n-fach gespeichert.
– (Sehr) Große und heterogene Datenmengen schnell, kostengünstig speichern und einfach abrufen

Ist NoSQL gleich NoSQL? Nein!
Key-Value
Stores
Bsp.:
Oracle NoSQL DB
Redis
Document
Stores
Bsp.:
MongoDB
MarkLogic
Column Stores / BigTable
Bsp.:
HBase
Cassandra
Graph
Datenbanken
Bsp.:
Neo4J
Oracle NoSQL + Big Data Spatial and Graph
Abbildungen: http://www.thoughtworks.com/insights/blog/nosql-databases-overview
http://nosql-database.org/
http://db-engines.com/

Anwendungsfälle für NoSQL Datenbanken

Konzeptionelle Sicht auf das Management von Daten

Komplementäre Datenmanagement-Plattformen
Die bestmögliche Plattform für den jeweiligen Zweck.
Prozessieren
▪ Transaktionales Geschäft
▪ Fortgeschritte Analysen
▪ Standardisierter Zugriff auf
unterschiedlichste Daten
RelationalHadoop
Verändern
▪ Data Reservoirs aufbauen
▪ Vielfältigste Analysen auf
großen Datenmengen
ausführen
▪ Batch-Verarbeitung
NoSQL
Skalieren
▪ Beliebige Daten schnell
ablegen
▪ Kostengünstig skalieren
▪ Einfache Zugriffe u. Abfragen

Datenmanagement-Plattformen: Vergleich nach Kriterien
Performanz
Sicherheit
Kosten
Concurrency
Complex Query Response Times
Single Record Read/Write
Performance
Bulk Write Performance
Privileged User Security
General User Security
Governance Tools
System per TB Cost
Backup per TB Cost
Skills Acquisition Cost
RDBMS
NoSQL DB
Hadoop

Die Oracle NoSQL DB im Speziellen

Grundlegendes
• Key-Value Datenhaltung als Basis (KV Store)
– Primär- und Sekundärindizes
– JSON, AVRO Support, SQL-like Zugriffe
• Basiert auf Oracle Berkeley DB Java Edition High Availability
• Datenhaltung – ready for web scale
– Parallele Schreibvorgänge auf Masterknoten
– Hochverfügbarkeit per Replikation (Verteilung von
Datenkopien auf Replikaknoten)
– Paralleles Lesen von Master- und Replikaknoten
– Konsistenz und Persistenz konfigurierbar (ACID <-> BASE)
– Transparentes Loadbalancing
KVStore

Oracle NoSQL DB als Verteiltes System: CAP Theorem
• Nur 2 Eigenschaften sind
gleichzeitig erfüllbar:
• Konsistenz (C): Nach Abschluß einer
Transaktion müssen auch alle Replikate
aktualisiert werden.
• Verfügbarkeit (A): Alle Anfragen müssen
beantwortet werden.
• Partitionstoleranz (P): Auch bei Verlust
einzelner Knoten kann weitergearbeitet
werden.
• Oracle NoSQL DB entweder
– C/P (synchrone Replikation)
– A/P (asynchrone Replikation)

Oracle NoSQL DB Cluster
Topologie
Agents
A
A
A
Machine1
Machine2
Machine3
Replica Group1
Replica Group2
Replica Group4Replica Group3
R1
R2
R2
R1 R4
R4
R3
R3
M4
M1
M2
M3DD
D
D
Application
NoSQL Driver
D
D

Deployment Optionen
„Do-it-yourself“ NoSQL DB Cluster
• Was muss beachtet werden
– Hardware, Netzwerk, Sizing
– Installation, Konfiguration, Deployment
– Patchen
– Load Balancing
• Bare Metal CS (IaaS)
– https://github.com/oracle-nosql/ons-bmc-byol
• NoSQL Database Cloud Service
– https://cloud.oracle.com/en_US/nosql
Engineered Systems Ansatz
• Oracle Big Data Appliance
– Schnell einsetzbar, günstige TCO, skalierbar
– Vorintegrierte Full Rack Konfiguration
• Oracle's Sun x86 Servers
• InfiniBand und Ethernet Konnektivität
– Vorinstallierte SW-Komponenten
• U.a. NoSQL DB, Oracle R,
Cloudera Enterprise Technology
Software inkl. Cloudera CDH,
Cloudera Manager, and
Cloudera RTQ (Impala)
– Perfekt ausbalanciert
– Erweiterbar

Die Basis: Was ist ein "Key-Value-Store"?
• Ansammlung von Key-Value-Paaren in einem Store, verteilt auf Partitionen
– Key – String, Major & Minor Key
– Value – Byte Array
• Identifikation über Key (oder Teile davon), Auslesen des Value
• Einfache Zugriffe: GET, PUT, DELETE
• Keine Standard-Abfragesprache wie SQL für RDBMS
Key Value
010101010 0198287981A98721891209A0909109039810983A0919032093091A
010101011 Das ist ein Text, der als Value abgelegt ist
… 000101010010111111010010101000111
Datenstrukturen sind nicht selbstbeschreibend
Zeilen
Key-Value Store CUSTOMERSKey = Index

Key-Value ist nicht alles
• Tabellen-Abstraktion SQL Schnittstelle
• Zeilen und Spalten
• Secondary Indexes
Ebene 2:
Table API
• Datenstrukturen
• Schema-Support
• JSON-Daten
Ebene 1:
JSON/AVRO
• Einfache Operationen
• Beliebige Binärdaten
Ebene 0:
Key-Value

Treiber für Oracle NoSQL DB

Datenmodellierung

Demo: JSON mit Oracle NoSQL DB im Team

Demoumgebung
• Ravello Cloud Service
https://cloud.ravellosystems.com/
– Virtuelle Maschine mit
• Ubuntu
• Oracle NoSQL DB (aktuelle Version: 4.5.12)
als KVLITE
– 1 Storage Node
– Single Shard
– Keine Replikation
– Konfiguration, Start und Stop über CLI
– Alle Code-Beispiele mit SQL auf Table
API

Beispieldaten JSON (Ausschnitte aus 2 Dateien)

Deployment KVLITE und erste Schritte
# BDL 4.9 mit Oracle NoSQL DB 12.2.4.5 (KVLITE)
# Clean up
sudo rm -rf /u01/nosql/kvroot
mkdir /u01/nosql/kvroot
# Set variables
export KVHOME=~/nosql/kv-ee
export KVROOT=~/nosql/kvroot
export KVDATA=~/nosql/kvdata
# Makebootconfig
java -jar $KVHOME/lib/kvstore.jar makebootconfig
-root $KVROOT
-port 5000
-host bigdatalite
-harange 5010,5025
-capacity 1
-store-security none
-storagedir $KVDATA
-storagedirsize 100_mb
# Start SNA
nohup java -Xmx256m -Xms256m –jar
$KVHOME/lib/kvstore.jar kvlite -root $KVROOT
-host localhost -secure-config disable
> /tmp/kvlite.out 2>&1 &
# Check environment
java -Xmx256m -Xms256m -jar
$KVHOME/lib/kvstore.jar ping -host localhost -port
5000
$KVHOME/lib/kvstore.jar version
# Run admin shell
$KVHOME/lib/kvstore.jar runadmin -port 5000 -host
localhost
kv> show topology
kv> verify configuration
kv> show events
# Create snapshot
kv> snapshot create -name InitialSnapshot
kv> quit

Zusammenfassung und Weiterführende
Informationen

Die NoSQL DB (auch) als JSON Store
• Super schnell flexibel modellierte Daten
speichern und abfragen
• SQL-ähnliche Syntax für Table API
erleichtert den Einstieg für alle, die aus
SQL / RDBMS kommen
• Komplementär zu Apache Hadoop und
RDBMS
• 3 verschiedene Editionen
– Enterprise Edition
– Basic Edition
– Community Edition
• Integration mit RDBMS und Appache
Hadoop über Big Data SQL
• Schnell: Oracle Bare Metal CS mit höchster
Performanz (> 800,000 Ops/Sek. auf 3
Knoten-Cluster)
• Flexibel: Verschiedene Datenmodelle, inkl.
native Unterstützung für JSON
• Integriert: Integration mit anderen Oracle
Produkten für Big Data Lösungen
• Einfach zu managen: Einfach aufzusetzen, zu
erweitern, zu managen
• Zuverlässig: Transaktionssemantik
indivuduell anpassbar. Eingebaute Replikation
für Hochverfügbarkeit und Business
Continuity
• Skalierbar: Cluster beliebig mit Commodity-
HW erweiterbar. Zero down-time.

Performance comparison
Oracle NoSQL DB, Cassandra, Mongo DB
Benchmark details
• Yahoo! Cloud Serving
Benchmark (YCSB)
[13 byte key; 1100 byte value]
• 100 Million records in
database (~100 GB of data)
• 3 Node cluster – commodity
h/w
(X4-2; 2*12 Cores; 250 GB
RAM; 400GB SSD)

Github / Developer Community & Videos
• Github
– Oracle NoSQL DB exampes https://github.com/oracle/nosql-examples
– Docker Images for Oracle NoSQL DB https://github.com/oracle/docker-
images/tree/master/NoSQL (Quickstart running Oracle NoSQL DB on Docker)
• Youtube
– Videoreihe zur Oracle NoSQL DB (Channel: DTCCpotsdam)
• Teil 1: Einführung zur Oracle NoSQL DB
https://www.youtube.com/watch?v=LZ4GGfu8Dk4
• Teil 2: Installation und Betrieb der Oracle NoSQL DB
https://www.youtube.com/watch?v=vJA-sd0LKvw
• Teil 3: Anwendungsentwicklung mit der Oracle NoSQL DB
https://www.youtube.com/watch?v=v5zk9VHKSJY

Mehr Links (1)
• NoSQL DB Use Cases, White Papers, Data Sheets,
Benchmarks
– http://www.oracle.com/technetwork/products/nosqldb
/overview/index.html
• NoSQL DB Documentation
/documentation/index.html
• NoSQL DB Downloads
/downloads/index.html
• NoSQL DB OTN Forum
– http://forums.oracle.com/forums/forum.jspa?forumID
=1388
• Oracle University Training Classes
– http://bit.ly/V5qbmY
• Forrester Wave Report
http://www.oracle.com/us/corporate/analystreports/forrest
er-wave-nosql-2348063.pdf#7
• Oracle NoSQL DB Architecture White Paper
http://www.oracle.com/technetwork/products/nosqldb/lear
nmore/nosql-wp-1436762.pdf
• Oracle NoSQL DB vs. RBDMS
http://www.oracle.com/technetwork/database/database-
technologies/nosqldb/overview/nosqlandsqltoo-
2041272.pdf
• Bücher
– “Oracle Big Data Handbook”
– “Oracle NoSQL Database: Real-Time Big Data
Management for the Enterprise”

Mehr Links (2)
• JavaDoc der Java API http://docs.oracle.com/cd/NOSQL/html/javadoc/index.html
• Wieviel Storage Nodes werden benötigt – Ressourcen planen für die Oracle NoSQL DB:
http://docs.oracle.com/cd/NOSQL/html/AdminGuide/Oracle-NoSQLDB-Admin.pdf#page=16
• Oracle Big Data Lite VM
http://www.oracle.com/technetwork/community/developer-vm/index.html#bdl
• Oracle Dojo #2 zu „Big Data: Eine Einführung in Oracle NoSQL DB, Hadoop MapReduce,
Oracle Big Data Connectors“
http://www.oracle.com/webfolder/technetwork/de/community/dojo/index.html
• Blog von Charles Lambs https://blogs.oracle.com/charlesLamb/
• Vortrag metafinanz Informationssysteme GmbH auf DOAG Konferenz 2013
http://www.metafinanz.de/sites/default/files/DOAG_2013_Oracle NoSQL Database.pdf
• External Blogs: https://technology.amis.nl

Oracle NoSQL DB: Begriffe und Definitionen in Kürze
Begriff Definition
Storage Nodes (Physikalischer) Rechner mit lokalen Platten
Storage Node
Agent
Kontroll Prozess auf jedem Storage Node
KVStore Speicherarray mit untereinander
kommunizierenden den Storage Nodes
Storage Node
Master
Je Storage Node gibt es einen Master für
schreibende und lesende Zugriffe. Repliziert
Daten auf Replikaknoten.
Storage Node
Replika
Kopie der Daten von einen Storage Node
Master für die Ausfallsicherheit. Für lesende
Zugriffe.
Replication Group Ein Master und mindestens ein Replika-
Node
Replication Factor 1 Master und n Replikas auf einem Storage
Node (Bsp.: RF = 3 => 1 Master + 2 Replikas)
https://www.pipperr.de/dokuwiki/doku.php?id=nosql:install_oracle_nosql_db_11gr2

Oracle Cloud Workshops auf der DOAG Konferenz 2017
• Dienstag 21.11.2017
– 10.00 – 13.00 Uhr – Oracle Datenbank und GoldenGate in der Oracle Cloud
– 13.00 – 16.00 Uhr – IT Systems Management mit der Oracle Management Cloud
• Mittwoch 22.11.2017
– 10.00 – 13.00 Uhr – Agile Entwicklung von Microservices in der Oracle Cloud
– 13.00 – 16.00 Uhr – Oracle Datenbank und GoldenGate in der Oracle Cloud
• Donnerstag 23.11.2017
– 10.00 – 13.00 Uhr – IT Systems Management mit der Oracle Management Cloud
– 13.00 – 16.00 Uhr – Agile Entwicklung von Microservices in der Oracle Cloud
51
Im Foyer Shanghai-Seoul – Einstieg in die jeweilige Session jederzeit möglich!

20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge

20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (9)

Ähnlich wie 20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge

Ähnlich wie 20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge (20)

Mehr von Karin Patenge

Mehr von Karin Patenge (16)

20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge