20160310_ModernApplicationDevelopment_NoSQL_KPatenge

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Die Oracle NoSQL Datenbank
Karin Patenge | Leitende Systemberaterin | karin.patenge@oracle.com
Oracle Deutschland B.V. & Co KG
Twitter: @ModernAppDev12c | Web: http://tinyurl.com/ModernAppDev12c

Agenda
1
2
3
4
Begriffe und Thematische Einordnung
Kurzer Überblick zur Oracle NoSQL Datenbank
Oracle NoSQL DB in der Praxis – Installation und Betrieb
Oracle NoSQL DB in der Praxis – Anwendungsentwicklung
Weiterführende Links und Informationen
3
5

1
2
3
4
4
5

NoSQL: Versuch einer Definition
„A NoSQL (originally referring to
“non SQL” database provides a
mechanism for storage and
retrieval of data that is modeled in
means other than the tabular
relations used in relational
databases.”
[Quelle: Wikipedia]
• NoSQL  „Not only SQL“
• Sammelbegriff für nicht-relationale Datenbanken, die
– Massiv parallelisierbar sind,
– horizontal verteilt auf mehreren Servern Daten ablegen
(„Sharding“),
– weitgehend ohne Datenmodell („Schema-less“) arbeiten
– Datenkonsistenz nicht zwingend durchsetzen (nicht ACID
compliant),
– keine Join-Operationen oder Multi-Object Transaktionen
unterstützen,
– und sehr entwicklerspezifisch sind.
• Derzeit noch keine Standardisierung
– Keine Abfragesprache (eben "NoSQL")
– Massive Produktvielfalt
(Siehe http://www.nosql-database.org/ )
– Produkte nur schwer vergleichbar

NoSQL Datenbanken – Eine Kategorisierung
Key-Value
Stores
Bsp.:
Oracle NoSQL DB
Redis
Document
Stores
Bsp.:
MongoDB
MarkLogic
Column Stores / BigTable
Bsp.:
HBase
Cassandra
Graph
Datenbanken
Bsp.:
Neo4J
Oracle NoSQL + Graph
7
Abbildungen: http://www.thoughtworks.com/insights/blog/nosql-databases-overview

1
2
3
4
9
5

Oracle NoSQL Database
• Basiert auf Oracle Berkeley DB Java Edition High Availability
• Datenhaltung – ready for web scale
– Hochverfügbarkeit per Replikation
– Transparentes Loadbalancing
– Konsistenz und Persistenz konfigurierbar (ACID <-> BASE)
• Key-Value Datenhaltung als Basis
– JSON, AVRO Support
– Table API, Sekundärindexe
• Einfache Installation, Einrichtung und Erweiterung
• Läuft auf mehreren Knoten
– Ausnahme: „Lite“ Version läuft auf nur einem Knoten

Die Basis: Was ist ein "Key-Value-Store"?
• Ansammlung von Key-Value-Paaren in einem Store, verteilt auf Partitionen
– Key – String, Major & Minor Key
– Value – Byte Array
• Identifikation über Key (oder Teile davon), Auslesen des Value
• Einfache Zugriffe: GET, PUT, DELETE
• Keine Standard-Abfragesprache wie SQL für RDBMS
Key Value
010101010 0198287981A98721891209A0909109039810983A0919032093091A
010101011 Das ist ein Text, der als Value abgelegt ist
… 000101010010111111010010101000111
Datenstrukturen sind nicht selbstbeschreibend
Zeilen
Key-Value Store CUSTOMERSKey = Index

Oracle NoSQL Database Topologie
Partition 1 Partition 2 Partition 3
Storage
Nodes
Load balancer
Webserver Webserver
Application Server
NoSQLDB Treiber
Application Server
NoSQLDB Treiber
R M R
Application
Server
Webserver

1
2
3
4
16
5

Die Oracle NoSQL DB in der Praxis
Installation und Betrieb
1. Kurze Diskussion der Deployment Optionen
2. Voraussetzungen prüfen
3. Kapazitätsplanung
4. Installation durchführen
5. Zielarchitektur definieren
6. NoSQL DB Cluster aufsetzen
7. Cluster erweitern
8. Ein neues Data Center hinzufügen
18

Demo-Setup
• „Spielwiese“ Oracle Big Data Lite
VM v4.4.0
– Download:
http://www.oracle.com/technetwork/databas
e/bigdata-appliance/oracle-bigdatalite-
2104726.html
– Benötigt VirtualBox
(freie Desktop-Virtualisierung)
– Vorinstallierte Software-Komponenten
– Beispieldaten und –Skripte
– Hands-On Labs
Oracle Confidential – Internal/Restricted/Highly Restricted 19

Schritt 1: Deployment Optionen
„Do-it-yourself“ NoSQL DB Cluster
• Was muss beachtet werden
– Hardware
– Netzwerk
– Sizing
– Installation
– Konfiguration
– Deployment
– Patchen
– Load Balancing
– ...
Engineered Systems Ansatz
• Oracle Big Data Appliance
– Schnell einsetzbar, günstige TCO, skalierbar
– Pre-integrated full rack configuration
• Oracle's Sun x86 Servers
• InfiniBand und Ethernet Connectivity
– Vorinstallierte SW-Komponenten
• U.a. NoSQL DB, Oracle R, Cloudera Enterprise
Technology software including Cloudera CDH, Cloudera
Manager, and Cloudera RTQ (Impala)
– Perfekt ausbalanciert
– Erweiterbar
20

Schritt 2: Voraussetzungen prüfen
$ java –version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build
1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build
25.60-b23, mixed mode)
$ jps
3859 Jps
$
21
• Java SE Version 7 oder höher wird
vorausgesetzt
– Bezogen auf NoSQL Database 12cR1
• JPS (Java Virtual Machine Process
Status Tool)
– Standard-Werkzeug von Java SE
• Empfehlung:
NoSQL DB Knoten nicht auf
virtuellen Maschinen installieren

Schritt 3a: Bestimmen der NoSQL DB Cache Größe
• DBCacheSize Werkzeug je.jar in
$KVHOME/lib
• Input:
– 1 Milliarde Sätze (K-V-Paare)
– Durchschn. Schlüsselgröße 15 Bytes
– Durchschn. Satzlänge 1 KB
• Ergebnis im Beispiel:
– 43 GB werden für das Cachen der
Schlüssel im Hauptspeicher benötigt
– Wieviel Hauptspeicher hat ein Storage
Node? Wieviel davon wird für den Cache
allokiert? Daumenregel -> ca. 60%
22
$ java -d64 -XX:+UseCompressedOops -jar
$KVHOME/lib/je.jar DbCacheSize -records
1000000000 -key 15 -data 1024
=== Environment Cache Overhead ===
3,157,213 minimum bytes
To account for JE daemon operation, record
locks, HA network connections, etc,
a larger amount is needed in practice.
=== Database Cache Size ===
Number of Bytes Description
--------------- -----------
43,126,658,112 Internal nodes only
1,113,239,107,552 Internal nodes and leaf
nodes

Schritt 3b: Kapazitätsplanung für NoSQL DB
• Ermitteln von
– Anzahl der Storage Nodes
– Replikationsfaktor
– Anzahl der Partitionen
• InitialCapacityPlanning Werkzeug
– InitialCapacityPlanning.xls
in $KVHOME/doc/misc
23

Schritt 4: Installation und Start auf einem Storage Node
$ mkdir <path1>/kv
$ cd <path1>/ kv
$ cp <path2>/kv-ee-3.5.2.tar.gz .
$ gunzip kv-ee-3.5.2.tar.gz
$ tar xvf kv-ee-3.5.2.tar
kv-3.5.2/
kv-3.5.2/doc/
...
$ cd kv-3.5.2
$ KVHOME=<path1>/kv/kv-3.5.2
$ export KVHOME
$ mkdir –p $KVHOME/kvroot
$ KVROOT=$KVHOME/kvroot
$ export KVROOT
$ java –jar $KVHOME/lib/kvstore.jar kvlite &
Created new kvlite store with args:
-root ./kvroot -store kvstore -host <host> -port 5000 -admin
5001
$ jps
6412 Jps
6302 kvstore.jar
$ java -jar lib/kvstore.jar ping -host <host> -port 5000
Pinging components of store kvstore based upon topology
sequence #14
10 partitions and 1 storage nodes
24
• Download-Seite
– http://www.oracle.com/technetwork/database/databa
se-technologies/nosqldb/downloads/index.html
• 2 Editionen verfügbar
– Community und Enterprise Edition
• Zusätzliche Software-Komponenten
– RDF Jena Adapter für NoSQL DB EE
– Treiber: Java, C, JavaScript, Python
• Installation auf jedem Storage Node
notwendig
– Verzeichnisname sollte überall identisch sein
• Umgebungsvariablen KVHOME und
KVROOT setzen

Schritt 5: Topologie für die NoSQL Datenbank definieren
Lineare Skalierung und Replikation
25
• Elastic Auto Sharding
(split, add, contract)
Store
Shard
M
Shard
R
R
R R
Application
NoSQL Driver
M
• Writes to elected
node with flexible
durability
• Reads from any
node in system
Shard
R
R
M
Expand and Rebalance
Shard
M
R
R
• Auto re-balance of
data on expansion

Schritt 6: 3x3 NoSQL Datenbank Cluster (1 Data Center)
$ cd /u01/nosql/scripts
$ ./makebootconfig.sh
Killing Java processes ...
kill 3446: No such process
Deleting old directories...
Creating new directories...
Done bootstrapping storage-node 1
$ ./startSNA.sh
$ jps –m
3761 ManagedService
3590 kvstore.jar
3591 kvstore.jar
...
$ ./runScript.sh 3x3.kvs
Connected to Admin in read-only mode
Connected to Admin in read-only mode
Store configured: kvstore
Executed plan 1, waiting for completion...
Plan 1 ended successfully
...
26
1. Bootstrapping auf den 3 beteiligten
Storage Nodes
2. Starten der Agenten auf den Storage
Nodes
3. Deployment einer 3x3 Topologie auf
den Storage Nodes
4. Überprüfen der Topologie
http://localhost:5001/

Schritt 7: Hinzufügen eines neuen Shards (3x3 -> 4x3)
$ ./makebootconfig-sn4.sh
$ ./startSNA-sn4.sh
Created 4x3
Redistributed: 4x3
Topology transformation from current deployed
topology to 4x3:
Create 1 shard
Create 3 RNs
Relocate 2 RNs
Migrate 30 partitions
...
$
28
1. Bootstrapping auf neuem Storage Node
2. Starten des Agenten auf neuem Storage
Nodes
3. Deployment einer 4x3 Topologie
– Hinzufügen eines Storage Node zum Data
Center
– Klonen der Topologie
– Redistribution: Neues Shard,
Replikationsknoten, Verschieben der
Partitionen, Rebalancing des Clusters
http://localhost:5001/

Schritt 8: Hinzufügen eines neuen Data Center (4x3 -> 4x4)
$ ./makebootconfig-sn5.sh
$ ./startSNA-sn5.sh
Created 4x4
Redistributed: 4x4
Topology transformation from current deployed topology
to 4x4:
Create 4 RNs
...
$ java -jar /u01/nosql/kv-ee/lib/kvstore.jar runadmin -
port 5000 -host kvhost01
kv-> show topology
store=kvstore numPartitions=120 sequence=179
zn: id=zn1 name=Potsdam repFactor=3 type=PRIMARY
zn: id=zn2 name=Berlin repFactor=1 type=PRIMARY
30
1. Bootstrapping auf neuem Storage Node
2. Starten des Agenten auf neuem Storage
Nodes
3. Deployment einer 4x4 Topologie
– Anlegen eines neuen Data Center
– Hinzufügen eines Storage Node zum neuen
Data Center
– Klonen der Topologie
– Redistribution: Neues Shard,
Replikationsknoten, Verschieben der
Partitionen, Rebalancing des Clusters
http://localhost:5001/ oder über
Kommandozeilenwerkzeug

1
2
3
4
32
5

Die Oracle NoSQL DB in der Praxis
Anwendungsentwicklung
1. Erste Schritte mit der NoSQL DB: HelloModernAppDev.java
2. NoSQL DB Table API
3. Mittels REST API auf die Oracle NoSQL DB
4. Oracle NoSQL DB als Graph Datenbank: Knoten und Kanten
5. NoSQL DB mit Oracle DB über externe Tabellen verbinden
34

Schritt 1: Ein HelloWorld-Beispiel mit der Java API
$ cd $KVHOME
$ java -jar $KVHOME/lib/kvstore.jar kvlite
$ Opened existing kvlite store with config:
-root ./kvroot -store kvstore -host <hostname> -
port 5000 -admin 5001
$ # 2. Terminalfenster
$ java -jar $KVHOME/lib/kvstore.jar ping -port
5000 -admin 5001 -host <hostname>
$ cd $KVHOME
$ gedit examples/hello/HelloModernAppDev.java
$ javac -cp examples:lib/kvclient.jar
examples/hello/HelloModernAppDev.java
$ java -cp examples:lib/kvclient.jar
hello.HelloModernAppDev
Hello Modern App Dev 12c Community !
$
35
• KVLITE
– Auf Basis einer 1x1 Topologie
• 1 Storage Node, 10 Partitionen
• KVLITE starten
• HelloModernAppDev.java
– Kompilieren und ausführen
– Key-Value Paare
• CRUD Operationen: PUT, GET, DELETE
• JavaDoc
http://docs.oracle.com/cd/NOSQL/html/javado
c/overview-summary.html

Schritt 2: Table API
$ cd $KVHOME
$ java -jar lib/kvstore.jar runadmin -port 5000 -host
<hostname>
kv-> table create -name EMP
EMP-> add-field -type INTEGER -name empno
EMP-> add-field -type STRING -name ename
EMP-> add-field -type DOUBLE -name sal
EMP-> add-field -type STRING -name job
EMP-> primary-key -field empno
EMP-> exit
Table EMP built.
kv-> plan add-table -name EMP -wait
kv-> connect store -host localhost -port 5000 -name
kvstore
Connected to kvstore at localhost:5000.
kv-> put table -name EMP -json '{"empno":815,
"ename":"JONES", "sal": 3500, "job":"MANAGER"}'
Operation successful, row inserted.
...
kv-> get table –name emp
kv-> get –kv all
...
36
• Nutzen des CLI
• Operationen
– PUT TABLE, GET TABLE
• JavaDoc
http://docs.oracle.com/cd/E57769_01/ht
ml/javadoc/oracle/kv/table/TableAPI.htm
l

Schritt 2: Table API – Tabellen im SQL Developer
37
• Verbindung auf NoSQL DB anlegen
– Host: <hostname>
– Store: kvstore
• Navigation wie gewohnt
• Nur Lese-Zugriffe
– Tabellen
– Daten

Oracle12c. Tabellen.
Oracle12c. JSON
Document Store.
Oracle NoSQL DB
Oracle REST Data Services
(ORDS)
Schritt 3: REST API für NoSQL DB

Schritt 3: Mit REST API auf NoSQL DB zugreifen
$ cd /u01/ords
$ java -jar ords.war standalone
$ java -jar ords.war nosqladd --pagelimit 20 sales
kvstore localhost:5000
$ // Browser
http://localhost:7070/ords/sales/metadata-catalog
http://localhost:7070/ords/sales/metadata-
catalog/tables/emp/
http://localhost:7070/ords/sales/metadata-
catalog/tables/emp/item
http://localhost:7070/ords/sales/tables/emp
http://localhost:7070/ords/sales/tables/emp/7999
curl -i -H "Content-Type: application/json" -X PUT -d
"{"empno": 8000, "ename": "PATENGE", "job":
"Consultant"}"
"http://localhost:7070/ords/sales/tables/emp/"
http://localhost:7070/ords/sales/tables/emp/8000
39
• ORDS installieren und konfigurieren
• Hier: Starten als Standalone
• NoSQL DB Store registrieren
• Auf Metadaten-Katalog zugreifen
• Auf Metadaten einer spezifischen
Tabelle zugreifen
• Auf Tabellendaten zugreifen
– Über Schlüssel
• CRUD
• Hinweis: JSON-Anzeige im Browser
– Hier: Plug-in für Firefox

Schritt 4: Oracle NoSQL DB als Graph Datenbank
$ cd /opt/oracle/oracle-spatial-
graph/property_graph/dal/groovy
$ ./gremlin-opg-nosql.sh
opg-nosql> // Connect to the Oracle NoSQL DB
opg-nosql> server = new ArrayList<String>();
opg-nosql> server.add("bigdatalite:5000");
==>true
opg-nosql> cfg=new PgNosqlGraphConfigBuilder()
opg-nosql> .setDbEngine(DbEngine.NOSQL)
opg-nosql> .setName("helloWorldGraph")
opg-nosql> .setStoreName("kvstore")
opg-nosql> .setHosts(server)
opg-nosql> .addEdgeProperty("label",
PropertyType.STRING, "label")
opg-nosql> .setMaxNumConnections(1).build();
...
• Knoten-Kanten-Modell
– Knoten und Kanten mit Attributen
• In-Memory Parallel Graph Analysis
– PGX Framework
– Beispiel mit Groovy Shell
• Teil von Oracle Big Data Spatial and
Graph
vertex1 vertex2
edge1
name: ″ Karin ″
location: ″Potsdam″
gender:“female“
name: ″Carsten″
location: ″Munich″
isColleagueOf

1
2
3
4
45
5

NoSQL DB Enterprise Edition und Community Edition
Feature NoSQL DB CE NoSQL DB EE
Lizenzkosten Verfügbar unter der AGPL License R
MyOracleSupport R R
Diskussionsforen R R
Open Source R
Java und C API R R
ACID Transaktionen R R
Large Object Support R R
Kein Single Point Of Failure R R

NoSQL DB Enterprise Edition und Community Edition
Feature NoSQL DB CE NoSQL DB EE
Integation mit Hadoop R R
Table API R R
RDBMS Integration Ext. Tables R
Jena Adapter (Graph/SPARQL) R
Event Processing (CQL) R
Online Administration R R
JMX Monitoring R R
SNMP Monitoring R

Hilfreiche Informationen und Links
• Öffentlich verfügbare Inhalte
– Oracle Oracle NoSQL im OTN http://www.oracle.com/technetwork/database/database-
technologies/nosqldb/documentation/index.html
– Online Dokumentation http://docs.oracle.com/cd/NOSQL/html/index.html
– JavaDoc der Java API http://docs.oracle.com/cd/NOSQL/html/javadoc/index.html
– Wieviel Storage Nodes werden benötigt – Ressourcen planen für die Oracle NoSQL DB:
http://docs.oracle.com/cd/NOSQL/html/AdminGuide/Oracle-NoSQLDB-Admin.pdf#page=16
– Oracle Big Data Lite VM http://www.oracle.com/technetwork/community/developer-vm/index.html#bdl
– Oracle Dojo # 2 zu „Big Data: Eine Einführung in Oracle NoSQL DB, Hadoop MapReduce, Oracle Big Data
Connectors“ http://www.oracle.com/webfolder/technetwork/de/community/dojo/index.html
– Blog von Charles Lambs https://blogs.oracle.com/charlesLamb/
– Vortrag metafinanz Informationssysteme GmbH auf DOAG Konferenz 2013
http://www.metafinanz.de/sites/default/files/DOAG_2013_Oracle NoSQL Database.pdf
50

20160310_ModernApplicationDevelopment_NoSQL_KPatenge

20160310_ModernApplicationDevelopment_NoSQL_KPatenge

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 20160310_ModernApplicationDevelopment_NoSQL_KPatenge

Ähnlich wie 20160310_ModernApplicationDevelopment_NoSQL_KPatenge (20)

Mehr von Karin Patenge

Mehr von Karin Patenge (15)

20160310_ModernApplicationDevelopment_NoSQL_KPatenge