NOSQL?
MONGO, COUCH & CO.
    Michael Whittaker
   Webmontag Paderborn
      8. April 2013
ERFAHRUNGEN
NOSQL
NO SQL?
NOT ONLY SQL
WHY NOT ONLY SQL?
„BigData“?
Millionen                (PetaBytes)
 User?                    unstrukturiert




             CODD 1970

Realtime                 Commodity
Analytics?               Hardware?
Atomic            Consistent


           ACID
Isolated           Durable
Basic
                            Soft-State
Availability

               BASE
                Eventual
               Consistent
DB-TYPEN



Relationen / SQL    Graphen


   BigTable /      Dokumente /
 Spaltenbasiert      Objekte
SQL / RELATIONALES SCHEMA


Mitglieder




                                                 }
 ID          Name                Mail

  1   Max Mustermann      max@mustermann.de
                                                 Relation/
  2   Sandra Musterfrau   sandra@musterfrau.de    Tabelle
  3     Peter Müller        peter@mueller.de
SQL / RELATIONALES SCHEMA

                       Max ist mit
                    Sandra und Peter
                      befreundet
 Freundschaften
    Mitglied1_ID   Mitglied2_ID
    Max‘ ID 1            2    Sandra

     Max    1            3     Peter
OBJEKTGRAPH
max@...
                                                          peter@...

            Mitglied
                                  Freund
                                               Mitglied
    Max
                       Freund

                                                              Peter


                       Mitglied

          sandra@...                  Sandra
IST DAS NICHT...
IST DAS NICHT...
FAST EIN ER-DIAGRAMM?
                  kann das
            so nicht direkt in die
                     DB?
GRAPHDATENBANKEN
      NEO4J
DOKUMENTENORIENTIERTE
    DATENBANKEN
{name: „Mongo“, type: „DB“}
BSON-DOKUMENTE
           IN COLLECTIONS


    {
      "_id": {
          "$oid": "5056259d…000012",
      },
      "email": "max@mustermann.de",
      "name": "Max Mustermann"
    }
BSON-DOKUMENTE
           IN COLLECTIONS

    {
      "_id": {
          "$oid": "5056259d…000011",
      },
      "email": "max@mustermann.de",
      "name": "Max Mustermann",
      "friend_ids": ["5056259d…000012", "5056259d…000013"]
    }



                 Referenz auf IDs
BSON-DOKUMENTE
            IN COLLECTIONS

    {
      "_id": {
          "$oid": "5056259d…000011",
      },
      "email": "max@mustermann.de",
      "name": "Max Mustermann",
      "friend_ids": ["5056259d…000012", "5056259d…000013"],
      "addresses": [{
          "street": "Warburger Str. 100",
          "coords": [12.34, 23.45]
          }, …
      ]
    }
MONGODB QUERY


{
  > db.members.find( { "name": "Max Mustermann" } )

  > db.members.find( { "name": /max.*/i } )

  > db.members.find( { "friend_ids ": { $size: 0 } } )

  > db.members.find( { "friend_ids ": { $elemMatch: "50…11" } } )
ZUGRIFF



MongoDB-Server

Treiber

CREATE TABLE …
MONGOS STÄRKEN


Geschwindigkeit

JSON-Im/-Export / Hot Backups

Queries und Indizes (Geospatial, verschachtelt, ...)

Konsistenz
MONGODB USERS
JSON DOKUMENTE IN
              COUCHDB
    {
      "_id": "member_5056259d…000011",
      "type": "member",
      "email": "max@mustermann.de",
      "name": "Max Mustermann",
      "friend_ids": ["member_505…012", "member_505…013"],
      "addresses": [{
          "street": "Warburger Str. 100",
          "coords": [12.34, 23.45]
          }, …
      ]
    }


               http://localhost:5984/test/member_5056259d…000011
COUCHDB VIEWS
               (JS MAPREDUCE)


{
  function(doc) {
    if (doc.type === "member" && doc.name.test(/max.*/i)){
      emit(doc.name, doc)
    }
  }
COUCHDB VIEWS


{
  function(doc) {
    if (doc.type === "member" &&
        doc.addresses &&
        doc.addresses.length > 0){
      emit(doc.name, doc.addresses[0][street])
    }
  }




         http://localhost:5984/test/_design/names_with_street?key=Max+Mustermann
ZUGRIFF



CouchDB-Server

HTTP / Treiber (Wrapper)

Views definieren
COUCHDBS STÄRKEN


Built for the Web – HTTP/JSON

  CouchApp

Versionierung

Views / Indizes / MapReduce

High Availability
COUCHDB USERS
KEY-VALUE STORES
KEY-VALUE STORES

SPEICHERN WERTE MIT EINEM
       SCHLÜSSEL AB
memcached
MEMCACHED


  speichert beliebige Zeichenketten im RAM ab

  weitverbreitet, „memcache-Protokoll“ (Telnet)

  oft für Distributed Caching genutzt

{
  > set max_mustermann.street "Warburger Strasse 100"

  > get max_mustermann.street
REDIS

    speichert Zeichenketten, Zahlen, Arrays und Mengen
    im RAM* ab

    „Datenstruktur-Server“

    rasend schnell

    Replikation / Failover

{
    > set max_mustermann.profile_views 1
    > incr max_mustermann.profile_views    # => 2
blog.nahurst.com/visual-guide-to-nosql-systems
LINKS

Neo4J: neo4j.org
MongoDB: mongodb.org (try.mongodb.org)
CouchDB: couchdb.apache.org (couchapp.org)
Couchbase: couchbase.com
Memcached: memcached.org
Redis: redis.io
Cassandra: cassandra.apache.org
Riak: basho.com/riak/
GemStone/S: gemstone.com/products/gemstone
Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs
Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison:
kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
DAS WAR‘S :-)


MichaelWhi online:

post@michael-whittaker.de

michael-whittaker.de

twitter.com/MichaelWhi

github.com/MichaelWhi
                            Folien von heute

NoSQL - Mongo, Couch und Co

  • 1.
    NOSQL? MONGO, COUCH &CO. Michael Whittaker Webmontag Paderborn 8. April 2013
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
    „BigData“? Millionen (PetaBytes) User? unstrukturiert CODD 1970 Realtime Commodity Analytics? Hardware?
  • 8.
    Atomic Consistent ACID Isolated Durable
  • 9.
    Basic Soft-State Availability BASE Eventual Consistent
  • 10.
    DB-TYPEN Relationen / SQL Graphen BigTable / Dokumente / Spaltenbasiert Objekte
  • 11.
    SQL / RELATIONALESSCHEMA Mitglieder } ID Name Mail 1 Max Mustermann max@mustermann.de Relation/ 2 Sandra Musterfrau sandra@musterfrau.de Tabelle 3 Peter Müller peter@mueller.de
  • 12.
    SQL / RELATIONALESSCHEMA Max ist mit Sandra und Peter befreundet Freundschaften Mitglied1_ID Mitglied2_ID Max‘ ID 1 2 Sandra Max 1 3 Peter
  • 13.
    OBJEKTGRAPH max@... peter@... Mitglied Freund Mitglied Max Freund Peter Mitglied sandra@... Sandra
  • 14.
  • 15.
    IST DAS NICHT... FASTEIN ER-DIAGRAMM? kann das so nicht direkt in die DB?
  • 16.
  • 18.
  • 19.
  • 20.
    BSON-DOKUMENTE IN COLLECTIONS {     "_id": {         "$oid": "5056259d…000012",     },     "email": "max@mustermann.de",     "name": "Max Mustermann" }
  • 21.
    BSON-DOKUMENTE IN COLLECTIONS {     "_id": {         "$oid": "5056259d…000011",     },     "email": "max@mustermann.de",     "name": "Max Mustermann", "friend_ids": ["5056259d…000012", "5056259d…000013"] } Referenz auf IDs
  • 22.
    BSON-DOKUMENTE IN COLLECTIONS {     "_id": {         "$oid": "5056259d…000011",     },     "email": "max@mustermann.de",     "name": "Max Mustermann", "friend_ids": ["5056259d…000012", "5056259d…000013"], "addresses": [{         "street": "Warburger Str. 100", "coords": [12.34, 23.45] }, … ] }
  • 23.
    MONGODB QUERY {   >db.members.find( { "name": "Max Mustermann" } )   > db.members.find( { "name": /max.*/i } )   > db.members.find( { "friend_ids ": { $size: 0 } } )   > db.members.find( { "friend_ids ": { $elemMatch: "50…11" } } )
  • 24.
  • 25.
    MONGOS STÄRKEN Geschwindigkeit JSON-Im/-Export /Hot Backups Queries und Indizes (Geospatial, verschachtelt, ...) Konsistenz
  • 26.
  • 28.
    JSON DOKUMENTE IN COUCHDB {     "_id": "member_5056259d…000011",     "type": "member",     "email": "max@mustermann.de",     "name": "Max Mustermann", "friend_ids": ["member_505…012", "member_505…013"], "addresses": [{         "street": "Warburger Str. 100", "coords": [12.34, 23.45] }, … ] } http://localhost:5984/test/member_5056259d…000011
  • 29.
    COUCHDB VIEWS (JS MAPREDUCE) {   function(doc) { if (doc.type === "member" && doc.name.test(/max.*/i)){ emit(doc.name, doc) } }
  • 30.
    COUCHDB VIEWS {   function(doc){ if (doc.type === "member" && doc.addresses && doc.addresses.length > 0){ emit(doc.name, doc.addresses[0][street]) } } http://localhost:5984/test/_design/names_with_street?key=Max+Mustermann
  • 31.
    ZUGRIFF CouchDB-Server HTTP / Treiber(Wrapper) Views definieren
  • 32.
    COUCHDBS STÄRKEN Built forthe Web – HTTP/JSON CouchApp Versionierung Views / Indizes / MapReduce High Availability
  • 33.
  • 34.
  • 35.
    KEY-VALUE STORES SPEICHERN WERTEMIT EINEM SCHLÜSSEL AB
  • 36.
  • 37.
    MEMCACHED speichertbeliebige Zeichenketten im RAM ab weitverbreitet, „memcache-Protokoll“ (Telnet) oft für Distributed Caching genutzt {   > set max_mustermann.street "Warburger Strasse 100" > get max_mustermann.street
  • 39.
    REDIS speichert Zeichenketten, Zahlen, Arrays und Mengen im RAM* ab „Datenstruktur-Server“ rasend schnell Replikation / Failover { > set max_mustermann.profile_views 1 > incr max_mustermann.profile_views # => 2
  • 40.
  • 41.
    LINKS Neo4J: neo4j.org MongoDB: mongodb.org(try.mongodb.org) CouchDB: couchdb.apache.org (couchapp.org) Couchbase: couchbase.com Memcached: memcached.org Redis: redis.io Cassandra: cassandra.apache.org Riak: basho.com/riak/ GemStone/S: gemstone.com/products/gemstone Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison: kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
  • 42.
    DAS WAR‘S :-) MichaelWhionline: post@michael-whittaker.de michael-whittaker.de twitter.com/MichaelWhi github.com/MichaelWhi Folien von heute