SlideShare ist ein Scribd-Unternehmen logo
Christian Gügi, MeMo News AG   @chrisgugi

A NOSQL SUMMER
THE YEAR AFTER

09.09.11
Agenda
2


    •  About me & MeMo News AG
    •  NoSQL
      •  Was, warum und wie?
    •  Hadoop in a nutshell
    •  NoSQL-basiertes CMS




                                 09.09.11
About

MEMO NEWS AG


               09.09.11
About MeMo News AG
Data                     Information          Analyse und               Ausgabe und
1
Crawling
                     2   Processing
                                          3   Personalisierung
                                                                    4   Weiterverarbeitung

Veröffentlichungen       Die Rohdaten         Individuelle              Der Kunde greift
in etablierten und       werden               Suchagenten               auf die
sozialen Medien          kategorisiert        filtern in Echtzeit       Ergebnisse zu,
werden laufend           und indiziert.       die für den               um sie weiter zu
geladen und von                               Kunden                    analysieren und
Spam gereinigt.                               relevanten                zu verarbeiten.
                                              Treffer heraus.




                                                                                   09.09.11
Referenzen
5




                 Germany / Japan




                    09.09.11
Zum Thema

NOSQL


            09.09.11
Zum Thema

NOSQL


            09.09.11
Was ist NoSQL?

•  Term „NoSQL“ ist erst 2 Jahre alt
  •  kein Mainstream
•  Kein Produkt, keine Firma, keine Technologie
•  Ist eine Bewegung, eine neu Art Datenbanken
   voranzutreiben
•  Basiert auf nicht-relationale Ansätzen




                                         09.09.11
Warum NoSQL?

•  Als Ansatz zur Lösung von (ungelösten) web
   scale* Problemen im Umgang mit
   unstrukturierten, massiven Datenmengen
•  Hauptsächlich motiviert durch Web 2.0
•  Es geht hauptsächlich um
   Scaling, Distribution und BigData

* Web Scale: Highly Available, Reliable, Transparent, High
Performance, Scalable, Accessible, Secure, Usable, and
Inexpensive
http://community.oclc.org/engineering/2009/05/what-is-web-scale.html   09.09.11
Ansätze von NoSQL?

•    Von Generalisierung zur Spezialisierung
•    Keine Tabellenschemas
•    Keine Relationen, um JOINs zu vermeiden
•    Horizontal skalieren

•  à weg von ACID, hin zu CAP

Spezifische Probleme mit spezialisierten Lösungen
angehen
                                                    09.09.11
Theorem

FROM ACID TO CAP


                   09.09.11
ACID

Eigenschaften von RDMS :
  Atomicity – ganz oder gar nicht
  Consistency – gewährleistet Integrität
  Isolation – Kapselung gleichzeitiger T.
  Durability – Persistenz aller Änderungen

      Skalieren vertikal
      -> grosse Datenbanken ->
      teuer
CAP Theorem
Kategorien


           Relational          NoSQL

                                                     3 neue NoSQL Kategorien

 Relatio        Object           Docum                Graph        Wide            Key
 nal            oriente                               Orient       colum           value
 Store          d Store
                                 ent
                                 Store
                                               ...    ed
                                                      Store
                                                                   n
                                                                   Store           Store

• MySQL        • db4o          • Jackrabbit           • Neo4j     • BigTable     • MemcacheDB
• PostgreSQL   • Versant       • couchDB              • Sones     • HBase        • Redis
• Oracle       • Objectivity   • MongoDB              • Trinity   • Hypertable   • Casandra
• MS Server                    • Lotus Notes          • DEX                      • Dynamo
                                                                                 • Riak



                                                                                  09.09.11
NoSQL – Future?

•  Noch immer ungelöst
   •  (Fulltext) Search & Find
   •  Distributed Index Storage
   •  (Structured) Query Language




In Zukunft gibt’s kein NoSQL mehr, nur noch spezialisierte
Datenbanken.
                                                   09.09.11
In a nutshell

HADOOP


                09.09.11
Apache™ Hadoop™

•  Apache Projekt, open-source
•  Software für reliable, scalable, distributed
   computing
•  Basiert auf Google Papers /2006
      •  Implementiert BigTable, Chubby, GFS
•  Beinhaltet NoSQL Datenbank(en)

„Apache Hadoop takes top prize at Media Guardian Innovation Awards.
Data management software described by judges as 'Swiss army knife of
the 21st century' wins innovator of the year award“
Marie Winckler, guardian.co.uk, Friday 25 March 2011         09.09.11
Apache™ Hadoop™

Data Accessing Framework
 Pig    Hive   Avro

Data Mining Framework      NoSQL Databases
 Mahout                     Cassandra    HBase

Orchestration Framework




                                                       Backup & Recovery
 Zookeeper     Chukwa




                                                                                                   Management
                                                                           Deployment
Data Storage Framework     Data Processing Framework




                                                                                        Security
 HDFS                       MapReduce

JVM
Operating System - Linux
Commodity Hardware

                                                                                        09.09.11
Powered by Hadoop™
•    Adobe
•    Ebay
•    Facebook
•    IBM
•    Joost
•    Last.fm
•    LinkedIn
•    Markt24
•    NYT
•    Powerset/Microsoft
•    Rackspace
•    StumbleUpon
•    Twitter
•    Yahoo uvm.


http://wiki.apache.org/hadoop/PoweredBy   09.09.11
Lily CMS

MADE FOR THE AGE OF DATA


                       09.09.11
The Age of Data

•  Mehr & mehr Firmen adaptieren NoSQL
  (meist interne Verwendung)
•  Vielzahl an Produkten / Distributionen
•  NoSQL wird Enterprise‘e
... Aber noch kein Mainstream

•  Wie würde man Wikipedia im Jahr 2011
   implementieren?

                                            09.09.11
Lily
•  „Lily is Smart Data, at Scale, made Easy“
•  Content und Data Repository
•  Architektur ausgelegt für BigData
      •  Basiert auf NoSQL Ansätzen


•  Core
      •  Store, Index und Search
•  Add-On
      •  Data usage tracking, user profiling, analytics and
         audience recommendations

http://outaerthought.org/site/products/lily.html        09.09.11
Lily Architektur

Lily CMS                         Core CMS
Hadoop                    Solr   Funktionaliäten:
           HBase
                                 Store, Index &
  MapReduce        HDFS
                                 Serach


Add-on‘s: Data usage               Hybrid Lösung
tracking, user profiling,
analytics and audience             •  Solr
recommendations
                                   •  Hadoop
                                   •  Lily Komponenten


                                                     09.09.11
Lily       Architektur2


Lily CMS

Hadoop     HBase          Solr
 MapReduce         HDFS




                                 09.09.11
Powered by Lily

•  BBC
      •  BBC Live Services: powering social web
         applications (tagging, commenting, ranking,
         voting) for BBC websites
•  Groupe Adeo
      •  large e-commerce and web project for global
         retail
•  Canadian Coast Guard
      •  e-Learning Material management system (LMS),
         Competency-based Learning
http://outerthought.org/site/about/customers.html   09.09.11
FAQ

FRAGEN?


          09.09.11
christian.guegi@menonews.com


DANKE!


                               09.09.11
Quellen/Links

•  Web scale
  •  http://community.oclc.org/engineering/2009/05/
     what-is-web-scale.html
•  NoSQL
  •  http://nosqlsummer.org/
  •  http://nosql-database.org/
•  Präsentation
  •  http://www.memonews.com/blog


                                            09.09.11

Weitere ähnliche Inhalte

Andere mochten auch

Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...
Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...
Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...ITABS GmbH
 
Real-Time-Analytics mit Spark und Cassandra
Real-Time-Analytics mit Spark und CassandraReal-Time-Analytics mit Spark und Cassandra
Real-Time-Analytics mit Spark und CassandraThomas Mann
 
Big Data Bullshit Bingo
Big Data Bullshit BingoBig Data Bullshit Bingo
Big Data Bullshit BingoDanny Linden
 
Big Data User Prediction: Siegfried Stepke, e-dialog
Big Data User Prediction: Siegfried Stepke, e-dialog Big Data User Prediction: Siegfried Stepke, e-dialog
Big Data User Prediction: Siegfried Stepke, e-dialog e-dialog GmbH
 
Mining AWR V2 - Trend Analysis
Mining AWR V2 - Trend AnalysisMining AWR V2 - Trend Analysis
Mining AWR V2 - Trend AnalysisMaris Elsins
 
Node.js - async for the rest of us.
Node.js - async for the rest of us.Node.js - async for the rest of us.
Node.js - async for the rest of us.Mike Brevoort
 
Oracle Event Delivery Network (EDN) of SOA Suite 11g
Oracle Event Delivery Network (EDN) of SOA Suite 11gOracle Event Delivery Network (EDN) of SOA Suite 11g
Oracle Event Delivery Network (EDN) of SOA Suite 11gGuido Schmutz
 
How_to_build_GameServer_2
How_to_build_GameServer_2How_to_build_GameServer_2
How_to_build_GameServer_2Peter Rybar
 
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...ronwarshawsky
 
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and Future
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and FutureReview Oracle OpenWorld 2015 - Overview, Main themes, Announcements and Future
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and FutureLucas Jellema
 
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...Lucas Jellema
 
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...Lucas Jellema
 
10 Key MongoDB Performance Indicators
10 Key MongoDB Performance Indicators  10 Key MongoDB Performance Indicators
10 Key MongoDB Performance Indicators iammutex
 
Mobile Database and Service Oriented Architecture
Mobile Database and Service Oriented ArchitectureMobile Database and Service Oriented Architecture
Mobile Database and Service Oriented ArchitectureLucas Jellema
 
Introducing Node.js in an Oracle technology environment (including hands-on)
Introducing Node.js in an Oracle technology environment (including hands-on)Introducing Node.js in an Oracle technology environment (including hands-on)
Introducing Node.js in an Oracle technology environment (including hands-on)Lucas Jellema
 
6 Data Modeling for NoSQL 2/2
6 Data Modeling for NoSQL 2/26 Data Modeling for NoSQL 2/2
6 Data Modeling for NoSQL 2/2Fabio Fumarola
 

Andere mochten auch (20)

Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...
Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...
Kenne Deine Kunden - Wie man mit Hilfe von Web-Analyse Umsätze steigern und F...
 
A22 Introduction to DTrace by Kyle Hailey
A22 Introduction to DTrace by Kyle HaileyA22 Introduction to DTrace by Kyle Hailey
A22 Introduction to DTrace by Kyle Hailey
 
Real-Time-Analytics mit Spark und Cassandra
Real-Time-Analytics mit Spark und CassandraReal-Time-Analytics mit Spark und Cassandra
Real-Time-Analytics mit Spark und Cassandra
 
Big Data, Big Brother
Big Data, Big BrotherBig Data, Big Brother
Big Data, Big Brother
 
Big Data Bullshit Bingo
Big Data Bullshit BingoBig Data Bullshit Bingo
Big Data Bullshit Bingo
 
Big Data User Prediction: Siegfried Stepke, e-dialog
Big Data User Prediction: Siegfried Stepke, e-dialog Big Data User Prediction: Siegfried Stepke, e-dialog
Big Data User Prediction: Siegfried Stepke, e-dialog
 
Mining AWR V2 - Trend Analysis
Mining AWR V2 - Trend AnalysisMining AWR V2 - Trend Analysis
Mining AWR V2 - Trend Analysis
 
Node.js - async for the rest of us.
Node.js - async for the rest of us.Node.js - async for the rest of us.
Node.js - async for the rest of us.
 
NoSQL and SOA
NoSQL and SOANoSQL and SOA
NoSQL and SOA
 
Oracle Event Delivery Network (EDN) of SOA Suite 11g
Oracle Event Delivery Network (EDN) of SOA Suite 11gOracle Event Delivery Network (EDN) of SOA Suite 11g
Oracle Event Delivery Network (EDN) of SOA Suite 11g
 
How_to_build_GameServer_2
How_to_build_GameServer_2How_to_build_GameServer_2
How_to_build_GameServer_2
 
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...
MongoDB performance tuning and load testing, NOSQL Now! 2013 Conference prese...
 
AMIS Oracle OpenWorld 2013 Review Part 1 - Intro Overview Innovation, Hardwar...
AMIS Oracle OpenWorld 2013 Review Part 1 - Intro Overview Innovation, Hardwar...AMIS Oracle OpenWorld 2013 Review Part 1 - Intro Overview Innovation, Hardwar...
AMIS Oracle OpenWorld 2013 Review Part 1 - Intro Overview Innovation, Hardwar...
 
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and Future
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and FutureReview Oracle OpenWorld 2015 - Overview, Main themes, Announcements and Future
Review Oracle OpenWorld 2015 - Overview, Main themes, Announcements and Future
 
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...
The True State of the Oracle Public Cloud - Dutch Oracle Architects Platform ...
 
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...
Systems on the edge - your stepping stones into Oracle Public PaaS Cloud - AM...
 
10 Key MongoDB Performance Indicators
10 Key MongoDB Performance Indicators  10 Key MongoDB Performance Indicators
10 Key MongoDB Performance Indicators
 
Mobile Database and Service Oriented Architecture
Mobile Database and Service Oriented ArchitectureMobile Database and Service Oriented Architecture
Mobile Database and Service Oriented Architecture
 
Introducing Node.js in an Oracle technology environment (including hands-on)
Introducing Node.js in an Oracle technology environment (including hands-on)Introducing Node.js in an Oracle technology environment (including hands-on)
Introducing Node.js in an Oracle technology environment (including hands-on)
 
6 Data Modeling for NoSQL 2/2
6 Data Modeling for NoSQL 2/26 Data Modeling for NoSQL 2/2
6 Data Modeling for NoSQL 2/2
 

Ähnlich wie A NoSQL Summer - The Year After

Big Data mit Apache Hadoop
Big Data mit Apache HadoopBig Data mit Apache Hadoop
Big Data mit Apache HadoopAlexander Alten
 
BI mit Apache Hadoop (CDH)
BI mit Apache Hadoop (CDH)BI mit Apache Hadoop (CDH)
BI mit Apache Hadoop (CDH)Alexander Alten
 
Hadoop in modernen BI-Infrastrukturen
Hadoop in modernen BI-InfrastrukturenHadoop in modernen BI-Infrastrukturen
Hadoop in modernen BI-Infrastruktureninovex GmbH
 
Hadoop Einführung @codecentric
Hadoop Einführung @codecentricHadoop Einführung @codecentric
Hadoop Einführung @codecentricimalik8088
 
RDBMS oder NoSQL – warum nicht beides?
RDBMS oder NoSQL – warum nicht beides?RDBMS oder NoSQL – warum nicht beides?
RDBMS oder NoSQL – warum nicht beides?Capgemini
 
4×4: Big Data in der Cloud
4×4: Big Data in der Cloud4×4: Big Data in der Cloud
4×4: Big Data in der CloudDanny Linden
 
Oracle no sql-doag-datenbank_konferenz_juni_2014
Oracle no sql-doag-datenbank_konferenz_juni_2014Oracle no sql-doag-datenbank_konferenz_juni_2014
Oracle no sql-doag-datenbank_konferenz_juni_2014Gunther Pippèrr
 
Webinar Big Data - Enterprise Readiness mit Hadoop
Webinar Big Data - Enterprise Readiness mit HadoopWebinar Big Data - Enterprise Readiness mit Hadoop
Webinar Big Data - Enterprise Readiness mit Hadoopfun communications GmbH
 
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?inovex GmbH
 
SQL on Hadoop für praktikables BI auf Big Data
SQL on Hadoop für praktikables BI auf Big DataSQL on Hadoop für praktikables BI auf Big Data
SQL on Hadoop für praktikables BI auf Big Datainovex GmbH
 
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...inovex GmbH
 
16. DINI-Jahrestagung: Linked Data und Repositorien
16. DINI-Jahrestagung: Linked Data und Repositorien16. DINI-Jahrestagung: Linked Data und Repositorien
16. DINI-Jahrestagung: Linked Data und RepositorienPascal-Nicolas Becker
 
xplosion & Exasol Vortrag Big Data Award 2012
xplosion & Exasol Vortrag Big Data Award 2012xplosion & Exasol Vortrag Big Data Award 2012
xplosion & Exasol Vortrag Big Data Award 2012xplosion_de
 
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...SHI Search | Analytics | Big Data
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data KonnektivitätTrivadis
 
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatengeKarin Patenge
 
10 Gute Gruende - NetApp fuer IoT
10 Gute Gruende - NetApp fuer IoT10 Gute Gruende - NetApp fuer IoT
10 Gute Gruende - NetApp fuer IoTNetApp_Germany
 

Ähnlich wie A NoSQL Summer - The Year After (20)

Big Data mit Apache Hadoop
Big Data mit Apache HadoopBig Data mit Apache Hadoop
Big Data mit Apache Hadoop
 
BI mit Apache Hadoop (CDH)
BI mit Apache Hadoop (CDH)BI mit Apache Hadoop (CDH)
BI mit Apache Hadoop (CDH)
 
Hadoop in modernen BI-Infrastrukturen
Hadoop in modernen BI-InfrastrukturenHadoop in modernen BI-Infrastrukturen
Hadoop in modernen BI-Infrastrukturen
 
Hadoop Einführung @codecentric
Hadoop Einführung @codecentricHadoop Einführung @codecentric
Hadoop Einführung @codecentric
 
RDBMS oder NoSQL – warum nicht beides?
RDBMS oder NoSQL – warum nicht beides?RDBMS oder NoSQL – warum nicht beides?
RDBMS oder NoSQL – warum nicht beides?
 
Webinar big data für unternehmen
Webinar big data für unternehmenWebinar big data für unternehmen
Webinar big data für unternehmen
 
Elasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit MarvelElasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit Marvel
 
4×4: Big Data in der Cloud
4×4: Big Data in der Cloud4×4: Big Data in der Cloud
4×4: Big Data in der Cloud
 
What’s new in Apache Solr 4.7 und Elasticsearch 1.1
What’s new in Apache Solr 4.7 und Elasticsearch 1.1What’s new in Apache Solr 4.7 und Elasticsearch 1.1
What’s new in Apache Solr 4.7 und Elasticsearch 1.1
 
Oracle no sql-doag-datenbank_konferenz_juni_2014
Oracle no sql-doag-datenbank_konferenz_juni_2014Oracle no sql-doag-datenbank_konferenz_juni_2014
Oracle no sql-doag-datenbank_konferenz_juni_2014
 
Webinar Big Data - Enterprise Readiness mit Hadoop
Webinar Big Data - Enterprise Readiness mit HadoopWebinar Big Data - Enterprise Readiness mit Hadoop
Webinar Big Data - Enterprise Readiness mit Hadoop
 
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
 
SQL on Hadoop für praktikables BI auf Big Data
SQL on Hadoop für praktikables BI auf Big DataSQL on Hadoop für praktikables BI auf Big Data
SQL on Hadoop für praktikables BI auf Big Data
 
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...
Sql on-hadoop-fuer-praktikables-bi-auf-big-data-zorn-benz-osbi-workshop-05.03...
 
16. DINI-Jahrestagung: Linked Data und Repositorien
16. DINI-Jahrestagung: Linked Data und Repositorien16. DINI-Jahrestagung: Linked Data und Repositorien
16. DINI-Jahrestagung: Linked Data und Repositorien
 
xplosion & Exasol Vortrag Big Data Award 2012
xplosion & Exasol Vortrag Big Data Award 2012xplosion & Exasol Vortrag Big Data Award 2012
xplosion & Exasol Vortrag Big Data Award 2012
 
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
20171121_DOAGKonferenz_JSON_OracleNoSQL_KPatenge
 
10 Gute Gruende - NetApp fuer IoT
10 Gute Gruende - NetApp fuer IoT10 Gute Gruende - NetApp fuer IoT
10 Gute Gruende - NetApp fuer IoT
 

A NoSQL Summer - The Year After

  • 1. Christian Gügi, MeMo News AG @chrisgugi A NOSQL SUMMER THE YEAR AFTER 09.09.11
  • 2. Agenda 2 •  About me & MeMo News AG •  NoSQL •  Was, warum und wie? •  Hadoop in a nutshell •  NoSQL-basiertes CMS 09.09.11
  • 4. About MeMo News AG Data Information Analyse und Ausgabe und 1 Crawling 2 Processing 3 Personalisierung 4 Weiterverarbeitung Veröffentlichungen Die Rohdaten Individuelle Der Kunde greift in etablierten und werden Suchagenten auf die sozialen Medien kategorisiert filtern in Echtzeit Ergebnisse zu, werden laufend und indiziert. die für den um sie weiter zu geladen und von Kunden analysieren und Spam gereinigt. relevanten zu verarbeiten. Treffer heraus. 09.09.11
  • 5. Referenzen 5 Germany / Japan 09.09.11
  • 6. Zum Thema NOSQL 09.09.11
  • 7. Zum Thema NOSQL 09.09.11
  • 8. Was ist NoSQL? •  Term „NoSQL“ ist erst 2 Jahre alt •  kein Mainstream •  Kein Produkt, keine Firma, keine Technologie •  Ist eine Bewegung, eine neu Art Datenbanken voranzutreiben •  Basiert auf nicht-relationale Ansätzen 09.09.11
  • 9. Warum NoSQL? •  Als Ansatz zur Lösung von (ungelösten) web scale* Problemen im Umgang mit unstrukturierten, massiven Datenmengen •  Hauptsächlich motiviert durch Web 2.0 •  Es geht hauptsächlich um Scaling, Distribution und BigData * Web Scale: Highly Available, Reliable, Transparent, High Performance, Scalable, Accessible, Secure, Usable, and Inexpensive http://community.oclc.org/engineering/2009/05/what-is-web-scale.html 09.09.11
  • 10. Ansätze von NoSQL? •  Von Generalisierung zur Spezialisierung •  Keine Tabellenschemas •  Keine Relationen, um JOINs zu vermeiden •  Horizontal skalieren •  à weg von ACID, hin zu CAP Spezifische Probleme mit spezialisierten Lösungen angehen 09.09.11
  • 11. Theorem FROM ACID TO CAP 09.09.11
  • 12. ACID Eigenschaften von RDMS : Atomicity – ganz oder gar nicht Consistency – gewährleistet Integrität Isolation – Kapselung gleichzeitiger T. Durability – Persistenz aller Änderungen Skalieren vertikal -> grosse Datenbanken -> teuer
  • 14. Kategorien Relational NoSQL 3 neue NoSQL Kategorien Relatio Object Docum Graph Wide Key nal oriente Orient colum value Store d Store ent Store ... ed Store n Store Store • MySQL • db4o • Jackrabbit • Neo4j • BigTable • MemcacheDB • PostgreSQL • Versant • couchDB • Sones • HBase • Redis • Oracle • Objectivity • MongoDB • Trinity • Hypertable • Casandra • MS Server • Lotus Notes • DEX • Dynamo • Riak 09.09.11
  • 15. NoSQL – Future? •  Noch immer ungelöst •  (Fulltext) Search & Find •  Distributed Index Storage •  (Structured) Query Language In Zukunft gibt’s kein NoSQL mehr, nur noch spezialisierte Datenbanken. 09.09.11
  • 17. Apache™ Hadoop™ •  Apache Projekt, open-source •  Software für reliable, scalable, distributed computing •  Basiert auf Google Papers /2006 •  Implementiert BigTable, Chubby, GFS •  Beinhaltet NoSQL Datenbank(en) „Apache Hadoop takes top prize at Media Guardian Innovation Awards. Data management software described by judges as 'Swiss army knife of the 21st century' wins innovator of the year award“ Marie Winckler, guardian.co.uk, Friday 25 March 2011 09.09.11
  • 18. Apache™ Hadoop™ Data Accessing Framework Pig Hive Avro Data Mining Framework NoSQL Databases Mahout Cassandra HBase Orchestration Framework Backup & Recovery Zookeeper Chukwa Management Deployment Data Storage Framework Data Processing Framework Security HDFS MapReduce JVM Operating System - Linux Commodity Hardware 09.09.11
  • 19. Powered by Hadoop™ •  Adobe •  Ebay •  Facebook •  IBM •  Joost •  Last.fm •  LinkedIn •  Markt24 •  NYT •  Powerset/Microsoft •  Rackspace •  StumbleUpon •  Twitter •  Yahoo uvm. http://wiki.apache.org/hadoop/PoweredBy 09.09.11
  • 20. Lily CMS MADE FOR THE AGE OF DATA 09.09.11
  • 21. The Age of Data •  Mehr & mehr Firmen adaptieren NoSQL (meist interne Verwendung) •  Vielzahl an Produkten / Distributionen •  NoSQL wird Enterprise‘e ... Aber noch kein Mainstream •  Wie würde man Wikipedia im Jahr 2011 implementieren? 09.09.11
  • 22. Lily •  „Lily is Smart Data, at Scale, made Easy“ •  Content und Data Repository •  Architektur ausgelegt für BigData •  Basiert auf NoSQL Ansätzen •  Core •  Store, Index und Search •  Add-On •  Data usage tracking, user profiling, analytics and audience recommendations http://outaerthought.org/site/products/lily.html 09.09.11
  • 23. Lily Architektur Lily CMS Core CMS Hadoop Solr Funktionaliäten: HBase Store, Index & MapReduce HDFS Serach Add-on‘s: Data usage Hybrid Lösung tracking, user profiling, analytics and audience •  Solr recommendations •  Hadoop •  Lily Komponenten 09.09.11
  • 24. Lily Architektur2 Lily CMS Hadoop HBase Solr MapReduce HDFS 09.09.11
  • 25. Powered by Lily •  BBC •  BBC Live Services: powering social web applications (tagging, commenting, ranking, voting) for BBC websites •  Groupe Adeo •  large e-commerce and web project for global retail •  Canadian Coast Guard •  e-Learning Material management system (LMS), Competency-based Learning http://outerthought.org/site/about/customers.html 09.09.11
  • 26. FAQ FRAGEN? 09.09.11
  • 28.
  • 29. Quellen/Links •  Web scale •  http://community.oclc.org/engineering/2009/05/ what-is-web-scale.html •  NoSQL •  http://nosqlsummer.org/ •  http://nosql-database.org/ •  Präsentation •  http://www.memonews.com/blog 09.09.11