Mongo db devfestw

MongoDB Mix
Paris - Mars 2013

jeudi 14 mars 13

Agile Developer

MongoDB User

@karesti MongoDB Master

Katia Aresti Freelance

jeudi 14 mars 13

Faisons connaissance ...

jeudi 14 mars 13


• Avant cette soirée, je ne connaissais que lui

jeudi 14 mars 13


• J’en ai entendu un peu parler

jeudi 14 mars 13


• J’ai déjà utilisé MongoDB à la maison

jeudi 14 mars 13


• J’ai déjà utilisé MongoDB à la maison
• J’utilise MongoDB chez mon client

jeudi 14 mars 13

1ème partie
Mongo

jeudi 14 mars 13

Mini-introduction

jeudi 14 mars 13

«MongoDB has the best features of
key/value stores, document databases
and relational databases in one.»

John Nunemaker

jeudi 14 mars 13

Orienté Document

jeudi 14 mars 13

Orienté Document
• Pas de jointures

jeudi 14 mars 13

Orienté Document
• Pas de transaction multi-documents

jeudi 14 mars 13

Orienté Document
• Les documents inclus et les tableaux limitent les
besoins de jointures

jeudi 14 mars 13

Orienté Document
• Sans schéma

jeudi 14 mars 13

Orienté Document
• Sans schéma
• Système de requêtes très évolué
jeudi 14 mars 13

La donnée normalisée
Category
• Name
• Url

Article
User • Name
Tag
• Name • Slug • Name
• Email Address • Publish date • Url
• Text

Comment
• Comment
• Date
• Author
©
jeudi 14 mars 13

Une base de données document

Article
• Name
• Slug
• Publish date
User • Text
• Name • Author
• Email Address
Comment[]
• Comment
• Date
• Author

Tag[]
• Value

Category[]
• Value
©
jeudi 14 mars 13

RDBMS Mongo
Table,View ➜ Collection
Row ➜ Document
Index ➜ Index
Join ➜ Embedded Document
Foreign Key ➜ Reference
Partition ➜ Shard

jeudi 14 mars 13

Techniquement

jeudi 14 mars 13

Techniquement

• Ecrit en C++

jeudi 14 mars 13

Techniquement

• Ecrit en C++
• Portable (presque) partout !

jeudi 14 mars 13

Techniquement

• Ecrit en C++
• La donnée est sérialisée en BSON

jeudi 14 mars 13

Techniquement

• Ecrit en C++
• La donnée est sérialisée en BSON
• Utilisation massive de la mémoire

jeudi 14 mars 13

Haute-Disponibilité & Scalabilité

jeudi 14 mars 13


• Réplication de server avec failover du master
automatique

jeudi 14 mars 13


automatique
• Sharding automatique

jeudi 14 mars 13


automatique
• Sharding automatique
• Distribution des lectures sur les serveurs

jeudi 14 mars 13

Haute performance

jeudi 14 mars 13

Haute performance
• La plupart des opération sont faites en
mémoire.

jeudi 14 mars 13

Haute performance
mémoire.
• Ecriture et Lecture très rapides.

jeudi 14 mars 13

Haute performance
mémoire.
• Indexation de n'importe quel champs ou sous-
documents

jeudi 14 mars 13

Haute performance
mémoire.
• Indexation de n'importe quel champs ou sous-
documents
• Ecritures asynchrones si besoin

jeudi 14 mars 13

Qui utilise MongoDB ?

jeudi 14 mars 13

2ème partie
Mongo reloaded

jeudi 14 mars 13

Il était une fois ...

jeudi 14 mars 13

Mission

• Les négociations ont échoué...

jeudi 14 mars 13

Mission

• Il faut monter une équipe...

jeudi 14 mars 13

Mission

• Proposer des services qui afﬁchent 100k
points d'intérêts...

jeudi 14 mars 13

Mission

• Et les enrichir avec une 10 de partenaires...

jeudi 14 mars 13

Mission

• Et les enrichir avec une 10 de partenaires...
• ...en 2 mois...

jeudi 14 mars 13

Architecture Emergente

jeudi 14 mars 13


• Concept des méthodes agiles.

jeudi 14 mars 13


• Retarder au plus tard les
décisions d'architectures
lourdes, aﬁn de décider avec
le plus d'éléments possibles.

jeudi 14 mars 13


• N'est possible qu'en écrivant
du code de façon incremental.

jeudi 14 mars 13


• N'est possible qu'en écrivant
du code de façon incremental.
• Suite de tests unitaires et
fonctionnels très importantes.
jeudi 14 mars 13

Architecture Initiale

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Architecture •Initiale
Fort stockage

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Fort stockage

• Rapidité de lecture

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Fort stockage

• Recherche geospatiale

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Fort stockage

• Recherche textuelle
Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Fort stockage

Services Data • Requêtes complexes
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Fort stockage

Services Data • Requêtes complexes
REST • Aucune écriture
...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13


Services Data
REST
• Très fort stockage
...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13


Services Data
REST

• Ecriture bulk
Staging
...
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13


Services Data
REST

• Ecriture bulk
Staging
...
• Requête simple
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13


Services Data
REST

• Ecriture bulk
Staging
...
• Requête simple
XML

•
CSV
Historise la donnée SOAP

ETL
REST
...

jeudi 14 mars 13


Services Data
REST
? ...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

1er choix banal mais serein.

jeudi 14 mars 13

Modélisation de données

Table GéoEntités
Nom Lat Lng
Arc de Triomphe 48.873383 2.294463
Notre-Dame 48.898734 2.302374

0,n Table Films
Film Durée Année
Persepolis 2H30 2007
Rosario 1h30 2011

jeudi 14 mars 13

Nos besoins

jeudi 14 mars 13

Nos besoins

• Fort volume

jeudi 14 mars 13

Nos besoins

• Fort volume
• Pas de jointure

jeudi 14 mars 13

Nos besoins

• Fort volume
• Pas de jointure
• Pas de transactions
complexes

jeudi 14 mars 13

Nos besoins

• Fort volume
• Pas de jointure
complexes

jeudi 14 mars 13

Nos besoins

• Fort volume
• Pas de jointure
complexes
• Scalabilité horizontale
jeudi 14 mars 13

Challenge

jeudi 14 mars 13

Challenge

• En 2 heures faire une lecture/écriture de
géo-entité avec MongoDB. MySQL ça serait
le temps nécessaire.

jeudi 14 mars 13

Remise en question

Fort volume de stockage Fort volume de stockage

Windows + MS SQL Server Linux

Recherche GéoSpatiale Recherche Géospatiale

Recherche sur mot clé (*) Recherche sur mot clé (*)

Réplication Réplication + Sharding
Temps de requêtes moyen Temps de requête moyen
150-300ms 40-100ms
jeudi 14 mars 13

Déploiement v0

Staging XML
CSV
ELB SOAP
REST
...

jeudi 14 mars 13

Version 1

• L'utilisateur d'UrbanDive est en mesure de
créer des POI (POPI).

jeudi 14 mars 13

Déploiement v1 Staging

Replica Set

Secondary
ELB

Arbiter
Primary

Secondary

jeudi 14 mars 13

Version 2

• Le marketing des POIs veut faire une
recherche full-text et du scoring.
• Nous voulons créer et rechercher des
évènements

jeudi 14 mars 13

Architecture V2

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Version 3

• Nombreux contenus real-time

jeudi 14 mars 13

Architecture V3

Services Data
REST

...
Staging
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Architecture V3

Services
REST
Data
...
XML
CSV
SOAP

ETL
REST
...

jeudi 14 mars 13

Conclusions

jeudi 14 mars 13

Conclusions
• Expérience très positive

jeudi 14 mars 13

Conclusions
• Prise en main très rapide

jeudi 14 mars 13

Conclusions
• Facilite la vie pour multiple use case

jeudi 14 mars 13

Conclusions
• Support gratuit et commercial

jeudi 14 mars 13

Conclusions
• Support gratuit et commercial
• Produit s'améliore en continue, point critique la suivi
en production

jeudi 14 mars 13

3ème partie
Mongo Revolution

jeudi 14 mars 13

Mongo + Java = Jongo
ODM pour Java

jeudi 14 mars 13

Revenons à 2010 ...

jeudi 14 mars 13

{mongo : "genial"}
jeudi 14 mars 13

REST Web
Services
Search of
POI-s

jeudi 14 mars 13

API DBObject

REST Web
Services
Search of
POI-s

jeudi 14 mars 13

API DBObject

REST Web
Services
Search of
POI-s

{DBObject : "pas mal, mais ça peut
être mieux"
jeudi 14 mars 13

Back on 2010 ...

jeudi 14 mars 13

Back on 2010 ...

Morphia ?
jeudi 14 mars 13

Morphia
JPA-LIKE

jeudi 14 mars 13

Donc ...
• Morphia ce n’est pas mal, bon travail !

jeudi 14 mars 13

Donc ...

• Mais : Nous avons besoin d’apprendre une nouvelle API
Need => Mongo, Driver Java, Morphia

jeudi 14 mars 13

Donc ...


• Mais : JPA Like -> Le paradigm de Mongo ce n’est pas du
JPA ou Hibernate

jeudi 14 mars 13

Donc ...


JPA ou Hibernate

• Morphia arrive au driver java ?

jeudi 14 mars 13

Donc ...


JPA ou Hibernate

• Morphia arrive au driver java ?

• Notre choix : Morphia pour mapper les objets et le
Driver Java pour tout le reste.

jeudi 14 mars 13

Fin 2011 ...

jeudi 14 mars 13

@bguerout

Jongo
@amsellemyves

• Qu’est-ce que c’est que Jongo ?

jeudi 14 mars 13

@bguerout

Jongo
@amsellemyves


• ODM sur le driver Javao

jeudi 14 mars 13

@bguerout

Jongo
@amsellemyves



• Jackson and BSON4Jackson pour (Un)marshalling

jeudi 14 mars 13

@bguerout

Jongo
@amsellemyves




• Pas de JPA / Hibernate

jeudi 14 mars 13

@bguerout

Jongo
@amsellemyves


• Pas de JPA / Hibernate
• Requête Mongo comme dans le shell

jeudi 14 mars 13

db.users.find({ $or : [ { age : {$gt:20,$lt:30} } ,
{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :
DB db = mongo.getDB("users");

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :

DBCollection users = db.getCollection("users");

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :


DBObject firstQuery = QueryBuilder.start("age").greaterThan(20).lessThan(30).get();

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :



DBObject secondQuery = QueryBuilder.start("age").greaterThan(50).lessThan(60).get();

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :




DBObject query = QueryBuilder.start().or(firstQuery,secondQuery).get();

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :





DBCursor results = collection.find(query);

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Driver Java :






List<User> users = new ArrayList<User>();
for (DBObject result : results) {

User user = new User();
user.setUsername((String) result.get("username"));
user.setAge((Integer) result.get("age"));
users.add(user);
}

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Jongo

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Jongo

MongoCollection collection = new Jongo(db).getCollection("users");

jeudi 14 mars 13

{ age : {$gt:50,$lt:60} } ] })

FIND Jongo


Iterable<User> users = collection.find("{ $or : [ { age : {$gt:20,$lt:30} } , { age :
{$gt:50,$lt:60} } ] }").as(User.class);

jeudi 14 mars 13


DBCollection collection = db.getCollection("users");





List<User> users = new ArrayList<User>();
for (DBObject result : results) {

User user = new User();
user.setUsername((String) result.get("username"));
user.setAge((Integer) result.get("age"));
users.add(user);
}


Iterable<User> users = collection.find("{ $or : [ { age : {$gt:20,$lt:30} } , { age : {$gt:
50,$lt:60} } ] }").as(User.class);

jeudi 14 mars 13

db.users.update({ name : 'Joe' } ,
{ {$inc : {age : 1} },
true, true)

Jongo update

jeudi 14 mars 13

{ {$inc : {age : 1} },
true, true)

Jongo update

MongoCollection users = new Jongo(db).getCollection("users");

jeudi 14 mars 13

{ {$inc : {age : 1} },
true, true)

Jongo update

MongoCollection users = new Jongo(db).getCollection("users");

users.update("{name: 'Joe'}").upsert().multi().with("{$inc: {age: 1}}");

jeudi 14 mars 13

Templating

friends.find("{name: #, age: #}", "John", 18);

{name: 'John', age: 18}

jeudi 14 mars 13

Aggregation Fw

MongoCollection collection = new Jongo(db).getCollection("emails");

collection.aggregate("{$project:{sender:1}}")
.and("{$match:{tags:'read'}}")
.and("{$limit:10}")
.as(Email.class);

jeudi 14 mars 13

Conclusion
• Mongo Shell c’est un plaisir ; le driver java
peut l’être aussi

jeudi 14 mars 13

http://jongo.org/

https://github.com/bguerout/jongo

@bguerout - Benoit Guérout

@amsellemyves - Yves Amsellem

jeudi 14 mars 13

Merci pour écouter !!!

jeudi 14 mars 13

Mongo db devfestw

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von Katia Aresti

Mehr von Katia Aresti (7)

Mongo db devfestw