http://www.youtube.com/watch?v=EGDv8jctVqw Introdução ao MongoDB, Redis e Cassandra através de Python. Quais as características principais de um banco orientado a documentos, chave-valor e colunar. Que vantagens esses bancos possuem em relação a um banco relacional tradicional. No final farei uma aplicação que persiste dados do Twitter e Facebook nos três bancos mencionados.

1. NoSQL e Python
@fmasanori

2. @fmasanori
• Graduado IME-USP e Mestrado ITA
• ed e lint Cobra Tecnologia
• Software Express
• Credicard Mastercard
• PriceWaterhouseCoopers
• ITAU BankBoston
• Docente FATEC SJC (amo dar aulas):
– Business Intelligence/Data Warehouse
– NoSQL databases
• Interesses: Python, NoSQL, Google
Technology, Facebook

4. Conhecendo os assistentes
• Python?
• NoSQL?
• pymongo?
• redis-py?
• pycassa?

5. Agenda
• Como comecei com NoSQL
• LucidDB: my first NoSQL
experiment
• Flexible Schema
• Horizontal Scalability
• MongoDB (document)
• Redis (key-value)
• Cassandra (columnar)
• Demo

6. Como comecei com NoSQL

7. One Simple Idea
• Me ensinaram que tudo deveria ser
normalizado...
• E que o mundo era SQL
• Mas um dia tive problemas:
– Analytics
– Twitter and Facebook data persistence

8. LucidDB
• 3 years ago
• Benchmark LucidDB x MySQL for
Business Intelligence applications
• LucidDB: columnar NoSQL for BI
• Analytic applications:
– Read only
– Massive aggregations
– Denormalization

9. Queries
Queries
• Which movie genres generate the most
revenue? (Q1)
• How is our revenue evolving over time?
(Q2)
• At which time of day do costumers place
the most orders? (Q3)
• How effective are the promotions we
launch? (Q4)

10. Average time (ms)
35000
30000
25000
20000
LucidDB
15000 MySQL
10000
5000
0
Q1 Q2 Q3 Q4

11. JSON persistence

12. Sentiment Analysis (Twitter)
menina: aaaaaaaaaaaaaa eu NAO GOSTO DELE
amiga: e vc ficará rica , e irá dividir sua riqueza cm sua amg aq
*u*
menina: kkkkkk como assim eu fikar rica pq?
amiga: pq ele é inteligente , e vai arranjar um ótimo emprego , e
ganhar mt dinheiro rs
menina: kkkkk ele é inteligente como assim ??
amiga: AQUELE VIADO PASSOU NO CASDINHO, E EU NÃO !

13. Sentiment Analysis (Facebook)
• Sabe o que é ter vontade de acordar cedo no
domingo para estudar?!?
• Bom, eu também não sei explicar, mas é o que
estou sentindo no momento .-.
• Bora Casdinho!

14. Social Data Change Fast

15. “Life begins at
end of your
comfort zone”
Neale Donald Walsch
Slide EuroPython 2012
Python, Flask e MongoDB depois
de 20 anos com .NET

16. “It’s better to think of
NoSQL as a
movement rather
than a technology”
Martin Fowler

17. NoSQL vale a pena

18. Empregabilidade

19. Empregabilidade

20. Empregabilidade

21. O que as empresas esperam de um
NoSQL?
Dynamic Schema

22. O que as empresas esperam de um
NoSQL?
Flexible Schema

23. Relational DB

24. Relational DB
Martin Fowler

25. Impedance mismatch
• The difference between the
relational model and the in-
memory data structures (Fowler)
• Limitations of relational DB: values
only in tuples
• We need a more complex structure
than a set of tuples as a data unit

26. Aggregate
Model
Costumers
Orders
Martin Fowler

27. Aggregate
Model
Costumers
Martin Fowler

28. Scalability

29. If I had asked people
what they wanted, they
would have said faster
horses.
Henry Ford.

30. Escalabilidade vertical
• Escalabilidade para leituras num banco
relacional: trabalhoso
• Escalabilidade para escritas num banco
relacional: MUITO, MUITO, trabalhoso
• (se conseguir seu BD deixou de ser
relacional...)

31. Escalabilidade vertical

32. Escalabilidade horizontal

33. Escalabilidade horizontal

34. Dois artigos famosos
• Bigtable: A distributed storage
system for structured data, 2006
• Dynamo: Amazon’s highly available
key-value store, 2007

35. Apache Hadoop

36. Not Only SQL

37. There is no best NoSQL

38. • JSON oriented
• Autosharding
• Full featured indexes
• Great community

39. Dowload and install:
http://www.mongodb.org/downloads
Criar c:/data/db
Servidor:
bin/mongod
Cliente:
bin/mongo
Cliente pymongo:
http://api.mongodb.org/python/current/
import pymongo
Curso completo MongoDB com Python:
http://education.10gen.com/

40. • Data Structure Server
• In-memory dataset
• Persistence options

41. • CPU performance 175X (96)
• Os discos continuam iguais
• Memory 1M faster
• 1M = $1 (2000) x 1 cent (2010)

42. http://redis.io/download
https://github.com/MSOpenTech/redis
(for Windows)
Servidor:
redis-server
Cliente:
redis-cli
Cliente redis-py:
https://github.com/andymccurdy/redis-py
import redis

43. Cassandra:
• Linearly Scalable
• Column based
• CQL

44. Martin Fowler

45. Cassandra vs MySQL (50GB)
MySQL:
~300ms write
~350ms read
Cassandra:
~0.12ms write
~15ms read

47. Relational DB
(Timo Elliott, SAP)

48. Columnar DB
(Timo Elliott, SAP)

49. Download DataStax Community Edition
Servidor:
cassandra
Cliente:
cassandra-cli –h localhost –p 9160
Conflitos:
cassandra.bat (windows)
/etc/cassandra/cassandra-env.sh
(ubuntu)
Cliente pycassa:
https://github.com/pycassa/pycassa/
downloads
import pycassa

50. Talk is cheap.
Show me the code.
Linus Torvalds

51. MongoDB Server

52. Cassandra Server

53. Cassandra Server

54. Redis Server

55. Twitter and Facebook data
Obs.: não aparece o token de autenticação

56. Pymongo

57. Redis-py

58. Pycassa

59. Pymongo response

60. Redis-py response

61. Pycassa response

62. Bigliografia

63. Bigliografia

64. Bigliografia
Google IO 2012 - SQL vs NoSQL
Battle of the Backends

65. Perguntas?
fmasanori@gmail.com
facebook.com/fmasanori
twitter.com/fmasanori