O documento discute possibilidades com Python para integração de serviços web, escalabilidade e NoSQL. Ele aborda REST, APIs do Twitter e Facebook, caching, paralelismo, frameworks e o modelo de dados de Cassandra.

1. Web, escalabilidade e NoSQL
possibilidades com Python
Gustavo Pinto
@gustavopinto

2. gustavopinto

3. Web - integração de serviços
o que usar?

4. Web - integração de serviços
ReST:

5. Web - integração de serviços
ReST:
https://github.com/caelum/restfulie-python

6. Web - integração de serviços
>>> response = Restfulie.at(resource_uri).get()
>>> print response.body
<palestra>
<nome>Possibilidade com Python</nome>
<evento>PythonBR</evento>
<local>Amcham - Sao Paulo</local>
<link rel="self" href="http://www.slideshare.com.
br/gustavopinto/pythonBR" />
</order>

8. Web - social machines
API Twitter
API Facebook

9. Api Twitter

10. Api Facebook
graph = facebook.GraphAPI(oauth_access_token)
profile = graph.get_object("me")
friends = graph.get_connections("me", "friends")
graph.put_object(profile, "feed", message="Live from
pythonBrasil[7] !")
https://github.com/facebook/python-sdk

11. Web - social machines

12. 1- Release

13. Escalabilidade
"[...] sistemas que estão
preparados para crescer."

14. Escalabilidade
"[...] sistemas que estão
preparados para crescer."

15. Escalabilidade
"[...] sistemas que estão
preparados para crescer."

16. Escalabilidade, plugável?

17. Escalabilidade, plugável?

18. Perguntas
● você faz caching?
● você está preocupado com a
arquitetura multicore?
● você conhece seu framework?

19. Caching
● Varnish
● MemCached

20. Caching
● Varnish
● MemCached

21. Caching
● Varnish
● MemCached
Essa é sua
necessidade?

22. Multicore - Paralelismo

23. Paralelismo
700 R$
● uma aplicação single-threaded vai ser executada
somente em um único processador, não importa
quantos processadores estejam disponíveis.

24. Paralelismo
700 R$
● uma aplicação single-threaded vai ser executada
somente em um único processador, não importa
quantos processadores estejam disponíveis.
● lembrando que, concorrência != paralelismo

25. Paralelismo
● Python built-in
○ threading
○ multiprocessing (Python 2.6)
● pypar
● pyMPI
● mpi4py
http://wiki.python.org/moin/ParallelProcessing

26. Paralelismo
def expo(x):
return x ** 2
[expo (i) for i in range(100000)]

27. Paralelismo
from multiprocessing import Pool
def expo(x):
return x ** 2
pool = Pool()
roots = pool.map(expo, range(100000))
print roots

28. Paralelismo
from multiprocessing import Pool
def expo(x):
return x ** 2
pool = Pool()
results = [pool.apply_async(expo, (x,))
for x in range(100000)]
roots = [r.get() for r in results]
print roots

29. Paralelismo
from multiprocessing import Pool
def expo(x):
Mas eu podia ter feito isso usando
return x ** 2
threads..
pool = Pool()
results = [pool.apply_async(expo, (x,))
for x in range(100000)]
roots = [r.get() for r in results]
print roots

31. Framework

32. NoSQL
Mas, o que é NoSQL?

33. NoSQL
Mas, o que é NoSQL?
+

34. NoSQL
Mas, o que é NoSQL?
+

35. NoSQL
Mas, o que é NoSQL?
+

36. NoSQL
?

38. NoSQL
● top-level project
● desenhado para tratar volume de dados muito grande
● espalhados através de vários servidores
● fornecendo um serviço altamente disponível
● sem nenhum ponto único de falha.

39. NoSQL
● top-level project
● desenhado para tratar volume de dados muito grande
● espalhados através de vários servidores
● fornecendo um serviço altamente disponível
● sem nenhum ponto único de falha.

40. NoSQL
● top-level project
● desenhado para tratar volume de dados muito grande
● espalhados através de vários servidores
● fornecendo um serviço altamente disponível
● sem nenhum ponto único de falha.
Eventualmente consistente..

41. NoSQL

42. NoSQL
1. Keyspace
2. Column Family
3. Column Family Row
4. Column
2
1 3
4

43. NoSQL - Cassandra (Thrift)
def main:
socket = TSocket.TSocket("localhost", 9160)
transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocolAccelerated
(transport)
client = Cassandra.Client(protocol)

44. NoSQL - Cassandra (Thrift)
keyspace = "Keyspace1"
column_path = ColumnPath(column_family="PrimeiroNivel",
column="nome")
key = "1"
value = "Gustavo Pinto"
timestamp = time.time()
try:
transport.open()
client.insert(keyspace,key, column_path, value, timestamp,
ConsistencyLevel.ZERO)

45. NoSQL - Cassandra (Thrift)
#read
column_parent = ColumnParent(column_family="
PrimeiroNivel")
slice_range = SliceRange(start="", finish="")
predicate = SlicePredicate(slice_range=slice_range)
result = client.get_slice(keyspace, key, column_parent,
predicate, ConsistencyLevel.ONE)

46. NoSQL - Cassandra

47. NoSQL - Cassandra
mas, essa é a
sua necessidade?