1) O documento discute como um grande sistema REST funciona, abordando tópicos como arquitetura, desempenho e lições aprendidas. 2) É descrito como o Grupo Abril construiu uma plataforma chamada Alexandria usando arquitetura REST para gerenciar e publicar conteúdo digital em diversos canais. 3) Pontos importantes sobre desempenho como uso de cache, arquitetura de middleware e estratégias de cache HTTP são destacados.

1. Como um grande
sistema REST
funciona
Arquitetura e Desempenho
FISL 2013

2. David Robert
davidrobert@gmail.com
twitter: @while42
github: davidrobert

3. AMBIENTE

4. Criar um
Gerenciador e
Publicador de
conteúdo digital para o
Grupo Abril

5. Criar um Gerenciador e Publicador de
conteúdo digital ...

6. Criar um Gerenciador e Publicador de
conteúdo digital ...
Qual?

7. Criar um Gerenciador e Publicador de
conteúdo digital ...
Matérias
Chamadas
Estabelecimentos
Imagens
Atrações
Famosos
Carros
Receitas
Jogos
Infográficos
etc etc ...
Qual?

8. Criar um Gerenciador e Publicador de
conteúdo digital ...
Publicar Onde?

9. Criar um Gerenciador e Publicador de
conteúdo digital ...
Web
Mobile
- Tablets
- CELULARES
SMART TV
API's
Publicar Onde?

11. gráfica
distribuidora
educação

12. Playboy Veja
Quatro Rodas
Super Interessante
Placar

13. “organizações que projetam sistemas
são restritas a produzir projetos que
são cópias das estruturas de
comunicação dessas organizações”
Lei de
Conway
http://www.melconway.com/Home/Conways_Law.html

14. CMS’s existem desde os anos 90.
Por que reiventamos a roda?

15. Porque
temos alta
diversidade
de
requisitos
negócios
pessoas
orçamentos
prioridades
culturas
{

16. Como construir uma
boa arquitetura?

17. Integração
o velho problema

18. Banco de Dados
Solução Prática #1

19. Solução Prática #2
Transferência de Arquivos

20. Solução Prática #3
Web Services

21. Como são os Web Services hoje?

22. Como são os Web Services hoje?
● WSDL
● SOAP
● XML
● RPC (Remote Procedure Call)
etc

24. 1) Precisamos disso
tudo mesmo?

25. 2) Alguém já não
resolveu isso?

26. 3) Como avaliar se é
uma boa
arquitetura?

27. boa
arquitetura
necessidades
atendidas
custo
aceitável
= + * ß
ß
quão bem o seu cliente
sabe pedir o que quer
MTRH
MTRH
mean time to
recovery
happiness

28. ALEXANDRIA

29. diretoria
digital
Playbo
y
Vej
a
Quatro
Rodas

30. RAIO X

31. 16 sites em produção

32. +/- 60 desenvolvedores
13 arquitetos de software
6 Gerentes de Projeto
4 Gerentes de Produto
1 Advocate da Plataforma

33. ● MongoDB
● MySQL
● Hbase
● HDFS
● PostgreSQL
● memcached
● redis
● Ruby
● Java
● Javascript
● rails
● sinatra
● goliath
● node.js
● play
● jetty
● tokamak
● cachebag
● restfulie
Linguagens Storages Frameworks outros
● Solr
● Hadoop
● RabbitMQ
● Varnish
● New Relic
● Tracelytics
https://github.com/abril

34. Infraestrutura Alexandria + sites
● 91 VMs para ambientes dev, qa, stage
● AMC (Abril Mídia Cloud): private cloud (Xen/Open Stack)
● ou VMWare
● ~100 VMs + 20 físicas para produção
● Data center próprio, AWS, Heroku
● Total aproximado: 220 máquinas

35. +15 milhões de pageviews
(de jan até fev de 2013)

36. HTTP

37. domínio
● acesso e manipulação de recursos
● implementa regras de negócio
● servidor HTTP + base de dados
● infra “isolada”
● ~ 8 domínios
● ex: editorial (matérias, galerias, etc), anotações
(comentários), estabelecimentos, mídia, pessoas

38. serviço
● consumo e manipulação de recursos
● servidor HTTP + (opcional base de dados)
● infra “isolada”
● ~ 12 serviços
● ex: console, socialcore, search, Abril ID, abr.io, etc

39. data-entry
● entrada da Redação
● aplicação web
● ~ 1 para cada domínio
● “API explorer”

41. sitetools● admin do site
● manipulação das áreas e templates
● agiliza criação de produtos
● a fronteira com o usuário
● opcional

43. HTTP
domínio
serviço
data-entry sitetools

44. system of systems

45. Como integrar?

48. REST

49. Por que escolhemos REST?

50. Por que escolhemos REST?
● Protocolo de transferência bastante utilizado
● Escalabilidade
● Performance alta
● Alta disponibilidade
● Permitir evolução sem parar o sistema
● Permitir evolução sem quebrar os clientes
● Segurança

51. Por que escolhemos REST?
● HTTP
● Escalabilidade
● Performance alta
● Alta disponibilidade
● Permitir evolução sem parar o sistema
● Permitir evolução sem quebrar os clientes
● Segurança

52. Por que escolhemos REST?
● HTTP
● Web Cache
● Performance alta
● Alta disponibilidade
● Permitir evolução sem parar o sistema
● Permitir evolução sem quebrar os clientes
● Segurança

53. Por que escolhemos REST?
● HTTP
● Web Cache
● Web Proxy (localização geografica)
● Alta disponibilidade
● Permitir evolução sem parar o sistema
● Permitir evolução sem quebrar os clientes
● Segurança

54. Por que escolhemos REST?
● HTTP
● Web Cache
● Web Proxy (localização geografica)
● Load Balancers "comoditizados"
● Permitir evolução sem parar o sistema
● Permitir evolução sem quebrar os clientes
● Segurança

55. Por que escolhemos REST?
● HTTP
● Web Cache
● Web Proxy (localização geografica)
● Load Balancers "comoditizados"
● Load Balancers
● Permitir evolução sem quebrar os clientes
● Segurança

56. Por que escolhemos REST?
● HTTP
● Web Cache
● Web Proxy (localização geografica)
● Load Balancers "comoditizados"
● Load Balancers
● HTML, JSON, XML
● Segurança

57. Por que escolhemos REST?
● HTTP
● Web Cache
● Web Proxy (localização geografica)
● Load Balancers "comoditizados"
● Load Balancers
● HTML, JSON, XML
● HTTPS / TLS

58. Como integrar e ter baixo
acoplamento?

59. Como integrar e ter baixo
acoplamento?
Interface Uniforme

60. resouce identification
http://editorial.api.abril.com.br/materia/dicas
http://editorial.api.abril.com.br/materia/ac23657fg
http://bebe.abril.com.br/materia/ac23657fg

61. resources

62. resources
{
"tipo_recurso" : "materia",
"link" : [
{
"href" : "http://editorial.api.abril.com.br/materia/4f0dea5a1e13694",
"rel" : "self",
"type" : "application/json"
},
{
"href" : "http://editorial.api.abril.com.br/materias",
"rel" : "materias",
"type" : "application/json"
}
],
"id" : "http://editorial.api.abril.com.br/materia/4f0dea5a1e13694",
"slug" : "o-quintal-da-realeza",
"marca" : "viajeaqui",
"status" : "disponivel",
"descricao_conteudo" : "O quintal da realeza",
"fonte" : "viajeaqui",
(continua)

63. representations
JSON

64. e um tiquinho assim de XML
ou melhor,
de application/opensearchdescription+xml
representations

65. <?xml version="1.0" encoding="UTF-8"?>
<OpenSearchDescription xmlns="http://a9.com/-/spec/opensearch/1.1/" xmlns:grafo="http:
//socialcore.api.abril.com.br/grafo/busca">
<ShortName>Buscar relacionamentos</ShortName>
<Description>Busca de relacionamentos no grafo</Description>
<Url type="application/json"
template="http://socialcore.api.abril.com.br/grafo/busca?usuario={grafo:usuario?}
&amp;tipo={grafo:tipo}"/>
<Query role="example"
title="Exemplo de valores dos parâmetros"
grafo:usuario="id do usuario"
grafo:tipo="segue |seguido_por " />
</OpenSearchDescription>
representations

66. hypermedia
Exemplo: criar uma atividade
de um usuário no site.
Sabendo somente o entrypoint:
http://socialcore.api.abril.com.br

67. POST http://socialcore.api.abril.com.br/
Accept: application/json
hypermedia

68. POST???
hypermedia

69. HTTP/1.1 405 Method Not Allowed
Allow: GET
hypermedia

70. GET http://socialcore.api.abril.com.br/
Accept: application/json
hypermedia

71. HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
{
"titulo": "socialcore",
"link": [
{
"href": "http://socialcore.api.abril.com.br/",
"rel": "self",
"type": "application/json"
},
{
"href": "http://socialcore.api.abril.com.br/atividade",
"rel": "atividade",
"type": "application/json"
},
{
"href": "http://socialcore.api.abril.com.br/grafo",
"rel": "grafo",
"type": "application/json"
}
]
}
hypermedia

72. GET http://socialcore.api.abril.com.br/atividade
Accept: application/json
hypermedia

73. HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
{
"titulo": "Entry Point de Atividades",
"link": [
{
"href": "http://socialcore.api.abril.com.br/atividade/template",
"rel": "template",
"type": "application/json"
},
{
"href": "http://socialcore.api.abril.com.br/atividade/busca/descritor",
"rel": "search",
"type": "application/opensearchdescription+xml"
},
{
"href": "http://socialcore.api.abril.com.br/atividade/stat/descritor",
"rel": "stat",
"type": "application/opensearchdescription+xml"
}
]
}
hypermedia

74. GET http://socialcore.api.abril.com.br/atividade/template
Accept: application/json
hypermedia

75. HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
{
"atividade": {
"app": "",
"created_at": "",
"usuario": "",
"tipo": "",
"objeto": {
"tipo": ""
},
"resultado": {
"tipo": ""
}
},
(continua)
hypermedia

76. "link": [
{
"href": "http://socialcore.api.abril.com.br/atividade",
"rel": "atividade",
"type": "application/json"
},
{
"href": "http://socialcore.api.abril.com.br/atividade/busca/descritor",
"rel": "search",
"type": "application/opensearchdescription+xml"
},
{
"href": "http://socialcore.api.abril.com.br/atividade/stat/descritor",
"rel": "stat",
"type": "application/opensearchdescription+xml"
}
]
}
hypermedia

77. POST http://socialcore.api.abril.com.br/atividade
Accept: application/json
Content-Type: application/json; charset=utf-8
Authentication: Basic 37rnx9w87rjdw87gri
{
"atividade": {
"app": "http://aapg.api.abril.com.br/produtos/1",
"created_at": 1325086429,
"tipo": "comentar",
"objeto": {
"descricao": "Titulo da materia",
"id": "http://veja.abril.com.br/noticia/economia/confianca-da",
"tipo": "materia"
},
"resultado": {
"corpo": "otima materia",
"id": "http://veja.abril.com.br/noticia/economia/confianca-da/comments/1",
"tipo": "comentario"
}
}
}
hypermedia

78. HTTP/1.1 422 Unprocessable Entity
Content-Type: application/json; charset=utf-8
{
"tipo_recurso":"erro",
"atividade":{
"usuario":"",
},
"erros":[
{"atributo":"usuario","mensagem":["é obrigatório"]}
]
}
hypermedia

79. POST http://socialcore.api.abril.com.br/atividade
Accept: application/json
Content-Type: application/json; charset=utf-8
Authentication: Basic 37rnx9w87rjdw87gri
{
"atividade": {
"app": "http://aapg.api.abril.com.br/produtos/1",
"created_at": 1325086429,
"usuario": "http://aapg.api.abril.com.br/usuarios/2",
"tipo": "comentar",
"objeto": {
"descricao": "Titulo da materia",
"id": "http://veja.abril.com.br/noticia/economia/confianca-da",
"tipo": "materia"
},
"resultado": {
"corpo": "otima materia",
"id": "http://veja.abril.com.br/noticia/economia/confianca-da/comments/1",
"tipo": "comentario"
}
}
}
hypermedia

80. HTTP/1.1 201 Created
Content-Type: application/json; charset=utf-8
Location: http://socialcore.api.abril.com.
br/atividade/0922307
o/
hypermedia

81. application
protocol
HTTPstatus codes
representation metadata
resource metadata
control data

82. e a performance
disso tudo ai?

83. a requisição mais rapida
que o servidor executa é
aquela que ele não executa

85. estratégia de cache HTTP é
imprescindível
Palestra: Abusando nas requisições HTTP sem medo
http://goo.gl/k29NU

87. Lições aprendidas

88. pontos importantes em performance
client
origin server
● performance dos connectors
● non-blocking HTTP clients
● cache local
● middleware architecture
● libs padronizadas
● short stacks
● evented servers
● libs padronizadas
● good TTL strategy
● middleware architecture
● caches
● HTTP plumbing

89. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
●

90. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
● REST é uma arquitetura de longo prazo
●

91. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
● REST é uma arquitetura de longo prazo
● Defenda com todas as suas forças:
● seus metadados (recursos)
● sua interface
●

92. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
● REST é uma arquitetura de longo prazo
● Defenda com todas as suas forças:
● seus metadados (recursos)
● sua interface
● Documentação é essencial
●

93. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
● REST é uma arquitetura de longo prazo
● Defenda com todas as suas forças:
● seus metadados (recursos)
● sua interface
● Documentação é essencial
● Independência de desenvolvimento dos nós tem suas
desvantagens
●

94. ● Lei de Postel
"Seja conservador no que faz, seja liberal no que você
aceita dos outros"
● REST é uma arquitetura de longo prazo
● Defenda com todas as suas forças:
● seus metadados (recursos)
● sua interface
● Documentação é essencial
● Independência de desenvolvimento dos nós tem suas
desvantagens
● Medir/monitorar o desempenho é importantíssimo

95. Assumimos que nossa
arquitetura está válida

96. necessidades
atendidas
custo
aceitável
+ * ß
MTRH
mas...

97. e quando REST
não for suficiente?

98. não use REST

99. Os responsáveis

100. PERGUNTAS ?

101. engineering.abril.com.br
digital.abril.com.br
Obrigado!
David Robert