1. Анатомия
веб-­‐сервиса
Андрей
Смирнов

2. О
чем
мы
будем
говорить?
• Введение
• Сетевой
ввод-­‐вывод
• Многозадачность
• Драйвер
БД
• Взаимодействие
• Фреймворки

3. Backend

4. Чем
занят
backend?
• Склеивание
строк
• Сетевой
ввод-­‐вывод
L1
cache
reference
0.5
ns
Main
memory
reference
100
ns
Read
1
MB
sequenRally
from
network
10,000,000
ns
Read
1
MB
sequenRally
from
disk
30,000,000
ns

5. Что
делает
backend
1. Принять
соединение
(обычно
от
proxy)
и
распарсить
HTTP-­‐запрос
2. Аутенфикация
3. Авторизация
4. Сессия

6. Что
делает
backend
5. Распарсить
URL,
routing
6. Определение
формата
вывода,
rate
limiting,
…
7. Бизнес-­‐логика,
выполнение
запроса,
кеширование
8. Формирование
ответа,
шаблоны

7. Сетевой
ввод-­‐вывод
• Блокирующийся
• Неблокирующийся
• Асинхронный

8. UNIX
(POSIX)
• fd
-­‐
файловый
дескриптор
• fd
=
socket()
• listen(fd)/accept(fd)
• read(fd,
buf)
• write(fd,
buf)
• close(fd)

9. Блокирующийся
ввод-­‐вывод
• accept(fd)
-­‐
заблокируется,
пока
не
будет
нового
входящего
соединения
• read(fd,
buf)
-­‐
заблокируется,
пока
не
прибудут
данные
в
сокет
• write(fd,
buf)
-­‐
заблокируется,
пока
не
освободится
место
в
буфере
TCP

10. Неблокирующийся
ввод-­‐вывод
• Любая
операция
завершается
немедленно
• Вместо
того,
чтобы
заблокироваться,
вызов
возвращает
EAGAIN/EWOULDBLOCK

11. Опрос
готовности
• Нотификации:
• level-­‐triggered
(состояние)
• edge-­‐triggered
(изменение
состояния)
•
Механизмы:
• select(),
poll()
• epoll(),
kqueue()

12. Неблокирующий
ввод-­‐вывод
• select(fds,
Rmeout)
⇛
ready
to
read/write
• do
read/write
unRl
EAGAIN

13. Многозадачность
• Обслуживание
нескольких
клиентов
одновременно
• Цель:
минимизировать
время
отклика
при
условии
максимальной
нагрузки

14. Процессы
• Полная*
изоляция
• Видимость
для
планировщика
ОС
• Сложность
коммуникации
• Использование
всех
процессоров

15. Процессы
code
r/o
data
heap
code
r/o
data
heap
fork()
listen() accept()
SHM

16. Нити
(ОС)
• Видны
планировщику
• Имеют
отдельный
стек
и
TLS
• Более
легковесные,
чем
процесс
• Отсутствует
изоляция
• Сложность
написания
корректных
программ

17. Синхронизация
• Любой
доступ
к
общим
данным
должен
быть
синхронизирован
• Атомарные
операции
(без
синхронизации)
• GIL

18. Deadlock

19. Worker

20. Event
Loop

21. Кооперативная
многозадачность
• “Невидима”
для
ОС,
один
процесс
(нить)
• “Поток”
добровольно
передает
управление
другому
(проще
синхронизация)
• Явная:
callbackи
• Неявная:
green
threads

22. Реактор
• “Дай
мне
кучу
сокетов,
а
я
сделаю
callback,
когда
они
будут
готовы”
• Таймер:
“Вызови
меня
через
X
мс”

23. node.js
var net = require('net');
var client = net.connect({port: 8124},
function() { //'connect' listener
console.log('client connected');
client.write('world!rn');
});
client.on('data', function(data) {
console.log(data.toString());
client.end();
});
client.on('end', function() {
console.log('client disconnected');
});

24. gevent
def print_head(url):!
print('Starting %s' % url)!
data = urlopen(url).read()!
print('%s: %s bytes: %r' % (url, len(data), data[:50]))!
!
jobs = [gevent.spawn(print_head, url) for url in urls]!
!
gevent.wait(jobs)!

25. Комбинированные
варианты
• 1:1
• N:1
• M:N

26. Драйвер
“БД”
• База
данных
• Очередь
• K-­‐V
хранилище
• Другой
сервис
• …

28. Соединение
• Соединение:
• на
один
запрос
• постоянное
TCP!
connect
Auth Send query Wait Result
Send query Wait Result Send query Wait Result
Disconnect

29. Pipelining
• Pipelining
запросов
Send query Wait Result Send query Wait Result
Send query Send query Result Result

30. Соединения
• Кол-­‐во
соединений:
• одно
• connecRon
pool
• по
количеству
запросов

31. Proxy

32. Взаимодействие
• Очереди
• вычислительно
сложные
задачи
• асинхронные
действия
• Архитектурное
деление
на
компоненты
• Обращения
к
другим
сервисам

33. Очередь
задач

34. Очереди
• Publish-­‐Subcribe
vs.
Producer-­‐Consumer
• Redis,
beanstalkd
• pgq
• RabbitMQ
• Apache
Ka•a

35. RPC
• Синхронное
взаимодействие:
запрос-­‐ответ

36. Широковещательная
шина

37. ØMQ
• Коммуникационная
библиотека
• Без
брокера
• Абстракция
установления
соединения,
реконнектов,
транспорта
и
т.п.
• Паттерны
обмена
сообщениями

38. Service-­‐Oriented
Architecture

39. SOA
• Четко
выделенные
сервисы
со
своим
интерфейсом
• Сервисы
независимы
• Сложность
эксплуатации
• Независимое
масштабирование

40. Реальный
мир
• А
что
же
происходит
в
моем
любимом
языке
программирования
X?

41. JavaScript
• Однопоточный
• Явная
кооперативная
многозадачность
• AJAX,
Timer,
CSS3
AnimaRon,
…
• jQuery.Deferred()

42. PHP
• Нет
потоков*
• “Начинаем
сначала”
на
каждый
запрос
• Потребность
в
“accelerator”ах
• Персистентные
соединения
с
БД

43. FastCGI

44. Ruby
on
Rails
• Огромное
влияние
• Редкие
многопоточные
применения
• MRI
(1.8),
YARV
(1.9+),
JRuby
• Event
Machine
• Rack:
middleware

45. Python
• WSGI:
middleware
• Блокирующий
ввод-­‐вывод
(Django,
…)
• Явная
кооперативная
многозадачность
(Twisted,
Tornado)
• Корутины
(gevent,
eventlet,
…)

46. Java
• Потоки
ОС
• Неблокирующий
ввод-­‐вывод:
NIO,
NIO2
• Nežy
• Thread
Pool

47. Go
• Горутины
(gorouRnes)
• Комбинированный
вариант
(M:N)
• Неблокирующий
ввод-­‐вывод
• Каналы

48. Erlang
• Actor
model
• Process
-­‐
комбинированная
модель
• Полная
изоляция
(обмен
данными
через
коммуникацию)
• Распределенные
процессы

49. © Copyright 2014 Andrey Smirnov
Разработка
надежных
высоконагруженных
систем
• 24,
25
и
26-­‐го
мая,
Москва
• hžp://smira.highload.ru/
• Мастер-­‐класс
с
практическими
заданиями