nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
•
1 gefällt mir•1,870 views
Что появилось нового в nginx в 2015? Thread pools, HTTP/2, SO_REUSEPORT, nginScript
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (16)
Ähnlich wie nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
Ähnlich wie nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx) (20)
Mehr von Ontico
Mehr von Ontico (20)
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
- 2. NGINX, Inc. • 2011 год • Офисы • San Francisco, 50 человек. Управление, маркетинг, продажи. • Москва, 24 человека. Разработка, поддержка. • Продукты • nginx open source • NGINX Plus
- 3. Безопасность • Бекэнды • Поддержка SNI (1.7.0) • Проверка сертификатов (1.7.0) • Клиентские сертификаты (1.7.8) • Шифрование ключа сертификата, ssl_password_file (1.7.3)
- 4. Бекэнды • Балансировка по хэшу (1.7.2) Cache::Memcached Cache::Memcached::Fast (ketama/160) • Разделяемые зоны (1.9.0) • Небуферизированное проксирование тела запроса (1.7.11) • proxy_next_upstream_tries, proxy_next_upstream_timeout (1.7.5) • proxy_limit_rate (1.7.7)
- 5. Кэш • Ревалидация кэша (1.7.3) • Поддержка Vary в кэше (1.7.7) • proxy_force_ranges (1.7.7) • proxy_cache_lock_age (1.7.8)
- 6. Прочее • JSON и XML в autoindex (1.7.9) • add_header always (1.7.5) • Несколько sub_filter’s в одном location и поддержка переменных (1.9.4)
- 7. Логи • Параметр "if" в "access_log" (1.7.0) • Логирование в syslog (1.7.1)
- 8. Stream • Проксирование (1.9.0) • Поддержка SSL (1.9.0) • Ограничение доступа (1.9.2) • Ограничение числа соединений (1.9.3)
- 9. Пулы потоков
- 10. Традиционная архитектура Рабочий процесс nginx Переключение задач Запрос №1 Запрос №2 Запрос №3
- 11. Кирил Георгиев на турнире в Болгарии сыграл параллельно 360 партий. Его итоговый результат: 284 победы, 70 вничью и 6 поражений. nginx как безупречный гроссмейстер
- 12. Асинхронный подход Плюсы: • Эффективное использование системных ресурсов • Предсказуемая масштабируемость под высокими нагрузками Минусы: • Сложность программирования • Сложность отладки • Блокирующие операции могут нивелировать все плюсы
- 13. Цикл обработки событий nginx Ожидание событий на соединениях Получение очереди новых событий Обработка очереди в цикле Ядро ОС
- 14. Обработка очереди событий Начало Конец Очередь пуста? НетДа Извлечь событие Обработать
- 15. Важные особенности • Обработка в одном потоке • События обрабатываются «мгновенно» • Время обработки событий суммируется • Одно событие задерживает обработку последующих
- 17. Блокирующая операция Ожидание... Единственная блокирующая операция существенно задерживает обработку остальных запросов
- 18. Блокирующие операции в nginx ● Сторонние модули, работающие синхронно с различными библиотеками и базами данных ● Операции с жестким диском Задержка (µc) Память < 0,1 Диск 100-1000+ ● FreeBSD — есть неплохая поддержка AIO ● Linux требует флага O_DIRECT
- 20. Пул потоков Цикл обработки событий Новое задание Очередь заданий Обработанные задания
- 21. Генератор рандомизированной нагрузки Генератор тестовой нагрузки Тестовая система с nginx 1.9.0 12 ЦПУ-ядер 10 Гбит/с сеть 48 Гб ОЗУ 256 Гб данных
- 22. • 2 x Intel Xeon E5645 (итого 12 ядер, 24 HT-потока) • 4 x Western Digital WD1003FBYX в RAID10 массиве • 48 Гб оперативной памяти • 10 Гбит/с сетевой интерфейс • Ubuntu Server 14.04.1 LTS Конфигурация системы: Генератор нагрузки: • Рандомизированная: -c200 • Тестовая: -c50 Набор данных: • 256 Гб псевдослучайных байт в файлах по 4 Мб Тестовый стенд wrk (https://github.com/wg/wrk)
- 23. worker_processes 16; events { accept_mutex off; } http { include mime.types; default_type application/octet-stream; access_log off; sendfile on; sendfile_max_chunk 512k; server { listen 8000; location / { root /storage; } } } nginx.conf
- 24. Результаты первого теста (без пулов потоков): % ifstat -bi eth2 eth2 Kbps in Kbps out 5531.24 1.03e+06 4855.23 812922.7 5994.66 1.07e+06 5476.27 981529.3 6353.62 1.12e+06 5166.17 892770.3 5522.81 978540.8 6208.10 985466.7 6370.79 1.12e+06 6123.33 1.07e+06 Running 1m test @ http://192.0.2.1:8000/1/1/1 12 threads and 50 connections Thread Stats Avg Stdev Max +/- Stdev Latency 7.42s 5.31s 24.41s 74.73% Req/Sec 0.15 0.36 1.00 84.62% 488 requests in 1.01m, 2.01GB read Requests/sec: 8.08 Transfer/sec: 34.07MB На интерфейсе сервера: Тестовый клиент:
- 25. Наблюдения • Сервер отдает только ~1 Гбит/c • Существенные задержки даже для данных, которые отдаются из памяти • Запросы случайных файлов со второго клиента блокируют рабочие процессы nginx
- 26. Рабочие процессы nginx большую часть времени заблокированы на I/O. Пулы потоков не используются
- 27. А теперь включим пул потоков и повторим тест. location / { root /storage; aio threads; }
- 28. Результаты второго теста (пул потоков включен): % ifstat -bi eth2 eth2 Kbps in Kbps out 60915.19 9.51e+06 59978.89 9.51e+06 60122.38 9.51e+06 61179.06 9.51e+06 61798.40 9.51e+06 57072.97 9.50e+06 56072.61 9.51e+06 61279.63 9.51e+06 61243.54 9.51e+06 59632.50 9.50e+06 Running 1m test @ http://192.0.2.1:8000/1/1/1 12 threads and 50 connections Thread Stats Avg Stdev Max +/- Stdev Latency 226.32ms 392.76ms 1.72s 93.48% Req/Sec 20.02 10.84 59.00 65.91% 15045 requests in 1.00m, 58.86GB read Requests/sec: 250.57 Transfer/sec: 0.98GB На интерфейсе сервера: Тестовый клиент:
- 29. Трафик Задержки Запросов секунду Было ~1 Гбит/c 7.42 сек 8 Стало 9,5 Гбит/c 226.32 мс 250 Прирост в 9.5 раз в ~33 раза в ~31 раз Результаты
- 30. Рабочие процессы nginx большую часть времени спят в ожидании событий. Пулы потоков задействованы
- 31. Недостатки • Накладные расходы на добавление заданий • Операции с файлами, которые могут быть обработаны сразу, всё ещё ждут в очереди • Отсутствует возможность узнать где находятся данные: в кэше ОС или на диске • Системные вызовы fincore() (предложен в 2010 году) и preadv2(RWF_NONBLOCK) до сих пор отсутствуют в ядре
- 32. reuseport
- 35. reuseport • Linux 3.9 • setsockopt(SO_REUSEPORT) • listen reuseport (1.9.1)
- 36. nginScript
- 37. nginScript • Альтернативы • Perl • Lua • JavaScript
- 38. nginScript • Странности Lua • begin .. end • Индексы в массивах начинаются с 1 • Регулярные выражения “%w+%d” vs “w+d”
- 39. nginScript
- 40. nginScript • JavaScript • Google V8 • Mozilla SpiderMonkey • Apple JavaScriptCore
- 41. nginScript • Google V8 • Переносимость • Проблемы с памятью, сборка мусора • Прерывание исполнения • Погоня за изменениями API
- 43. nginScript • Регистровая виртуальная машина • Нет JIT • Нет сборщика мусора • Разделяемый объект для взаимодействия между виртуальными машинами • Подмножество ECMAScript 5.1: • нет closures • не все встроенные объекты (Date, Math, JSON)
- 44. nginScript • $r • method • uri • args{} • httpVersion • headers{} • remoteAddress
- 45. nginScript • $r.response • status • headers{} • contentType • contentLength • sendHeader() • send(data) • finish()
- 46. nginScript location /hello-world { js_run "var res = $r.response; res.status = 200; res.contentType = 'text/plain'; var hw = 'Hello World!rn'; res.contentLength = hw.length; res.sendHeader(); res.send(hw); res.finish(); ";}
- 47. nginScript js_set $headers " var h, s = ''; for (h in $r.headers) s += h + ': ' + $r.headers[h] + ‘rn'; s”; location /headers { return 200 $headers; }
- 48. HTTP/2
- 49. Развенчиваем мифы Чем HTTP/2 не является: • Полной заменой HTTP/1 • Нарушением законов физики • Серебряной пулей Что же такое HTTP/2: • Тот же SPDY с некоторыми отличиями • Транспортный слой для HTTP/1 со своими плюсами и минусами • Экономия на хэндшейках
- 50. Основные особенности • Бинарный протокол • Мультиплексирование • Компрессия заголовков HPACK • Приоритезация
- 51. Основные особенности • Бинарный протокол • Мультиплексирование • Компрессия заголовков HPACK • Приоритезация
- 52. Бинарщина 00 00 9D 01 25 00 00 00 01 00 00 00 00 B6 41 8A ..% . .A. 90 B4 9D 7A A6 35 5E 57 21 E9 82 00 84 B9 58 D3 ...z.5^W!.. ..X. 3F 85 61 09 1A 6D 47 87 53 03 2A 2F 2A 50 8E 9B ?.a..mG.S.*/*P.. D9 AB FA 52 42 CB 40 D2 5F A5 11 21 27 51 8B 2D ...RB.@._..!'Q.- 4B 70 DD F4 5A BE FB 40 05 DE 7A DA D0 7F 66 A2 Kp..Z..@..z...f. 81 B0 DA E0 53 FA D0 32 1A A4 9D 13 FD A9 92 A4 ....S..2........ 96 85 34 0C 8A 6A DC A7 E2 81 04 41 04 4D FF 6A ..4..j.....A.M.j 43 5D 74 17 91 63 CC 64 B0 DB 2E AE CB 8A 7F 59 C]t..c.d.......Y B1 EF D1 9F E9 4A 0D D4 AA 62 29 3A 9F FB 52 F4 .....J...b):..R. F6 1E 92 B0 D3 AB 81 71 36 17 97 02 9B 87 28 EC .......q6.....(. 33 0D B2 EA EC B9 HTTP/2.0 запрос: HTTP/1.1 запрос: GET / HTTP/1.1 Host: demo.nginx.com Accept: text/html,application/xhtml+xml,application/ xml;q=0.9,image/webp,*/*;q=0.8 User-Agent: Chrome/47.0.2518.0
- 53. Основные особенности • Бинарный протокол • Мультиплексирование • Компрессия заголовков HPACK • Приоритезация
- 54. Ответ №1 Ответ №2 Ответ №3 HTTP/2 Единственное TCP соединение Мультиплексирование
- 55. Основные особенности • Бинарный протокол • Мультиплексирование • Компрессия заголовков HPACK • Приоритезация
- 56. Основные особенности • Бинарный протокол • Мультиплексирование • Компрессия заголовков HPACK • Приоритезация
- 57. Проводим эксперимент https://github.com/ipeychev/http2rulez.com Содержимое • Клиент: Chromium 45.0.2454.85 (64-bit) • Сеть: loopback, netem, MTU 1400 Тестовая страница:
- 58. 0 мс 1500 мс 3000 мс 4500 мс 6000 мс 7500 мс 9000 мс RTT, мс 0 2 4 6 10 20 30 50 60 100 150 200 250 300 400 600 HTTP HTTP/2 HTTPS Время полной загрузки страницы
- 59. 0 мс 1000 мс 2000 мс 3000 мс 4000 мс 5000 мс RTT, мс 0 2 4 6 10 20 30 50 60 100 150 200 250 300 400 600 HTTP HTTP/2 HTTPS Время отрисовки страницы
- 60. Подводные камни • Сложный протокол • Обратный эффект HTTP/1 оптимизаций • Хорошо работает в определенных условиях • Ограничения на используемые шифры • Для каждого сайта эффект может отличаться, необходимо тестировать
- 61. Футболки!!! • Идём на nginx.com • Устанавливаем Free Trial • Показываем “nginx -V” на нашем стенде • Получаем футболку (PROFIT!!!)