Доклад на http://2015.happydev.ru

1. Разработка параллельных,
надежных приложений: быстро и
дешево
Тюменцев Евгений
HWdTech, LLC
hwdtech.ru

2. О себе
15 лет преподаю
ИМИТ, ФКН ОмГУ
ИТ-компании
Школа программиста
11 лет разрабатываю ПО
разработчик, архитектор,
PM, руководство до 70
человек
Тюменцев Евгений

3. Особенности разработки ПО
Фредерик Брукс
«Мифический человеко-
месяц»

4. Программист VS каменщик

5. Почему так получается у
программистов?

6. Три следствия неограниченного роста
трудозатрат, которые приводят к
незапланированным расходам

7. Сроки нарушаются

8. Требуется все больше разработчиков
«Ну а здесь, знаешь ли,
приходится бежать со всех
ног, чтобы только остаться
на том же месте, а чтобы
попасть в другое место
нужно бежать вдвое
быстрее.»
Алиса в Зазеркалье, Льюис
Кэролл

10. Логика Хоара
1969 г. An Axiomatic Basis for
Computer Programming
1971 г. Procedures and Parameters:
An Axiomatic Approach
1980 г. премия Тьюринга
1990 г. Медаль “Пионер
компьютерной техники”
2000 г. рыцарский титул за заслуги в
области образования и
компьютерной техники, премия
Киото
Чарльз Хоар

11. Факты о логике Хоара
Если использовать
1. статическое связывание
2. Рекурсию
3. Вложенные процедуры
4. Процедуры, принимающие в качестве
параметров процедуры.
5. Глобальные переменные
то не существует полной системы аксиом.

12. Логика Хоара часто противоречива
⊢ 𝐿 𝞿 и ⊢ 𝐿 `𝞿
Значит, что любое изменение в коде надо
тестировать!

13. Противоречивость: сильно страшно?

14. Противоречивость: сильно страшно?

15. Противоречивость: сильно страшно?

16. Противоречивость: сильно страшно?

17. Противоречивость: сильно страшно?

18. Базы данных
• Скорость выполнения запросов
• Миграция
• Репликация
• Непротиворечивость
• ORM

19. Нет сложным миграциям и
модификациям БД

20. Один формат для всех данных
{
‘фамилия’: ‘Иванов’,
‘заказы’: [
{
‘дата’: ’01.09.2015’,
‘стоимость’: 2000
},
{
‘дата’: ’01.10.2015’,
‘стоимость’: 2000
}
]
}

21. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными

22. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными
• Известно время выполнения всех запросов

23. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными
• Известно время выполнения всех запросов
• Скорость выполнения запросов не зависит от
квалификации программиста

24. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными
• Известно время выполнения всех запросов
• Скорость выполнения запросов не зависит от
квалификации программиста
• Структура БД не меняется – не нужны миграции

25. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными
• Известно время выполнения всех запросов
• Скорость выполнения запросов не зависит от
квалификации программиста
• Структура БД не меняется – не нужны миграции
• Можно хранить одновременно несколько версий
одних данных

26. Результаты применения json
• Всего 6 запросов к БД описывают все операции с
данными
• Известно время выполнения всех запросов
• Скорость выполнения запросов не зависит от
квалификации программиста
• Структура БД не меняется – не нужны миграции
• Можно хранить одновременно несколько версий
одних данных
• БД легко масштабируется, так как структура базы
однородная

27. Интерфейс работы с данными
interface IObject
{
object getValue(string name);
void setValue(string name, object val);
}
class Field<T>
{
public Field(string name) {…}
public abstract T this[IObject o]
{
get;
set;
}
}
Генерация строго типизированных
оберток для IObject по интерфейсам
interface MyObj
{
int A
{
get;
}
string B
{
get;
set;
}
}

28. Процессоры уже не те!
Herb Sutter, 2005 The Free Lunch Is
Over A Fundamental Turn Toward
Concurrency in Software
“The bad news is that, at least in the
short term, the growth will come mostly
in directions that do not take most
current applications along for their
customary free ride.”

29. Многопоточность?
Это Вам не это!

31. Акторы – альтернатива многопоточности
Carl Hewitt,
Peter Bishop,
Richard Steiger
A Universal Modular ACTOR
Formalism for Artificial Intelligence
1973

32. Что такое актор?
Актор – вычислительная
сущность, которая может
за один шаг
• Отправить конечное число
сообщений другим акторам
• Создать конечное число
акторов
• Выбрать поведение для
приема следующего
сообщения

33. Многопоточность vs Акторы

34. Архитектура

35. Маршруты сообщений

36. Управление маршрутами без программиста

38. Контрольные точки
Контрольная точка сохраняет в БД
входящее сообщение как есть
Конечная точка маршрута сообщения
ответ

40. Методы обнаружения разладки
Карты Шухарта
Все процессы подвержены вариабельности.
Управляемое явление - используя прошлый опыт
можно предсказать, каких его вариаций можно
ожидать в будущем.
ГОСТ Р 50779.42-99 (ISO 8258-91)
выявление точек выхода
процесса из стабильного
состояния для установления
причин появившегося
отклонения и их устранения.

41. Как узнать, что изменения дали
положительный эффект

42. Если коллеги не идут на
сотрудничество

43. Активность пользователей можно
создавать

44. Библиотека акторов
 Публикация
 Загрузка по требованию

45. Преимущества библиотеки
конфигураций
• Быстро клонировать
• Автоматический деплой
• Можно выставлять время
обновления
• Автоматический откат
• Ни одна конфигурация не теряется
• Можно иметь одновременно
сервера, которые работают с
разными версиями данных
{
‘actors’: [{
‘name’: ‘emailSender’,
‘smtp’: …,
},
{
‘name’: ‘dailyReport’,
…
}
‘messagePaths’: [{
‘name’: ‘newAd’,
…
}],
‘enpoints’: […]
}

46. Преимущества решения
• Любое приложение в
состоит из стандартных и
простых блоков
• Компоновать блоки
между собой можно без
программирования
• Возможности системы
ограничены только
набором готовых блоков
• Блоки можно
разрабатывать
независимо друг от друга

47. Существующие внедрения – портал
бесплатных объявлений и новостей
• Команда – 5 студентов без опыта
работы и филолог

48. Существующие внедрения – портал
бесплатных объявлений и новостей
• Команда – 5 студентов без опыта
работы и филолог
• Среднее время открытия страницы
уменьшено с 4,5 с до 400 мс

49. Существующие внедрения – портал
бесплатных объявлений и новостей
• Команда – 5 студентов без опыта
работы и филолог
• Среднее время открытия страницы
уменьшено с 4,5 с до 400 мс
• Количество ошибок по сравнению с
предыдущей версией уменьшилось в
1000 раз!

50. Существующие внедрения – портал
бесплатных объявлений и новостей
• Команда – 5 студентов без опыта
работы и филолог
• Среднее время открытия страницы
уменьшено с 4,5 с до 400 мс
• Количество ошибок по сравнению с
предыдущей версией уменьшилось в
1000 раз!
• Количество серверов уменьшено с 15
до 3!

51. Существующие внедрения – портал
бесплатных объявлений и новостей
• Команда – 5 студентов без опыта
работы и филолог
• Среднее время открытия страницы
уменьшено с 4,5 с до 400 мс
• Количество ошибок по сравнению с
предыдущей версией уменьшилось в
1000 раз!
• Количество серверов уменьшено с 15
до 3!
• Объявление можно подавать
простым текстом вместо длинной
формы: “Двушка в Советском округе,
улица Мира, 64, в районе ост. Политех,
50/34/8, 3/5п, не требует ремонта,
санузел раздельный, хрущевка.”

52. Test configuration:
server station:
desktop workstation
CPU - Intel(R) Core(TM) i3 CPU 530 @ 2.93GHz
Memory - 8 Gb
OS - Debian 8.2 jessie
GUI - none
client station:
notebook Dell Inspirion N5050
CPU - Intel(R) Core(TM) i5-2450M processor (2.50 GHz with Turbo Boost up to 3.10 GHz)
Memory - 4 Gb
OS - Mint 17.2 Cinnamon 64-bit 2.6.11
network device:
D-Link DES-1005A 10/100 Fast Ethernet Switch
Существующие внедрения –
банерокрутилка

53. Существующие внедрения –
банерокрутилка
30 seconds tests:
Running 30s test @
http://192.168.100.193:9909
8 threads and 64 connections
Thread Stats Avg Stdev
Max +/- Stdev
Latency 5.15ms 0.90ms
25.36ms 98.66%
Req/Sec 1.57k 67.74
1.86k 85.75%
374839 requests in 30.01s,
141.92MB read
Requests/sec: 12489.41
8 hours test:
Running 480m test @
http://192.168.100.193:9909
8 threads and 64 connections
Thread Stats Avg Stdev
Max +/- Stdev
Latency 4.52ms 681.66us
79.35ms 95.95%
Req/Sec 1.78k 51.51
3.23k 76.61%
408472044 requests in
480.00m, 77.61GB read
Requests/sec: 14183.01

54. Существующие внедрения –
кроссплатформенное приложение
• Приложение считает время по каждой
задаче программиста, снимает
скриншоты, мониторит активность
клавиатуры и мыши
• Интерфейс написан на HTML5 и CSS3
• Бизнес-логика написана на нашей
библиотеке
• Приложение работает без изменений
под Mac, Window, Linux (кроме методов
снятия скриншота и логирования
активности – это малая часть – до 40 ч
работы – по сравнению со всем
приложением)

55. Спасибо за внимание!
Тюменцев Евгений
hwdtech.ru
etyumentcev@hwdtech.ru
twitter.com/etyumentcev