Слайды доклада на DEVCONF::Ruby 2010

1. Управление сборками и развертыванием веб-приложений Шмаркатюк Сергей, Senior Software Engineer (EPAM Systems) 17 мая 2010 года

2. Проекты растут в размерах project

3. … а значит становятся более громоздкими

4. Рутина затягивает. Нужно больше времени, ресурсов, денег…

5. Чтобы делать всё вручную!

6. В том числе сборки!

7. Значение автоматических сборок оказывается недооцененным…

8. … и как результат: проект выходит из-под контроля

9. Что делать?

10. Нужно знать! Что такое сборка. Зачем вообще нужны сборки. Типы сборок и их структура. Чем отличается сборка от развертывания (deployment). Какие есть типы целевых платформ. Как эффективно использовать нужные инструменты.

11. И это не всё Почему нужны развертывания? Когда выполнять развертывание и как? Какие существуют самые сложные случаи сборок? Как собрать веб-приложениеи зачем это нужно делать? И в конце зарубить на носу ряд правил касающихся сборок

12. Сборка – это… Из В Процесс преобразования Исполняемые на рабочей станции конечного пользователя Исходного кода Артефакты

14. Компоненты = функциональные модули

15. Компоненты и их версии выбираются для удовлетворения конкретных целей и задачОсновные цели Функциональность Производительность

19. Тип сборки: debug или release

20. Операционная система, аппаратная платформа (x32, x64, …)

21. Локализация(en, ru, ua, …)

22. Платформа(development, test, integration, production)

23. Зрелость(alpha, beta, release candidate, stable)

25. Сборки и варианты приложений Сборка: install.msi Вариант: AppName-1.1.8.en.x32_beta.msi Пример из жизни: HTC_Touch_Diamond2_WM6.5_RUU_Topaz_S_HTC_RUS_2.16.411.2_Radio_Sign_Topaz_61.44tc.25.32_4.49.25.17_Ship.exe 17

26. Как управлять процессом сборки?

29. Развертывание

30. Интеграция БД

31. Юнит-тестирование

32. Покрытие кода тестами

33. Статический анализ

34. Метрики исходного кода

35. Динамический анализ

36. Генерация документации

37. …Задачи сборки

38. Главный принцип – приоритизация задач

39. Есть тонкий момент…

40. В чем разница между… Сборкой Развертыванием и ?

41. Развертывание – это процесс установки ПО

42. Тогда как… сборка – это процесс создания артефактов для последующей инсталляции

43. Но! Для веб-приложенийсборка и развертывание – суть одно и то же =

44. Если точнее, то… Утверждение «сборка=развертывание» – справедливо для веб-приложений, использующих интерпретируемые языки программирования

45. Может возникать путаница Считается, что веб-приложения нужно развертывать

46. Но мы все равно будем говорить о сборках… …так как развертывание – это составная часть сборок

48. .exe, .bin, .msi, .cab, …

49. Библиотеки

50. .dll, .lib, .so, …

51. Архивы

52. .zip, .tar.gz, .bz2, .7z, .ear, .jar, .war, .sar, …

53. Пакеты

55. Updated database

56. Added incremental changes

57. Unpackaged library

59. Deployment

60. Runs on single machine

61. Does not require remote connection

62. Creates application installation

63. Makes sense always

64. Primary

65. Might be executed on several machines

66. Requires connection to the remote server

67. Installs application

68. Makes sense only in case of distributed or remote application

70. Классификация сборок по целевому назначению

71. Целевые платформы (Rails)

75. Очистка

76. Инициализация

77. Проверка свободного места

78. Build

79. Развертывание

80. Юнит-тестирование

81. Инспекции

82. Post-build

83. Генерациядокументации

84. Проверка ошибок сборки

85. Секьюрити-тесты

88. Конечно же rake + capistrano! + и еще…

90. И тут пошла жесть!

92. Развертывание

93. Интеграция БД

94. Юнит-тестирование

95. Анализ покрытия кода

96. Статическийанализ

97. Метрики исходногокода

98. Динамическийанализ

99. Генерациядокументации

100. …

101. task :compile

102. task :deploy

103. task :db:migrate

104. task :test:unit

105. task :coverage:check

106. task :inspections:run

107. task :metrics:gather

108. task :test:benchmark

109. task :doc:generate

112. Интеграция БД (migrations)

113. Загрузка стартовых данных (fixtures)

114. Юнит-тестирование

116. Local-сборка Компиляция Развертывание Интеграция БД Загрузка начальных данных Юнит-тестирование Простой статический анализ

117. Private-сборка – это… …полная пересборка локального dev-приложения

118. Компиляция Развертывание Интеграция БД Загрузка начальных данных Юнит-тестирование Простой статический анализ Private-сборка (development)

119. Integration-сборка – это… … сборка, которую запускает continuous integration сервер

120. Компиляция Развертывание Интеграция БД Загрузка начальных данных Юнит-тестирование Статический анализ Динамический анализ Генерация документации Сбор метрик Integration-сборка

121. Release-сборка – это… … то, что поступает на тестирование или в продакшн

122. Release-сборка Компиляция Развертывание Интеграция БД Загрузка начальных данных Юнит-тестирование Секьюрити тесты Проверка целостности Тесты на производительность

123. Резюмируя изложенное namespace 'build'do task :local => ['compile', 'test:unit'] do # ... end task :private => ['compile', 'deploy:private', 'db:migrate', 'db:fixtures', 'test:unit', ‘inspections:run'] do # ... end task :integration => ['compile', 'deploy:integration', 'db:migrate', 'db:fixtures', 'test:unit', 'inspections:run', 'dynamic_analysis', 'doc:generate', 'metrics:gather'] do # ... end task :release => ['compile', 'deploy:release', 'db:migrate', 'db:fixtures', 'test:unit', 'test:security', 'test:integrity', 'test:performance'] do # ... end end

124. Как управлять развертываниями? Точно так же, как и сборками

125. Классификация развертываний Статическое – когда запускается контейнер приложений На лету –возможность развертывать приложение во время работы контейнера приложений. Без перезапуска

127. Требуют соединения

128. Локальные

130. Синхронизирует файлы и директории для двух разных мест

131. SVN export – только измененные файлы

132. svn diff –summarize /path1 /path2

133. Развертывание добавленных/измененных с момента последней ревизии файлов

134. svn statusВ большинстве случаев это - … Головная боль!

136. Hot

137. Ability to deploy/undeploydeployables into a running container

138. Incremental

139. Deploying only changed files/artifacts

140. Remote

141. Requires connection via specified protocol

142. Local

145. Собственно развертывание

146. Запуск/перезапуск/остановкавеб-сервера

147. Интеграция БД

148. Генерация моделей

149. Дамп данных

150. Миграции

151. Фикстуры

153. synchronizes files and directories from one location to another

154. SVN export only changed files

155. svn diff –summarize /path1 /path2

156. Deploy only files modified/added since last revision

157. svn statusIn most cases it’s just a… HEADACHE!

158. Типичные случаи развертывания Локальное приложение Несколько локальных приложений Удаленные приложения, соответствующие локальным Высоконагруженное приложение

159. WC (working copy, trunk) локальноеразвертывание db instance №1

160. WC (working copy, trunk) локальное развертывание dev instance test instance prod instance №2 dev db test db prod db

161. + + + test prod dev локальное развертывание WC (working copy, trunk) удаленное развертывание + + + №3 prod test dev

162. Высоконагруженные приложения – тема отдельного доклада №4

163. Пример в студию!

164. Определите какие типы развертывания вы будете использовать Define what deployment type you will use (inherits from corresponding build type)

165. Define what deployment type you will use (inherits from corresponding build type) Define what deployment tasks you need For each deployment type prioritize chosen tasks Define destinations (production, test, development) Map destinations and deployment types Configure deployment destinations environment

166. WC (working copy) Репозиторий Развернутое приложение svn up r1049 ant build-private r1050 r1051 r1052 (#146) development changeset Второе развернутое приложение … manual merge svn up r1126 resolve conflicts ant build-private –Dinstance=2 svn commit yes OK? no make corrections manual merge svn commit

168. Выполняйте быстрые тесты первыми

169. Руководствуйтесь подходом staged-сборок

170. Чем раньше упадет билд, тем лучше

171. Приоритизируйте задачи сборки

172. Собирайте компоненты отдельно

173. Рекурсивная сборка

174. Централизуйте доступ к ресурсам проекта

175. Исходники к исходникам(контроль версий)

176. Бинарники к бинарнкам (выделенные репозитории)

177. Продуманная структура директорий проекта

179. Run faster tests first

180. Introduce staging into build process

181. Fail build fast

182. Organize build targets by priority

183. Build components separately

184. Recursive build

185. Centralization of project assets

186. Put sources to sources (VCS)

187. Put binaries to binaries (dedicated repositories)

188. Consistent directory structure

190. Спасибо за внимание