Everything as a Code / Александр Тарасов (Одноклассники)

Everything as a Code
Непривычно о привычном

@aatarasoff
@aatarasoff
@aatarasoff

Выйти за пределы...
8

...поняв, что всё есть код
9

Как вы представляете себе код?
10

@Configuration
@EnableConfigurationProperties(OneServerProperties.class)
public class OneServerConfiguration implements ApplicationContextAware {
ApplicationContext applicationContext;
@Autowired
OneServerProperties properties;
@Bean
public HttpServer httpServer() throws IOException {
HttpServer httpServer = new RelativePathHttpServer();
for (String beanName : context.getBeans(HttpController.class)) {
httpServer.addRequestHandlers(context.getBean(beanName));
}
return httpServer;
}
}
11
Наверное как-то так

>>,[>>,]<<[
[<<]>>>>[
<<[>+<<+>-]
>>[>+<<<<[->]>[<]>>-]
<<<[[-]>>[>+<-]>>[<<<+>>>-]]
>>[[<+>-]>>]<
]<<[>>+<<-]<<
]>>>>[.>>]
12
...или может быть так?

Что такое код?
● Коллекция инструкций
● Человекочитаемый формат
○ plain text
● Может быть понят и “проигран”
○ после компиляции
○ интерпретатором
13

Да я тоже пишу код!
14

Настройка рабочего окружения
16

Install apps Code Checkout
Configure
workspace
First Blood
17

Configure
workspace
First Blood
brew install
18

Configure
workspace
First Blood
brew install
pip install
19

Configure
workspace
First Blood
git
20

Configure
workspace
First Blood
customize
*.properties
21

Configure
workspace
First Blood
customize
*.propertiestemplate
.gradle
22

Configure
workspace
First Blood
customize
*.properties
install
certificates
23

Configure
workspace
First Blood
first build
24

Configure
workspace
First Blood
mass build
first deploy
25

ansible-playbook -i local-inv setup.yml --tags configure
26
Интерпретатор

27
Конфигурация

28
Алгоритм

# checkout repositories from git
- include: checkout.yml
# configure your local environment
- include: configure.yml
# add useful mappings to your hosts file
- include: hosts.yml
# add gradle support
- include: gradle.yml
# clean and build all projects
- include: build.yml
# delpoy all services to dev
- include: deploy.yml
29
Алгоритм

30
Входные параметры

- name: checkout services
git:
repo: "{{ git.root }}/{{ item.name }}.git"
dest: "{{ work_dir }}/{{ item.name }}"
update: yes
with_items:
- "{{ services }}"
tags:
- services
31
Массовый checkout/pull

git:
repo: "{{ git.root }}/{{ item.name }}.git"
dest: "{{ work_dir }}/{{ item.name }}"
update: yes
with_items:
- "{{ services }}"
tags:
- services
Переменные
32

git:
//
with_items:
- "{{ services }}"
services:
- { name: one-instant-messenger , sourceDir: src }
- { name: one-discussions , sourceDir: src }
- { name: one-attachment , sourceDir: src, testDir: test, local: true }
Циклы
33

services:
- { name: one-instant-messenger, sourceDir: src }
- { name: one-discussions, sourceDir: src }
- { name: one-attachment, sourceDir: src, testDir: test }
Коллекции и структуры данных
34

- name: create gradle build file
template:
src: build.gradle.j2
dest: "{{ work_dir }}/build.gradle"
mode: 0644
- name: create gradle settings file
template:
src: settings.gradle.j2
dest: "{{ work_dir }}/settings.gradle"
mode: 0644
Шаблоны
35

{% if services is not none %}{% for service in services %}
if (project.name == '{{ service.name }}') {
{% if 'sourceDir' in service %}
main.java.srcDir '{{ service.sourceDir }}'
{% endif %}{% if 'testDir' in service %}
test.java.srcDir '{{ service.testDir }}'
{% endif %}
}
Условные операторы
36

{% endif %}
}
Опять циклы
37

{% endif %}
}
Переменные
38

- stat: path={{ username }}.key
register: certkey
- name: generate private key
shell: openssl genrsa -out {{ username }}.key -aes256 4096
when: not certkey.stat.exists
Идемпотентность
39

Configure
workspace
Multiplie Use
40
Петля обратной связи
git

Что получили
● Автоконфигурация рабочего
пространства
○ повторяемая
○ немутабельная
● Можно дать скрипт новичку
● Можно и нужно пользоваться этим
каждый день
41

Искусство сборки
43

Compile code Unit tests Package Publishing
44

Compile code Unit tests Package
compiler
Publishing
45

javacresource
processing
Publishing
46

javacresources
copyingdependency
resolving
Publishing
47

junit
Publishing
48

jar
Publishing
49

jar
npm, deb, ...
Publishing
50

jar
npm, so, ...
docker image
Publishing
51

ivy
Publishing
52

maven, ivy
maven
Publishing
53

Compile code Unit tests Package Publishing
maven, ivylocal or dev
deploydocker registry
54

Системы сборки
● Ant + Ivy
● Maven
● Gradle
● Docker
● npm
● ...
55

FROM golang:1.7-alpine
MAINTAINER aatarasoff@gmail.com
VOLUME /data
WORKDIR /data
RUN apk update &&
apk upgrade &&
apk add git bash
RUN go get github.com/aatarasoff/apistress &&
go install github.com/aatarasoff/apistress
CMD [ "apistress" ]
Dockerfile. Наследование
56

VOLUME /data
WORKDIR /data
RUN apk update &&
apk upgrade &&
apk add git bash
CMD [ "apistress" ]
Dockerfile. Инструкции
57

ARG maindir=/data
VOLUME $maindir
WORKDIR $maindir
RUN apk update && apk upgrade && apk add git bash
CMD [ "apistress" ]
Dockerfile. Переменные
58

docker build … && docker push …
59

publishing {
publications {
mavenJava(MavenPublication) {
artifactId 'spring-one-nio-autoconfigure'
from components.java
artifact sourceJar {
classifier "sources"
}
}
}
}
Gradle. DSL
60

compile(ivyDependencies(projectDir, 'runtime'))
def ivyDependencies(ivyPath, conf) {
def dep = []
def ivyModule = new XmlParser().parse(file("${ivyPath}/ivy.xml"))
ivyModule.dependencies.dependency.each
dep.add([group: (null == it.@org ? 'ru.odnoklassniki' : it.@org),
name: it.@name,
version: it.@rev,
configuration: (it.@conf =~ /->(w+)/)[0][1]])
}
return dep
}
Gradle. Код как он есть
61

<macrodef name="docker-build-image" description="Build docker image">
<attribute name=" buildcommand"
default="build -t @{repo}/@{image}:@{tag} ."/>
<sequential>
<exec executable="docker">
<arg line=" @{buildcommand} "/>
</exec>
</sequential>
</macrodef>
И даже в Ant-е есть жизнь
62

./gradlew build test ant-docker-build-image publish
63

Фреймворки
для автоматизации
● Ant + Ivy
● Maven
● Gradle
● Docker
● npm
● ...
64

● Сборка это код
○ XML
○ DSL
○ Groovy
○ etc
● Системы сборки не только для
сборки
65

Ликвидация багов
66

Unit tests API tests Stress tests UI tests
67

TDD
68

goss --vars vars.yaml validate
69

port:
tcp:5601:
listening: true
ip:
- 0.0.0.0
service:
mesosd:
enabled: true
running: true
goss.yml
70

port:
tcp:5601:
listening: true
ip:
- 0.0.0.0
service:
mesosd:
enabled: true
running: true
goss.yml
71

port:
tcp:5601:
listening: true
ip:
- 0.0.0.0
service:
mesosd:
enabled: true
running: true
goss.yml
72

BDD Specs
73

def "Return error code 400, if User-ID header is not presented"() {
given:
def request = post("/rent")
when:
def result = this.mvc.perform(request)
then:
result.andExpect(status().isBadRequest())
.andDo(document("rent-user-id-is-absent"))
}
Дружелюбный BDD
74

def "Return error code 400, if User-ID header is not presented"() {
given:
def request = post("/rent")
when:
then:
result.andExpect( status().isBadRequest())
.andDo(document("rent-user-id-is-absent"))
}
Простые проверки
75

JMeter, wrk,
vegeta
76

JMeter
production
77

> config | run command
> echo $?
{0,1}
0 - success
1 - error
78
Экспресс-тест

{
"baseUrl": "http://host:9000/rent-service",
"tests": [
{
"rps": 10,
"duration": 5,
"target": {
"method": "GET",
"path": "/rent",
"headers": [
...
]
},
"sla": {
"latency": 1000,
"successRate": 99.999
}
},
... ]
}
config.json
79

{
"tests": [
{
"rps": 10,
"duration": 5,
"target": {
"method": "GET",
"path": "/rent",
"headers": [
...
]
},
"sla": {
"latency": 1000,
}
},
... ]
}
config.json
80

{
"tests": [
{
"rps": 10,
"duration": 5,
"target": {
"method": "GET",
"path": "/rent",
"headers": [
...
]
},
"sla": {
"latency": 1000,
}
},
... ]
}
config.json
81

cat config.json | docker run -i apistress -config=stdin
82
Где-то мы такое видели
https://github.com/aatarasoff/apistress

Requests [total, rate] 50, 10.20
Duration [total, attack, wait] 5.022872793s, 4.899943287s, 122.929506ms
Latencies [mean, 50, 95, 99, max] 143.772484ms, ..., 290.101831ms
Bytes In [total, mean] 4842, 96.84
Bytes Out [total, mean] 950, 19.00
Success [ratio] 100.00%
Status Codes [code:count] 200:50
Error Set:
Test#1
83

Duration [total, attack, wait] 5.022872793s, 4.899943287s, 122.929506ms
Latencies [mean, 50, 95, 99, max] 143.772484ms, ..., 290.101831ms
Status Codes [code:count] 200:50
Error Set:
Test#1
84

attacker := vegeta.NewAttacker()
var metrics vegeta.Metrics
for res := range attacker.Attack(targeter, rate, duration) {
metrics.Add(res)
}
metrics.Close()
if metrics.Success*100 < test.SLA.SuccessRate {
os.Exit(1)
}
if metrics.Latencies.P99() > SLA.Latency*time.Millisecond.Nanoseconds() {
os.Exit(1)
}
Немного go-кода
85

for res := range attacker.Attack( targeter, rate, duration) {
metrics.Add(res)
}
metrics.Close()
os.Exit(1)
}
os.Exit(1)
}
Майним метрики
86

metrics.Add(res)
}
metrics.Close()
os.Exit(1)
}
os.Exit(1)
}
Не слишком ли много ошибок?
87

metrics.Add(res)
}
metrics.Close()
os.Exit(1)
}
os.Exit(1)
}
Уложились ли по времени?
88

> cat config.json | docker run -i apistress -config=stdin
> echo $?
0
89
Код возврата

Duration [total, attack, wait] 23.04784s, 19.899754743s, 3.148093811s
Latencies [mean, 50, 95, 99, max] 3.023677499s, ..., 11.832287083s
Status Codes [code:count] 0:129 200:71
Error Set:
Get http://host:9000/rent-service/rent: EOF
Get http://host:9000/rent-service/rent: http: server closed idle connection
...
Test#2
90

> cat config.json | docker run -i apistress -config=stdin
> echo $?
1
91
Код возврата

Selenium,
Selenide
92

● Все тестовые сценарии в коде
● Можно встроить в процесс сборки
или доставки ПО
● Если хотите, то можно
генерировать отчёты для разбора
полётов
93

Code Branches
96
if / switch
DI

Code Branches
97
if / switch
DI
API v2

ISupplier<String, Ctx> srcsetSupplier = (ctx) -> {
if (configuration. isDoubleDensityAvatarsEnabled(user.getModel())) {
String link = imageSrc.getModel();
return linkBuilder.createSourceSetLink(link);
}
return "";
};
Очень простой эксперимент
98

Code Branches
One server or
partition
99
//by partition
app.photos.doubleDensityAvatarsEnabled: 0
Step#1

Code Branches
One server or
partition
Part of servers
or partitions
100
//by partition
app.photos.doubleDensityAvatarsEnabled: 0,4,7-9
Step#1 Step#2

Code Branches
One server or
partition
Part of servers
or partitions
All servers or
partitions
101
//by partition
app.photos.doubleDensityAvatarsEnabled: ALL
Step#1 Step#2 Step#3

//step#1
app.photos.doubleDensityAvatarsEnabled: 0
//step#2
app.photos.doubleDensityAvatarsEnabled: 0,4,7-9
//step#3
app.photos.doubleDensityAvatarsEnabled: ALL
102
Очень простой эксперимент

No one
One server or
partition
Part of servers
or partitions
All servers or
partitions
103
monitor
Step#1 Step#2 Step#3Step#0

104
Что хотим?
ansible-playbook -i {dev,test,prod}-env exp.yml --tags stepN

105
Абстракция
- name: update properties
uri:
url: "http://{{ pms_host }}/api/conf/update"
method: POST
user: "{{ username }}"
password: "{{ password }}"
force_basic_auth: yes
body:
applicationName: "{{ application_name }}"
propertyName: "{{ item.value.name }}"
propertyValue: "{{ item.value.value }}"
body_format: json
status_code: 200
headers:
Content-Type: "application/json"
with_dict: "{{ properties }}"

106
Координаты
uri:
method: POST
body:
body_format: json
status_code: 200
headers:

107
Вкатываем настройки
uri:
method: POST
body:
body_format: json
status_code: 200
headers:

108
Проверяем корректность
uri:
method: POST
body:
body_format: json
status_code: 200
headers:

109
Step#0
- hosts: local
vars:
application_name: odnoklassniki-web
props:
doubleDensityAvatarsEnabled:
name: "app.photos.doubleDensityAvatarsEnabled"
value: ""
roles:
- { name: pms, properties: "{{ props }}" }

110
Step#0
- hosts: local
vars:
props:
value: ""
roles:

111
Step#1
- hosts: local
vars:
props:
value: "0"
roles:

112
Step#2
- hosts: local
vars:
props:
value: "0,4,7-9"
roles:

113
Step#3
- hosts: local
vars:
props:
value: "ALL"
roles:

114
exp.yml
---
- include: step0.yml
tags:
- step0
- cleanup
tags: step1
tags: step2
tags:
- step3
- complete

● Эксперименты хранятся в git-
репозитории
● Можно применить любой шаг в
любой момент времени на любой
среде
● Можно встроить в пайплайн
доставки
115

Кододокументация
116

Analyst, PM Developer Tester Docs
Word, PDF...
117

Word, PDF... Code + Tests
118

Word, PDF... Code + Tests Test cases
119

Analyst, PM Developer Tester Docs :(
Word, PDF... Code + Tests Test cases
120

Analyst, PM Developer Tester Docs :)
Markdown/Asciidoctor
Docs :)
121

= Hippo Rent Service
This is documentation for Open API of our hippo renting service
== Methods
=== Rent
==== Request specification
===== Headers
//тут опишем http-заголовки
===== Example
//а здесь будут примеры вызова
==== Response specification
===== Response fields
//здесь описание полей ответа
===== Example
//ну и пример того, что вообще ожидать в ответе
Вот такой документ
122

./gradlew ... asciidoc publishDocs
123
Компиляция документа

def "Rent a hippo"() {
given:
def request = post("/rent").header("User-ID", "aatarasoff")
when:
then:
result.andExpect(status().isOk())
.andDo(document(
"rent-hippo",
preprocessResponse(prettyPrint()),
requestHeaders(
headerWithName("User-ID").description("User unique identifier")),
responseFields(
fieldWithPath("hippoRemain").description("Hippo remain count"),
fieldWithPath("parrot_fee").description("Fee in virtual parrots"),
fieldWithPath("ins").description("Insurance number. Yeah, we sell it"),
fieldWithPath("hash").description("Blockchain block hash"))
))
}
…и снова тесты
124

def "Rent a hippo"() {
given:
def request = post("/rent").header("User-ID", "aatarasoff")
when:
then:
result.andExpect(status().isOk())
.andDo(document(
"rent-hippo",
requestHeaders(
responseFields(
))
}
А не документация ли это?
125

document(
"rent-hippo",
requestHeaders(
responseFields(
fieldWithPath("ins").description("Insurance number. Yeah, we sell
it"),
)
Имя сниппета
126

document(
"rent-hippo",
requestHeaders(
responseFields(
fieldWithPath("ins").description("Insurance number. Yeah, we sell
it"),
)
Тестируем заголовки
127

document(
"rent-hippo",
requestHeaders(
responseFields(
)
Тестируем поля ответа
128

generated-snippets
rent-hippo
curl-request.adoc
http-request.adoc
http-response.adoc
httpie-request.adoc
request-headers.adoc
response-fields.adoc
Получаем сниппеты
129

This is documentation for Open API of our hippo renting service
== Methods
=== Rent
===== Headers
include::{snippets}/rent-hippo/request-headers.adoc[]
===== Example
include::{snippets}/rent-hippo/http-request.adoc[]
include::{snippets}/rent-hippo/response-fields.adoc[]
===== Example
include::{snippets}/rent-hippo/http-response.adoc[]
Вставляем их в документ
130

This is documentation for Open API of our hippo renting
service
== Methods
=== Rent
===== Headers
include::{snippets}/rent-hippo/request-headers.adoc[]
===== Example
include::{snippets}/rent-hippo/http-request.adoc[]
include::{snippets}/rent-hippo/response-fields.adoc[]
===== Example
include::{snippets}/rent-hippo/http-response.adoc[]
131

Что получили?
● Документация как код
○ лежит в репозитории с кодом
○ встроена в цикл сборки
○ рендерится в html, pdf и т.д.
○ почти всегда актуальна
● Синергия с тестами
133

Hardware
Containers
Application
PaaS
Mesos/Kubernetes/Private cloud
135

Hardware + OS System Libs PaaS Application
136

Ansible
137

Ansible
Puppet/Chef
138

Ansible. Inventory
[datacenter]
api-server-1
api-server-2
api-server-3
[datacenter:vars]
magicvar = 42
139

Ansible. Playbook
- hosts: datacenter
roles:
- role: docker
- role: rsyslog
140

ansible-playbook -i dc1 bootstrap.yml
141
Без комментариев

Ansible
142

Ansible
Puppet/Chef
143

Manifest
144

Docker compose
services:
zk:
image: zookeeper
network_mode: bridge
ports:
- 2181:2181
environment:
ZK_CONFIG: tickTime=2000,initLimit=10,clientPort=2181
ZK_ID: 1
145

Docker compose
services:
zk:
image: zookeeper
ports:
- 2181:2181
environment:
ZK_ID: 1
146

Конфигурация сервиса
services:
zk:
image: zookeeper
ports:
- 2181:2181
environment:
ZK_ID: 1
147

Mesos/Marathon
{
"id": "/api/rent-service",
"cpus": 1,
"mem": 1024,
"instances": 3,
"container": {
"docker": {
"image": "rent-service:0.0.1",
"portMappings": [
{
"containerPort": 8080
}
]
}
}
}
148

curl -X POST ... http://marathon/v2/apps?force=true
149
Современный деплоймент

Конфигурация приложений
https://your_repo/rent-service-config/routes.yml
routes:
payment:
path: /payment-service/**
serviceId: payment-service
150

Ещё конфигурация
● Zookeeper
● Consul
● Vault
● configo
● ...
151

configo
152
docker run
-e CONFIGO_SOURCE_0='{"type": "http", "format": "yaml", "url":
"https://my.server.com/common.yaml"}'
rent-service
//внутри приложения
getEnvironmentVariable("MY_ENV_VAR")
https://github.com/bsideup/configo

configo
153
docker run
-e CONFIGO_SOURCE_0='{"type": "http", "format": "yaml", "url":
"https://my.server.com/common.yaml"}'
-e CONFIGO_SOURCE_1='{"type" : "consul",
"address": "consul.master:8500",
"prefix" : "common"}'
rent-service
//внутри приложения
getEnvironmentVariable("MY_ENV_VAR")
https://github.com/bsideup/configo

● Инфрастуктура может быть легко
описана в виде кода
● Деплоймент и конфигурация
приложений в виде конфигов и
манифестов
154

156
Install Master
Configure
Slaves

157
Install Master
Configure
Slaves
Ansible

158
Install Master
Configure
Slaves
Ansible

Jenkins Docker Cloud plugin
<——— Хост с докером
<——— Сколько контейнеров можно запустить
159

Автоконфигурация
<clouds>
{% for group in ['build', 'test', 'production'] %}
{% for node in groups[group + '-slaves'] %}
<com.github.kostyasha.yad.DockerCloud plugin="yet-another-docker-plugin@0.1.0-rc31">
<name>{{ node }}</name>
...
<templates>
<com.github.kostyasha.yad.DockerSlaveTemplate>
<id>mycloud-template</id>
<dockerContainerLifecycle>
<image>{{ group }}-jenkins-slave</image>
...
</templates>
<connector>
<serverUrl>tcp://{{ node.hostname }}:2375</serverUrl>
<apiVersion>1.20</apiVersion>
</connector>
</com.github.kostyasha.yad.DockerCloud>
{% endfor %}
{% endfor %}
</clouds>
160

//checkout and definition stage
node('build') {
// Mark the code checkout 'stage'
stage 'Checkout'
git credentialsId: 'jenkins-git',
url: "${git_url}/${repo}.git"
// Mark build 'stage'
stage 'Build'
sh ('./gradlew clean build final')
}
//next steps

//deploy artifact to test
node('test') {
sh('ansible-galaxy install -r requirements.yml')
ansiblePlaybook(
credentialsId: 'ansible',
installation: 'ansible',
playbook: 'deploy.yml',
inventory: 'test'
)
}

//deploy artifact to test
node('test') {
sh('ansible-galaxy install -r requirements.yml')
ansiblePlaybook(
credentialsId: 'ansible',
installation: 'ansible',
playbook: 'deploy.yml',
inventory: 'test'
)
}
jiraComment (
issueKey: issue_id,
body: "Artifact has been deployed"
)

node('build') {
def repos = fetchRepos(project)
for (repo in repos) {
build(repo)
}
}
def fetchRepos(String project) {
def url = new URL("https://repo/projects/${project}/repos?limit=1000")
def conn = url.openConnection()
conn.setRequestMethod("GET")
def responseCode = conn.getResponseCode()
final slurper = new groovy.json.JsonSlurper()
def repos = slurper.parse(conn.getInputStream()).values
for (repo in repos) {
if (repo.slug.contains('one-'))
result << repo.slug
}
return result
}

179
Install Master
Configure
Slaves
Create
meta job
Ansible

180
Install Master
Configure
Slaves
Create
meta job
Ansible
cURL

181
Install Master
Configure
Slaves
Create
meta job
Create
pipelines

jobs.each { job ->
pipelineJob("${basePath}/${job}") {
//define SCM
definition {
cps {
script(readFileFromWorkspace('pipeline-template.groovy'))
sandbox()
}
}
}
}
JobDSL plugin
182

jobs.each { job ->
//define SCM
definition {
cps {
sandbox()
}
}
}
}
JobDSL plugin
183

jobs.each { job ->
//define SCM
definition {
cps {
sandbox()
}
}
}
}
JobDSL plugin
184

185
Install Master
Configure
Slaves
Create
meta job
Create
pipelines
git

ansible-playbook -i jenkins-for-my-team jenkins.yml
186
Это последний раз

● Пайплайн как код
● Неубиваемый CI
○ без бэкапов
○ всё хранится как код
○ разворачивается за X минут
187

Development Testing Deployment
Post
Deployment
188
> ./gradlew build test

Post
Deployment
189
> ./gradlew integrationTest publishDocs

Post
Deployment
190
> ansible-playbook -i env deploy.yml

Post
Deployment
191
> ansible-playbook -i prod exp.yml

Post
Deployment
192
Delivery Pipeline

Позитивные выводы
● Почти любой процесс можно
формализовать, представить в
виде кода и автоматизировать
● Мы все пишем код, хотя можем
думать, что это не так
● Рано или поздно всё превращается
в код
194

Trade-offs
● Необходимы как разовые
“капиталовложения”, так и
постоянные затраты ресурсов
● Могут потребоваться изменения в
архитектуре
● Требует дисциплины и более
высокой квалификации
специалистов
195

Спасибо, что выбрали красную

@aatarasoff
@aatarasoff
@aatarasoff
QA

Everything as a Code / Александр Тарасов (Одноклассники)

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Everything as a Code / Александр Тарасов (Одноклассники)

Ähnlich wie Everything as a Code / Александр Тарасов (Одноклассники) (20)

Mehr von Ontico

Mehr von Ontico (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Everything as a Code / Александр Тарасов (Одноклассники)