Testy wydajnościowe to nie tylko JMeter. Podobnie jak w przypadku testów automatycznych, liczba frameworków do badania wydajności stale rośnie. Poza wprowadzeniem w tematykę testów wydajnościowych, w trakcie prezentacji przyjrzymy się ich implementacji we frameworku k6. Opowiemy również dlaczego w The Software House postawiliśmy na jego wybór i jak dzięki prostym skryptom testowym zoptymalizowaliśmy kilka naszych projektów.

1. Wprowadzenie
do testów
wydajnościowych
w k6

2. 2
O MNIE
Marcin Basiakowski
Head of Quality Assurance @ TSH

3. AGENDA
1 Kilka słów o testach
wydajnościowych
2 Nasz wybór k6
3 Przykładowe case studies
4 Podsumowanie
3

4. 4
KILKA SŁÓW
O TESTACH
WYDAJNOŚCIOWYCH

5. PODSTAWOWE INFORMACJE
Testy wydajnościowe należą
do grupy testów niefunkcjonalnych.
Oznacza to, że obiektem ich badań
nie są funkcje aplikacji.
5

6. PODSTAWOWE INFORMACJE
Badają zachowanie aplikacji
i serwisów w różnych warunkach
obciążenia, wykorzystując dostępne
funkcjonalności do symulacji
działań użytkownika.
6

7. TYPY TESTÓW WYDAJNOŚCIOWYCH
Testy wydajnościowe dzielimy
na kilka typów. Każdy z nich ma
na celu dostarczenie różnych
informacji o systemie.
7

8. TYPY TESTÓW WYDAJNOŚCIOWYCH
8
LOAD TESTS
SMOKE TESTS

9. SMOKE TESTS
Ich zadaniem jest sprawdzenie,
czy Twój system bez problemu radzi
sobie z minimalnym obciążeniem.
9

10. TYPY TESTÓW WYDAJNOŚCIOWYCH
10
LOAD TESTS
SMOKE TESTS
LOAD TESTS
(PERFORMANCE)

11. LOAD TESTS (PERFORMANCE)
Dotyczą przede wszystkim oceny
wydajności systemu pod kątem
liczby jednoczesnych użytkowników
lub żądań na sekundę.
11

12. TYPY TESTÓW WYDAJNOŚCIOWYCH
12
LOAD TESTS
SMOKE TESTS
LOAD TESTS
(PERFORMANCE)
STRESS TESTS
SPIKE TESTS

13. STRESS TESTS I SPIKE TESTS
13
Dotyczą oceny ograniczeń systemu
i stabilności w ekstremalnych
warunkach.

14. TYPY TESTÓW WYDAJNOŚCIOWYCH
14
LOAD TESTS
SMOKE TESTS
LOAD TESTS
(PERFORMANCE)
STRESS TESTS
SPIKE TESTS
SOAK / ENDURANCE
TESTS

15. SOAK / ENDURANCE TESTS
15
Informują o niezawodności
i wydajności systemu w dłuższym
okresie czasu.

16. 1 Dbamy o zadowolenie swoich
użytkowników
2 Poznajemy szybkość i stabilność
swojej aplikacji
3 Poprawiamy skalowalność
4 Identyfikujemy wąskie gardła
5 Jesteśmy przygotowani
na nieoczekiwany ruch
DLACZEGO WARTO?
16

17. DLACZEGO WARTO?
17

18. 1 JMeter
2 Gatling
3 Locust
4 k6
5 Artillery
6 i wiele innych...
DOSTĘPNE FRAMEWORKI
18

19. 1 JMeter
2 Gatling
3 Locust
4 k6
5 Artillery
6 i wiele innych...
DOSTĘPNE FRAMEWORKI
19

20. 20
NASZ WYBÓR K6

21. KILKA SŁÓW O K6
k6 jest nowoczesnym narzędziem
do testowania obciążenia, stworzonym
z myślą o zadowoleniu programistów.
Silnik k6 jest napisany w Go, co czyni
go jednym z najlepszych tego typu
dostępnych narzędzi.
21

22. 1 Niski próg wejścia, łatwy w użyciu
2 Brak XML, brak DSL, po prostu
JavaScript
3 Integrowalny z wieloma narzędziami
4 Wspiera WebSockety i gRPC
5 Spójny z technologiami TSH
6 Darmowy w użyciu
DLACZEGO K6?
22

23. 1 To nie NodeJS, nie wspiera
pakietów npm
2 Część atrakcyjnych funkcjonalności
dostępna jest w płatnej usłudze
k6 Cloud
ZAWSZE JEST JAKIEŚ “ALE”
23

24. CENIONY PRZEZ INNYCH
24

25. CENIONY PRZEZ INNYCH
25
"The engineering effort of writing tests for just
one of our microservices was going to be 2+
Engineering weeks in JMeter, versus the ½ day
it took us in k6!"
Alex Hibbitt, Site Reliability Engineer

26. CENIONY PRZEZ INNYCH
26
"Very good load testing platform. We as a retailer got
tremendous help with the load testing to survive Black
Friday 2019. Biggest plus is that the tests can be run
from command line, and are configured with code."
CTO dużej firmy branży e-commerce

27. PRZYKŁADOWY KOD
27

28. PRZYKŁADOWY WYNIK TESTU
28

29. 29
K6 W AKCJI
Live Demo

30. TYPY TESTÓW WYDAJNOŚCIOWYCH
30
LOAD TESTS
SMOKE TESTS
LOAD TESTS
(PERFORMANCE)
STRESS TESTS
SPIKE TESTS
SOAK / ENDURANCE
TESTS

31. SMOKE TESTS
31

32. LOAD TESTS (PERFORMANCE)
32

33. STRESS TESTS I SPIKE TESTS
33

34. SOAK / ENDURANCE TESTS
34

35. K6 A TYPY TESTÓW WYDAJNOŚCIOWYCH
35
"One ring script to rule them all."
Pewien QA, którego
nazwiska nie pamiętam

36. 36
PRZYKŁADOWE
CASE STUDIES

37. 37
PROJEKT
MASHERBRUM

38. 1. Inicjatywa zespołu developerskiego
2. Chęć rozwoju testów przez
Developerów
3. Potrzeba obsługi Websocketów
4. Dedykowane środowisko
do przeprowadzenia testów
5. Brak informacji o spodziewanym
ruchu
WSTĘPNE INFORMACJE
38

39. WEBSOCKETY
39

40. PIERWSZE URUCHOMIENIE TESTÓW
40

41. 1. Część aplikacji radzi sobie bez
problemu z dużym ruchem (500 vus)
2. Dla jednego procesu przy niewielkim
ruchu (20 vus) dwie usługi AWS
przestają działać
3. Mechanizm automatycznego restartu
niedostępnych usług zawodzi
PIERWSZE WNIOSKI
41

42. 42
PROJEKT
BALTISTAN PEAK

43. 1. Inicjatywa zespołu developerskiego
podyktowana charakterem aplikacji
2. Dedykowane środowisko
do przeprowadzenia testów
3. Konkretna informacja nt.
oczekiwanej wydajności
(1000 req/s)
WSTĘPNE INFORMACJE
43

44. REQ/S ZAMIAST VUS
44

45. PIERWSZE URUCHOMIENIE TESTÓW
45

46. 1. Pierwsze timeouty przy ruchu 60 req/s
2. Kod prototypu aplikacji wymaga
dalszych optymalizacji
3. Wymagana jest również zmiana
konfiguracji środowiska aplikacji
PIERWSZE WNIOSKI
46

47. 47
PROJEKT
BROAD PEAK

48. 1. Inicjatywa zespołu developerskiego
(i ich intuicji)
2. Dedykowane środowisko
do przeprowadzenia testów
3. Konkretna informacja nt.
oczekiwanej wydajności
(w szczycie 60k użytkowników)
WSTĘPNE INFORMACJE
48

49. PIERWSZE URUCHOMIENIE TESTÓW
49

50. 1. Konieczność większej optymalizacji UI
(z uwagi na SSR)
2. Wydajność API powyżej oczekiwań
3. Konieczna rekonfiguracja usług AWS
4. Wymagane zwiększenie zasobów
aplikacji (CPU oraz RAM)
PIERWSZE WNIOSKI
50

51. 1. Zaangażowanie Developerów
oraz DevOpsów w pierwsze testy
2. Utrzymanie i rozwój testów przez
Developerów i/lub DevOpsów
3. Kontynuowanie i cykliczne
wykonywanie testów (Smoke,
Performance, Endurance)
4. Uzyskanie oczekiwanej wydajności
PODSUMOWANIE CASE STUDIES
51

52. PODSUMOWANIE
52

53. MANIFEST K6
53
Simple testing is better than no testing
Load testing should be goal oriented
Load testing by developers
Developer experience is super important
Load test in a pre-production environment

54. DZIĘKI ZA UWAGĘ
54

55. ╸ https://k6.io/
╸ strony z gifami :)
ŹRÓDŁA
55