Automation of functional tests using JMeter Part II (in Polish)

Automatyzacja
testów
funkcjonalnych

© 2010 Tieto Corporation

z wykorzystaniem narzędzia JMeter,
CZĘŚĆ II

Tomasz Stupak
Senior Test Engineer
Tieto

Spis Treści
•

Wstęp
•

•

4

5

Przygotowanie środowiska
Konfiguracja HTTP Request Defaults
Konfiguracja HTTP Proxy Server
Konfiguracja przeglądarki
Start serwera proxy
Nagrywanie skryptu
Nagrany skrypt
Odtwarzanie nagranego skryptu
Wyniki testu

6
7
8
9
10
11
12
13
14

Parametryzacja testu
•
•
•
•
•
•
•
•
•
•

2

JMeter advanced

Nagrywanie skryptu
•
•
•
•
•
•
•
•
•

•

3

15

Sposoby tworzenia zmiennych
Parametryzacja nazwy serwera
Zastąpienie nazwy serwera zmienną
Parametryzacja szukanej frazy
Zastąpienie szukanej frazy zmienną
Uruchamianie sparametryzowanego testu
Zmiana wartości zmiennej
Wskazówka
Wskazówka – UWAGA!
Wskazówka - rozwiązanie


Tomasz Stupak

16
17
18
19
20
21
22
23
24
25

2014-01-24

Spis Treści
•

Wykorzystanie asercji
•
•
•
•
•
•
•
•
•

•

27
28
30
31
32
33
34
35
36

38

Wstęp
Dodawanie Kontrolerów Logicznych
Dodanie Kontrolera Once Only Controller
Dodanie Kontrolera Interleave Controller
Dodanie Kontrolera Loop Controller
Dodanie Kontrolera If Controller
Uruchomienie testu z Kontrolerami Logicznymi

39
40
41
42
43
44
45

Wykorzystanie Timerów
•
•
•
•
•

3

Wstęp
Dodanie asercji
Response Assertion
Konfiguracja Response Assertion
Size Assertion
Konfiguracja Size Assertion
Duration Assertion
Konfiguracja Durtion Assertion
Uruchomienie testu z asercjami

Wykorzystanie Kontrolerów Logicznych
•
•
•
•
•
•
•

•

26

46

Wstęp
Dodawanie Timerów
Dodanie Timera Synchronizing Timer
Dodanie Timera Constant Timer
Uruchomienie testu z Timerami


Tomasz Stupak

47
48
49
50
51

2014-01-24

Spis Treści
•

Symulacja „żywych” użytkowników
•
•
•
•
•

•

Wstęp
Dodanie Timera Gaussian Random Timer
Konfiguracja Gaussian Random Timer
Symulacja żywych użytkowników

53
54
55
56
58

W następnym odcinku
•

4

52

59



60

Tomasz Stupak

2014-01-24


Wstęp

T
5 omasz Stupak

2014-01-24

JMeter advanced
• Wykorzytanie bardziej skomplikowanych elementów
aplikacji:
• Nagrywanie skryptów za pomocą elementu HTTP Proxy Server
• Parametryzacja testu
• Użycie asercji
• Użycie Logic Controllers
• Użycie Timerów

• Symulacja „żywych” użytkowników
6


Tomasz Stupak

2014-01-24


Nagrywanie
skryptu

T
7 omasz Stupak

2014-01-24

• Utwórz nowy projekt i dodaj
następujące elementy:
• Thread Group do Test Planu
• HTTP Proxy Server (Non-Test Elements)
do WorkBench

• Dodaj do Thread Group następujące
elementy:
•
•
•
•

8

HTTP Request Defaults (Config Element)
HTTP Cookie Manager (Config Element)
Recording Controller (Logic Controller)
View Results Tree (Listener)


Tomasz Stupak

2014-01-24

Konfiguracja HTTP Request
Defaults
• Web Server -> Server Name or IP:
• bash.org.pl

9


Tomasz Stupak

2014-01-24

Konfiguracja HTTP Proxy Server
• Test plan content -> Target Controller:
• Use Recording Controller

• Test plan content -> Grouping:
• Store 1st sampler of each group only

10


Tomasz Stupak

2014-01-24

Konfiguracja przeglądarki
• W tym przykładzie użyto przeglądarki Mozilla Firefox
• Narzędzia -> Opcje -> Zaawansowane -> Sieć ->
Ustawienia
• Ręczna konfiguracja serwerów proxy
• Serwer proxy HTTP: Localhost
• Port: 8080

11


Tomasz Stupak

2014-01-24

Start serwera proxy
• HTTP Proxy Server -> Start

• JMeter będzie przechwytywał ruch HTTP z przeglądarki
• Port nasłuchu można zmienić w ustawieniach HTTP Proxy
Server (pole Port)
• Po zakończeniu nagrywania naciśnij Stop oraz przywróć
poprzednie ustawienia w przeglądarce
• JMeter domyślnie potrzebuje 1000 ms (1s) przerwy między
poszczególnymi „kliknięciami”

12


Tomasz Stupak

2014-01-24

Nagrywanie skryptu
• Otwórz w przeglądarce stronę http://www.bash.org.pl
• Pod Recording Controller pojawił się HTTP Request
• W celu większej przejrzystości skryptu zmień nazwę samplera np. na
„Strona glowna”

•
•
•
•

Kliknij link „najnowsze”
Kliknij link „losowe”
Kliknij link „szukaj”
W pole wyszukiwania wpisz np. „mazowsze” i naciśnij
„szukaj”
• Zatrzymaj serwer proxy
• Nadaj requestom przejrzyste nazwy
• Zapisz skrypt
13


Tomasz Stupak

2014-01-24

Nagrany skrypt
• Nagrany skrypt powinien wyglądać tak:

14


Tomasz Stupak

2014-01-24

Odtwarzanie nagranego skryptu
• Start testu:
• Run -> Start
• CTRL+R

• Stop testu:
• Run -> Stop
• CTRL+.

• Wyczyszczenie wyników
• Run -> Clear All
• CTRL+E

15


Tomasz Stupak

2014-01-24

Wyniki testu

16


Tomasz Stupak

2014-01-24


Parametryzacja
testu

Sposoby tworzenia zmiennych
• Test Plan - > User Defined Variables
• Zmienne globalne dla całego Test Planu

• Thread Group -> Add -> Config Elements -> User Defined
Variables
• Zmienne lokalne dla danego wątku

18


Tomasz Stupak

2014-01-24

Parametryzacja nazwy serwera
• Test Plan -> User Defined Variables -> Add
• Name: host
• Value: bash.org.pl

19


Tomasz Stupak

2014-01-24

Zastąpienie nazwy serwera
zmienną
• Thread Group -> HTTP Request Defaults
• Wartość pola „Server Name or IP” zastąp wartością zmiennej host
• Stosuje się notację ${NAZWA_ZMIENNEJ}

• Przydatne np. w przypadku zapewnienia szybkiej
przenaszalności skryptu z serwera testowego na serwer
produkcyjny

20


Tomasz Stupak

2014-01-24

Parametryzacja szukanej frazy
• Test Plan -> User Defined Variables -> Add
• Name: search
• Value: mazowsze

21


Tomasz Stupak

2014-01-24

Zastąpienie szukanej frazy
zmienną
• Thread Group -> Recording Controller -> Szukaj (HTTP
Request) -> Send Parameters With the Request

• Wartość parametru q zastąp wartością zmiennej search:

22


Tomasz Stupak

2014-01-24

Uruchamianie
sparametryzowanego testu
• Wyczyść wyniki poprzedniego testu (jeśli to konieczne)
• Run -> Clear All (CTRL+E)

• Uruchom sparametryzowany test:
• Run -> Start (CTRL+R)

•

Sprawdź wyniki requestu wyszukiwania frazy:
• View Results Tree -> Szukaj -> Request
• Nazwa serwera oraz wartość parametru q powinny zostać prawidłowo
pobrane z użytych zmiennych

• View Results Tree -> Szukaj -> Response data (zmień na HTML)
• Powinna zostać pobrana odpowiednia strona

23


Tomasz Stupak

2014-01-24

Zmiana wartości zmiennej
• Zmień wartość zmiennej serach np. na „do sadu”:

• W przypadku problemów z kodowaniem znaków, użyj „%20”
zamiast znaku spacji („do%20sadu”)
• Uruchom test i sprawdź wyniki requestu wyszukiwania frazy

24


Tomasz Stupak

2014-01-24

Wskazówka
• Przed nagraniem skryptu dodaj zmienną z wartością
wyszukiwanej frazy
• Nagraj skrypt wpisując w pole wyszukiwania wartość
zdefiniowanej wcześniej zmiennej
• Wartość parametru q powinna automatycznie przybrać postać
zdefiniowanej wcześniej zmiennej

25


Tomasz Stupak

2014-01-24

Wskazówka – UWAGA!
• Serwer Proxy szuka wszystkich wystąpień wartości danej
zmiennej i zmienia je
• Może to doprowadzić do niepożądanej sytuacji:
• Dodaj zmienną o dowolnej nazwie i wartości search
• Nagraj skrypt wpisując w pole wyszukiwania „search”

• Wartość zmiennej została wpisana także do ścieżki

26


Tomasz Stupak

2014-01-24

Wskazówka - rozwiązanie
• HTTP Proxy Server -> Test plan content
• Zaznacz „Regex matching”
• Serwer proxy będzie traktorał zmienne jako wyrażenia regularne

• Wykorzystując wyrażenia regularne, sprecyzuj które
występowania powinny być zastępowane zmienną
• ^search$
• Serwer proxy będzie zastępował tylko pojedyncze stringi „search”
• Nie będzie zastępował np. „/search/”, używanego w ścieżce

• Przed odtworzeniem nagranego skryptu, przywróć wartość
zmiennej do poprzedniego stanu
27


Tomasz Stupak

2014-01-24


Wykorzystanie
asercji

Tomasz Stupak
28

2014-01-24

Wstęp
• Asercje służą do dodatkowego sprawdzania poprawności
wyników, zwracanych przez requesty
• Przetwarzane są po każdym requeście w danym zakresie
• Aby asercja stosowana była do jednego requestu, dodaj ją
jako jego podelement
• Asercje domyślnie stosowane są do requestu głównego, a nie jego
podelementów
• Można to zmienić w seksji „Apply to”

• Błędne wyniki asercji powodują pojawienie się błędu dla
danego requestu
• W celu monitorowania błędów asersji można też użyć
Listenera: Assertion Results


Dodanie asercji
• W nagranym wcześniej skrypcie dodaj asercje do requestu
wyszukiwania frazy:
• Thread Group -> Szukaj -> Add -> Assertions

• Dodaj następujące asercje:
• Response Assertion
• Size Assertion
• Duration Assertion

• Do Thread Group dodaj teże Listener: Assertion Results:
• Thread Gruop -> Add -> Listeners -> Assertion Results

30


Tomasz Stupak

2014-01-24

31


Tomasz Stupak

2014-01-24

Response Assertion
• Porównuje wybraną część odpowiedzi na request ze
zdefiniowanym wzorce w wybrany sposób.
• Sekcja „Apply to” pozwala określić do których requestów
odnosi się dana asercja (głównego, czy także
podelementów)
• Sekcja „Response Field to Test” pozwala określić do jakiej
części odpowiedzi odnosi się dana asercja
• Sekcja „Pattern Matching Rules” określa sposób, w jaki
dany wzorzec jest porównywany:
• Contains / Matches – wzorzec traktowany jest jako wyrażenie
regularne
• Equals / Substring – wzorzec traktowany jest jako tekst

• Sekcja „Patterns to Test” definiuje wzorce do porównania
32


Tomasz Stupak

2014-01-24

Konfiguracja Response Assertion
• Patterns to Test -> Add
• Dodaj wzorzec, który będzie sprawdzany w odpowiedzi requestu

33


Tomasz Stupak

2014-01-24

Size Assertion
• Sprawdza, czy odpowiedź na request zajmuje odpowiednią
ilość bajtów
podelementów)
• Sekcja „Size to Assert” określa rozmiar oraz sposób
porównania:
•
•
•
•

34

Równe
Różne
Większe (lub równe)
Mniejsze (lub równe)


Tomasz Stupak

2014-01-24

Konfiguracja Size Assertion
• W pole „Size in bytes” wpisz przykładową ilość bajtów
• W „Type of Comparison” wybierz „>”

35


Tomasz Stupak

2014-01-24

Duration Assertion
• Sprawdza, czy odpowiedź na request pojawiła się przed
upłynięciem podanego czasu
podelementów)
• Jeśli odpowiedź pojawi się po upłynięciu podanego czasu,
zwracany jest błąd
• Czas podawany jest w milisekundach

36


Tomasz Stupak

2014-01-24

Konfiguracja Durtion Assertion
• W pole „Duration in milliseconds” wpisz przykładowy czas

37


Tomasz Stupak

2014-01-24

Uruchomienie testu z asercjami
• Wyczyść wyniki poprzedniego testu (jeśli to konieczne)
• Run -> Clear All (CTRL+E)

• Uruchom sparametryzowany test:
• Run -> Start (CTRL+R)

•

Sprawdź wyniki requestu wyszukiwania frazy:
• View Results Tree -> Szukaj
• W tym przykładzie wszystkie asercje powinny zwrócić błąd

• Sprawdź wyniki Listenera: Assertion Results
• Dla requestu wyszukiwania frazy powinny być zwrócone błędy
asercji

38


Tomasz Stupak

2014-01-24

Zawartość
Listenerów:
• View Results Tree
(po lewej)
• Assertion Results
(poniżej)

• Zmień parametry asercji i po ponownym
uruchomieniu skryptu obserwuj wyniki
39


Tomasz Stupak

2014-01-24


Wykorzystanie
Kontrolerów
Logicznych

Tomasz Stupak
40

2014-01-24

Wstęp
• Kontrolery Logiczne określają logikę decydującą o tym,
kiedy wysłać request
• Mogą zmienić kolejność wykonywania requestów
• Mogą modyfikować requesty
• Mogą powodować powtórzenie wykonania requestów
• Można je łączyć w celu uzyskania danych rezultatów

41


Tomasz Stupak

2014-01-24

Dodawanie Kontrolerów
Logicznych
• Istnieją dwa sposoby dodawania Kontrolerów Logicznych
• Dodawanie pustego Kontrolera Logicznego i umieszczenie
Samplerów jako jego podelementy
• Dodanie Kontrolera Logicznego jako rodzica danego Samplera

• Thread Group -> Add -> Logic Controller
• Po dodaniu Kontrolera Logicznego, można umieszczać Samplery
jako jego podelementy

• Sampler -> Insert Parent -> Logic Controller
• Kontroler Logiczny zostanie dodany jako rodzic danego Samplera

• W poprzednich przykładach użyty został jeden Kontroler
Logiczny:
• Recording Controller

42


Tomasz Stupak

2014-01-24

Dodanie Kontrolera Once Only
Controller
• Once Only Controller sprawia, że
jego podelementy uruchamiane są
tylko przy pierwszej iteracji testu
• Dodaj Once Only Controller jako
rodzica requestu „Strona glowna”:
• Strona glowna -> Insert Parent ->
Once Only Controller

• Ustaw liczbę iteracji wątku na 3
• Thread Group -> Loop Count: 3

43


Tomasz Stupak

2014-01-24

Dodanie Kontrolera Interleave
Controller
• Interleave Controller sprawia, że
jego podelementy uruchamiane są
naprzemiennie co każdą iterację
(kolejno)
• Dodaj Interleave Controller jako
rodzica requestów „Najnowsze” i
„Losowe”
• Najnowsze -> Insert Parent ->
Interleave Controller
• Metodą „przenieś i upuść” dodaj
request „Losowe” jako podelement
Kontrolera Interleave Controller (Add
as Child)

• Podobnie działa Random
Controller (uruchamia losowo)
44


Tomasz Stupak

2014-01-24

Dodanie Kontrolera Loop
Controller
• Loop Controller uruchamia
podelementy daną ilość
razy w ramach danej iteracji
• Dodaj Loop Controller jako
rodzica requestu „Strona
wyszukiwania” i ustaw
liczbę iteracji na 2
• Strona wyszukiwania -> Insert
Parent -> Loop Controller
• Loop Controller -> Loop
Count: 2

45


Tomasz Stupak

2014-01-24

Dodanie Kontrolera If Controller
• If Controller decyduje, czy
jego podelementy mają być
uruchomione, czy nie
• Dodaj If Controller jako
rodzica requestu „Szukaj” i
ustaw warunek uruchomienia,
jeżeli zmienna search ma
wartość „test”:
• Szukaj -> Insert Parent -> If
Controller
• If Controller -> Condition:
"${search}" == "test"

46


Tomasz Stupak

2014-01-24

Uruchomienie testu z Kontrolerami
Logicznymi
• Uruchom test i sprawdź
wyniki Listenera: View
Results Tree:
• Request „Strona glowna”
wykonał się tylko w pierwszej
iteracji
• Requesty „Najnowsze” i
„Losowe” wykonywały się
naprzemiennie co iterację
• Request „Strona wyszukiwania”
wykonał się dwukrotnie co
daną iterację
• Request „Szukaj” nie wykonał
się, ponieważ warunek nie
został spełniony
47


Tomasz Stupak

2014-01-24


Wykorzystanie
Timerów

Tomasz Stupak
48

2014-01-24

Wstęp
• Timery używane są do tworzenia przerw między
wykonywaniem requestów
• Domyślnie JMeter wysyła requesty bez przerw, co może
spowodować przeciążenie serwera

• Gdy użyty jest więcej niż jeden Timer, JMeter sumuje ich
wartości
• Dodawane jako podelementy Samplerów lub Kontrolerów
• Timery przetwarzane są przed danym Samplerem
• Timery, które nie są przydzielone do Samplera, nie są
przetwarzane w ogóle


Dodawanie Timerów
• Aby przydzielić Timer do danego Samplera, dodaj go jako
jego podelement:
• Sampler -> Add -> Timer

• Timer będzie przetwarzany przed danym Samplerem
• Aby uruchomić Timer po danym Samplerze, dodaj go do
następnego Samplera

50


Tomasz Stupak

2014-01-24

Dodanie Timera Synchronizing
Timer
• Synchronizing Timer blokuje wątki, do
czasu aż określona liczba wątków
zostanie zablokowana, po czym
wznawia je jednocześnie
• Ustaw liczbę wątków na 3
• Thread Group -> Number of Threads: 3

• Dodaj Synchronizing Timer jako
podelement requestu „Strona glowna”:
• Strona glowna -> Add -> Timers ->
Synchronizing Timer

• Ustaw blokowanie 3 wątków:
• Synchronizing Timer -> Number of
Simulated Users to Group by: 3

51


Tomasz Stupak

2014-01-24

Dodanie Timera Constant Timer
• Constant Timer opóźnia wykonanie
danego requestu o ustaloną ilość
czasu
• W celu wprowadzenia losowego
opóźnienia, użyj Gaussian Random
Timer lub Uniform Random Timer
• Dodaj Constant Timer jako
podelement requestu „Strona
Wyszukiwania”:
• Strona wyszukiwania -> Add -> Timer ->
Constant Timer

• Ustaw opóźnienie na 1 sekundę:
• Constant Timer -> Thread Delay: 1000
• Czas podawany jest w milisekundach
52


Tomasz Stupak

2014-01-24

Uruchomienie testu z Timerami
• Uruchom test i obsersuj wyniki
Listenera: View Results Tree:
• Dzięki Timerowi: Synchronizing
Timer request najpierw wykonały się
3 requesty „Strona glowna”
• Przed każdorazowym wykonaniem
requestu „Strona wyszukiwania”
miała miejsce 1-sekundowa pauza

53


Tomasz Stupak

2014-01-24


Symulacja
„żywych”
użytkowników

Wstęp
• Zachowanie „żywego” użytkownika nieco różni się od
zachowania nagranego skryptu
• Użytkownik wysyła requesty do serwera w różnych
odstępach czasu, a powtarzane przez niego czynności
prawie nigdy nie są identycznie rozmieszczone w czasie
• „Ręczna” konfiguracja JMetera w celu symulacji „żywego”
użytkownika zajęłaby dużo czasu
• Przy odpowiednim wykorzystaniu dostępnych opcji, można
znacznie zautomatyzować proces symulacji „żywych”
użytkowników


• Otwórz nowy projekt i dodaj
oraz skonfiguruj elementy
potrzebne do nagrywania
skryptu
• Opcjonalnie sparametryzuj
skrypt dodając odpowiednie
zmienne
• Ustaw proxy przeglądarki,
aby requesty mogły być
rejestrowane przez JMetera

56


Tomasz Stupak

2014-01-24

Dodanie Timera Gaussian Random
Timer
• Gaussian Random Timer
powoduje opóźnienie
wykonania danego requestu o
zdefiniowaną wartość czasu
oraz zdefiniowane odchylenie
standardowe
• Dodaj Guassian Random
Timer jako podelement HTTP
Proxy Server:
• HTTP Proxy Server -> Add ->
Timer -> Gaussian Random Timer

57


Tomasz Stupak

2014-01-24

Konfiguracja Gaussian Random
Timer
• Gaussian Random Timer generuje opóźnienie będące
sumą:
• Rozkład normalny (średnia 0.0, odchylenie 1.0) * Deviation (wartość
podana przez użytkownika)
• Stałe opóźnienie (wartość podana przez użytkownika)

• W sekcji „Thread Delay Properties” ustaw następujące
wartości:
• Deviation: 1000
• Constant Delay Offset: ${T}

• T jest zmienną, w której JMeter przechowuje faktyczny czas,
jaki minął od wysłania ostatniego requestu

58


Tomasz Stupak

2014-01-24

• W ten sposób do każdego requestu nagranego przez HTTP
Proxy Server dodawany będzie Gaussian Random Timer z
faktycznym opóźnieniem, jakie miało miejsce podczas
nagrywania, losowo zmodyfikowana o wartość z pola
„Deviation”
59


Tomasz Stupak

2014-01-24

Symulacja żywych użytkowników
• Włącz HTTP Proxy Server i
nagraj przykładowy skrypt
• Zauważ, że do każdego
requestu HTTP dołączany jest
Gaussian Random Timer z taką
wartością Constant Delay Offset,
jaka faktycznie miała miejsce
podczas nagrywania
• Można usunąć lub
zdezaktywować Timer
pierwszego requestu:
• Gaussian Random Timer ->
Remove (Delete)
• Gaussian Random Timer -> Disable
60


Tomasz Stupak

2014-01-24


W następnym
odcinku

• JMeter advanced+ – testowanie bazy danych +
wykorzystanie wyrażeń regularnych (RegExp):
• Konfiguracja środowiska bazodanowego na potrzeby testów
• Łączenie się JMetara z bazą danych za pomocą JDBC Connection
Configuration
• Wysyłanie zapytań do bazy danych zapomocą JDBC Request
• Ekstrakcja potrzebnych informacji z wykorzystaniem wyrażeń
regularnych

62


Tomasz Stupak

2014-01-24


Tomasz Stupak
Senior Test Engineer
Tieto

Automation of functional tests using JMeter Part II (in Polish)

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (8)

Andere mochten auch

Andere mochten auch (15)

Ähnlich wie Automation of functional tests using JMeter Part II (in Polish)

Ähnlich wie Automation of functional tests using JMeter Part II (in Polish) (19)

Mehr von Tieto Corporation

Mehr von Tieto Corporation (20)

Automation of functional tests using JMeter Part II (in Polish)