Spock vs Supermutanten: Spezifikationstesten trifft Mutationstesten

Ralf D. Müller @RalfDMueller Johannes Dienst @JohannesDienst
Spock vs Supermutanten
Spezifikationstesten trifft auf Mutationstesten

Ralf D. Müller @RalfDMueller und Johannes Dienst @JohannesDienst
Was ist Spock?

Was ist Spock?
3
Leonard
Brüning

Was ist Spock?
4
private Fibonacci fib;
@Before
public void setup() {
fib = new Fibonacci();
}
@Test
public void seedValue0() {
assertEquals(0, fib.calc(0));
}
@Test
}
// …
Developer

Was ist Spock?
5
@Before
}
@Test
}
@Test
}
// …
Developer

Was ist Spock?
6
@Before
}
@Test
}
@Test
}
// …
Developer

Was ist Spock?
7
Fibonacci fib;
@Before
void setup() {
}
void seedValue0() {
}
void seedValue1() {
}
// …
Developer

Was ist Spock?
8
Fibonacci fib;
@Before
void setup() {
}
void "test the fibonacci generator with input 0"() {
}
void "test the fibonacci generator with input 1" {
}
// …
Developer
Product
Owner

Was ist Spock?
9
Fibonacci fib;
@Before
void setup() {
}
given:
Fibonacci fib = new Fibonacci()
when:
def result = fib.calc(i)
then:
}
}
// …
Developer

Was ist Spock?
10
given:
when:
then:
}
}
// …
Developer

Was ist Spock?
11
given: "an instance of the fibonacci generator"
when: "the fib sequence for 0 is calculated"
then: "the expected number is returned"
}
}
// …
Developer
Product
Owner

Was ist Spock?
12
when: "the fib sequence for 0 is calculated"
then: "the expected number is returned"
result == expected
}
}
// …
Developer
Product
Owner

Was ist Spock?
13
when: "the fib sequence for a given input #i is calculated"
then: "the expected number #expected is returned"
result == expected
where:
i || expected
0 || 0
2 || 1
11 || 89
}
Developer
Product
Owner

DB Systel. Digital bewegen. Gemeinsam. Ralf D. Müller @RalfDMueller und Johannes Dienst @JohannesDienst14
Reports

Reports

Reports
Product
Owner
Developer

Ralf D. Müller @RalfDMueller und Johannes Dienst @JohannesDienst17
100%
Zeilenabdeckung?

100%
Icons made by Sprang from www.flaticon.com

Finde den Fehler?
public List<Integer> sort(List<Integer> coll) {
List<Integer> list = new ArrayList<>(coll);
Collections.sort(list);
log(list);
return Collections.unmodifiableList(list);
}
public void log(List<Integer> list) {
System.out.println(
list.stream().map(Object::toString)
.collect(Collectors.joining(", ")));
}

Finde den Fehler?
def "test Sort"() {
given: "an instance of Sort"
def Sort = new Sort()
when: "the given list #list is sorted"
def result = Sort.sort(list)
then: "the result is as #expected"
result == expected
where: ""
list || expected
[] || []
[5] || [5]
[2,1,3,8] || [1,2,3,8]
}

Finde den Fehler?
log(list);
}
System.out.println(
}

Und nun?

Fehler gezielt provozieren

Automatisierung

Mutationstesten

Mutationstesten - Funktionsweise

DEMO HTML
Report

Increments Mutator
i++ wird zu i--
Math Mutator
+ wird zu -
* wird zu /
Negate Conditionals Mutator
== wird zu !=
<= wird zu >
Conditionals Boundary Mutator
< wird zu <=
<= wird zu <
Invert Negs Mutator
-i wird zu i
Default Mutatoren

Increments Mutator
i++ wird zu i--
Math Mutator
+ wird zu -
* wird zu /
== wird zu !=
<= wird zu >
< wird zu <=
<= wird zu <
Invert Negs Mutator
-i wird zu i
Default Mutatoren

public Object foo() {
return new Object();
}
Code Smells finden mit dem Return Values Mutator
new Object();
return null;
}

return new Object();
}
Code Smells finden mit dem Return Values Mutator
new Object();
return null;
}

Dead Code finden mit dem Void Method Call Mutator
log(list);
}
System.out.println(
}

Äquivalente Mutationen
public int calc(int i) {
if (i == 0) {
return 0;
}
if (i <= 2) {
return 1;
}
return
calc(i-1) + calc(i-2);
}
def "test fibonacci generator"() {
given: "fibonacci generator"
when: "calc sequence for input #i"
then: "expected number is returned"
result == expected
where:
i || expected
0 || 0
2 || 1
11 || 89
}
i < 2

Warum PIT?
Schnell durch
Parallelisierung
Arbeitet auf
Bytecode
Lesbare
Reports
Tooling

Mutationstesten – im größeren Team

Welche zwei Fragen sind noch offen?
Johannes.Dienst@DeutscheBahn.com
@JohannesDienst
Ralf.D.Mueller@DeutscheBahn.com
@RalfDMueller

https://jaxenter.de/mutant-testing-pit-java-84437
https://m.heise.de/developer/artikel/Mutationstests-mit-PIT-in-
Java-3888683.html?seite=all

Spock vs Supermutanten: Spezifikationstesten trifft Mutationstesten

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von Johannes Dienst

Mehr von Johannes Dienst (18)

Spock vs Supermutanten: Spezifikationstesten trifft Mutationstesten