Eine Testabdeckung von 50-80% ermöglicht es eine Codebasis wartbar zu halten. Refaktorisierungen sind dadurch sicherer durchführbar. Doch diese Sicherheit ist trügerisch. Denn wer garantiert, dass die Tests das richtige Testen? An dieser Stelle tritt eine "alte" Technik auf den Plan: Das Mutationstesten. Bereits 1971 vorgeschlagen, gewinnt es heute mit leistungsfähigen Multicore-Prozessoren immer mehr an Bedeutung. Der Vortrag zeigt die Leistungsfähigkeit dieser Technik am Beispiel der ausgereiften Bibliothek PIT. Mit dieser wurden Tests aus einem realen Projekt überprüft und deren Qualität erheblich gesteigert.

1. 1
Und wer testet die Tests?
Mutationstesten mit PIT
Johannes Dienst

2. 2
Warum Mutationstesten?

3. 3
Legacy Projekt

4. 4

5. 5
100% aussagekräftige Tests

6. 6
100% Zeilenabdeckung

7. 7
Wir sind fertig!

8. 8
So einfach?

9. 9
100% ≠ Fehlerfreiheit

10. 10
⚠ Subtile Bugs ⚠

11. 11

12. 12

13. 13
Tests härten!

14. 14
Wie?

15. Mutationstesten
Richard Lipton 1971

16. 15 . 1
15 . 2

17. 15 . 3
Gold Standard
⇨ aussagekräftige Tests

18. 16
PIT

19. 17
7 Default Mutatoren
12 Experimentelle Mutatoren

20. Default
Bedingungen, Mathematisch

21. 18 . 1
18 . 2
Rückgabetyp

22. 18 . 3
Entfernung von void-
Methodenaufrufen

23. Schnell
ant, maven, gradle etc.
Menschenlesbare Reports

24. 19
Testsuite
171 Tests

25. 20 . 1
20 . 2
Laufzeit
Ohne PIT: 0.5 min
Mit PIT: 4 min

26. 21
Erkenntnisse

27. 22
Bugs

28. 23
Seiteneffekte

29. 24
False positives

30. Demo
<plugin>
<groupId> org.pitest </groupId>
<artifactId> pitest-maven </artifactId>
<version> 1.1.11</version>
<configuration>
<targetClasses>
<param>de.*</param>
</targetClasses>
<targetTests>
<param>de.*</param>
</targetTests>
<threads> 3</threads>
</configuration>
</plugin>

31. 25 . 1
public class Fibonacci {
public int calc(int i) {
if (i == 0) {
return 0;
}
if (i <= 2) {
return 1;
}
return calc(i-1) + calc(i- 2);
}
}

32. 25 . 2
@Test public void seedValue0 () {
assertEquals( 0, fib.calc( 0));
}
@Test public void seedValue1 () {
assertEquals( 1, fib.calc( 1));
}
@Test public void seedValue2 () {
assertEquals( 1, fib.calc( 2));
}
@Test public void value3() {
assertEquals( 2, fib.calc( 3));
}
@Test public void value11() {
assertEquals( 89, fib.calc( 11));
}

33. 25 . 3
public class Sort {
public static List sort(List coll) {
List list = new ArrayList<>();
list.addAll(coll);
Collections.sort( list);
log(list);
return Collections.unmodifiableList( list);
}
private static void log( List list) {
System.out.println(
list.stream().map(Object::toString)
.collect(Collectors.joining( ", ")));
}
}

34. 25 . 4
@Test public void emptyList () {
assertEquals( true, Sort.sort(Collections.<Integer>emptyList()).isEmpty());
}
@Test public void oneList() {
assertEquals( false,
Sort.sort(Stream.of( 42).collect(Collectors.toList())).isEmpty());
}
@Test public void twoList() {
assertEquals( new Integer( 1),
Sort.sort(Stream.of( 2, 3, 1, 8).collect(Collectors.toList())).get( 0));
}

35. 25 . 5
26

36. 27

37. 28

38. 29

39. 30

40. 31

41. 32
Fazit
100% ≠ Fehlerfreiheit
Arbeitsaufwand
Bessere Testsuite

42. 33
JohannesDienst
johannesdienst.net
info@johannesdienst.net