Oplægget blev holdt ved et seminar i interessegruppen Softwaretest, der blev afholdt den 4. juni 2013. Læs mere om arrangementet her: http://www.infinit.dk/dk/arrangementer/tidligere_arrangementer/seminar_i_interessegruppen_softwaretest_02.htm

1. Erfaringer med systemtest
BASERET PÅ CASES I DET NORDJYSKE
AF NIELS ANDEREN
INFINIT – 4. JUNI 2013
WITAS - SOFTWARE SOLUTIONS 1

2. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 2

3. Niels Andersen
Civilingeniør indenfor proceskontrol i 1997 fra AAU
Dator, conscius, GateHouse, Logistics og KMD
Projektleder igennem 15 år
Software udvikler igennem 6 år
Industri, satellit kommunikation, overvågning, test, energi og finans
Schur Packaging Systems, Crisplant, Inmarsat, Vestas, AAU, etc.
WITAS - SOFTWARE SOLUTIONS 3

4. Witas – Software Solutions
Jeg hjælper firmaer med at skabe den gode software, igennem min indsats som
projektleder, testkoordinator og hvad der ellers kræves.
Freelance og konsulent
 Projektledelse og test koordinering
 Projekt gennemførsel
 Krav, arkitektur, design, udvikling, test og idriftsættelse
Kursus
Produkter
WEB: www.witas.dk
Kontakt:
 Niels Andersen
 nan@witas.dk
WITAS - SOFTWARE SOLUTIONS 4

5. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 5

6. AAU projekter
Havde jeg lært noget test?
Ikke det store fokus i rapporter?
Fokus nogle gange bare på kompilering og debug.
Uformelle manuelle test.
Exploratory test.
Debugging.
Prototype resultater …
WITAS - SOFTWARE SOLUTIONS 6

7. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 7

8. Thorsted Mailroom System
Dator udviklede PC styringen for Schur Packaging System.
PC styring:
 Konfiguration, diagnoser, pakkeliste, adresseliste og SCADA.
 Brugerstyring og sprog.
Konfiguration: Indstikker, inkjet, stakker og bundtadressering.
 En PLC til hver enhed.
Enkelt server, samt op til 20 linier hver med 2 PC’er på hver.
Fuldt ud konfigurerbart system igennem ini filer og gui / DB.
Udviklet i 1996, og årene fremover med knopskydninger.
Fast pris.
Ude at køre 50-100 steder.
Ofte releases … En gang om ugen.
Slut brugere ikke ret IT kyndige.
WITAS - SOFTWARE SOLUTIONS 8

9. Indstikker og stakker
WITAS - SOFTWARE SOLUTIONS 9

10. Stakker og bundtadressering
WITAS - SOFTWARE SOLUTIONS 10

11. Transport og lager
WITAS - SOFTWARE SOLUTIONS 11

12. TMS - Teknologi
Profibus og ethernet.
Windows NT (ude af trit med normal udvikling PC).
Access og senere MS SQL Server.
Primært - Java, VB og C, samt Perl.
WITAS - SOFTWARE SOLUTIONS 12

13. TMS – Test strategi
Udvikling:
Debugging eller log analyse.
Simulator.
FAT:
Manuel test af ny funktionalitet vha. simulator.
Manuel smoke test af enkelt konfigurationer.
Simulator med og uden profibus.
SAT:
Leverandør tager del i idriftsættelse (remote eller onsite),
eller kunden tester selv.
Typisk enkelte konfigurationer.
WITAS - SOFTWARE SOLUTIONS 13

14. Opsummering – TMS
WITAS - SOFTWARE SOLUTIONS 14
Pro
• Test specifikationer.
• Exploratory test.
• Simulatorer.
• Tæt på kunden igennem FAT og SAT.
Cons
• Check af eksisterende funktionalitet
mangler.
• Mange konfigurationer ikke testet.
• Unit test (automatisk) eksisterede
ikke.
• Gentagne manuelle test.
• Person afhængigt.
• PC afhængigt.

15. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
 AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 15

16. Inmarsat BGAN software
WITAS - SOFTWARE SOLUTIONS 16

17. Inmarsat BGAN Protocol Stack
WITAS - SOFTWARE SOLUTIONS 17

18. BGAN Network Emulator
WITAS - SOFTWARE SOLUTIONS 18

19. Inmarsat BGAN forløb
GAN
UTRS – Inmarsat køber User Terminal Reference Stack vs. BPT.
Flere andre terminal udviklere køber BPS.
BAF
BNE
Autotest
Mere end 50.000 enheder solgt.
WITAS - SOFTWARE SOLUTIONS 19

20. BPS & BNE - Teknologi
C++ (Reduced pga. embedded platforme).
Ruby ved autotest (Note – Script sprog)
WITAS - SOFTWARE SOLUTIONS 20

21. BGAN test strategi
Udvikling:
Unit test.
ITS (TTCN3) – Ikke anvendt senere.
System test:
BNE – BGAN Network Emulator.
Autotest.
On-air ready:
BPT – Inmarsat compliance script.
Og en masse andet test for at få terminalen godkendt.
WITAS - SOFTWARE SOLUTIONS 21

22. Opsummering – BGAN
WITAS - SOFTWARE SOLUTIONS 22
Pro
•Automatiseringsgrad høj.
•Emulator / simulator.
•Mulighed for dagligt at følge
regressioner.
•Separat test og udvikling (overgang).
•Udviklere efterspurgte test systemet.
•Anvendes fortsat efter 4 år.
•Defect trend.
Cons
•Taget laaang tid at udvikle.
•Systemerne ikke oppe at køre dag et.
•Separat test og udvikling (overgang).

23. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
 AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 23

24. OPUS Økonomi Bilag
Kommunale marked > 45 kunder
Indrapportering af udgiftbilag
Godkendelse af fakturaer, samt indkøb ordre bundne fakturaer
Søgninger
Rolle håndtering
Kreditnota
WITAS - SOFTWARE SOLUTIONS 24

25. OPUS Økonomi Bilag
Personer i teamet – 20+ (totalt 600 personer som releaser til OPUS)
Udvikling:
Forretningspecialister (Domæne, kunder)
Arkitekter
Udviklere
Test Manager + testere
Osv.
Maintenance, support, drift, launching, etc.
Teknologi:
 Udvikling - SAP ABAP
Test - HP ALM / QC, udviklet I QTP
WITAS - SOFTWARE SOLUTIONS 25

26. OPUS test strategi
Udvikling
Debugging
Unit test (Manuel)
System test
Automatisk
Manuel
Integration test
Automatisk
Manuel
Release test
Automatisk
Manuel
Produktion test
WITAS - SOFTWARE SOLUTIONS 26

27. Opsummering – OPUS
WITAS - SOFTWARE SOLUTIONS 27
Pro
•Stort test fokus.
•Test design.
•Automatisering.
•Defect trend.
•Exploratory test.
•Pilot test.
Cons
•Håndtering af konfiguration.
•Automatisering tager lang tid.
•Manuel test. Manuelle regressionstest
gav ofte nye fejl.
•Unit test ikke automatiserede.
•Manglende synergi mellem udvikling og
test.
•Release overhead.
•Versionskontrol.

28. Agenda
Hvem er jeg
Hvem er WITAS
Test af:
 AAU projekter: 1992 – 1997
Thorsted Mailroom System: 1997 – 2002 ( - 2011)
Inmarsat BGAN software: 2003 – 2009 ( - 2013)
OPUS Økonomi Bilag: 2011 – 2013
Opsummering
WITAS - SOFTWARE SOLUTIONS 28

29. Opsummering af test
Kunde involvering – Kravsudvikling og forståelse.
Indbygget kvalitet – Fælles holdning til kvalitet.
Unit test (automatisk) – Fundament.
Simulatorer – Giver realistisk og lettere test.
Manuelt test – Skal ikke undværes.
 Exploratory test, slipper fantasien løs til at komme ud i hjørnerne.
 Samarbejde mellem ”domæne viden”, udviklere og testere giver synergi.
 Spiller sammen med simulatorer.
Automatisering – Husk afvejning af behov.
 Daglige test.
 Regressionsanalyser.
 Konfigurationsmanagement – Kode, konfiguration, test og test framework.
 Defect trend.
Management – Fokus og forståelse.
 I sidste ende koster projektet mindre, hvis der testes – fornuftigt.
WITAS - SOFTWARE SOLUTIONS 29

30. Tak for at i lyttede …
Yderligere spørgsmål og diskussion?
Kontakt:
Niels Andersen
nan@witas.dk
WITAS - SOFTWARE SOLUTIONS 30