Ich habe mir immer gewünscht,dass mein Computer so leicht zu bedienen istwie mein Telefon;mein Wunsch ging in Erfüllung:me...
29.05.13 2Übersicht Anforderungen Funktionale Tests Nicht funktionale Tests Testergebnisse
Pferde fressen keinen Gurkensalat.Über Anforderungen
29.05.13 4Tests in Telekommunikation Hohe Komplexität der Systeme Geringe Toleranz
29.05.13 5System under TestAllgemeine ArchitekturPSTNVoIPSess.Bord.Contr. (3*2)SIP-Server (2)Call-RoutingCall-Manager (5)P...
29.05.13 6Funktionale Requirements VoIP-Telefonie Anrufe aus/ins Fest- und Mobilfunknetz Vermitteln mit und ohne Rückfra...
29.05.13 7Nicht-funktionale Requirements VoIP-SystemeUnterschiedliche Quellen System Requirement Specification 44000 Bus...
Hauptsache, es klingelt?Über funktionale Tests in der Telekommunikation
29.05.13 9Nachrichtensequenzen nach SIP Hangup-Auslöser (Quellen) Hardphone, Softphone Anrufer Hangup-Empfänger SBC, ...
29.05.13 10Funktionale TestsRufaufbau – CTI -Controls und Hardphones Gesprächsannahme Gesprächsaufbau Konferenzen Make...
29.05.13 11Funktionale Tests – Sonderfunktionen VoIP und CTI DTMF-Versand und DTMF-Empfang Anruf von internen und extern...
29.05.13 12Testautomatisierung und Werkzeuge Wireshark SIPP Empirix Hammer Audioeditor QuickTap zur Aufzeichnungam En...
Wir haben hier nur µ LawÜber nicht-funktionale Tests von VoIP-Systemen
29.05.13 14Welche Last wird im Test gefahren? Redundante Systeme sind nicht immer gleich verteilt 3 redundante SBC-Stand...
29.05.13 15Nicht-funktionale Tests – Performance Testszenarien Spitzenlaststunde Durchschnittslast für vier Stunden La...
29.05.13 16Nicht-funktionale Tests – Robustheit Stoßfestigkeit Bursttest Call Initiations per Second Mehrere Iteratione...
Das Netzwerk ist erprobte TechnikÜber Testergebnisse
29.05.13 18Rufaufbauzeit BHCC 1200 Anrufe 250 Zwei Ausreißer bei 800/900 ms und1400/1500 ms Requirement nicht getroffe...
29.05.13 19Anruflängen als Lastparameter Längenvorgabe: 45 s, KPI definieren: akzeptabel: 44,5-46,5 Vorzeitiges Ende: S...
29.05.13 20Robustheit – SprachqualitätOriginalAufnahme TDMEndgerätAufnahme VoIP
29.05.13 21Robustheit – Call Initiations per Second Verschliffene Peaks Anrufe nicht komplett abgebaut Unterschiedliche...
29.05.13 22Vielen Dank für Ihre AufmerksamkeitDiethelm Dahmsdd@speech-and-phone.deSpeech & Phone GmbHBredereckstr. 412621 ...
Nächste SlideShare
Wird geladen in …5
×

Funktionale und nicht-funktionale Tests von VoIP-Systemen

724 Aufrufe

Veröffentlicht am

Von der Anforderung zum Testfall: die Möglichkeiten VoIP-Systeme auf Herz und Nieren zu untersuchen sind zahlreich

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
724
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Speech & Phone GmbH: Est. 2003, seit 2008 als GmbH Beratungsleistungen an der Schnittstelle von IT und TK Architekturberatung Testmanagement Prozessberatung In allen Phasen Analyse, Design, Konzeption Entwicklung Inbetriebnahme Betrieb Branchen Telekommunikation – Finanzwirtschaft Anlagenbau – Chemische Industrie Handel/Gastgewerbe - Gesundheitswesen
  • Philipp Reis und sein Bruder Dagegen heute …
  • Schnittstellenanzahl Anzahl der Protokolle Vermittlungspositionen Verschiedene Standards Laufzeiten ab 125 ms in menschlicher Kommunikation störend ITU empfiehlt Laufzeiten unter 150 ms zu halten Messungen gemäß G.107  Darstellung von guten und schlechten Requirements  Ableitung von Messpunkten aus Requirements  Darstellung von Testszenarien für funktionale und nicht-funktionale Tests  CTI-Schnittstellen  VoIP-Architektur/ VoIP-Hardware/ VoIP-Software MLPS & Netzwerkarchitektur Weiter mit beispielhafter Architektur
  • Grün: TDM, Gelb: VoIP Anrufquelle: Festnetz oder Mobilfunknetz Public Gateway – Session Border Controler Sip-Server Session Border Controler – Call-Routing – Interactive Voice Response (IVR) – Call-Manager – CTI-Control (Computer Telephony Interface) Call-Manager VoIP-Endgerät – TK-Anlage (PBX) – CTI-Control via VoIP-Endgerät Jede Komponente in unterschiedlicher Redundanz Jede Komponente Schnittstellen erzeugen Testbedarf
  • Requirements für Telekommunikationslösungen Oft vage formuliert Mitunter Antizipation von vorhandenen Lösungen Funktionalität von Telekommunikation ist „common sense“ statt abrufbares Wissen Das erzeugt Grauzonen
  • Gilt auch für nicht-funktionale Requirements System Requirements Specification Key Performance Indikatoren Testszenarien Funktionale Tests
  • Telefonieren ist einfach Wenn es funktioniert Doch bis es funktioniert, Kann einige Zeit vergehen Und dass es funktioniert Dafür gibt es Entwickler Und Tester
  • Der Anrufer bestimmt, den Anrufablauf, nicht der Entwickler und nicht der Projektmanager Ein Telefonsystem muss vor allem eines sein Robust Und als Zweites Fehlertolerant Funktionale Tests – Vorbedingungen 3 VoIP-Geräte pro Bauform Endgeräte der Telefonanlage bei Parallelbetrieb Mobiltelefone mit unterschiedlichen SIM-Karten Optional Anschlüsse anderer SIP-Provider Auslandsanschluss
  • Gesprächsannahme Hörer aufnehmen/Taste/Button Festnetz, Mobilfunk, VoIP Gesprächsaufbau Wahl Rufnummern Rufweiterschaltung Sofort/nach Zeit/Besetzt Abbruch Gesprächsaufbau Weitere Funktionen Konferenzen intern/extern Gespräch halten und heranholen Vermitteln Anruf zu Besetzt Rückruf Weiterklingeln Abweisen/Umleiten Rufannahme durch Anrufbeantworter Fax Modem Interacitve Voice Response
  • DTMF-Ziiffern ein- und mehrstellig Verständlichkeit ist das A und O eines Kommunikationskanals Bedienbarkeit ist das Salz in der Suppe der CTI Moderne TK-Anlagen haben VoiceMail-Systeme Bedienung per DTMF oder Sprache Emailversand optional Verschiedene Client-OS Intern und extern bedienbar und verwendbar DTMF-Bedienung externer Systeme von intern DTMF-Bedienung interner Systeme von intern und extern sichern
  • Wireshark Jitter Delay VoIP-Calls Paketverlust SIPP Erzeugung von Last Empirix Hammer Erzeugung von Last Aufnahme von Beispielanrufen QuickTap zur Aufzeichnung Aufnahme von Beispielanrufen Aufzeichnung von Anrufen zur Testautomatisierung Audioeditor Erstellung von Referenzaufnahmen Auswertung von Testergebnissen
  • Weitere Freiheitsgrade Neben Schnittstellen treten Protokollwandlungen auf SIP  H.323 aLaw  uLaw H.323  SCCP … DTMF von und nach extern Rufnummernübertragung von und nach extern
  • Testanalyse Redundante Systeme in unterschiedlichen Ausprägungen Loadbalancing Loadsharing Hot standby Cold standby Last entsprechend einplanen für einen einzelligen Aufbau ohne Redundanz, aber mit allen wesentlichen Komponenten Loadbalancing 100 % (Front end Server berücksichtigen) Load sharing 100 % / (redundate Systeme – 1) Hot standby 100 % (Failover) Cold standby 100 % (Failover) Faustregel 100 % für Spitzenlaststunde
  • Ziel: Nachweise, dass die Betriebswere Memory, CPU, Netzwerk der beteiligten Komponenten des SUT im betrieblich vorgeschriebenen Rahmen bleiben Im Bild rechts, Memory und CPU-Last eines Call-Managers während eines LAsttests Vorbereitung Cronjobs und andere Dienste auf SUT wie in Wirkbetrieb einrichten Betrachtung aller Systeme im Test Ermittlung der Worst-Case-Last: Ausfall eines Backup- oder Redundanz-Systems Meist begrenzte Kanalzahl des Testsystems: dann Gesprächslänge reduzieren Drei Szenarien für Lasttests Signallast SIP 30 %, Medialast ca. 70 % Tests immer mit Meidalasst durchführen Jump: maximaler Last BHCC: 40000 Ziel Spitzenlasst Sprint: 50 % der anzunehmenden Last 20000 Ziel erhöhte Dauerlast, Spitzenlastswert liegt erfahrungsgemäß 300 % über Durchschnittswert. Marathon: 25 % der Spitzenlast für 36 Stunden: 10000 Ziel Nachwei längerer Zeitraum über Datumswechsel mit Berücksichtigung von Dienst Berechnung Faustformel: BHCC = 3600 / Gesprächslänge * Kanäle Kanäle = Gesprächslänge / 3600 * BHCC Durchschnittliche Rufaufbauzeiten und Pausen zwischen Anrufen auf demselben Kanal berücksichtigen
  • Ziel: Nachweis der Verlässlichkeit in Extremsituationen Bild: Nachweis der Stoßfestigkeit durch wiederholtes Senden von Peaks Drei Szenarien Stoßfestigkeit: Call Initiations per Second: BHCA / 3600 Kanalbelegung: alle verfügbaren Kanäle gleichzeitg belegen: Hauptmesspunkt Audio-qualtät Redundanztests Ausfalltest: Ausfall einer redundanten Komponente, Übergang auf Backup-Komponente Schwenken auf eine Stand-By-Komponente Wiederanfahrtest: Inbetribnaheme einer ausgefallenen Komponente Verteilung der Last auf beide Systeme
  • Seien Sie misstrauisch gegenüber den eingesetzten Systemen Darstellung ausgewählter Messergebnisse Welche Parameter sind zu beobachten? Rufaufbauzeiten Anruflängen Audioqualität
  • Großes bild Verteilung der Rufaufbauzeiten in Klassen von 100 ms Kleines Bild Nachrichten Rufaufbauzeiten Messung von INVITE – ACK Rufaufbauzeiten verteilen sich nach Poisson Hier zwei Ausreißer Test Failed, weil KPI nicht eingehalten Erwartung Gleichmäßige Abnahme der Anrufanzahlen in den weiteren Klassen
  • Testaufbau muss definierte Anruflängen vorsehen Damit werden vorzeitige Gesprächsabbrüche erkannt
  • Kanalbelegung Spitzenlast Dauerlast Darstellung Aufnahme durch Telefon am Festnetz Abspielen durch Testsystem an SUT Aufnahme an SUT Messung Sprachqualität durch Mean Opinion Score Bewertung von 1 schlecht bis 5 sehr gut Paketverlust hier nicht nachweisbar Äußert sich durch sichtbare Lücken in den Wellenformen Paketverlust äußert sich durch „außerirdischen“ Klang Deutlich erkennbar die Verschleifung der Nuancen durch die Übertragung an den markierten Stellen
  • Bursttest CIPS = BHCA / 3600 BHCA = BHCC *3,75 Testaufbau Anrufaufbau Audio-übertragung Abbau nach definierter Zeit durch Testsystem Zehnmalige Wiederholung Beobachtung CPU Memory Rufaufbauzeiten Abbau von Calls Abbau der Speicherbelegung nach Testende
  • Funktionale und nicht-funktionale Tests von VoIP-Systemen

    1. 1. Ich habe mir immer gewünscht,dass mein Computer so leicht zu bedienen istwie mein Telefon;mein Wunsch ging in Erfüllung:mein Telefon kann ichjetzt auch nicht mehr bedienen.Bjarne StroustrupÜber funktionale und nicht-funktionale Tests von VoIP-Systemen
    2. 2. 29.05.13 2Übersicht Anforderungen Funktionale Tests Nicht funktionale Tests Testergebnisse
    3. 3. Pferde fressen keinen Gurkensalat.Über Anforderungen
    4. 4. 29.05.13 4Tests in Telekommunikation Hohe Komplexität der Systeme Geringe Toleranz
    5. 5. 29.05.13 5System under TestAllgemeine ArchitekturPSTNVoIPSess.Bord.Contr. (3*2)SIP-Server (2)Call-RoutingCall-Manager (5)PSTNPBX (1)IVR (1)CTI-Appl. (5)PLMNPublic Gateway (3)TDM VoIPAdminMonitoringReporting
    6. 6. 29.05.13 6Funktionale Requirements VoIP-Telefonie Anrufe aus/ins Fest- und Mobilfunknetz Vermitteln mit und ohne Rückfrage Konferenzen intern und extern mit max. drei Teilnehmern Makeln Steuerung am CTI-Control und am Hardphone Screen Pop in fünf Applikationen
    7. 7. 29.05.13 7Nicht-funktionale Requirements VoIP-SystemeUnterschiedliche Quellen System Requirement Specification 44000 Busy Hour Call Completions 160000 Busy Hour Call Attempts Mean Opinion Score > = 4,0 99,99 % Verfügbarkeit Key Performance Indicators Rufaufbauzeit 95 % <= 1s Call Acceptance Rate >= 99,9 % Softwareergonomie Gleichmäßiger Speicherverbrauch
    8. 8. Hauptsache, es klingelt?Über funktionale Tests in der Telekommunikation
    9. 9. 29.05.13 9Nachrichtensequenzen nach SIP Hangup-Auslöser (Quellen) Hardphone, Softphone Anrufer Hangup-Empfänger SBC, SIP-Server, Call Manager IVR, TK-Anlage CTI-Applikationen Softphone, Hardphone Routing Hangup-Zeitpunkte Wählen Klingeln Gespräch
    10. 10. 29.05.13 10Funktionale TestsRufaufbau – CTI -Controls und Hardphones Gesprächsannahme Gesprächsaufbau Konferenzen Makeln Rufnummernübertragung Rückruf bei Besetzt Anklopfen
    11. 11. 29.05.13 11Funktionale Tests – Sonderfunktionen VoIP und CTI DTMF-Versand und DTMF-Empfang Anruf von internen und externen IVR-Systemen Anruf von internen und externen Spracherkennungssystemen Synchronität Funktionen CTI-Control/Softphone/Hardphone Schnittstellen Telefonbuch Screenpop
    12. 12. 29.05.13 12Testautomatisierung und Werkzeuge Wireshark SIPP Empirix Hammer Audioeditor QuickTap zur Aufzeichnungam Endgerät
    13. 13. Wir haben hier nur µ LawÜber nicht-funktionale Tests von VoIP-Systemen
    14. 14. 29.05.13 14Welche Last wird im Test gefahren? Redundante Systeme sind nicht immer gleich verteilt 3 redundante SBC-Standorte mit redundanten Systemen undLoadbalancing 2 SIP-Server in Cold-Standby 2 redundante Call-ManagerVoIPRoutingPSTNPBXIVRSIPCTISBCSBCSBCSIPSIPCCM
    15. 15. 29.05.13 15Nicht-funktionale Tests – Performance Testszenarien Spitzenlaststunde Durchschnittslast für vier Stunden Langläufer für 36 Stunden Varianten Verwendung von Spitzen Lauf als Szenario Anfahrzeiten berücksichtigen
    16. 16. 29.05.13 16Nicht-funktionale Tests – Robustheit Stoßfestigkeit Bursttest Call Initiations per Second Mehrere Iterationen Kanalbelegung In erster Linie Audioqualität Concurrent Channels Gesörächsdauer Redundanz Ausfalltest Wiederanfahrtest
    17. 17. Das Netzwerk ist erprobte TechnikÜber Testergebnisse
    18. 18. 29.05.13 18Rufaufbauzeit BHCC 1200 Anrufe 250 Zwei Ausreißer bei 800/900 ms und1400/1500 ms Requirement nicht getroffen:90 % < 1s BHCC 2800 Anrufe 11500 Keine Ausreißer 99,8 % in 200 ms
    19. 19. 29.05.13 19Anruflängen als Lastparameter Längenvorgabe: 45 s, KPI definieren: akzeptabel: 44,5-46,5 Vorzeitiges Ende: SUT löst zu früh aus, weil Last zu hoch Nachträgliches Ende: SUT kam mit Verarbeitung nicht nach
    20. 20. 29.05.13 20Robustheit – SprachqualitätOriginalAufnahme TDMEndgerätAufnahme VoIP
    21. 21. 29.05.13 21Robustheit – Call Initiations per Second Verschliffene Peaks Anrufe nicht komplett abgebaut Unterschiedliche Anruflängen Verlängerte Rufaufbauzeiten Anrufe identisch auf- undabgebaut Längen entsprechend Vorgabe Rufaufbauzeiten in Ordnung
    22. 22. 29.05.13 22Vielen Dank für Ihre AufmerksamkeitDiethelm Dahmsdd@speech-and-phone.deSpeech & Phone GmbHBredereckstr. 412621 BerlinTelefon: 030-91 68 59 14

    ×