BizDataX Testdatenmanagement Konzepte

431 Aufrufe

Veröffentlicht am

BizDataX Transformiert und Synthetisiert neue Testdaten. Entweder wird die Produktionsdatenbank zu Maskierung von Daten benutz, oder die Testdaten werden Synthetisiert und in einer nicht-Produktionsdatenbank eingespeist. Dabei werden Datenmaskierungstechniken wie Unterteilung, Redaktion (Schwärzen), Randomisierung, Generalisierung und Mischen verwendet. Die Maskierung bewahrt sowohl das Format als auch den Kontext der realen Daten, um so neue Datensätze herstellen zu können, welche realitätsnah sowie geeignet für eine Vielzahl von nichtproduzierenden Geschäftsprozessen (zum Beispiel dem Softwareentwicklungsprozess) sind. Es können elementare Maskierungstechniken kombiniert werden, so dass sie einen komplexen Maskierungsalgorithmus bilden, welcher einen Schutz für die Sicherheit Ihrer vertraulichen Daten garantiert. BizDataXsnap-in ermöglicht den Administratoren den Datenmaskierungsprozess manuell zu starten oder dessen Ausführung terminiert zu automatisieren. Die Administratoren können laufende Prozesse beobachten, den Verlauf analysieren sowie Konfigurationsparameter und Benachrichtigungseinstellungen setzen. BizDataX zeigt Leistungsstarke Performance wenn es darum geht grosse Datenmengen zu Maskieren oder zu Synthetisieren. Beispiel: BizDataX verarbeitet ca. 500-600 Millionen Records in ca. 4 Stunden.

Veröffentlicht in: Software
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
431
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
6
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

BizDataX Testdatenmanagement Konzepte

  1. 1. Testdatenmanagement Konzepte EIN PRODUKT VON EKOBIT
  2. 2. 2 WWW.BIZDATAX.COM Kurzdarstellung Wir erleben ein rasantes Wachstum von IT Systemen, und damit einen signifikanten Anstieg im Volumen der Daten in Organisationen auf der ganzen Welt. Dieser Trend erhöht die Notwendigkeit von Qualitätskontrolle der IT- Systeme, insbesondere in Bezug auf das Management von Testdaten. Außerdem können wir nicht die Verantwortung der Organisationen in Bezug auf den Datenschutz und die Geheimhaltung von Daten ignorieren. Der einzige Weg um die Qualität von IT Systemen sicherzustellen ist ein ausgeprägtes Bewusstsein für Qualitätssicherung (QA) und die Anwendung von QA und insbesondere von Software Testprozess während des gesamten Lebenszyklus der Anwendungen. Eine der wichtigsten Testprozess Disziplinen ist das Testdatenmanagement (TDM). TDM führt eine Reihe von neuen Konzepten in den Testprozess ein (beispielsweise das Konzept der beinahe realen Daten, siehe unten) auf die jedes professionelle TDM Tool eine Antwort haben muss. Durch die jahrelange Arbeit an komplexen Projekten für internationale Kunden, sind wir auf die Bedeutung hochwertiger Umsetzung der Schlüsselkonzepte des TDM aufmerksam geworden und haben beschlossen, eine Lösung zu schaffen, die sowohl unseren Kunden als auch uns hilft. Das Ergebnis ist BizDataX, eine innovative Lösung für Testdatenmanagement. BizDataX ermöglicht rechtzeitige Lieferung von realistischen und relevanten Testdaten, Übereinstimmung mit Datenschutzbestimmungen und nahtlose Integration mit gängigen Testmanagement- und Testautomatisierungstools. Durch maßgeschneiderte und effiziente Schaffung von Testdaten, erhöht BizDataX die Effektivität Ihres Testprozess bei gleichzeitiger Kostensenkung.
  3. 3. 3 WWW.BIZDATAX.COM Einführung Testdatenmanagement (TDM) ist ein integraler Bestandteil des Testprozesses und unterstützt diesen in allen seinen Phasen, indem es eine schnelle Bereitstellung der Testdaten zu den niedrigsten möglichen Kosten ermöglicht, wobei Sie mit öffentlichen Datenschutzbestimmungen und denen der Industrie konform bleiben. TDM ist eine Grundlage für die Testautomatisierung, wodurch Testprozesseffizienz erhöht, Risiken minimiert und die Gesamtqualität der getesteten Anwendung und Systeme erhöht wird. Hier die wichtigsten Konzepte einer durchdachten Testdatenmanagement Lösung: •   Beinahe reale Daten •   Konformität mit Datenvorschriften •   Produktive Testdatenbereitstellung •   Leistungsstarker Testdatenregeln Designer •   Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung •   Unterstützung für eine Vielzahl von Quellen- und Zieldatenbanken •   Unterstützung für die Datenanalyse und Äquivalenzklassen •   Testdaten Projekt Management •   Unterstützung für Drittanbieter-Testmanagement und Testautomatisierungstools •   Enterprise Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..) •   Dokumentation- und Archivierungsfunktionen Ziel dieses Dokuments ist es, Ihnen ein besseres Verständnis für jede dieser Schlüsselkonzepte zu verschaffen und Informationen darüber, wie die BizDataX Testdatenmanagement Lösung diese Konzepte umsetzt.
  4. 4. 4 WWW.BIZDATAX.COM Beinahe reale Daten Das Konzept der beinahe realen (‘near real‘) oder ausreichend realistischen Daten beruht auf der Tatsache, dass die Testdaten, in Bezug auf die Datenqualität und Datensemantik, so viel wie möglich den Daten in den Produktionsdatenbanken ähneln sollten (oder den Daten, die erwartungsgemäß in den Szenarien der realen Welt verwendet werden). Dies ist ein Schlüsselkonzept in einem Testprozess, nämlich die Sicherstellung der Korrelation zwischen der kontrollierten Testumgebung und den realen Szenarien. BizDataX setzt viele Datengenerierungs- und Datenanonymisierungs- Methoden und Algorithmen ein, welche die Bereitstellung von realistischen Daten ermöglichen. Einige von ihnen sind Listen der Wiederbeschaffungswerte, nationale Identifikationsnummern, Generatoren von Finanzwerten, Generatoren von Telefonnummern, E-Mails und viele andere. EIN BIZDATAX WORKFLOW BEISPIEL
  5. 5. 5 WWW.BIZDATAX.COM Konformität mit Datenvorschriften Unter Verwendung von Produktivdaten Testdaten zu erzeugen, ist eine häufige und oft bevorzugte Methode der Testdatenbereitstellung. Nebst der vielen positiven Aspekten dieser Vorgehensweise gibt es geschäftliche und Privatsphäreninteressen, die berücksichtigt werden müssen. Eine TDM Lösung muss mit Techniken versorgt werden, die flexible Anonymisierung auf sensiblen Daten ermöglicht, um mit den verschiedenen Datenschutzgesetzen konform zu gehen. Bei der Verwendung von Algorithmen zur Erzeugung von realistischen Daten berücksichtigt BizDataX bereits den Datenschutz. Zum Beispiel erzeugt BizDataX bei der Bereitstellung von Kreditkartennummern diese aus einer Reihe von ungültigen Kreditkartennummern, die allen Formatanforderungen gerecht werden, die aber weltweit nicht auf reale Personen ausgestellt sind. BizDataX kommt bereits mit einer Reihe von vorgefertigten Algorithmen und Methoden, wie z. B. ‘Data Shuffling‘, nutzt aber auch die .NET-Entwicklungsplattform, um eine beliebige Anzahl von neuen, datenschutzfreundlichen Testdatengenerierungsmethoden zu erstellen. BIZDATAX WORKFLOW – KREDITKARTE INFORMATION ERSTELLEN
  6. 6. 6 WWW.BIZDATAX.COM Produktive Testdatenbereitstellung Abhängig von den Business Szenarien könnten Testdaten täglich, ja sogar stündlich benötigt werden. In einem komplexen Umfeld von Business Anwendungen wird der Bedarf an “just- in-time”-relevanten Testdaten sehr hoch sein. Dies kann erhebliche Kosten für Hardware und ausgebildete Arbeitskräfte, die verantwortlich sind für die Bereitstellung von Testdaten in Testteams, mit sich bringen. BizDataX wird von Grund auf dafür entwickelt, möglichst schnellen Testdaten Workflow Design und Ausführung der Testdaten Jobs zu ermöglichen. Sie können komplexe Testdaten Szenarien mit Hilfe vom BizDataX Designer erstellen, sie in BizDataX Runtime einsetzen und Milliarden von Testdatensätze generieren, und all das innerhalb von Stunden. Einmal erstellte Testdaten Jobs können beliebig viele Male ausgeführt werden. Besondere Sorgfalt wird angewendet zur Beschleunigung der Ausführung der Jobs. BizDataX Runtime Engine analysiert Testdatengenerierung Regeln, um den optimalen Ausführungsplan zu ermitteln und die bestmögliche Leistung mit paralleler Ausführung und Paging von großen Datenmengen zu erreichen. BIZDATAX DESIGNER UND RUNTIME Designer Runtime Management Console Host Host Host Test Databases Flat file XML
  7. 7. 7 WWW.BIZDATAX.COM Leistungsstarker Testdatenregeln Designer Jede TDM Lösung benötigt eine intuitive und effiziente Möglichkeit, um Regeln für die Testdatengenerierung zu entwerfen. Hier scheitern heutzutage die meisten Lösungen. Um alle realen Szenarien abzudecken, kann Ihr Regeln Designer nicht nur auf eine Reihe von vordefinierten Regeln für eine bestimmte Branche oder nur Skriptsprachen festgelegt werden, oder noch schlimmer (Ausbildungskosten) proprietäre Sprache als Erweiterungspunkt verwenden. Sowohl die Benutzerschnittstelle (UI) als auch die Benutzererfahrung (UX) spielen ebenfalls eine sehr wichtige Rolle bei der Auswahl der richtigen Lösung. BizDataX Designer fügt sich in die Microsoft Visual Studio Umgebung und den Workflow Editor als ein Add-In ein. Assistenten und visuelle Hinweise unterstützen den Prozess der Regeldefinition. Drag-n-Drop hilft die allgemeinen Parameter festzulegen, das Eigenschaftenfenster ist dazu da, die Details festzulegen. Die Regeln sind visuell konzipiert mit domänenspezifischer Terminologie. Man braucht nicht über Tabellen, Views, SQL, Schleifen, Cursor, Transaktionen und ähnliches nachdenken. BizDataX dehnt sich natürlich auf die .NET- Plattform aus, indem es vollständige Unterstützung bietet für Programmiersprachen wie C #, JScript usw. Durch den wirksamen Einsatz der Microsoft Entwicklungsplattform, beschleunigt BizDataX die Workflow Entwicklung der Testdatengenerierung, verkürzt die Ausbildungskurve und verringert die Gesamtkosten des Testdatenmanagements. BIZDATAX DESIGNER
  8. 8. 8 WWW.BIZDATAX.COM Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung BizDataX ermöglicht die Bereitstellung von Testdaten durch die Kombination von Funktionsvielfalt der Anonymisierung (Data Masking), Subsetting und den Fähigkeiten der synthetischen Datenerzeugung. Wenn Produktivdaten anonymisiert werden, wenn sie von Grund auf erzeugt werden oder bei einer Kombination von beidem, verwendet das System integrierte: •   Listen der Wiederbeschaffungswerte: Personennamen mit Land/Region und Geschlechtsattributen, Orte, Postleitzahlen, Straßen, Banken ... •   Nationale Identifikationsnummer- Generatoren (AHV, SSN... ) •   Generatoren von Finanzwerten: Kreditkartennummern, Kontonummern, IBAN •   Generatoren von Telefonnummern, E-Mails ... •   ‘Data Shuffling‘ Modul •   Vorlagen mit Platzhaltern die verwendet werden, um Freitextfelder auszufüllen •   Formeln zur Datumsverschiebung •   Bedingte Konstrukte zur Behandlung von Sonderfällen •   und vieles mehr... Viele alltägliche Testverfahren sind in der Lage zu funktionieren und von der Verwendung einer sehr kleinen Teilmenge von ursprünglich riesigen Datenmengen zu profitieren. Kleinere Datenbanken senken die Investitionen in Hardware- und Software-Lizenzen, die benötigt werden, um eine parallele Test Infrastruktur aufzubauen. Masked data Real data
  9. 9. 9 WWW.BIZDATAX.COM Unterstützung für eine Vielzahl von Quellen-und Zieldatenbanken In vielen TDM Szenarien ist der Zugriff auf Produktivdaten nötig, um Testdaten zu erzeugen. Produktivdaten werden in der Regel in vielen verschiedenen Datenbanksystemen gespeichert, und dadurch könnte der Zugriff auf Daten mit irgendeiner Art von hausgemachtem, skriptbasierten Ansatz sehr schwierig sein. Unterstützung für verschiedene Datenbanken ist ein Muss für eine gute TDM-Lösung. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, einschließlich relationalen und Legacy-Datenbanken. Es kann auch eine Verbindung zu Flat Files, Excel-Dateien, MS SQL Analyse-Services- Projekten und XML schaffen. Eine direkte Verbindung zu verschiedenen Datenbanksystemen wird durch die Möglichkeit ergänzt, Daten auf eine ‘staging’ Datenbank zu übertragen, um den Kerntestdatengenerierungsprozess vom ETL-Prozess zu trennen. Die daraus entstehende Testdatenbank kann in einer Vielzahl von Datenbankformaten erstellt werden. Außerdem wahrt BizDataX die Referenzdatenintegrität über Datenbank- und Systemgrenzen hinweg. EIN BIZDATAX WORKFLOW BEISPIEL MIT ZUGRIFF AUF ORACLE, DB2 UND SQL SERVER DATENBANKEN
  10. 10. 10 WWW.BIZDATAX.COM Unterstützung für die Datenanalyse und Äquivalenzklassen Eine TDM-Lösung muss fähig sein, Produktivdaten zu analysieren, um Testdatengenerierungsregeln gemäß den Geschäftsregeln genau zu definieren. Eine gründliche Datenanalyse ist die Grundlage für den erfolgreichen und effizienten Testablauf. Es ermöglicht die Ermittlung relevanter Daten, die benötigt werden, um Testfälle zu vervollständigen, das spart Zeit und erhöht die Qualität des Vorgangs. Es hilft auch Testdatenmengen zu optimieren und damit ein einfacheres Datenbankmanagement und niedrigere Hardwarekosten zu schaffen. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, die Datenbank Schemata importieren und Metadaten Analyse ermöglichen. BizDataX ermöglicht auch die Definition von Kriterien für die Ermittlung der Äquivalenzklassen. Datensatzgruppen können analysiert werden, um spezielle Fälle zu identifizieren und eine hundertprozentige Testfallabdeckung zu erreichen. Die Kriterien werden dann vom BizDataX Subsetting Modul verwendet, um die minimale Teilmenge der entsprechenden Originaldaten zu extrahieren oder von Generatoren zur Erzeugung synthetischer Daten, die auf bestimmte Testszenarien abzielen. DATENANALYSE UND ÄQUIVALENZKLASSEN
  11. 11. 11 WWW.BIZDATAX.COM Testdaten Projekt Management Da sich die Anwendung und die zugrundeliegende Datenbank ändert, müssen auch die Testdatengenerierungsregeln, von Zeit zu Zeit aktualisiert werden. Eine gute TDM-Lösung sollte eine Testdatenregeln Versionierung ermöglichen, um Anwendungs- Upgrades, Transparenz und Wiederverwendbarkeit zu unterstützen, vor allem, wenn es um die Prüfung älterer Versionen der gleichen Anwendung geht (was natürlich häufig vorkommt). BizDataX integriert sich in den Software- Entwicklungszyklus. Mit BizDataX können Sie Änderungen in Testdaten Projekte einchecken, genauso so wie sie jegliche Änderung am Quellcode der Anwendung einchecken könnten; Testdatenregeln wären so immer auf dem neuesten Stand und Veränderungen könnten in Ihrem Quellcode-Verwaltungssystem nachverfolgt werden. Die Versionierung von Testdatenregeln arbeitet mit Standard Technologien wie dem Microsoft Team Foundation Server, Git, Subversion und vielen andere Source Code Management Lösungen. TESTDATEN PROJEKTBAUM UND TESTDATEN JOB AUSFÜHRUNG HISTORY
  12. 12. 12 WWW.BIZDATAX.COM Data labeled for test cases Other TM/TA tools Test data Unterstützung für Drittanbieter- Testmanagement und Testautomatisierungstools Organisationen berichten, dass sie von 100 Minuten der manuellen Testausführungszeit zwischen 50 und 75 für die Suche und Vorbereitung geeigneter Testdaten aufwenden müssen. Trotzdem sind sie dann immer noch nicht in der Lage, eine stabile Testautomatisierung zu erreichen in Ermangelung zuverlässiger Testdatenkontrolle. Testmanagement-und Testautomatisierungslösungen können stark von der Integration mit TDM- Lösungen profitieren, weil sie, wenn sie effizient zusammen verwendet werden, die Testausführungszeiten erheblich erhöhen könnten. Zusätzlich zur Erzeugung von Testdaten, kann BizDataX zu Testdatenausgabe für Testfälle konfiguriert werden und Daten für Testmanagement und Testautomatisierungs-Tools liefern, so wie Microsoft Test Manager, HP Unified- Functional Testing, Tricentis Tosca, imbus Test Bench usw. BIZDATAX INTEGRATION SZENARIEN
  13. 13. 13 WWW.BIZDATAX.COM Enterprise-Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..) Die Verarbeitung von TB großen Datenmengen in einer Enterprise Umgebung erfordert Unterstützung für Features, wie z.B. das rollenbasierte Sicherheitsmodell, die Fähigkeit, Testdatengenerierung Jobs auf mehrere Hosts zu skalieren, Jobausführung Statusprotokoll, um nur einige zu nennen. Diese Funktionen haben ihren Preis und es gibt sie nicht standardmäßig in jeder TDM-Lösung auf dem Markt. Wie bereits im Abschnitt “Produktive Testdatenbereitstellung” erwähnt, ist die BizDataX Runtime eine ‘Enterprise level‘ Anwendung, die rollenbasierte Sicherheit und andere Enterprise Funktionen unterstützt und sie passt perfekt in eine komplexe IT-Landschaft. BizDataX Runtime kann auf einem einzelnen oder auf mehreren Systemen installiert werden, virtualisiert werden, und zentral verwaltet werden mit Industrie-Standard-Tools wie Microsoft Management Console. BIZDATAX RUNTIME
  14. 14. 14 WWW.BIZDATAX.COM Dokumentations- , Protokollierungs- und Archivierungsfunktionen Um datenschutzrechtlichen Bestimmungen und Unternehmensrichtlinien zu entsprechen, muss eine TDM Lösung die Dokumentation aller Schritte innerhalb eines Testdaten Projekts ermöglichen. Diese Dokumentation sollte externe und interne Audits ermöglichen, damit die Regeln und Workflows zur Erzeugung von Testdaten auf einfache Weise bestätigt werden. Darüber hinaus sollte eine TDM Lösung alle Ausführungen von Testdatengenerierungsjobs protokollieren, um die Transparenz und Rückverfolgbarkeit innerhalb des Testprozesses zu unterstützen. Sobald das Testdaten Projekt zu Ende ist, sollte es für die Unterstützung der Erzeugung historischer Testdaten archiviert und per Bedarf wiederhergestellt werden. BizDataX unterstützt die Dokumentierung eines jeden einzelnen Schritts innerhalb des BizDataX Testdaten Projekts auf visuelle Weise. Komplette Regelsätze können exportiert oder ausgedruckt werden, wenn eine Hardcopy-Version der Dokumentation erforderlich ist. Jedes Mal, wenn ein Testdatengenerierungsjob auf dem BizDataX Runtime ausgeführt wird, wird ein Statusprotokoll mit allen relevanten Protokollinformationen erstellt, einschließlich derjenigen über den Zeitpunkt der Erstellung und der Person, welche die Durchführung gestartet hat. BizDataX verwendet eine Vielzahl von Software Konfigurationsmanagement Tools, wie der Team Foundation Server und Git-Version, um Versionierung, Archivierung und Wiederherstellung einer beliebigen Anzahl von BizDataX Testdaten Projekte zu unterstützen, um historische Testdaten neu zu erstellen. Die durch BizDataX für die Testfälle erzeugten Testdaten werden im XML- Format gespeichert, die transformiert und für Dokumentationszwecke verwendet werden können oder nach Testmanagement/Automatisierungs-Tools exportiert werden können. BIZDATAX OPTIONEN ZUR DOKUMENTIERUNG
  15. 15. 15 WWW.BIZDATAX.COM BizDataX Dienstleistungen Es sind die Menschen und die Tools, die den Unterschied machen! Unser Professional Services Team wird Ihnen helfen, den Testdatenmanagement Prozess und die BizDataX Lösung optimal zu nutzen. Sie werden Ihnen behilflich sein bei der Aufbereitung Ihrer Testdaten Umgebung und Ihre Testdaten gemäß Ihrer Bedürfnissen bewerten, BizDataX an Ihre Testdaten Nutzungsszenarien anpassen und neue Testdatengenerierung Algorithmen für Ihre spezifischen Anforderungen (z. B. branchenspezifische Datenanonymisierungsregeln) zur Anwendung bringen. Sie werden auch Ihre Test Profis ausbilden für den selbständigen Entwurf, Einsatz und die Durchführung von Testdatengenerierung- Aufträgen. Das Professional-Services-Portfolio schließt ein: Test Data Assesment Custom Workflow and Algorithms Implementation Proof of Concept BizDataX Solution Installation BizDataX Workshops
  16. 16. EIN PRODUKT VON EKOBIT •   rechtzeitige Lieferung von realistischen Testdaten •   Übereinstimmung mit Datenschutzbestimmungen •   Unterstützung der Umsetzung aller Testdaten Szenarien mit visuellen Design-Tools •   nahtlose Integration mit gängigen Testmanagement- und Testautomatisierungstools •   Erhöhung der Testvorgangseffizienz bei gleichzeitiger Kostensenkung BizDataX ist eine innovative Testdatenmanagement Lösung, welche die schnelle und kostengünstige Bereitstellung von realistischen Testdaten ermöglicht. BizDataX garantiert: Rufen Sie Uns An: +41 76 579 16 41 +385 1 6312 635 Email: info@bizdatax.com www.BizDataX.com Ekobit d.o.o. Koturaška 69 10000 Zagreb, Kroatien, EU www.ekobit.com BizDataX Vertriebspartner DACH Region Herr Dragan Kinkela aminodata GmbH Gartenstrasse 23 5400 Baden, Switzerland www.aminodata.com

×