Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Zero Data Loss Recovery Appliance
Neue Wege für Backup...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Safe Harbor Statement
The following is intended to out...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Unzureichende Datensicherung = Downtime
U.S. State Gov...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Datenverlust ist teuer!
Durchschnittliche Kosten bei
D...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Datensicherung: Eine komplexe Aufgabe… immer noch!
• W...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Backup Technology Evolution
10
Fokussierung liegt auf ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Backup Appliances und Datenbanken?
Datenbanken werden ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Zero Data Loss
Recovery Appliance
Die Lösung: Ein voll...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Nutzen für Fachabteilung und IT
Mi...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Nutzen für Fachabteilung und IT
Mi...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 17
Zero Data Lo...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Ein vollkommen neuer Ansatz
Minima...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Data Guard ähnlicher Schutz aller Datenbanken
Generisc...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Tape Library
One Way
Bi-
Directional
Hub &
Spoke
Remot...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Schutz vor Datenverlust durch Bedienerfehler
Autonome ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
• Daten beim Empfang prüfen
• Daten regelmäßig überprü...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Ein vollkommen neuer Ansatz
Minima...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Delta-Only Architektur
Keine Full Backups mehr: Increm...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Platz effizient nutzen mit “Virtual” Full Backups
• Na...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Schnelle Wiederherstellung zu jedem Zeitpunkt
Keine Be...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Minimal Impact Backups: Performanceauf Produktionssyst...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Ein vollkommen neuer Ansatz
Minima...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
3 Fragmentierte Backup Verwaltung ohne klare Zuständig...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: End-to-End Überwachung
Policy-base...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 31
Managing & Monitoring
Enterprise Database Protectio...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance Home Page
ZDLRA - Neue Wege für Bac...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Protected Databases Activity Summary
ZDLRA - Neue Wege...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Protected Databases Recovery Status Summary
ZDLRA - Ne...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Protected Databases Status Filters
Select ‘Not Backed ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Notify DBA that this database
needs a full backup ASAP...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
At-a-Glance Backup Volume & Performance Charts
ZDLRA -...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
At-a-Glance Backup Volume & Performance Charts
ZDLRA -...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Filter Performance by Incoming Backup Rate
ZDLRA - Neu...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Filter Performance by Replication Rate
ZDLRA - Neue We...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Drill Down Into Protected Databases Status Details
ZDL...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Protected Databases Overview Page
< 1 sec
ZDLRA - Neue...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Drill down into STORE36 status details
< 1 sec
ZDLRA -...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Days GB
Current Recovery Window of 4.8 Days > Goal of ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Days GB
Unprotected Data Window of Sub-Secs < Threshol...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Days GB
< 1 sec
< 1 sec
Recovery Window Space Needed o...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Days GB
Current Deduplication Ratio: 17:1
Last Copy To...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Days GB
< 1 sec
Protected Database Status Report
ZDLRA...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Protected Database Status Report
Generated and Emailed...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Similar data as in EM Protected Database Details
ZDLRA...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 51Frank Schneed...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Similar data as in EM Protected Database Details
ZDLRA...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Total Data on Tape: 1.7 TB
ZDLRA - Neue Wege für Backu...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Incoming Backup Volume for Sep 25: 4.5 TB
Outgoing Bac...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
< 1 sec
Protected Database Backup Report
ZDLRA - Neue ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 56Frank Schneed...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
RMAN Backup Job Start Time
RMAN Backup Job Duration
ZD...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
RMAN Backup Size
RMAN Backup Output Rate
ZDLRA - Neue ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance: Ein vollkommen neuer Ansatz
Minima...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Policy-Based Database Protection as a Service
Recovery...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Dynamische Policy-Based Speicher-Erweiterung
• Platz w...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Oracle Database 10.2,
11g, 12c
• Scale-out Compute Ser...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
• Base Rack entspricht Exadata Quarter Rack High Capac...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Recovery Appliance Sizing
• Recovery Appliance Delta S...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
• Mehrere Racks über IB zum Skalieren
• Erweiterungen ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
• Recovery Appliance Software SKU enthält alle notwend...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Edition-based Redefinition,
Online Redefinition, Data ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
ZS3 Backup Appliance
• Schneller, kostengünstiger Back...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Agenda
Datensicherung: Ist-Zustand
Zero Data Loss Reco...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Minimal Impact Backups
Produktions-DBs übertragen
nur ...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Weiterführende Informationen
• ZDLRA auf OTN:
http://w...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 77ZDLRA - Neue Wege für Backup & Recovery Frank Schnee...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved.
Safe Harbor Statement
The preceding is intended to out...
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 79
Zeros Data Loss Recovery Appliance (ZDLRA) - Neue Wege für Backup und Recovery
Nächste SlideShare
Wird geladen in …5
×

Zeros Data Loss Recovery Appliance (ZDLRA) - Neue Wege für Backup und Recovery

701 Aufrufe

Veröffentlicht am

Die Zero Data Loss Recovery Appliance (ZDLRA) ist das jüngste Mitglied der Engineered Systems Familie von Oracle. Sie dient der Sicherung bis zu hunderter Oracle Datenbanken auf einem zentralen System und löst dabei die größten Herausforderungen, die bei der Implementierung eines unternehmesweiten, zentralen Backup & Recovery Konzeptes auftreten:

- Minimale Beeinträchtigung der Produktion durch Backup Aktivitäten

- Optimierung von Recovery Time Objective (RTO) und Recovery Point Objective (RPO)

- End-to-End Überwachung und Steuerung aller B&R Aktivitäten

- Hohe Skalierbarkeit

In diesem Vortrag wird die Zero Data Loss Recovery Appliance (ZDLRA) vorgestellt und erklärt, wie sich die ZDLRA von herkömmlichen Backup & Recovery Konzepten unterscheidet.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
701
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
4
Aktionen
Geteilt
0
Downloads
4
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Moe: Emphasized how many times have you restore/recovery and it did not work: 1) incomplete backup, 2) missing archives and 3) corrupted data. It’s similar to taking a long vacation for 3 months and starting your car for the first time.
    Moe: If DR is not being validated and open, how can you trust it to come up in your time of need? Stories why remote mirorring failed. 1) data corruptions, 2) hardware/software bugs impacting the media, 3) user errors destroying the media




    Here are several examples where traditional HA infrastructure failed to achieve the objective of eliminating risk of downtime and data loss. In each case the customer had made considerable investment in HA infrastructure and procedures. In each case, when called upon, it failed. I wouldn’t want to be the guys who justified the purchase of this infrastructure for each of these organizations.

    Tieto – a very visible outage. They had strict service level agreements with high profile banking clients in Sweden. The impact of this outage made a number of trade journals with lasting negative impact to their reputation and business. They were counting on reliability built into a storage array – again, no matter what level of internal redundancy is implemented within a system, it is still a single point of failure. Then when going to plan b – restore from tape backup – that also failed. How confident can anyone be that a restore from tape will be successful when needed? You can’t know until you try.

    American Eagle Outfitters – 8 day outage of their web site. Cascading disk failures made on-disk copies unusable, backups were found to be corrupt, and the DR site maintained with storage remote mirroring did not work. Interesting quote from the article: "I know they were supposed to have completed it with Oracle Data Guard, but apparently it must have fallen off the priority list in the past few months," the source told Schuman.

    State of Virginia. SAN failure took out all applications serving state residents – and standby SAN was also impacted by failure. Time consuming restore from backup was required before service could be resumed.
  • Database optimization example:
    - OSB performance differentiators for backup to tape
    ---- Zero copy shared buffer between RMAN and OSB
    ---- NUMA-aware for Oracle database shadow processes

  • Storage Location: Area to hold backups
    Recovery Appliance retains sufficient backups to satisfy recovery window goal of each protected database
    If space available, backups older than recovery window goal may still be present, effectively extending the time to which point-in-time recovery is available
    As new backups arrive, upon space pressure, Recovery Appliance can begin purging backups in following order:
    Expired archival (KEEP .. UNTIL TIME) backups
    Backups that are older than the recovery window goal
    Backups that exceed their reserved space, with those with highest percentage exceeded purged first, e.g. Database B in diagram.
    Administrator can be notified if reserved space is not sufficient to meet recovery window goal for individual or all databases
  • Suppose total database size is X.

    Must have one full backup – size X
    Assume 10 day recovery window
    Assume 10% DB change rate per day – add X times 10% per recovery window days – size now 2X
    Assume redo generation rate is also 10% of DB size per day – size now 3X
    Assume 50% compression – size now 1.5X
  • * Scales as disk drives get bigger over time – unlike Terabyte licensing
    * Software license can be migrated to newer Recovery Appliance machines
    * Recovery Appliance Hardware contractually restricted to running Recovery Appliance software (no Exadata)

  • Describe what MAA is – a Best Practices Blueprint and Integrated HA Architecture
  • Understand benefits & opportunity on customer basis
  • Zeros Data Loss Recovery Appliance (ZDLRA) - Neue Wege für Backup und Recovery

    1. 1. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Zero Data Loss Recovery Appliance Neue Wege für Backup & Recovery Frank Schneede Leitender Systemberater Oracle BU Datenbank
    2. 2. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 4
    3. 3. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Konfiguration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 5ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    4. 4. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Konfiguration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 6ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    5. 5. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Unzureichende Datensicherung = Downtime U.S. State Government SAN Memory Fehler, Spiegelung auf Standby SAN. 5 Tage Ausfall 5 Tage Ausfall European Cloud Infrastructure Provider Ausfall Storage Array, Bandsicherungen für DR waren nicht lesbar. Global Specialty Retailer Festplattenausfall, gefolgt vom Ausfall der gespiegelten Festplatte. Wiederherstellung vom lokalen Backup und der DR Kopie schlug fehl. 8 Tage Ausfall 7ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    6. 6. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Datenverlust ist teuer! Durchschnittliche Kosten bei Datenverlust in Deutschland 2011: 3,4 Mio Euro 2012: 3,67 Mio Euro Tendenz: steigend! 8 Quelle: http://www.heise.de/resale/artikel/Datenverlust-in-Deutschland-besonders-teuer-1897043.html ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    7. 7. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Datensicherung: Eine komplexe Aufgabe… immer noch! • Welches ist die größte Herausforderung bei der Datensicherung? • #1: Sichern und Verwalten wachsender Datenmengen Ref. Oracle Database And Data Protection Survey (200 IT professionals), January 2014 http://www.dbta.com/DBTA-Downloads/ResearchReports/Oracle-Database-and-Data-Protection-Survey-Results-4331.pdf Langsame Backups Ständige Wartung der Backups Recovery komplex Beeinträchtigung Produktion Koordination aller Backups 9ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    8. 8. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Backup Technology Evolution 10 Fokussierung liegt auf Optimierung der Storage Kapazität, nicht auf der Verfügbarkeit der Anwendungen! 1980’s 1990’s Early 2000’s 2010’s Tape Libraries Network Attached Storage Virtual Tape Libraries (VTLs) Deduplication Late 2000’s Purpose-built Backup Appliances (PBBAs) ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    9. 9. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Backup Appliances und Datenbanken? Datenbanken werden wie Files behandelt und gesichert… mit Folgen Tägliches Sicherungsfenster Starke Auswirkungen auf Produktionssysteme Gefahr von Datenverlust Verlust aller Daten seit letzter Sicherung Verwaltung vieler Systeme Skalierung durch zusätzliche Backup Appliances DB Wiederherstellung fraglich Viele Sicherungskopien, aber wie ist der Status der Datenbank als Ganzes? 11ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    10. 10. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Zero Data Loss Recovery Appliance Die Lösung: Ein vollkommen neuer Ansatz zum Schutz der kritischen Geschäftsdaten in Datenbanken 12
    11. 11. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Konfiguration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 13ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    12. 12. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Nutzen für Fachabteilung und IT Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 15ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    13. 13. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Nutzen für Fachabteilung und IT Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 16ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    14. 14. Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 17 Zero Data Loss Recovery Appliance - Überblick Delta Push • DBs übertragen nur Änderungen • Minimale Auswirkung auf Prod • Real Time Redo-Shipping (analog Data Guard) schützt neue Transaktionen unmittelbar Gesicherte Datenbanken Sichert alle DBs im Data Center • Bis zu Petabytes Datenvolumen, jede DB Version • Keine zusätzlichen DB Backup Agenten Verlagerung Bandsicherung Delta Store • Validiert, komprimiert und speichert DB Änderungen auf Platte • Schnelle Wiederherstellung zu jedem Zeitpunkt über Deltas • Basiert auf Exadata Skalierbarkeit und Ausfallsicherheit • OEM überwacht und steuert gesamten Prozeß Recovery Appliance Repliziert zu Remote Recovery Appliance Frank Schneede, BU Datenbank
    15. 15. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Ein vollkommen neuer Ansatz Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 18ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    16. 16. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Data Guard ähnlicher Schutz aller Datenbanken Generische Bit-Copy Backup Appliance • Backup einmal am Tag • Datenverlust möglich: Alle Transaktionen seit Backup Zero Data Loss Recovery Appliance • DG ähnlicher Real-Time Redo Transport direkt aus In- Memory Buffer, um neue Transaktionen unmittelbar zu schützen Gesicherte Datenbanken Datenverlust ist an sich schon schlimm. Doch schlimmer ist… …die resultierende Verletzung der Datenkonsistenz über Datenbankgrenzen! 19ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    17. 17. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Tape Library One Way Bi- Directional Hub & Spoke Remote Data CenterLocal Data Center Datensicherung schützt vor Totalausfall • Replikation zu Remote Appliance K-Fall Absicherung oder Totalausfall • Automatisches Restore von der lokalen Appliance oder direkt von der remote Appliance 20ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    18. 18. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Schutz vor Datenverlust durch Bedienerfehler Autonome Tape Archivierung • Optionale kostengünstige Tape-Sicherung zum Schutz vor: – Beabsichtigten Eingriffen von Hackern, Mitarbeitern oder Viren – Versehentliche Datenlöschung - Bandlaufwerk als Langzeitarchiv – Fehlfunktion der vorgelagerten Sicherungssysteme • Eingebaute Tap-Archivierung: Bandlaufwerk anschließen…fertig! – Verlagerung der Bandsicherung von den Produktionsservern – Keine teuren Media Manager Backup Agenten auf der Produktion – Bandlaufwerke laufen ständig ohne Beeinträchtigung der Produktion – Oracle Secure Backup inbegriffen, alternativ eigene Tape SoftwareUnterstützung gängiger Tape Libraries 16Gb FC 21ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    19. 19. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. • Daten beim Empfang prüfen • Daten regelmäßig überprüfen • Daten beim Restore prüfen • Daten beim Empfang, Restore prüfen, sowie regelmäßig überprüfen • Daten beim Kopieren auf und beim Restore vom Band prüfen Tape Archive Remote Replica Production Appliance Schutz vor Datenverlust durch Korruptionen Recovery Appliance versteht und prüft Datenbank Formate in allen Situationen 22ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    20. 20. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Ein vollkommen neuer Ansatz Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 23ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    21. 21. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Delta-Only Architektur Keine Full Backups mehr: Incremental-Forever Strategie optimiert für die Datenbank Delta Push Delta Push Deduplizierung an der Quelle • Fast Incremental Backup - Liest NIEMALS doppelte Blöcke - Sendet NIEMALS doppelte Blöcke • Entfernt Undo Blöcke für abgeschlossene Transaktionen • Entfernt unbenutze Blöcke Delta Store Backup Management • Nur Änderungsdaten werden gespeichert • Komprimierung auf Block-Ebene • Nur Deltas an Replicas verteilen Gesicherte Datenbank Komprimierter Delta Store Hohe Einsparungen Datenbank I/O & Netzwerk! Geänderte Daten Keine Full Backups, nur Änderungen Disaster Recovery 24ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    22. 22. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Platz effizient nutzen mit “Virtual” Full Backups • Nach initialem Full-Backup werden tägliche Virtual Full DB Backups aus den inkrementellen Backups erzeugt • Pointer-basierte Darstellung des Full Backups zum Zeitpunkt des inkrementellen Backups • Virtual Backups haben etwa 10x effizientere Platznutzung • Halten einer langen Backup Historie mit geringstem Speicherverbrauch • “Time Machine” für die Datenbank Delta Store Gesicherte Datenbanken Tag N Incr Tag 1 Virtual Full Tag N Virtual Full Tag 1 Incr Tag 0 Full Keine Full Backups mehr: Incremental-Forever Architektur 25ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    23. 23. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Schnelle Wiederherstellung zu jedem Zeitpunkt Keine Belastung der Produktion durch Merge Backup • Direktes Restore jeden beliebigen Virtual Full Backups • Alle Blöcke des Virtual Full Backup werden über Pointer-Strukturen effizient ermittelt • Keine Belastung der Produktion durch Restore und nachträgliches Einspielen der Inkrementellen Sicherungen • Skalierbarkeit und Performance der verwendeten Exadata HW ArchitekturDelta StoreGesicherte Datenbanken RESTORE DATABASE TO DAY ‘N’ Tag 0 Full Tag 1 Incr Tag N Incr Tag ‘N’ Full Backup 26ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    24. 24. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Minimal Impact Backups: Performanceauf Produktionssystem Offload Backup Processing, Keine teuren Backup Agents, Weniger Netzwerklast Heute: Database Server Performance leidet durch Backups Disk / Tape / Dedupe Backup Agents Backup Operations: Merge, Compress, Validate, Delete, Full/Tape Backups Performance verbessert durch Backup Offload Künftig: Database Server mit Recovery Appliance Disk / Tape / Dedupe Backup Agents Backup Operations: Merge, Compress, Validate, Delete, Full/Tape Backups Delta Push 27ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    25. 25. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Ein vollkommen neuer Ansatz Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 28ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    26. 26. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 3 Fragmentierte Backup Verwaltung ohne klare Zuständigkeit Ist-Zustand: Inseln mit fragmentierten Backup Prozessen Verwalten der Backups & Datenwachstum: IT-Problem #1 1 Menge von Datenbanken Oracle Blöcke RMAN Backups Nur “Bits&Bytes” 2 Media Server 29ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    27. 27. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: End-to-End Überwachung Policy-based Protection: Flexibilität, die die Anwendung braucht! 1 Protection Policy nach Anwendungen Oracle Blöcke RMAN Backup Set Oracle Block Validierung End-to-End 2 Recovery Appliance 3 EM Cloud Control: Integrierte Überwachung 30ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    28. 28. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 31 Managing & Monitoring Enterprise Database Protection with Zero Data Loss Recovery Appliance ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    29. 29. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance Home Page ZDLRA - Neue Wege für Backup & Recovery 32Frank Schneede, BU Datenbank
    30. 30. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Protected Databases Activity Summary ZDLRA - Neue Wege für Backup & Recovery 33Frank Schneede, BU Datenbank
    31. 31. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Protected Databases Recovery Status Summary ZDLRA - Neue Wege für Backup & Recovery 34Frank Schneede, BU Datenbank
    32. 32. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Protected Databases Status Filters Select ‘Not Backed Up’ ZDLRA - Neue Wege für Backup & Recovery 35Frank Schneede, BU Datenbank
    33. 33. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Notify DBA that this database needs a full backup ASAP! ZDLRA - Neue Wege für Backup & Recovery 36Frank Schneede, BU Datenbank
    34. 34. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. At-a-Glance Backup Volume & Performance Charts ZDLRA - Neue Wege für Backup & Recovery 37Frank Schneede, BU Datenbank
    35. 35. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. At-a-Glance Backup Volume & Performance Charts ZDLRA - Neue Wege für Backup & Recovery 38Frank Schneede, BU Datenbank
    36. 36. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Filter Performance by Incoming Backup Rate ZDLRA - Neue Wege für Backup & Recovery 39Frank Schneede, BU Datenbank
    37. 37. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Filter Performance by Replication Rate ZDLRA - Neue Wege für Backup & Recovery 40Frank Schneede, BU Datenbank
    38. 38. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Drill Down Into Protected Databases Status Details ZDLRA - Neue Wege für Backup & Recovery 41Frank Schneede, BU Datenbank
    39. 39. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Protected Databases Overview Page < 1 sec ZDLRA - Neue Wege für Backup & Recovery 42Frank Schneede, BU Datenbank
    40. 40. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Drill down into STORE36 status details < 1 sec ZDLRA - Neue Wege für Backup & Recovery 43Frank Schneede, BU Datenbank
    41. 41. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Days GB Current Recovery Window of 4.8 Days > Goal of 2 Days - OK < 1 sec < 1 sec ZDLRA - Neue Wege für Backup & Recovery 44Frank Schneede, BU Datenbank
    42. 42. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Days GB Unprotected Data Window of Sub-Secs < Threshold of 24 Hrs - OK < 1 sec < 1 sec ZDLRA - Neue Wege für Backup & Recovery 45Frank Schneede, BU Datenbank
    43. 43. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Days GB < 1 sec < 1 sec Recovery Window Space Needed of 350 GB < Reserved Space of 1 TB - OK ZDLRA - Neue Wege für Backup & Recovery 46Frank Schneede, BU Datenbank
    44. 44. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Days GB Current Deduplication Ratio: 17:1 Last Copy To Tape Time: Sep 24, 2:42 AM PDT Links to Data Protection Reports < 1 sec ZDLRA - Neue Wege für Backup & Recovery 47Frank Schneede, BU Datenbank
    45. 45. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Days GB < 1 sec Protected Database Status Report ZDLRA - Neue Wege für Backup & Recovery 48Frank Schneede, BU Datenbank
    46. 46. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Protected Database Status Report Generated and Emailed on Daily/Weekly Basis ZDLRA - Neue Wege für Backup & Recovery 49Frank Schneede, BU Datenbank
    47. 47. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Similar data as in EM Protected Database Details ZDLRA - Neue Wege für Backup & Recovery 50Frank Schneede, BU Datenbank
    48. 48. Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 51Frank Schneede, BU Datenbank
    49. 49. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Similar data as in EM Protected Database Details ZDLRA - Neue Wege für Backup & Recovery 52Frank Schneede, BU Datenbank
    50. 50. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Total Data on Tape: 1.7 TB ZDLRA - Neue Wege für Backup & Recovery 53Frank Schneede, BU Datenbank
    51. 51. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Incoming Backup Volume for Sep 25: 4.5 TB Outgoing Backup Volume to Tape: 6.1 TB ZDLRA - Neue Wege für Backup & Recovery 54Frank Schneede, BU Datenbank
    52. 52. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. < 1 sec Protected Database Backup Report ZDLRA - Neue Wege für Backup & Recovery 55Frank Schneede, BU Datenbank
    53. 53. Copyright © 2014 Oracle and/or its affiliates. All rights reserved.ZDLRA - Neue Wege für Backup & Recovery 56Frank Schneede, BU Datenbank
    54. 54. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. RMAN Backup Job Start Time RMAN Backup Job Duration ZDLRA - Neue Wege für Backup & Recovery 57Frank Schneede, BU Datenbank
    55. 55. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. RMAN Backup Size RMAN Backup Output Rate ZDLRA - Neue Wege für Backup & Recovery 58Frank Schneede, BU Datenbank
    56. 56. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance: Ein vollkommen neuer Ansatz Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files 62ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    57. 57. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Policy-Based Database Protection as a Service Recovery Appliance Protection Policies • Standardisierte Wierherstellungs- zeit, Tape Retention, Replikations-Policy Gold Policy – Customer Critical Disk: 45 days Tape: 90 days Tape Silver Policy – Internal Critical Disk: 30 days Tape: 45 days Bronze Policy - Test/Dev Replica Recovery Appliance Replikat ebenfalls Policy- based Disk: 15 days Tape: 30 days 63ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    58. 58. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Dynamische Policy-Based Speicher-Erweiterung • Platz wird dynamisch zugewiesen, um Recovery Zeitfenster zu garantieren – Z.B. jeden Zeitpunkt der letzten 30 Tage • Vermeiden von Storage Inseln und “Über-Allokation”, wenn z. B. feste LUNs bereitgestellt werden müssen Recovery Zeitfenster Sales DB Web DB Sales Web 64ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    59. 59. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Oracle Database 10.2, 11g, 12c • Scale-out Compute Server für Data Processing • Scale-out Storage Server für Persistenz und Deduplication • Scalierbares internes InfiniBand Netzwerk Connectivität skaliert mit Kapazität Fibre Channel Connectivität skaliert mit Kapazität Recovery Appliance: Moderne Scale-out Architektur Keine Bottlenecks, Kein Single Point of Failure 10GigE oder InfiniBand Ein einzelnes System skaliert und schützt ein gesamtes Data Center! Gesicherte Datenbanken 65ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    60. 60. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Konfiguration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 66ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    61. 61. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. • Base Rack entspricht Exadata Quarter Rack High Capacity – 2x Compute Server mit High Speed Connectivität * • 8 x 10 Gb Ethernet Ports pro Rack • 12 x 40 Gb InfiniBand Ports pro Rack • Optional: 4 x 16Gb Fibre Channel Ports für Tape-Anschluss – 3x Storage Server * • 12 x 4TB High Capacity Disks (je Storage Server) • Kunde wählt zusätzliche Storage Server jetzt oder später, um Kapazität bedarfsgerecht zu erhöhen • Full Rack: 2x Compute Server, 18x Storage Server Einstieg mit Base Rack Konfiguration und wachsen Fully Redundant Extra Storage Recovery Appliance Base Rack * Siehe: Data Sheet mit aktueller Konfiguration 67 Neu mit X5 Servern! ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    62. 62. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Recovery Appliance Sizing • Recovery Appliance Delta Space benötigt ca. 1-2X Größe der gesicherten Datenbanken • Genaues Sizing auf Basis folgender Informationen: – Größe und Wachstum der Datenbank(en) • Ohne temp, free space, committed undo – Änderungsvolumen pro Tag in % – Redo Generation Rate – Gewünschtes Recovery Zeitfenster in Tagen – Komprimierbarkeit der Datenbank • Abhängig von bereits genutzter Komprimierung der DB 320 TB Nutzbarer Delta Space / Rack Üblich: 2 Wochen Historie für Datenbanken mit Gesamtgröße bis zu 320TB 68ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    63. 63. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. • Mehrere Racks über IB zum Skalieren • Erweiterungen generationsübergreifend • Ausbau bis zu 18 Racks möglich – Bis zu 216 TB/Std. Delta Ingest und Restore Recovery Appliance Skalierbarkeit Bis zu 120 TB/Std. Virtual Backup Rate Bis zu 12 TB/Std. Sustained Delta Ingest Bis zu 12 TB/Std. Restore Rate Performance pro Full Rack 69ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    64. 64. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. • Recovery Appliance Software SKU enthält alle notwendigen Funktionalitäten – Backup, Recovery, Replication – Eigene Oracle DB für Metadaten und RMAN Recovery Catalog – Geschütztes RMAN Backup Modul – Storage Software – Tape Agent und Media Manager – Enterprise Manager Überwachung und Verwaltung • Lizenzmetrik: Festplattenlaufwerk Recovery Appliance Software 70ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    65. 65. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Konfiguration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 71ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    66. 66. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Edition-based Redefinition, Online Redefinition, Data Guard, GoldenGate – Minimal downtime maintenance, upgrades, migrations Active Data Guard – Data Protection, DR – Query Offload GoldenGate – Active-active replication – Heterogeneous Active Replica RMAN, Oracle Secure Backup, Zero Data Loss Recovery Appliance – Backup to disk, tape or cloud Enterprise Manager Cloud Control – Site Guard, Coordinated Site Failover Application Continuity – Application HA Global Data Services – Service Failover / Load Balancing RAC – Scalability – Server HA ASM – Local storage protection Production Site Flashback – Human error correction Recovery Appliance & Oracle MAA 72ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    67. 67. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. ZS3 Backup Appliance • Schneller, kostengünstiger Backup-Storage • RAID-Z und Komprimierung für effiziente Nutzung • Snapshot und Cloning für dev/test Umgebungen eingebaut Zero Data Loss Recovery Appliance • Real-time redo transport, speichert Historie für Wochen/Monate • Offload Disk und Tape Backup Last von Produktionssystemen • Skalierbare Database Protection as a Service für Unternehmen Active Data Guard • Schneller Failover für einzelne DB, höchste Verfügbarkeit (RTO ~=0) • Real-Time Redo Transport (RPO = 0) • Optimale Performance und Verfügbarkeit durch Verlagerung Reporting Fast & Low-Cost Backup Store Enterprise Data Protection Dedicated System for Failover + Data Protection Recovery Appliance & Oracle High Availability Technologien 73ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    68. 68. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Agenda Datensicherung: Ist-Zustand Zero Data Loss Recovery Appliance Configuration Ergänzende Technologien Fazit & Ressourcen 1 2 3 4 5 74ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    69. 69. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Minimal Impact Backups Produktions-DBs übertragen nur Änderungen. Eigentliches Backup und Auslagerung wird verlagert auf Appliance Datenverlust vermeiden Sofortiger Schutz neuer Transaktionen durch Real- time Redo Transport Skalierbarerkeit für Cloud Sicherung aller Datenbanken im Datacenter durch maximale Skalierbarkeit Wiederherstellbarkeit auf DB Ebene Sichtbarkeit und Kontrolle aller Prozesse und Datenbanken, nicht nur einzelner Files Datensicherung mit neuen Mitteln: Zero Data Loss Recovery Appliance 75ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    70. 70. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Weiterführende Informationen • ZDLRA auf OTN: http://www.oracle.com/recoveryappliance • ZDLRA Introduction (Juan Loaiza, SVP Oracle, Oracle Youtube Channel, 8:49 Min.): https://www.youtube.com/watch?v=urF7LKPGwsI • ZDLRA Technical Overview (Juan Loaiza, SVP Oracle, Oracle Youtube Channel, 34:20 Min.): https://www.youtube.com/watch?v=jyCNfqBDAXw • ZDLRA Data Sheet: http://www.oracle.com/technetwork/database/availability/recovery-appliance-ds-2297776.pdf • ZDLRA Technical Whitepaper: http://www.oracle.com/technetwork/database/availability/recovery-appliance-twp-2297777.pdf • ZDLRA Dokumentation: http://docs.oracle.com/cd/E55822_01/index.htm • ZDLRA im CIO Magazine: http://www.oracle.com/us/products/oracle-zdlra-final1-2301371.pdf 76ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    71. 71. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 77ZDLRA - Neue Wege für Backup & Recovery Frank Schneede, BU Datenbank
    72. 72. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 78
    73. 73. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. 79

    ×