SlideShare ist ein Scribd-Unternehmen logo
1 von 41
Downloaden Sie, um offline zu lesen
BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF
HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
Exadata OVM als
Konsolidierungsplattform
Daniele Massimi – Principal Consultant
Projektbericht
Agenda
Exadata OVM als Konsolidierungsplattform2 14.04.2016
Projektbeschreibung
Exadata OVM Eigenschaften
Exadata OVM „advanced Networking“
Exadata OVM Disklayout
Trusted Partitions
Backup der Dom0 und DomU
«normale» Betriebsaspekte
Who Am I
Exadata OVM als Konsolidierungsplattform3 14.04.2016
Daniele Massimi, Trivadis AG (CH, Bern)
Principal Consultant daniele.massimi@trivadis.com
Seit 2012 bei Trivadis IMS (Infrastructure Service Management),
Oracle DBA seit >15 Jahre (Exadata <5 Jahre)
Infrastruktur-Architekturen, Operations & Administration, Upgrades and
Migration, High Availability, Backup & Recovery, Enterprise Manager,
Engineered Systems (Exadata, ODA)
Oracle Certifications
– Oracle Certified Professional
– Oracle Certified RAC Expert
– Oracle Exadata Implementations Specialist
Mein Unternehmen.
Exadata OVM als Konsolidierungsplattform4 14.04.2016
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution
Engineering und der Erbringung von IT-Services mit Fokussierung auf -
und -Technologien in der Schweiz, Deutschland, Österreich und
Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern:
Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.
B E T R I E B
KOPENHAGEN
MÜNCHEN
LAUSANNE
BERN
ZÜRICH
BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.
Exadata OVM als Konsolidierungsplattform5 14.04.2016
14 Trivadis Niederlassungen mit
über 600 Mitarbeitenden.
Über 200 Service Level Agreements.
Mehr als 4'000 Trainingsteilnehmer.
Forschungs- und Entwicklungsbudget:
CHF 5.0 Mio. / € 4.5 Mio.
Finanziell unabhängig und
nachhaltig profitabel.
Erfahrung aus mehr als 1'900 Projekten
pro Jahr bei über 800 Kunden.
Exadata OVM als Konsolidierungsplattform6 14.04.2016
Projektbeschreibungen
Projektanforderungen
Exadata OVM als Konsolidierungsplattform7 14.04.2016
Realisierung einer Oracle Konsolidierungs-Plattform
Ablösung der bestehende AIX Umgebung
Lizenz Optimierung
Bedienung von zwei Netzwerke (Intranet und DMZ)
Möglichkeit für DBaaS
Wahl der Lösung
Exadata OVM als Konsolidierungsplattform8 14.04.2016
Lösung des Kunden  Exadata OVM
Exadata OVM kann als Konsolidierungs-Plattform eingesetzt werden
Exadata OVM bietet Isolierung mittels VMs
Exadata OVM bietet Lizenz-Optimierung mit «Trusted Partition»
Exadata OVM hat die gleiche Funktionalität wie mit «Bare Metal»
Exadata kann erweitert werden (z.B. mit Elastic Configuration)
aber…
Exadata OVM als Konsolidierungsplattform9 14.04.2016
Exadata OVM Eigenschaften
Was ist Oracle VM: Komponenten
Exadata OVM als Konsolidierungsplattform10 14.04.2016
Besteht normalerweise aus zwei Haupt-Komponenten
• Trifft jedoch für die Engineered Systems (ODA, Exadata) nicht zu
1..n Oracle VM Server (OVS)
• Hosts für die Virtual Machines
1 Oracle VM Manager (OVMM)
• Management Infrastructure für OVS (Repository-DB, Web-frontend, CLI)
Oracle Enterprise Linux
Java Based Management Server
Repository DB
OVM Server N
OVM Server 1
Browser interface
Commandline OVM Manager
OVM
Agent
OVM
Agent
OVMM OVS
OracleVM
«Bare Metal» zu «virtualized» Exadata
Exadata OVM als Konsolidierungsplattform11 14.04.2016
Nach dem Bare Metal Setup muss die Installation zur «virtualized»
Konfiguration konvertiert werden
Filesystem für Repository wird erstellt
OVM Dom0
root@tvd01dbadm01 oracle.SupportTools]# ./switch_to_ovm.sh
2015-04-10 00:59:33 +0200 [INFO] Switch to DOM0 system partition /dev/VGExaDb/LVDbSys3
(/dev/mapper/VGExaDb-LVDbSys3)
2015-04-10 00:59:33 +0200 [INFO] Active system device: /dev/mapper/VGExaDb-LVDbSys1
2015-04-10 00:59:33 +0200 [INFO] Active system device in boot area: /dev/mapper/VGExaDb-LVDbSys1
2015-04-10 00:59:33 +0200 [INFO] Set active systen device to /dev/VGExaDb/LVDbSys3 in
/boot/I_am_hd_boot
2015-04-10 00:59:33 +0200 [INFO] Reboot has been initiated to switch to the DOM0 system partition
[root@tvd01dbadm01 oracle.SupportTools]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VGExaDb-LVDbSys3
30G 20G 8.6G 70% /
tmpfs 7.0G 4.0K 7.0G 1% /dev/shm
none 3.5G 40K 3.5G 1% /var/lib/xenstored
/dev/sda3 721G 8.6G 713G 2% /EXAVMIMAGES
/dev/sda1 496M 65M 406M 14% /boot
[root@tvd01dbadm01 oracle.SupportTools]# xm list
Name ID Mem VCPUs State Time(s)
Domain-0 0 8192 4 r----- 283.9
OVM Restriktionen auf der Exadata
Exadata OVM als Konsolidierungsplattform12 14.04.2016
OEDA «einziges» Tool für die Generierung der VM Konfiguration
VNC Console nicht vorhanden  nur via «xm console» möglich
OVM Manager nicht verfügbar (nur Native Commands möglich)
Keine OVM Cluster möglich (HA via RAC, RAC One Node oder Data
Guard)
Kein «Shared Repositories» für die VMs
Keine Live Migration
Memory balloning (keine online Memory re-Konfiguration möglich)
Empfehlung VM auf Exadata
• Memory of min. 8Gb für jede VMs
• CPU min. 2 vCPU
Erstellung von VM auf der Exadata (1)
Exadata OVM als Konsolidierungsplattform13 14.04.2016
Generierung der Konfiguration indem ein neuer Cluster hinzugefügt wird
Mittels oneCommand Deployment-Steps vom DB-Server 1 ausführen
./install.sh -cf <ExadataConfig_dir>/exa02adm01vm01.trivadis.com-vm.xml –r 1-17
Erstellung von VM auf der Exadata (2)
Exadata OVM als Konsolidierungsplattform14 14.04.2016
Einer der oneCommand Steps erstellt die VM
[root@exa01dbadm01 linux-x64]# ./install.sh -cf ../Exa01/TVD-exa01.xml -s 3
Executing Create Virtual Machine
Creating guests for cluster exa01-cluster.........................
Checking status of remote files........
Checking status of existing files on remote
nodes................................................
Getting status of local files........................................................
Creating guest using /opt/oracle.SupportTools/linux-x64/WorkDir/exa01adm01vm01.ttc.trivadis.com-
vm.xml on node exa01dbadm01.ttc.trivadis.com
Creating guest using /opt/oracle.SupportTools/linux-x64/WorkDir/exa01adm02vm01.ttc.trivadis.com-
vm.xml on node exa01dbadm02.ttc.trivadis.com............................................
.
.
Successfully logged into machine exa01adm02vm01
Successfully logged into machine exa01adm01vm01
Guests created, waiting for them to be up....
Creating databasemachine.xml for EM discovery
Done Creating databasemachine.xml for EM discovery.
Successfully completed execution of step Create Virtual Machine [elapsed Time [Elapsed = 1006520
mS [16.0 minutes] Thu Apr 16 19:27:19 CEST 2015]]
VM Management auf der Exadata
Exadata OVM als Konsolidierungsplattform15 14.04.2016
"xm" ist das Tool um für das Management der VMs auf der Exadata
Nur XEN native commands sind verfügbar !
• VMs auflisten
– xm list; oder xm list -l
• Starten der DomU
– xm create /path-to-vm.cfg/vm.cfg
• Shutdown der DomU
– xm shutdown <name_of_vm | number>
• Power-off der DomU
– xm destroy <name_of_vm | number>
Hardware (CPU, Memory, Disk, Network, ...)
Native Device Drivers
Host OS
Unmodified
user
programs
Guest OS
Modifiedkernel (paravirt.)
Unmodified
user
programs
DomU
Front-End Device DriversBack-End Device Drivers
Dom0
Linux XEN-Kernel
XEN
control
software
Event Channel Virtual MMUVirtual CPUControl
Interface
Safe H/W
interface XEN Virtual Machine Monitor (Hypervisor)
XEN commandos in der Exadata
Exadata OVM als Konsolidierungsplattform16 14.04.2016
Nicht alle nativen XEN commandos werden auf der Exadata supported
– Folgende commandos funktionieren auf der Exadata nicht:
• mem-set
• mem-max
• migrate
• save
• restore
• suspend
• resume
• sched-*
• cpupool-*
Memory Ballooning
Nützlich für Resouce Management
Wie viele VMs sollten erstellt werden ?
Exadata OVM als Konsolidierungsplattform17 14.04.2016
Grundsätzlich sollten so wenig VM’s
wie möglich erstellt werden
X5-2: max. 63 VMs möglich
X4-2: max. 63 VMs möglich
X3-2: max. 16 VMs möglich
SR-IOV= Single Root I/O Virtualization
Virtualisierung des PCI Adapters
(z.B. der Infiniband HCA)
Management und Ressourcen Overhead
vermeiden
P101-VM01
P201-VM02
I101-VM03
I201-VM04
DBS01
P102-VM01
P202-VM02
I102-VM03
I202-VM04
DBS02
Exadata Rack Data Center 1
Exadata OVM als Konsolidierungsplattform18 14.04.2016
Exadata OVM
„advanced Networking“
Projektanforderung
Exadata OVM als Konsolidierungsplattform19 14.04.2016
Kunde betreibt zwei von einander getrennte Netzwerke (Intranet und DMZ)
Netzwerke sind nur teilweise geroutet
• Mandantenfähigkeit
• Security Anforderungen
Problematik der Exadata DB-Server
• begrenzte Anzahl von Netzwerk Interface Ports
Lösung  VLAN Tagging
Ethernet Ports
Public Network
Optical Ports
Public Network
Mgmt Ports
Infiniband Ports
Ethernet Ports
Admin Network
Ethernet Ports
Backup/DG Network
XEN / OVM Netzwerk – Überblick
Exadata OVM als Konsolidierungsplattform20 14.04.2016
Computer - XEN
Bridge: xenbr0Bridge
dom0 (Host)
Computer
domU-X
(VM)N
e
t
w
o
r
k
eth1
eth2
bondeth0
eth0
vmbondeth0
vifX.0
Netzwerk – von «physical to bridge»
Exadata OVM als Konsolidierungsplattform21 14.04.2016
/etc/sysconfig/network-scripts/ifcfg-vmbondeth0
Eine Bridge ist eine Art von «Virtual Switch»
DEVICE=vmbondeth0
TYPE=Bridge
IPADDR=10.10.10.142
NETMASK=255.255.254.0
BOOTPROTO=static
ONBOOT=yes
DELAY=0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
BRIDGE=vmbondeth0
NM_CONTROLLED=no
BONDING_OPTS="..."
Bridge: xenbr0
bond0
vmbondeth0
vifX.0
Bridge
# ifconfig vmbondeth0
10.10.10.0 Link encap:Ethernet HWaddr B4:99:BA:BB:BE:54
inet addr:10.10.10.142 Bcast:10.10.10.255 Mask:255.255.254.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Netzwerk – VLAN Tagging
Exadata OVM als Konsolidierungsplattform22 14.04.2016
ifcfg-bondeth0.1000
ifcfg-vmbondeth0.1000
Bridge: xenbr0
bondeth0.1000
vmbondeth0.1000
vifX.0
Bridge
Bridge: xenbr0
bondeth0.2000
vmbondeth0.2000
vifX.0
Bridge
bondeth0
DEVICE=bondeth0.1000
HWADDR=B4:99:BA:BB:BE:5
6
BOOTPROTO=none
ONBOOT=yes
VLAN=yes
BRIDGE=vmbondeth0.1000
NM_CONTROLLED=no
DEVICE=vmbondeth0.1000
TYPE=Bridge
BOOTPROTO=none
ONBOOT=yes
DELAY=0
ifconfig vmbondeth0.1000
vmbondeth0.1000 Link encap:Ethernet HWaddr B4:99:BA:BB:BE:56
inet addr:192.168.100.1 Bcast:10.0.0.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Netzwerk Konfiguration: VLAN Tagging auf Exadata VM
Exadata OVM als Konsolidierungsplattform23 14.04.2016
vconfig package muss installiert sein resp. werden
Tag auf den VLAN Interface erstellen
Check mit brctl
# rpm -qa | grep vconfig
vconfig-1.9-3
./VTagXBrConfig.sh create -v 1000 -l 1000 -i bondeth0
# brctl show
bridge name bridge id STP enabled interfaces
vmbondeth0 8000.90e2ba813434 no bondeth0
………………………………
vmbondeth0.1000 8000.90e2ba813434 no bondeth0.1000
………………………………..
vmeth0 8000.0010e062c00e no eth0
VM mit VLAN Tagging erweitern (1)
Exadata OVM als Konsolidierungsplattform24 14.04.2016
Editieren des vm.cfg File auf jeder VM
Erstellen einer neuen ramdom MAC Adresse
Folgende Modifikationen anbringen (vm.cfg)
# cd /EXAVMIMAGES/GuestImages/<user domain name>/vm.cfg
# cp vm.cfg vm.cfg.before_vlantag
# echo -n "00:16:3e"; dd bs=1 count=3 if=/dev/random 2>/dev/null | hexdump -v -e
'/1 ":%02x"'
00:16:3e:e6:28:88
vif = ['type=netfront,mac=00:16:3e:e6:94:28,bridge=vmeth0']
to
vif =
'type=netfront,mac=00:16:3e:e6:28:88,bridge=vmbondeth0.1000','type=netfront,mac=00
:16:3e:e6:94:28,bridge=vmeth0']
VM mit VLAN Tagging erweitern (2)
Exadata OVM als Konsolidierungsplattform25 14.04.2016
Eintrag im /etc/udev/rules.d/70-persistent-net.rules File jeder DomU erstellen,
um das Naming des Interface zu garantieren
Konfigurien der IP-Adresse für das neu hinzugefügte Interface
Gleiche Prozedur gilt auch für das Admin Interface, falls solche
Anforderungen bestehend sind
OEDA 12.1.2.3.0 (Patch 22694905 vom 19.02.2016) unterstützt “ein” VLAN Tag
MOS Note 2018550.1 (VLAN Tag Exa OVM - Public Network)
MOS Note 2090345.1 (VLAN Tag Exa OVM Admin Network, seit 22.01.2016)
SUBSYSTEM=="net", ACTION=="add", SYSFS{address}=="00:16:3e:e6:28:88",
KERNEL=="eth*", NAME="bondeth0"
# /opt/oracle.cellos/ipconf.pl –nocodes
Infiniband Partitioning
Exadata OVM als Konsolidierungsplattform26 14.04.2016
IB Partitionen haben die gleiche Funktion wie VLAN Tagging
Partitionen definieren welche Nodes untereinander kommunizieren können
Partition keys (pkey) – werden dabei als “Tag” verwendet
• Pkey “0x7fff” (dezimal 32767) gilt als default Partition key
Ein Nodes kann mehrere “Partitions” ansprechen
Infiniband Problematik im «Projekt»
Exadata OVM als Konsolidierungsplattform27 14.04.2016
Projektanforderung = zwei getrennte Netze sollen betrieben werden
Via IB Interface kann man sich auf DomU des anderen Ntzwerk verbinden !
Infiniband Netz “muss” daher partitioniert werden !
OEDA unterstützt IB Partitioning für “ein” Partition key
Quelle: Oracle
Infiniband Problematik – Lösung
Exadata OVM als Konsolidierungsplattform28 14.04.2016
Interconnect Verbindung wird mit Infiniband Partitioning versehen
IB Partitioning für Storage Server bleibt “geshared”
Zusätzliche IB IP-Adressen werden benötigt (Private IP-Range)
Konfiguration auf IB-Switch, VM und DB-Servers notwendig
Quelle: Oracle
Exadata OVM als Konsolidierungsplattform29 14.04.2016
Exadata OVM Disklayout
Exadata OVM und ASM Storage
Exadata OVM als Konsolidierungsplattform30 14.04.2016
Database Storage auf der Exadata OVM befindet sich in den Storage
Cells
Storage Partitionen (Celldisks, Griddisks) sind gleich wie bei Bare Metal
• Zwei Diskgroups für jede VM werde erstellt (DATACn and RECOCn)
• Griddisk Grössen werden aus der OEDA Konfiguration abgeleitet
• Storage wird via I/O Virtualization  SR-IOV
 Auch bekannt als PCI Passthrough, keinen Hypervisor Interaktion =
keinen Overhead !
Exadata OVM – Projektspezifisches Disk Layout
Exadata OVM als Konsolidierungsplattform31 14.04.2016
Der Disk Layout wird implizit aus der OEDA Konfiguration abgeleitet
Problem  unflexibles Disk Layout !
Lösung  Erstellung von Griddisk Einheitsgrössen um:
• Flexible Erweiterung von bestehende Diskgruppen sicherzustellen
• Vermeidung von Leer-Kapazitäten
 (z.B. durch sub-optimale Aufteilung kann nicht den vollen phys.
Diskplatz benutzt werden
• Optimale Diskplatz-Ausnutzung von Storage Server
 frühzeitige Beschaffung von zusätzlichen Storage Server vermeiden
Griddisks werden demnach mittels folgender Formel partitioniert:
• (Grösse ASM-Diskgruppe : n Storage Cells) : 12 (Anzahl phys. Disks)
Exadata OVM – Disk Layout Reorg
Exadata OVM als Konsolidierungsplattform32 14.04.2016
Reorganisation der Griddisks kann online durchgeführt werden
Vorgehen  Reorg der Griddisks  Reorg der ASM Diskgruppe
Resizen der Griddisks  auf allen Storage Cells ausführen !
Resizen der Diskgruppen
Wenn Griddisks zwischen den Diskgruppen verschoben werden sollen,
müssen diese zuerst aus der ASM DG gedroppt werden
Danach müssen die alten Griddisk gelöscht und neue erstellt werden, dies
aufgrund der Names-Konvention der VMs
CellCLI> alter griddisk RECOC1_CD_00_tvd01celadm01,RECOC1_CD_01_tvd.. size=200G
SQL> alter diskgroup RECOC1 resize all;
CellCLI> drop griddisk RECOC1_CD_00_tvd01celadm01;
CellCLI> create griddisk all prefix=RECOC4 size=200G;
Exadata OVM als Konsolidierungsplattform33 14.04.2016
Exadata OVM mit Trusted Partitions
Trusted-Partition – Lizenz Optimierung
Exadata OVM als Konsolidierungsplattform34 14.04.2016
Erlaubt die Lizenzierung der Oracle Produkte von einem subset der
verwendeten Prozessoren in ihrer Exadata
Mit Trusted Partition müssen auf der Exadata mindestens 40% der
Prozessoren lizenziert werden
Hyper-Threading muss eingeschaltet werden
Zwei vCPU werden als einem physical Core gezählt
Enterprise Manager ist zwingend einzusetzen (Nachvollziehbarkeit)
Exadata OVM als Konsolidierungsplattform35 14.04.2016
Backup der Dom0 und DomU
Backup der Dom0 (auch für DomU anwendbar)
Exadata OVM als Konsolidierungsplattform36 14.04.2016
Dom0 (root FS) liegt auf LVM Volumes
Zwei Backup Möglichkeiten sind möglich
• Normales Filesystem Backup
 Backup Client ist nötig
 Möglichkeit einzelne Files vom Backup Server zu restoren ist
gegeben
• LVM Snapshots
 Mount-bar auf jedes LVM basiertes System möglich
 Möglichkeit einzelne Files zu restoren durch mounten des Snapshot
Auch für DomU anwendbar !
Backup of DomU
Exadata OVM als Konsolidierungsplattform37 14.04.2016
Auch für das Backup der DomU sind zwei Backup Methoden möglich
• Normal Filesystem Backup (Backup Client notwendig)
• OCFS2 Reflink basierte Snapshots (von der Dom0 ausgeführt)
 Pausieren der DomU
 Erstellen von Reflinks (Snapshots) für jedes Files
 Unpausieren der DomU
 Backup der Snapshots erstellen
 Reflinks löschen
# xm pause <name_of_vm | number>
# reflink orig_file snap_file
# xm unpause <name_of_vm | number>
# rm –rf snap_file
Exadata OVM als Konsolidierungsplattform38 14.04.2016
„Normale“ Betriebsaspekte
Betriebaspekte
Exadata OVM als Konsolidierungsplattform39 14.04.2016
Betriebsaspekte wie:
• Grid Infrastructure
• Datenbanken
• Backup von Datenbanken
• Maintenance von Datenbanken
• Migrationen
• Patching
• uvm.
 Werden wie auf einer normalen Oracle Datenbank Plattform
vorgenommen !
Fazit
Exadata OVM als Konsolidierungsplattform40 14.04.2016
Gute Implementation für Isolation von Umgebungen
Mit Trusted Partition hat man ein Instrument für Lizenz Optimierung
Management Tools für das VM Management «noch» nicht vorhanden
Nahezu gleiche Performance wie mit Bare Metal
Mehrere Technologien = mehr Know-How wird benötigt
Komplexität steigt exponentiell (Management, Networking, Backup, etc.)
Fragen und Antworten…
Daniele Massimi
Principal Consultant
Tel. +41 58 459 50 92
daniele.massimi@trivadis.com
14.04.2016 Exadata OVM als Konsolidierungsplattform41

Weitere ähnliche Inhalte

Was ist angesagt?

Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Ulrike Schwinn
 
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxLinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxSchlomo Schapiro
 
Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017oraclebudb
 
Automatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudAutomatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudTrivadis
 
Presentation bp7 - citrix xen desktop
Presentation   bp7 - citrix xen desktopPresentation   bp7 - citrix xen desktop
Presentation bp7 - citrix xen desktopxKinAnx
 
Top 10 Internet Trends 2005
Top 10 Internet Trends 2005Top 10 Internet Trends 2005
Top 10 Internet Trends 2005Jürg Stuker
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Digicomp Academy AG
 
Oracle Database Appliance X5-2
Oracle Database Appliance X5-2Oracle Database Appliance X5-2
Oracle Database Appliance X5-2Ileana Somesan
 
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Loopback.ORG
 
AdminCamp 2011 Performance
AdminCamp 2011 PerformanceAdminCamp 2011 Performance
AdminCamp 2011 PerformanceUlrich Krause
 
Datentransfer mit Oracle Tools
Datentransfer mit Oracle ToolsDatentransfer mit Oracle Tools
Datentransfer mit Oracle ToolsChristian Gohmann
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Daniele Massimi
 
Advanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12cAdvanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12cTrivadis
 
Rsyslog - Deutsche Qualitätsarbeit für Linux
Rsyslog - Deutsche Qualitätsarbeit für LinuxRsyslog - Deutsche Qualitätsarbeit für Linux
Rsyslog - Deutsche Qualitätsarbeit für LinuxTrivadis
 
MySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerMySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerFromDual GmbH
 
Oracle Data Guard: Mit oder ohne Broker?
Oracle Data Guard: Mit oder ohne Broker?Oracle Data Guard: Mit oder ohne Broker?
Oracle Data Guard: Mit oder ohne Broker?Dierk Lenz
 
Solaris im Datacenter - Architektur, Implementation und Betrieb
Solaris im Datacenter - Architektur, Implementation und BetriebSolaris im Datacenter - Architektur, Implementation und Betrieb
Solaris im Datacenter - Architektur, Implementation und BetriebMarco Stadler
 
AOUG 2019 Oracle Centrally Managed Users 18c / 19c
AOUG 2019 Oracle Centrally Managed Users 18c / 19cAOUG 2019 Oracle Centrally Managed Users 18c / 19c
AOUG 2019 Oracle Centrally Managed Users 18c / 19cStefan Oehrli
 

Was ist angesagt? (20)

Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2
 
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxLinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
 
Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017Oracle Technology Monthly Oktober 2017
Oracle Technology Monthly Oktober 2017
 
Automatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudAutomatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloud
 
Presentation bp7 - citrix xen desktop
Presentation   bp7 - citrix xen desktopPresentation   bp7 - citrix xen desktop
Presentation bp7 - citrix xen desktop
 
Top 10 Internet Trends 2005
Top 10 Internet Trends 2005Top 10 Internet Trends 2005
Top 10 Internet Trends 2005
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
 
Oracle Database Appliance X5-2
Oracle Database Appliance X5-2Oracle Database Appliance X5-2
Oracle Database Appliance X5-2
 
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
 
AdminCamp 2011 Performance
AdminCamp 2011 PerformanceAdminCamp 2011 Performance
AdminCamp 2011 Performance
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
 
Datentransfer mit Oracle Tools
Datentransfer mit Oracle ToolsDatentransfer mit Oracle Tools
Datentransfer mit Oracle Tools
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...
 
Advanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12cAdvanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12c
 
Rsyslog - Deutsche Qualitätsarbeit für Linux
Rsyslog - Deutsche Qualitätsarbeit für LinuxRsyslog - Deutsche Qualitätsarbeit für Linux
Rsyslog - Deutsche Qualitätsarbeit für Linux
 
MySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerMySQL Performance Tuning für Entwickler
MySQL Performance Tuning für Entwickler
 
Oracle Data Guard: Mit oder ohne Broker?
Oracle Data Guard: Mit oder ohne Broker?Oracle Data Guard: Mit oder ohne Broker?
Oracle Data Guard: Mit oder ohne Broker?
 
Storage Spaces Direct - Introduction
Storage Spaces Direct - IntroductionStorage Spaces Direct - Introduction
Storage Spaces Direct - Introduction
 
Solaris im Datacenter - Architektur, Implementation und Betrieb
Solaris im Datacenter - Architektur, Implementation und BetriebSolaris im Datacenter - Architektur, Implementation und Betrieb
Solaris im Datacenter - Architektur, Implementation und Betrieb
 
AOUG 2019 Oracle Centrally Managed Users 18c / 19c
AOUG 2019 Oracle Centrally Managed Users 18c / 19cAOUG 2019 Oracle Centrally Managed Users 18c / 19c
AOUG 2019 Oracle Centrally Managed Users 18c / 19c
 

Ähnlich wie Exadata with VM as Consolidation Plattform

Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedMicrosoft Österreich
 
Lotus Foundations Workshop Teil1
Lotus Foundations Workshop Teil1Lotus Foundations Workshop Teil1
Lotus Foundations Workshop Teil1Andreas Schulte
 
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerEffizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerJomaSoft
 
Lotus Foundations Branch Office
Lotus Foundations Branch OfficeLotus Foundations Branch Office
Lotus Foundations Branch OfficeAndreas Schulte
 
Sql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenSql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenCommunardo GmbH
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSharepointUGDD
 
OpenStack – Automatisiertes Bereitstellen von Instanzen
OpenStack – Automatisiertes Bereitstellen von InstanzenOpenStack – Automatisiertes Bereitstellen von Instanzen
OpenStack – Automatisiertes Bereitstellen von InstanzenB1 Systems GmbH
 
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...NETWAYS
 
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXCContainer im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXCBild GmbH & Co. KG
 
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackEdmund Siegfried Haselwanter
 
Opensource Tools für das Data Center Management
Opensource Tools für das Data Center ManagementOpensource Tools für das Data Center Management
Opensource Tools für das Data Center Managementinovex GmbH
 
DWX 2016 -Build and Release Management
DWX 2016 -Build and Release ManagementDWX 2016 -Build and Release Management
DWX 2016 -Build and Release ManagementMarc Müller
 
Citrix XenServer 5.6: Die Neuerungen
Citrix XenServer 5.6: Die NeuerungenCitrix XenServer 5.6: Die Neuerungen
Citrix XenServer 5.6: Die Neuerungennetlogix
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als CodeJan Gehring
 
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-GermanObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-GermanObserveIT
 
Clt2008 Virtualisierung
Clt2008 VirtualisierungClt2008 Virtualisierung
Clt2008 Virtualisierungbofh42
 
Oracle Engineered Systems - Chance oder Risiko?
Oracle Engineered Systems - Chance oder Risiko?Oracle Engineered Systems - Chance oder Risiko?
Oracle Engineered Systems - Chance oder Risiko?Trivadis
 
Citrix Fit4Cloud Reihe: Citrix XenServer in der Cloud
Citrix Fit4Cloud Reihe: Citrix XenServer in der CloudCitrix Fit4Cloud Reihe: Citrix XenServer in der Cloud
Citrix Fit4Cloud Reihe: Citrix XenServer in der CloudDigicomp Academy AG
 
Einführung in Puppet und Vagrant
Einführung in Puppet und VagrantEinführung in Puppet und Vagrant
Einführung in Puppet und Vagrants0enke
 

Ähnlich wie Exadata with VM as Consolidation Plattform (20)

Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future Decoded
 
Lotus Foundations Workshop Teil1
Lotus Foundations Workshop Teil1Lotus Foundations Workshop Teil1
Lotus Foundations Workshop Teil1
 
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerEffizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
 
Lotus Foundations Branch Office
Lotus Foundations Branch OfficeLotus Foundations Branch Office
Lotus Foundations Branch Office
 
Sql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenSql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint Administratoren
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point Admins
 
OpenStack – Automatisiertes Bereitstellen von Instanzen
OpenStack – Automatisiertes Bereitstellen von InstanzenOpenStack – Automatisiertes Bereitstellen von Instanzen
OpenStack – Automatisiertes Bereitstellen von Instanzen
 
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...
Nagios Conference 2007 | Aufbau eines hochverfügbaren Nagios Clusters by Mart...
 
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXCContainer im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
 
What is new in xen Server
What is new in xen ServerWhat is new in xen Server
What is new in xen Server
 
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
 
Opensource Tools für das Data Center Management
Opensource Tools für das Data Center ManagementOpensource Tools für das Data Center Management
Opensource Tools für das Data Center Management
 
DWX 2016 -Build and Release Management
DWX 2016 -Build and Release ManagementDWX 2016 -Build and Release Management
DWX 2016 -Build and Release Management
 
Citrix XenServer 5.6: Die Neuerungen
Citrix XenServer 5.6: Die NeuerungenCitrix XenServer 5.6: Die Neuerungen
Citrix XenServer 5.6: Die Neuerungen
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
 
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-GermanObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
 
Clt2008 Virtualisierung
Clt2008 VirtualisierungClt2008 Virtualisierung
Clt2008 Virtualisierung
 
Oracle Engineered Systems - Chance oder Risiko?
Oracle Engineered Systems - Chance oder Risiko?Oracle Engineered Systems - Chance oder Risiko?
Oracle Engineered Systems - Chance oder Risiko?
 
Citrix Fit4Cloud Reihe: Citrix XenServer in der Cloud
Citrix Fit4Cloud Reihe: Citrix XenServer in der CloudCitrix Fit4Cloud Reihe: Citrix XenServer in der Cloud
Citrix Fit4Cloud Reihe: Citrix XenServer in der Cloud
 
Einführung in Puppet und Vagrant
Einführung in Puppet und VagrantEinführung in Puppet und Vagrant
Einführung in Puppet und Vagrant
 

Exadata with VM as Consolidation Plattform

  • 1. BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH Exadata OVM als Konsolidierungsplattform Daniele Massimi – Principal Consultant Projektbericht
  • 2. Agenda Exadata OVM als Konsolidierungsplattform2 14.04.2016 Projektbeschreibung Exadata OVM Eigenschaften Exadata OVM „advanced Networking“ Exadata OVM Disklayout Trusted Partitions Backup der Dom0 und DomU «normale» Betriebsaspekte
  • 3. Who Am I Exadata OVM als Konsolidierungsplattform3 14.04.2016 Daniele Massimi, Trivadis AG (CH, Bern) Principal Consultant daniele.massimi@trivadis.com Seit 2012 bei Trivadis IMS (Infrastructure Service Management), Oracle DBA seit >15 Jahre (Exadata <5 Jahre) Infrastruktur-Architekturen, Operations & Administration, Upgrades and Migration, High Availability, Backup & Recovery, Enterprise Manager, Engineered Systems (Exadata, ODA) Oracle Certifications – Oracle Certified Professional – Oracle Certified RAC Expert – Oracle Exadata Implementations Specialist
  • 4. Mein Unternehmen. Exadata OVM als Konsolidierungsplattform4 14.04.2016 Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. B E T R I E B
  • 5. KOPENHAGEN MÜNCHEN LAUSANNE BERN ZÜRICH BRUGG GENF HAMBURG DÜSSELDORF FRANKFURT STUTTGART FREIBURG BASEL WIEN Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. Exadata OVM als Konsolidierungsplattform5 14.04.2016 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. / € 4.5 Mio. Finanziell unabhängig und nachhaltig profitabel. Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.
  • 6. Exadata OVM als Konsolidierungsplattform6 14.04.2016 Projektbeschreibungen
  • 7. Projektanforderungen Exadata OVM als Konsolidierungsplattform7 14.04.2016 Realisierung einer Oracle Konsolidierungs-Plattform Ablösung der bestehende AIX Umgebung Lizenz Optimierung Bedienung von zwei Netzwerke (Intranet und DMZ) Möglichkeit für DBaaS
  • 8. Wahl der Lösung Exadata OVM als Konsolidierungsplattform8 14.04.2016 Lösung des Kunden  Exadata OVM Exadata OVM kann als Konsolidierungs-Plattform eingesetzt werden Exadata OVM bietet Isolierung mittels VMs Exadata OVM bietet Lizenz-Optimierung mit «Trusted Partition» Exadata OVM hat die gleiche Funktionalität wie mit «Bare Metal» Exadata kann erweitert werden (z.B. mit Elastic Configuration) aber…
  • 9. Exadata OVM als Konsolidierungsplattform9 14.04.2016 Exadata OVM Eigenschaften
  • 10. Was ist Oracle VM: Komponenten Exadata OVM als Konsolidierungsplattform10 14.04.2016 Besteht normalerweise aus zwei Haupt-Komponenten • Trifft jedoch für die Engineered Systems (ODA, Exadata) nicht zu 1..n Oracle VM Server (OVS) • Hosts für die Virtual Machines 1 Oracle VM Manager (OVMM) • Management Infrastructure für OVS (Repository-DB, Web-frontend, CLI) Oracle Enterprise Linux Java Based Management Server Repository DB OVM Server N OVM Server 1 Browser interface Commandline OVM Manager OVM Agent OVM Agent OVMM OVS OracleVM
  • 11. «Bare Metal» zu «virtualized» Exadata Exadata OVM als Konsolidierungsplattform11 14.04.2016 Nach dem Bare Metal Setup muss die Installation zur «virtualized» Konfiguration konvertiert werden Filesystem für Repository wird erstellt OVM Dom0 root@tvd01dbadm01 oracle.SupportTools]# ./switch_to_ovm.sh 2015-04-10 00:59:33 +0200 [INFO] Switch to DOM0 system partition /dev/VGExaDb/LVDbSys3 (/dev/mapper/VGExaDb-LVDbSys3) 2015-04-10 00:59:33 +0200 [INFO] Active system device: /dev/mapper/VGExaDb-LVDbSys1 2015-04-10 00:59:33 +0200 [INFO] Active system device in boot area: /dev/mapper/VGExaDb-LVDbSys1 2015-04-10 00:59:33 +0200 [INFO] Set active systen device to /dev/VGExaDb/LVDbSys3 in /boot/I_am_hd_boot 2015-04-10 00:59:33 +0200 [INFO] Reboot has been initiated to switch to the DOM0 system partition [root@tvd01dbadm01 oracle.SupportTools]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VGExaDb-LVDbSys3 30G 20G 8.6G 70% / tmpfs 7.0G 4.0K 7.0G 1% /dev/shm none 3.5G 40K 3.5G 1% /var/lib/xenstored /dev/sda3 721G 8.6G 713G 2% /EXAVMIMAGES /dev/sda1 496M 65M 406M 14% /boot [root@tvd01dbadm01 oracle.SupportTools]# xm list Name ID Mem VCPUs State Time(s) Domain-0 0 8192 4 r----- 283.9
  • 12. OVM Restriktionen auf der Exadata Exadata OVM als Konsolidierungsplattform12 14.04.2016 OEDA «einziges» Tool für die Generierung der VM Konfiguration VNC Console nicht vorhanden  nur via «xm console» möglich OVM Manager nicht verfügbar (nur Native Commands möglich) Keine OVM Cluster möglich (HA via RAC, RAC One Node oder Data Guard) Kein «Shared Repositories» für die VMs Keine Live Migration Memory balloning (keine online Memory re-Konfiguration möglich) Empfehlung VM auf Exadata • Memory of min. 8Gb für jede VMs • CPU min. 2 vCPU
  • 13. Erstellung von VM auf der Exadata (1) Exadata OVM als Konsolidierungsplattform13 14.04.2016 Generierung der Konfiguration indem ein neuer Cluster hinzugefügt wird Mittels oneCommand Deployment-Steps vom DB-Server 1 ausführen ./install.sh -cf <ExadataConfig_dir>/exa02adm01vm01.trivadis.com-vm.xml –r 1-17
  • 14. Erstellung von VM auf der Exadata (2) Exadata OVM als Konsolidierungsplattform14 14.04.2016 Einer der oneCommand Steps erstellt die VM [root@exa01dbadm01 linux-x64]# ./install.sh -cf ../Exa01/TVD-exa01.xml -s 3 Executing Create Virtual Machine Creating guests for cluster exa01-cluster......................... Checking status of remote files........ Checking status of existing files on remote nodes................................................ Getting status of local files........................................................ Creating guest using /opt/oracle.SupportTools/linux-x64/WorkDir/exa01adm01vm01.ttc.trivadis.com- vm.xml on node exa01dbadm01.ttc.trivadis.com Creating guest using /opt/oracle.SupportTools/linux-x64/WorkDir/exa01adm02vm01.ttc.trivadis.com- vm.xml on node exa01dbadm02.ttc.trivadis.com............................................ . . Successfully logged into machine exa01adm02vm01 Successfully logged into machine exa01adm01vm01 Guests created, waiting for them to be up.... Creating databasemachine.xml for EM discovery Done Creating databasemachine.xml for EM discovery. Successfully completed execution of step Create Virtual Machine [elapsed Time [Elapsed = 1006520 mS [16.0 minutes] Thu Apr 16 19:27:19 CEST 2015]]
  • 15. VM Management auf der Exadata Exadata OVM als Konsolidierungsplattform15 14.04.2016 "xm" ist das Tool um für das Management der VMs auf der Exadata Nur XEN native commands sind verfügbar ! • VMs auflisten – xm list; oder xm list -l • Starten der DomU – xm create /path-to-vm.cfg/vm.cfg • Shutdown der DomU – xm shutdown <name_of_vm | number> • Power-off der DomU – xm destroy <name_of_vm | number> Hardware (CPU, Memory, Disk, Network, ...) Native Device Drivers Host OS Unmodified user programs Guest OS Modifiedkernel (paravirt.) Unmodified user programs DomU Front-End Device DriversBack-End Device Drivers Dom0 Linux XEN-Kernel XEN control software Event Channel Virtual MMUVirtual CPUControl Interface Safe H/W interface XEN Virtual Machine Monitor (Hypervisor)
  • 16. XEN commandos in der Exadata Exadata OVM als Konsolidierungsplattform16 14.04.2016 Nicht alle nativen XEN commandos werden auf der Exadata supported – Folgende commandos funktionieren auf der Exadata nicht: • mem-set • mem-max • migrate • save • restore • suspend • resume • sched-* • cpupool-* Memory Ballooning Nützlich für Resouce Management
  • 17. Wie viele VMs sollten erstellt werden ? Exadata OVM als Konsolidierungsplattform17 14.04.2016 Grundsätzlich sollten so wenig VM’s wie möglich erstellt werden X5-2: max. 63 VMs möglich X4-2: max. 63 VMs möglich X3-2: max. 16 VMs möglich SR-IOV= Single Root I/O Virtualization Virtualisierung des PCI Adapters (z.B. der Infiniband HCA) Management und Ressourcen Overhead vermeiden P101-VM01 P201-VM02 I101-VM03 I201-VM04 DBS01 P102-VM01 P202-VM02 I102-VM03 I202-VM04 DBS02 Exadata Rack Data Center 1
  • 18. Exadata OVM als Konsolidierungsplattform18 14.04.2016 Exadata OVM „advanced Networking“
  • 19. Projektanforderung Exadata OVM als Konsolidierungsplattform19 14.04.2016 Kunde betreibt zwei von einander getrennte Netzwerke (Intranet und DMZ) Netzwerke sind nur teilweise geroutet • Mandantenfähigkeit • Security Anforderungen Problematik der Exadata DB-Server • begrenzte Anzahl von Netzwerk Interface Ports Lösung  VLAN Tagging Ethernet Ports Public Network Optical Ports Public Network Mgmt Ports Infiniband Ports Ethernet Ports Admin Network Ethernet Ports Backup/DG Network
  • 20. XEN / OVM Netzwerk – Überblick Exadata OVM als Konsolidierungsplattform20 14.04.2016 Computer - XEN Bridge: xenbr0Bridge dom0 (Host) Computer domU-X (VM)N e t w o r k eth1 eth2 bondeth0 eth0 vmbondeth0 vifX.0
  • 21. Netzwerk – von «physical to bridge» Exadata OVM als Konsolidierungsplattform21 14.04.2016 /etc/sysconfig/network-scripts/ifcfg-vmbondeth0 Eine Bridge ist eine Art von «Virtual Switch» DEVICE=vmbondeth0 TYPE=Bridge IPADDR=10.10.10.142 NETMASK=255.255.254.0 BOOTPROTO=static ONBOOT=yes DELAY=0 DEVICE=bond0 BOOTPROTO=none ONBOOT=yes BRIDGE=vmbondeth0 NM_CONTROLLED=no BONDING_OPTS="..." Bridge: xenbr0 bond0 vmbondeth0 vifX.0 Bridge # ifconfig vmbondeth0 10.10.10.0 Link encap:Ethernet HWaddr B4:99:BA:BB:BE:54 inet addr:10.10.10.142 Bcast:10.10.10.255 Mask:255.255.254.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
  • 22. Netzwerk – VLAN Tagging Exadata OVM als Konsolidierungsplattform22 14.04.2016 ifcfg-bondeth0.1000 ifcfg-vmbondeth0.1000 Bridge: xenbr0 bondeth0.1000 vmbondeth0.1000 vifX.0 Bridge Bridge: xenbr0 bondeth0.2000 vmbondeth0.2000 vifX.0 Bridge bondeth0 DEVICE=bondeth0.1000 HWADDR=B4:99:BA:BB:BE:5 6 BOOTPROTO=none ONBOOT=yes VLAN=yes BRIDGE=vmbondeth0.1000 NM_CONTROLLED=no DEVICE=vmbondeth0.1000 TYPE=Bridge BOOTPROTO=none ONBOOT=yes DELAY=0 ifconfig vmbondeth0.1000 vmbondeth0.1000 Link encap:Ethernet HWaddr B4:99:BA:BB:BE:56 inet addr:192.168.100.1 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
  • 23. Netzwerk Konfiguration: VLAN Tagging auf Exadata VM Exadata OVM als Konsolidierungsplattform23 14.04.2016 vconfig package muss installiert sein resp. werden Tag auf den VLAN Interface erstellen Check mit brctl # rpm -qa | grep vconfig vconfig-1.9-3 ./VTagXBrConfig.sh create -v 1000 -l 1000 -i bondeth0 # brctl show bridge name bridge id STP enabled interfaces vmbondeth0 8000.90e2ba813434 no bondeth0 ……………………………… vmbondeth0.1000 8000.90e2ba813434 no bondeth0.1000 ……………………………….. vmeth0 8000.0010e062c00e no eth0
  • 24. VM mit VLAN Tagging erweitern (1) Exadata OVM als Konsolidierungsplattform24 14.04.2016 Editieren des vm.cfg File auf jeder VM Erstellen einer neuen ramdom MAC Adresse Folgende Modifikationen anbringen (vm.cfg) # cd /EXAVMIMAGES/GuestImages/<user domain name>/vm.cfg # cp vm.cfg vm.cfg.before_vlantag # echo -n "00:16:3e"; dd bs=1 count=3 if=/dev/random 2>/dev/null | hexdump -v -e '/1 ":%02x"' 00:16:3e:e6:28:88 vif = ['type=netfront,mac=00:16:3e:e6:94:28,bridge=vmeth0'] to vif = 'type=netfront,mac=00:16:3e:e6:28:88,bridge=vmbondeth0.1000','type=netfront,mac=00 :16:3e:e6:94:28,bridge=vmeth0']
  • 25. VM mit VLAN Tagging erweitern (2) Exadata OVM als Konsolidierungsplattform25 14.04.2016 Eintrag im /etc/udev/rules.d/70-persistent-net.rules File jeder DomU erstellen, um das Naming des Interface zu garantieren Konfigurien der IP-Adresse für das neu hinzugefügte Interface Gleiche Prozedur gilt auch für das Admin Interface, falls solche Anforderungen bestehend sind OEDA 12.1.2.3.0 (Patch 22694905 vom 19.02.2016) unterstützt “ein” VLAN Tag MOS Note 2018550.1 (VLAN Tag Exa OVM - Public Network) MOS Note 2090345.1 (VLAN Tag Exa OVM Admin Network, seit 22.01.2016) SUBSYSTEM=="net", ACTION=="add", SYSFS{address}=="00:16:3e:e6:28:88", KERNEL=="eth*", NAME="bondeth0" # /opt/oracle.cellos/ipconf.pl –nocodes
  • 26. Infiniband Partitioning Exadata OVM als Konsolidierungsplattform26 14.04.2016 IB Partitionen haben die gleiche Funktion wie VLAN Tagging Partitionen definieren welche Nodes untereinander kommunizieren können Partition keys (pkey) – werden dabei als “Tag” verwendet • Pkey “0x7fff” (dezimal 32767) gilt als default Partition key Ein Nodes kann mehrere “Partitions” ansprechen
  • 27. Infiniband Problematik im «Projekt» Exadata OVM als Konsolidierungsplattform27 14.04.2016 Projektanforderung = zwei getrennte Netze sollen betrieben werden Via IB Interface kann man sich auf DomU des anderen Ntzwerk verbinden ! Infiniband Netz “muss” daher partitioniert werden ! OEDA unterstützt IB Partitioning für “ein” Partition key Quelle: Oracle
  • 28. Infiniband Problematik – Lösung Exadata OVM als Konsolidierungsplattform28 14.04.2016 Interconnect Verbindung wird mit Infiniband Partitioning versehen IB Partitioning für Storage Server bleibt “geshared” Zusätzliche IB IP-Adressen werden benötigt (Private IP-Range) Konfiguration auf IB-Switch, VM und DB-Servers notwendig Quelle: Oracle
  • 29. Exadata OVM als Konsolidierungsplattform29 14.04.2016 Exadata OVM Disklayout
  • 30. Exadata OVM und ASM Storage Exadata OVM als Konsolidierungsplattform30 14.04.2016 Database Storage auf der Exadata OVM befindet sich in den Storage Cells Storage Partitionen (Celldisks, Griddisks) sind gleich wie bei Bare Metal • Zwei Diskgroups für jede VM werde erstellt (DATACn and RECOCn) • Griddisk Grössen werden aus der OEDA Konfiguration abgeleitet • Storage wird via I/O Virtualization  SR-IOV  Auch bekannt als PCI Passthrough, keinen Hypervisor Interaktion = keinen Overhead !
  • 31. Exadata OVM – Projektspezifisches Disk Layout Exadata OVM als Konsolidierungsplattform31 14.04.2016 Der Disk Layout wird implizit aus der OEDA Konfiguration abgeleitet Problem  unflexibles Disk Layout ! Lösung  Erstellung von Griddisk Einheitsgrössen um: • Flexible Erweiterung von bestehende Diskgruppen sicherzustellen • Vermeidung von Leer-Kapazitäten  (z.B. durch sub-optimale Aufteilung kann nicht den vollen phys. Diskplatz benutzt werden • Optimale Diskplatz-Ausnutzung von Storage Server  frühzeitige Beschaffung von zusätzlichen Storage Server vermeiden Griddisks werden demnach mittels folgender Formel partitioniert: • (Grösse ASM-Diskgruppe : n Storage Cells) : 12 (Anzahl phys. Disks)
  • 32. Exadata OVM – Disk Layout Reorg Exadata OVM als Konsolidierungsplattform32 14.04.2016 Reorganisation der Griddisks kann online durchgeführt werden Vorgehen  Reorg der Griddisks  Reorg der ASM Diskgruppe Resizen der Griddisks  auf allen Storage Cells ausführen ! Resizen der Diskgruppen Wenn Griddisks zwischen den Diskgruppen verschoben werden sollen, müssen diese zuerst aus der ASM DG gedroppt werden Danach müssen die alten Griddisk gelöscht und neue erstellt werden, dies aufgrund der Names-Konvention der VMs CellCLI> alter griddisk RECOC1_CD_00_tvd01celadm01,RECOC1_CD_01_tvd.. size=200G SQL> alter diskgroup RECOC1 resize all; CellCLI> drop griddisk RECOC1_CD_00_tvd01celadm01; CellCLI> create griddisk all prefix=RECOC4 size=200G;
  • 33. Exadata OVM als Konsolidierungsplattform33 14.04.2016 Exadata OVM mit Trusted Partitions
  • 34. Trusted-Partition – Lizenz Optimierung Exadata OVM als Konsolidierungsplattform34 14.04.2016 Erlaubt die Lizenzierung der Oracle Produkte von einem subset der verwendeten Prozessoren in ihrer Exadata Mit Trusted Partition müssen auf der Exadata mindestens 40% der Prozessoren lizenziert werden Hyper-Threading muss eingeschaltet werden Zwei vCPU werden als einem physical Core gezählt Enterprise Manager ist zwingend einzusetzen (Nachvollziehbarkeit)
  • 35. Exadata OVM als Konsolidierungsplattform35 14.04.2016 Backup der Dom0 und DomU
  • 36. Backup der Dom0 (auch für DomU anwendbar) Exadata OVM als Konsolidierungsplattform36 14.04.2016 Dom0 (root FS) liegt auf LVM Volumes Zwei Backup Möglichkeiten sind möglich • Normales Filesystem Backup  Backup Client ist nötig  Möglichkeit einzelne Files vom Backup Server zu restoren ist gegeben • LVM Snapshots  Mount-bar auf jedes LVM basiertes System möglich  Möglichkeit einzelne Files zu restoren durch mounten des Snapshot Auch für DomU anwendbar !
  • 37. Backup of DomU Exadata OVM als Konsolidierungsplattform37 14.04.2016 Auch für das Backup der DomU sind zwei Backup Methoden möglich • Normal Filesystem Backup (Backup Client notwendig) • OCFS2 Reflink basierte Snapshots (von der Dom0 ausgeführt)  Pausieren der DomU  Erstellen von Reflinks (Snapshots) für jedes Files  Unpausieren der DomU  Backup der Snapshots erstellen  Reflinks löschen # xm pause <name_of_vm | number> # reflink orig_file snap_file # xm unpause <name_of_vm | number> # rm –rf snap_file
  • 38. Exadata OVM als Konsolidierungsplattform38 14.04.2016 „Normale“ Betriebsaspekte
  • 39. Betriebaspekte Exadata OVM als Konsolidierungsplattform39 14.04.2016 Betriebsaspekte wie: • Grid Infrastructure • Datenbanken • Backup von Datenbanken • Maintenance von Datenbanken • Migrationen • Patching • uvm.  Werden wie auf einer normalen Oracle Datenbank Plattform vorgenommen !
  • 40. Fazit Exadata OVM als Konsolidierungsplattform40 14.04.2016 Gute Implementation für Isolation von Umgebungen Mit Trusted Partition hat man ein Instrument für Lizenz Optimierung Management Tools für das VM Management «noch» nicht vorhanden Nahezu gleiche Performance wie mit Bare Metal Mehrere Technologien = mehr Know-How wird benötigt Komplexität steigt exponentiell (Management, Networking, Backup, etc.)
  • 41. Fragen und Antworten… Daniele Massimi Principal Consultant Tel. +41 58 459 50 92 daniele.massimi@trivadis.com 14.04.2016 Exadata OVM als Konsolidierungsplattform41