Exadata training

Exadata Storage Server 简介

Exadata Storage
Server • 适用于 Oracle 数据库的高性能存储
• 基于 64 位 Intel 的 Sun Fire 服务器
• 预先安装的软件：
– Exadata Storage Server 软件
– Oracle Linux x86_64
– 驱动程序和实用程序
•

版权所有 © 2012，Oracle 和/或其附属公司。保留所有权利。

Exadata Storage Server 体系结构：概览
Oracle 数据库服务器

Exadata 单元 Linux OS Exadata 单元 Linux OS
Exadata Exadata
单元软件单元软件

… …
磁盘磁盘


Exadata Storage Server 功能：概览
Oracle 数据库服务器

50% 的 I/O
34% 的 I/O

16% 的 I/O
智能存储
操作 I/O 资源管理

高性能
存储网络

智能闪存高速缓存

存储整合
（对数据库透明）

数据压缩

Exadata Storage Server X2-2 硬件详细信息
(Sun Fire X4270 M2)

处理器 2个六核IntelXeonL5640处理器(2.26GHz)

内存 24GB(6x4GB)

本地磁盘 12x600GB15KRPM高性能SAS
或12x2TB7.2KRPM高容量SAS

闪存 4x96GBSunFlashAcceleratorF20PCIe卡

磁盘控制器具有由电池供电的512MB高速缓存的磁盘控制器HBA

网络两个InfiniBand4XQDR(40Gb/s)端口
（1个双端口PCIe2.0HCA）
四个嵌入式千兆位以太网端口
远程管理 1个以太网端口(ILOM)
电源 2个可热交换的冗余电源


Exadata Storage Server X2-2 规格
HP磁盘 HC磁盘

1 384GB 384GB
Exadata智能闪存高速缓存
1 7.2TB 24TB
原始磁盘容量
2 3.25TB 10.75TB
未压缩数据容量
原始磁盘吞吐量 1.8GB/s 1.0GB/s

闪存吞吐量 5.4GB/s 4.6GB/s

每秒磁盘I/O数(IOPS) 3,600 1,800

每秒闪存I/O数(IOPS) 100,000 100,000
1 －通过使用 1 GB = 1000 x 1000 x 1000 字节和 1 TB = 1000 x 1000 x 1000 x 1000 字节计算得出的
原始容量。
2 －用户数据：未压缩的最终用户数据的实际空间，在单个镜像（ASM 正常冗余）后计算得出，同时
还提供足够的空间以在磁盘出现故障后重新建立镜像保护。实际用户数据容量因应用程序而异。


Database Machine X2-2 全机架

14 台 Exadata Storage
Server（全部为高性能的或
全部为高容量的） 8 台基于 Intel 的 2 CPU
Sun Fire 数据库服务器

1 台 Cisco 以太网交换机键盘、视频、鼠标
（48 个端口） (Keyboard, Video, Mouse,
KVM) 硬件

3 台 Sun Datacenter 背部有 2 个配电设备 (Power
InfiniBand Switch 36 Distribution Unit, PDU)
（管理 36 个端口的 QDR
交换机－ 40 GB/s）
备件套件：
• 两个硬盘驱动器（高性能或
高容量）
• 两个 96 GB 闪存卡
• 备用 InfiniBand 电缆

X2-2 数据库服务器硬件详细信息
(Sun Fire X4170 M2)

处理器 2个六核IntelXeonX5670处理器(2.93GHz)

内存 96GB(12x8GB)，可扩展到144GB(18x8GB)

本地磁盘四个300GB10KRPMSAS磁盘


网络两个QDR(40Gb/s)InfiniBand端口
（1个双端口PCIe2.0HCA）
四个1GB以太网端口
两个10GB以太网SFP+端口
（1个基于Intel8259910GbE控制器技术的双端口10GbEPCIe2.0
网卡）

远程管理 1个以太网端口(ILOM)

电源 2个可热交换的冗余电源


从小规模起步，逐步扩展

X2-2 X2-2 X2-2
四分之一机架半机架全机架


Database Machine X2-8 全机架

14 台 Exadata Storage
Server（全部为高性能的或
全部为高容量的） 2 台基于 Intel 的 8 CPU Sun
Fire 数据库服务器

1 台 Cisco 以太网交换机
（48 个端口）

3 台 Sun Datacenter 背部有 2 个配电设备 (Power
InfiniBand Switch 36 Distribution Unit, PDU)
（管理 36 个端口的 QDR
交换机－ 40 Gb/s）
备件套件：
• 两个硬盘驱动器（高性能或
高容量）
• 两个 96 GB 闪存卡
• 备用 InfiniBand 电缆

X2-8 数据库服务器硬件详细信息
(Sun Fire X4800)

处理器 8x八核IntelXeonX7560处理器(2.26GHz)

内存 1TB(64x16GB)

本地磁盘八个300GB10KRPMSAS磁盘


网络八个InfiniBand4XQDR(40Gb/s)端口
（四个双端口PCE2.0express模块）
两个NetworkExpressModule(NEM)，总共可提供
八个1GbE以太网端口和
八个10GbE以太网SFP+端口
（使用Intel8259910GbE控制器技术的四个FabricExpressModule(FEM)）

远程管理一个以太网端口(ILOM)

电源四个可热交换的冗余电源


Database Machine 容量
X2-2 X2-2 X2-8
X2-2
半机架全机架全机架
四分之一
机架

高性能 21TB 50TB 100TB 100TB
1
原始磁盘容量 72TB 168TB 336TB 336TB
高容量
1 1.1TB 2.6TB 5.3TB 5.3TB
闪存容量
高性能 9.5TB 22.5TB 45TB 45TB
2
用户数据容量 31.5TB 75TB 150TB 150TB
高容量
2 －用户数据：未压缩的最终用户数据的实际空间，在单个镜像（ASM 正常冗余）后计算得出，同时
还提供足够的空间以在磁盘出现故障后重新建立镜像保护。实际用户数据容量因应用程序而异。
1 －通过使用 1 GB = 1000 x 1000 x 1000 字节和 1 TB = 1000 x 1000 x 1000 x 1000 字节计算得出的
原始容量。


Database Machine 性能
X2-2 X2-2 X2-8
X2-2
半机架全机架全机架
四分之一
机架

3
高性能 5.4GB/s 12.5GB/s 25GB/s 25GB/s
磁盘吞吐量
高容量 3GB/s 7GB/s 14GB/s 14GB/s
3 16GB/s 37.5GB/s 75GB/s 75GB/s
闪存吞吐量高性能
高容量 13.5GB/s 32GB/s 64GB/s 64GB/s
4
高性能 10,800 25,000 50,000 50,000
磁盘IOPS
高容量 5,400 12,500 25,000 25,000
4 370,000 750,000 1,500,000 1,500,000
闪存IOPS
4 －每秒 IO 数 (IO per second, IOPS) －基于 8K 大小的 IO 请求。
3 －吞吐量为峰值物理扫描吞吐量，假定没有压缩。


Exadata 存储扩展机架
四分之一半机架全机架
机架

ExadataStorageServer 4 9 18

InfiniBand交换机 2 3 3

原始磁盘容量 96TB 216TB 432TB

闪存容量 1.5TB 3.4TB 6.75TB

用户数据容量 42.5TB 97TB 194TB

磁盘吞吐量 4GB/s 9GB/s 18GB/s

闪存吞吐量 18GB/s 41GB/s 82GB/s

磁盘IOPS 7,200 16,000 32,000

闪存IOPS 425,000 950,000 1,900,000


InfiniBand 网络
InfiniBand:
• 是 Database Machine 互连结构：
– 提供可用的最高性能－每个方向 40 Gb/s
– 自 2002 年以来广泛用于高性能计算
• 用于存储联网、RAC 互连和高性能外部连接：
– 更少的配置、更低的成本、更高的性能
• 看起来像连接主机软件的普通以太网：
– 所有基于 IP 的工具都以透明方式运行－ TCP/IP、UDP、SSH
等等
• 使用高性能 SDP InfiniBand 协议：
– 零复制、零丢失数据报协议
• – Oracle 开发的开源软件
– CPU 开销非常低


InfiniBand 网络体系结构
• Sun Datacenter 36 端口托管 QDR (40 Gb/s) 交换机
– 两台用于连接服务器 InfiniBand 端口的叶交换机。
– 一台中心交换机（仅限于全机架和半机架配置中）。
• Exadata Storage Server 和 X2-2 数据库服务器
– 每台服务器都有一个双端口 QDR (40 Gb/s) InfiniBand HCA。
– 每个 HCA 端口都连接到一台不同的叶交换机以实现高可用性。

• X2-8 数据库服务器
– 每台服务器都有四个双端口 QDR (40 Gb/s) InfiniBand HCA。
– 在每个接合对中，每个 HCA 端口都连接到一台不同的叶交换
机以实现高可用性。

•

Database Machine 网络体系结构


X2-2 全机架叶交换机拓扑


中心和叶拓扑


扩展性能和容量

可伸缩冗余和容错
• 通过添加电缆可扩展到八个机架。 • 仸一组件发生故障都是可以
• 通过添加 2 台 InfiniBand 交换机承受的。
可从 9 个机架扩展到 36 个机架。 • 数据在存储服务器之间进行
• 扩展到数百台存储服务器可支持了镜像。
多拍字节数据库。


扩展到八个机架

• 基于胖树拓扑的单个 InfiniBand 网络
– 现有交换机最多支持 8 个机架
– 数据库和存储服务器电缆连接不变
• 两机架示例：

扩展到八个以上的机架

• 基于胖树拓扑的单个 InfiniBand 网络
– 通过添加两个外部中心交换机可扩展到 36 个机架
– 胖树拓扑中将增加一个层次
• 示例：

安装和配置之后的结果
eidm01 172.16.1.101 eidm02 172.16.1.102
eidm01-vip 172.16.1.103 eidm02-vip 172.16.1.104 eidm-scan 172.16.1.105
eidmdb01 eidmdb01-ilom eidmdb02 eidmdb02-ilom 172.16.1.106
10.7.7.101 10.7.7.106 10.7.7.102 10.7.7.107 172.16.1.107

DB 服务器 1 DB 服务器 2
DB 实例：dbm1 DB 实例：dbm2
ASM 实例：+ASM1 ASM 实例：+ASM2
群集：eidm 群集：eidm

eidmdb01-priv eidmdb02-priv
192.168.10.1 192.168.10.2
InfiniBand 存储网络
eidmcel01-priv eidmcel02-priv eidmcel03-priv
192.168.10.3 192.168.10.4 192.168.10.5

DBFS_DG DBFS_DG DBFS_DG
DATA_EIDM DATA_EIDM DATA_EIDM

RECO_EIDM RECO_EIDM RECO_EIDM

Exadata 服务器 1 Exadata 服务器 2 Exadata 服务器 3
eidmcel01 eidmcel01-ilom eidmcel02 eidmcel02-ilom eidmcel03 eidmcel03-ilom
10.7.7.103 10.7.7.108 10.7.7.104 10.7.7.109 10.7.7.105 10.7.7.110


InfiniBand 网络外部连接

• 每台叶交换机为外部连接预留了六个端口。
• 外部连接端口可用于：
– 连接到用于磁带备份的介质服务器
– 连接到外部 ETL 服务器
– 客户机或应用程序访问
— 包括 Oracle Exalogic Elastic Cloud

Database Machine 软件体系结构：概览
单实例数据库 RAC 数据库
数据库服务器数据库服务器数据库服务器
Enterprise
数据库实例 Manager
数据库实例数据库实例
单个 DBRM DBRM DBRM
ASM 群集
ASM ASM ASM
LIBCELL LIBCELL LIBCELL

基于 InfiniBand
且配有路径故障
转移的 iDB 协议 InfiniBand 存储网络

Oracle Linux
OracleLinux OracleLinux

单元控制 CLI CELLSR MS CELLSRV MS CELLSR MS
(cellcli/dcli) V V
IORM RS IORM RS IORM RS
SSH

Exadata 单元 Exadata 单元 Exadata 单元


Database Machine 软件体系结构详细信息

Exadata 单元数据库服务器

智能 RDBMS 实例 ASM 实例
SGA SGA
数据闪存高速缓存
ASM ASM
dskm
I/O dskm I/O
进程进程
LIBCELL LIBCELL
/opt/oracle/cell/
cellsrv/deploy/ cellsrv CellCLI
config MS diskmon
adrci css
cell_disk_
config.xml iDB 协议 iDB 协议
CELLSRV /etc/oracle/cell/network-config
cellinit.ora RS ADR
cellip.ora cellinit.ora
bond0

MS 内部字典与列出可访问的列出本地
CELLSRV 内部参数 Exadata 单元接口 IP
和本地接口 IP
InfiniBand 网络


闪存存储实体和关系
闪存 LUN 单元磁盘网格磁盘 ASM 磁盘
或
闪存高速缓存

Exadata 单元 CellCLI> CREATE FLASHCACHE ...
CellCLI> CREATE GRIDDISK ... FLASHDISK ...

闪存高速缓存
闪存 LUN 单元磁盘或

闪存高速缓存

网格磁盘
对 ASM
可见


磁盘组配置

SQL> CREATE DISKGROUP

Exadata 单元 (CELL1) Exadata 单元 (CELL2)

DATA_1
CELL1 故障组磁盘组 CELL2 故障组

FRA_1
CELL1 故障组 CELL2 故障组
磁盘组


Traditional Scan Processing

SELECT  • With traditional storage, all
customer_name Rows Returned database intelligence
FROM calls resides in the database
WHERE amount > hosts
200;
 • Very large percentage of
DB Host reduces terabyte of
data to 1000 customer
data returned from storage

names that are returned to is discarded by database
Table Extents
Identified client servers
• Discarded data consumes
valuable resources, and
  impacts the performance of
I/Os Issued I/Os Executed: other workloads
1 terabyte of data
returned to hosts

Exadata Smart Scan

SELECT
Processing
customer_name  • Only the relevant columns
FROM calls Rows Returned – customer_name
WHERE amount > and required rows
200; – where amount>200
are are returned to hosts

 Consolidated • CPU consumed by predicate
Smart Scan Constructed Result Set Built evaluation is offloaded
And Sent To Cells From All Cells
• Moving scan processing off the
database host frees host CPU cycles
and eliminates massive amounts of
 unproductive messaging
Smart Scan identifies  – Returns the needle, not the
rows and columns 2MB of data returned to entire hay stack
within terabyte table server
that match request

Exadata 智能存储功能

• 联接处理：
– 在 Exadata Storage Server 内执行星形联接处理
• 扫描加密数据
• 扫描压缩数据
• 对数据挖掘评分
– 例如：

SELECT cust_id
FROM customers
WHERE region = 'US'
AND prediction_probability(churnmod,'Y' using *) > 0.8;

Exadata 智能扫描横向扩展：示例

数据库
dbs1
服务器

InfiniBand 存储网络
最高 40 Gb/s

Exadata
单元
edsc1 edsc2
… edsc13 edsc14

每个单元可提供 1.8 GB/s。

总共 14 个单元可提供
14 x 1.8 = 25.2 GB/s
磁盘
（12 个/
单元）



select /*+ full(lineitem) */ count(*)
不使用智能扫描 from lineitem
where l_orderkey < 0;

数据库 dbs1 数据库要求执行完整表扫描以检索
服务器所有块，然后过滤匹配的行。

如果表均匀地分布在所有磁盘中，
如果表的大小为 4800 GB，每个单元向数据库实例发送的数据不能超过
完整扫描将耗时大约 16 分钟。 40/14 = 2.85 Gb/s = 0.357 GB/s。

单元
Exadata
…
edsc1 edsc2 edsc13 edsc14

0.357 GB/s
磁盘受到网络带宽限制！

磁盘
（12 个/
单元）



select /*+ full(lineitem) */ count(*)
使用智能扫描 from lineitem
where l_orderkey < 0;

数据库要求 Exadata 单元
数据库 dbs1
服务器返回所有匹配行。

如果表均匀地分布在所有磁盘中，
如果表的大小为 4800 GB，每个单元向数据库实例发送的数据不能超过
扫描整个表将在大约 3 分 10 秒内完成！
40/14 = 2.85 Gb/s = 0.357 GB/s。

Exadata
单元 …
edsc1 edsc2 edsc13 edsc14

1.8 GB/s 每个单元都能够以
1.8 GB/s 的速度
进行扫描并将其匹配的
行发送至数据库示例。
这表示扫描的总速度为
磁盘 25.2 GB/s！
（12 个/
单元）


Exadata 混合列式压缩：概览

仓库压缩归档压缩
针对速度进行优化针对空间进行优化

• 10 倍的平均存储节省 • 15 倍的平均存储节省
• 10 倍的扫描 I/O 缩减 – 对于某些数据高达 50 倍
• 针对查询性能进行优化 • 较大的访问开销
• 适用于冷数据或历史数据

降低仓库大小回收磁盘
更出色的性能保持数据联机
可以按分区混合压缩类型以
进行信息生命周期管理


Exadata 混合列式压缩数据结构

压缩单元
块头块头块头块头
CU 头 C5 C7 C8
C2
C1 C4
C3
C2 C5 C6

• 压缩单元是跨多个数据库块的逻辑结构。
• 压缩单元内的每一行都是独立的。
• 在加载数据时按列组织数据。
• 每一列都分别进行压缩。
• 支持智能扫描。

Exadata 智能闪存高速缓存：概览

• 用于经常访问的对象的高性能缓存
• 非常适用于缓存重复的随机读取
• 允许按应用程序表优化

每秒数百个 I/O 每秒数万个 I/O


Exadata 智能闪存高速缓存智能缓存

Exadata 智能闪存高速缓存了解各种类型的数据库 I/O：
• 缓存经常访问的数据和索引块。
• 缓存控制文件读取和写入。
• 缓存文件头读取和写入。
• DBA 可以设定缓存优先级。

• 不缓存镜像副本的 I/O。
• 不缓存备份相关 I/O。
• 不缓存数据泵 I/O。
• 不缓存数据文件格式设置。
• 表扫描不独占缓存。

使用 Exadata 智能闪存高速缓存

写入操作读取操作读取操作
基于之前缓存的数据基于未缓存的数据

DB 1 DB 1 DB

读取请求

读取请求
3 1 3 3
确认

cellsrv

cellsrv

cellsrv
2 4 2 2 4

Exadata 智能
闪存高速缓存


Exadata 智能闪存日志：概览

• Exadata 智能闪存日志为重做日志写入提供高性能、低延迟
的可靠临时存储：
– 日志写入将被定向到磁盘和 Exadata 智能闪存日志。
– 将以最快速度进行确认并继续进行处理。
– 其概念类似于多路复用重做日志。
– Exadata Storage Server 自动管理智能闪存日志并确保所有日
志条目都保存到磁盘。

重做日志最快速确认后
记录继续处理


Exadata 存储索引：概览
内存中的存储索引只有第一个块可以匹配
区域索引 SELECT * FROM T1 WHERE B<2;

B:1/5 B:3/8
E:a/j
G:4/9
… …

1 ASM AU
… 1
M
存储区域
B

DBA 1ASM磁盘

表T1 表T1 表T2

A B C D A B C D E F G

… 1 … … … 5 … … a … 4
最小 B = 1 最小 B = 3
最大 B = 5 … 3 … … … 8 … … 最大 B = 8 d … 7

… 5 … … … 3 … … j … 9


使用分区的存储索引：示例

订单号 ORDER_DATE SHIP_DATE 物品
（分区键）

1 2007 2007

2 2008 2008

3 2009 2009

• 对 SHIP_DATE 的查询不会从 ORDER_DATE 分区中获益：
– 但是，SHIP_DATE 与 ORDER_DATE 高度相关
• 存储索引可增强对 SHIP_DATE 的查询的性能：
– 利用分区创建的排序

数据库文件系统

• 数据库文件系统 (Database File System, DBFS) 使得数据
库可以用作文件系统。
• 文件作为 SecureFile LOB 存储在数据库表内：
– 与仸何 Oracle 数据一样受保护－ ASM 镜像、Data Guard、
闪回等
– 为 ETL 暂存、脚本、报告以及其他应用程序文件共享存储
– 在全机架 Database Machine 上具备 5 到 7 GB/s 的文件系统
I/O 吞吐量能力
转换并加载到
将文件复制到 DBFS 数据库表中


I/O 资源管理：概览

传统存储服务器
FIFO 磁盘队列
I/O 请求
RDBMS H L H L L L

您无法高优先级低优先级
影响 I/O 工作负荷工作负荷
调度程序请求请求

Exadata Storage Server 基于优先级模式
的 I/O 调度程序

I/O 请求 H H
RDBMS L H H H
L L L L


优势倍增

多 TB 的用户数据使用 Exadata 混合使用分区删减可
通常需要多 TB 的 I/O 列式压缩可减少 I/O 进一步减少 I/O

在 Database
Machine 上
可以实时
存储索引跳过智能扫描意味着仅将获取结果
无价值的 I/O 结果返回到数据库


Exadata Storage Server 管理：概览

• 每台 Exadata Storage Server 是单独管理的。
• 可使用 CellCLI 执行大多数管理：
– CellCLI 只能在要管理的单元上执行。
– CellCLI 与 MS 配合使用来执行管理任务。
– CellCLI 会话示例：
[celladmin@cell01 ~]$ cellcli
CellCLI: Release 11.2.1.2.0 - Production ...

CellCLI> list cell
cell01 online

CellCLI> exit
quitting

[celladmin@cell01 ~]$

Exadata Storage Server 管理用户帐户
为每台 Exadata Storage Server 配置了三个操作系统用户：
• root 用户可以：
– 编辑配置文件（如 cellinit.ora 和 cellip.ora）
– 更改网络配置设置
– 运行位于 /opt/oracle.SupportTools 目录下的支持和
诊断实用程序
– 运行 CellCLI CALIBRATE 命令
– 执行 celladmin 用户可以执行的所有任务
• celladmin 用户可以：
– 使用 CellCLI 实用程序执行管理任务（CREATE、DROP、
ALTER，等等）
– 使用 adrci 实用程序为 Oracle 支持对事件进行打包
• cellmonitor 用户使用 CellCLI 实用程序只能查看 (LIST)
Exadata 单元对象。

使用 CALIBRATE 测试 Storage Server 性能

磁盘带宽通道带宽

指标 = IOPS 指标 = MBPS

需要高 RPM 和需要大型
I/O 通道
快速查找时间

OLTP DW/OLAP
（小型随机 I/O）（大型顺序 I/O）

CALIBRATE


CALIBRATE：示例

[root@cell01 ~]# cellcli
CellCLI: Release 11.2.1.2.0 - Production on Mon Nov 02 16:42:06 PST 2009
Copyright (c) 2007, 2009, Oracle. All rights reserved.

Cell Efficiency ratio: 1.0

CellCLI> CALIBRATE FORCE
Calibration will take a few minutes...
Aggregate random read throughput across all hard disk luns: 1601 MBPS
Aggregate random read throughput across all flash disk luns: 4194.49 MBPS
Aggregate random read IOs per second (IOPS) across all hard disk luns: 4838
Aggregate random read IOs per second (IOPS) across all flash disk luns: 137588
Controller read throughput: 1615.85 MBPS
Calibrating hard disks (read only) ...
Lun 0_0 on drive [20:0 ] random read throughput: 152.81 MBPS, and 417 IOPS
...
Calibrating flash disks (read only, note that writes will be significantly slower).
Lun 1_0 on drive [[10:0:0:0]] random read throughput: 269.06 MBPS, and 19680 IOPS
...
CALIBRATE results are within an acceptable range.

配置 Exadata Cell Server 软件

CellCLI: Release 11.2.1.2.0 - Production on Mon Nov 02 17:46:13 PST 2009
Cell Efficiency ratio: 1.0

CellCLI> ALTER CELL smtpServer='my_mail.example.com', -
smtpFromAddr='exadata.cell01@example.com', -
smtpPwd=<email_address_password> -
smtpToAddr='jane.smith@example.com', -
notificationPolicy='critical,warning,clear', -
notificationMethod='mail'
Cell cell01 successfully altered

CellCLI>

启动和停止 Exadata Cell Server 软件

CellCLI: Release 11.2.2.1.0 - Production on Wed Jul 20 17:54:21 EDT 2011


Cell Efficiency Ratio: 19M

CellCLI> ALTER CELL RESTART SERVICES ALL

Stopping the RS, CELLSRV, and MS services...
The SHUTDOWN of services was successful.
Starting the RS, CELLSRV, and MS services...
Getting the state of RS services...
running
Starting CELLSRV services...
The STARTUP of CELLSRV services was successful.
Starting MS services...
The STARTUP of MS services was successful.

CellCLI>

配置单元磁盘

CellCLI> CREATE CELLDISK ALL HARDDISK
CellDisk CD_00_cell01 successfully created
...

CellCLI> LIST CELLDISK
CD_00_cell01 normal
...
CD_10_cell01 normal
CD_11_cell01 normal
FD_00_cell01 normal
...
FD_14_cell01 normal
FD_15_cell01 normal

CellCLI>


配置网格磁盘

CellCLI> CREATE GRIDDISK ALL PREFIX=data, SIZE=300G 使用最快的
GridDisk data_CD_00_cell01 successfully created 磁盘部分
...
GridDisk data_CD_11_cell01 successfully created

CellCLI> CREATE GRIDDISK ALL PREFIX=fra
GridDisk fra_CD_00_cell01 successfully created
...
GridDisk fra_CD_11_cell01 successfully created 之前之后
单元网格
CellCLI> LIST GRIDDISK 磁盘磁盘
data_CD_00_cell01 active
...
data_CD_11_cell01 active
fra_CD_00_cell01 active
... … …
fra_CD_11_cell01 active
CellCLI> exit


交错的网格磁盘
网格磁盘 1 从磁盘的较高性能外侧磁轨受益。

网格磁盘 3 和网格磁盘 4 的性能更均匀平衡。
默认网格磁盘分配交错的网格磁盘

网格磁盘 1 网格磁盘 3
最快的磁轨快速磁轨最快的磁轨较慢的磁轨

50% 50% 50% 50%

较慢的磁轨最慢的磁轨快速磁轨最慢的磁轨
网格磁盘 2 网格磁盘 4


创建基于闪存的网格磁盘

CellCLI> DROP FLASHCACHE
Flash cache cell01_FLASHCACHE successfully dropped

CellCLI> CREATE FLASHCACHE ALL SIZE=100G
Flash cache cell01_FLASHCACHE successfully created
CellCLI> CREATE GRIDDISK ALL FLASHDISK PREFIX=flash
GridDisk flash_FD_00_cell01 successfully created
GridDisk flash_FD_01_cell01 successfully created 闪存
之前之后高速缓存
... 闪存
GridDisk flash_FD_15_cell01 successfully created 高速缓存
网格
磁盘
CellCLI> LIST GRIDDISK
...
flash_FD_00_cell01 active
... … …
flash_FD_15_cell01 active
CellCLI> exit


创建智能闪存日志

CellCLI> DROP FLASHCACHE
Flash cache cell01_FLASHCACHE successfully dropped

CellCLI> CREATE FLASHLOG ALL
Flash log cell01_FLASHLOG successfully created

CellCLI> CREATE FLASHCACHE ALL
Flash cache cell01_FLASHCACHE successfully created

CellCLI> exit


配置主机访问 Exadata 单元

• 通过每台数据库服务器上的配置文件，可实现对 Exadata
存储的访问。
– cellinit.ora 标识数据库服务器上的存储网络接口。
– cellip.ora 标识可供数据库服务器访问的 Exadata 单元。
– 示例：

$ cat /etc/oracle/cell/network-config/cellinit.ora
ipaddress1=192.168.50.23/24

$ cat /etc/oracle/cell/network-config/cellip.ora
cell="192.168.51.27"
cell="192.168.51.28"
cell="192.168.51.29"

配置 ASM 和数据库实例以访问 Exadata 单元

• 确保使用的是兹容版本的 Oracle 数据库软件：
– 有关适用于 Database Machine 软件组件的受支持版本的最新
列表，请参见 My Oracle Support 公告 888828.1
• 设置 ASM_DISKSTRING ASM 初始化参数：
– ASM_DISKSTRING='o/*/*'
• 设置 COMPATIBLE 数据库初始化参数：
– COMPATIBLE='11.2.0.0.0'

使用 Exadata 存储配置 ASM 磁盘组

磁盘组 DATA
故障组 cell01 故障组 cell02
o/<cell01 IP address>/data_cd_00_cell01 o/<cell02 IP address>/data_cd_00_cell02
... ...

o/<cell01 IP address>/fra_cd_00_cell01 o/<cell02 IP address>/fra_cd_00_cell02
... ...
cell01 和 cell02 上的所有候选磁盘

CREATE DISKGROUP data NORMAL REDUNDANCY
DISK 'o/*/data*'
ATTRIBUTE 'compatible.rdbms' = '11.2.0.0.0',
'compatible.asm' = '11.2.0.0.0',
'cell.smart_scan_capable' = 'TRUE',
'au_size' = '4M';

闪存使用情况
– 每个Exadata Storage Server 均包含384 GB 的高性能闪
存。可能的用途：
• Exadata 智能闪存高速缓存：
– 加速访问频繁访问的数据
– 默认使用大多数可用的闪存
– 可自动进行管理以实现最大效率
» 用户可以提供可选提示来影响高速缓存优先级
– 有益于OLTP 和数据仓库工作负荷
• 基于闪存的永久存储：
– 使用闪存作为高级存储设备
– 必须由管理员进行配置
– 需要深思熟虑的计划以有效使用
– 为特定应用程序提供附加优势
• Exadata 智能闪存日志：
– 用于重做日志记录的小型(512 MB) 高性能临时存储
– 由Exadata Storage Server 软件自动进行管理

索引使用情况

– 需要先前系统上的索引的查询使用Exadata Database
– Machine 和智能扫描可能会效率更好。
– 如果智能扫描提供了可接受的性能，可考虑删除索引。
– 删除不必要的索引：
• 提高DML 性能
• 节省存储空间
– 通过使索引不可见来测试删除索引的影响：

ASM 分配单元大小
– 默认情况下，ASM 使用的分配单元(allocation unit, AU)大小
为1 MB
– 对于Exadata 存储，建议的AU 大小为4 MB
• 创建磁盘组时必须设置AU 大小
• 创建磁盘组后无法再更改AU 大小
• AU 大小是使用AU_SIZE 磁盘组属性设置的
• 示例：

操作系统参数建议
– 将共享内存段数(SHMMNI) 设置为大于数据库的数量。
– 将最大共享内存段大小(SHMMAX) 设置为物理内存大小的
85%。
– 将系统信号的最大总数(SEMMNS) 设置为大于所有数据库
进程的总和。
– 将信号集内信号的最大数量(SEMMSL) 设置为大于任何一个
数据库中的最大进程数。
– 对于Linux，如果/proc/meminfo 中的PageTables
大于物理内存大小的2%，请考虑将HugePages 设置为等
于所有共享内存段的总和。
• 请参见My Oracle Support 说明401749.1 和361468.1。

数据库内存建议
– 对于OLTP：
• 每台服务器上所有数据库的总和
(PGA_AGGREGATE_TARGET + SGA_TARGET) 应小于服务器物
理内存大小的75%。
– 对于数据仓库：
• 每台服务器上所有数据库的总和
((3 x PGA_AGGREGATE_TARGET) + SGA_TARGET) 应小于服务
器物理内存大小的75%。

CPU 管理建议
– 使用实例锁定防止单个数据库使用过多的CPU。
– 建议的CPU_COUNT 参数设置：
• 对于关键pod：总和(CPU_COUNT) < CPU 内核总数的75%
• 其他：
– 对于占用大量CPU 的数据库：总和(CPU_COUNT) <= CPU 内核
的总数
– 对于使用少量CPU 的数据库：总和(CPU_COUNT) <= CPU 内核
总数的3 倍
– 使用数据库资源管理器控制每个数据库中的CPU 分配。
• 使用MAX_UTILIZATION_LIMIT 指令属性来限制使用者组
的CPU 利用率

其他建议
– 配置I/O 资源管理
– DB_RECOVERY_FILE_DEST_SIZE 设置：
• 总和(DB_RECOVERY_FILE_DEST_SIZE) < 可用FRA 大小
– 进程管理：
• PARALLEL_THREADS_PER_CPU = 1
• X2-2：总和(PARALLEL_MAX_SERVERS) <= 240
• X2-8：总和(PARALLEL_MAX_SERVERS) <= 1280
– 进程和连接准则：
• 活动进程<= 4 x CPU_COUNT
• 使用连接池管理应用程序连接
• 使用连接速率限制器防止连接风暴

结合使用 RMAN 与 Database Machine

• 在 Database Machine 上使用 RMAN 与在其他地方使用
RMAN 基本相同。
– 相同的概念。
– 相同的命令。
• 改进了增量备份性能：
– 块过滤负载转移到了 Exadata Storage Server。
– 只有很少的块需要由 RMAN 进行处理。
– 负载转移处理是自动且透明的。
• Exadata 混合列式压缩功能可帮助进一步提高备份性能：
– 降低了数据大小，因而备份更小且速度更快。

针对 RMAN 的一般建议

使用 RMAN 备份和恢复 Database Machine 上的数据库：
• 使用 RMAN 增量备份和块更改跟踪。
• 使用外部 RMAN 恢复目录系统信息库。
• 将 DB_RECOVERY_FILE_DEST_SIZE 设置为快速恢复区
中使用的限制空间。

基于磁盘的备份策略

对于基于磁盘的数据库备份，Oracle 建议：
• 使用快速恢复区
• 执行 0 级（完整）初始备份
• 执行定期 1 级增量备份
•


基于磁带的备份策略

对于基于磁带的数据库备份，Oracle 建议：
• 使用集成有 RMAN 的介质管理软件，例如 Oracle Secure
Backup
• 执行定期 0 级（完整）数据库备份
• 更频繁地执行 1 级累积备份，并备份 Oracle Secure
Backup 目录

基于磁带的备份体系结构

Database Machine Sun StorageTek
SL500

Oracle Secure Backup
管理服务器
(Sun Fire X4170)

Oracle Secure Backup
介质服务器
(Sun Fire X4275)

Infiniband 光纤通道 SAN
网络

20-10 版权所有 © 2012，Oracle 和/或其附属公司。保留所有权利。

基于磁带的备份建议

• 介质服务器到 Database Machine 之间的网络的配置建议：
– 使用 InfiniBand 获得最佳备份速率：
— 配置介质服务器 InfiniBand 接口的接合。
— 更新介质服务器上的 OpenFabrics Enterprise Distribution。
— 配置 IP over InfiniBand 连接模式以获得最佳性能。
— 对于 InfiniBand 接口，将消息传输单元 (message transfer unit,
MTU) 大小设置为 65520。
— 配置介质管理软件以使用 InfiniBand 网络。
• 介质服务器 SAN 配置建议：
– 为磁带设备配置持久绑定。

使用以太网连接介质服务器

• 如果吞吐量足够，可以使用以太网：
– GigE：预期每个接口最高 120 MB/秒
– 10GigE：预期每个接口最高 1 GB/秒
• 建议：
– 使用专用备份网络：
— 在每台 Database Machine 数据库服务器上配置专用网络接口
– 使用接合的网络接口：
— 配置 LACP 以获得最大吞吐量：
— 断开一个链路后仍保持可用性
— 介质服务器、网络交换机和数据库服务器上所需的配置
— 或者使用主动-被动接合以获得高可用性：
— 配置数据库服务器和介质服务器
— 不需要执行特定的交换机配置

20-13

基于磁带的备份建议

• 在所有可用数据库实例之间运行 RMAN：
– 创建一个在群集中运行的数据库服务：
$ srvctl add service –d <dbname> -s <service name>
-r <instance1>, ... ,<instancen>
– 使用服务名称和 SCAN 地址来连接 RMAN：
$ rman target sys/<passwd>@<scan_address>/<service_name>
catalog …
• 为每个磁带机分配一个 RMAN 通道。
• 配置 IORM 和 DBRM 以控制在备份和应用程序工作负荷
之间的资源分配。


混合备份策略

• 混合备份策略组合了基于磁盘和基于磁带的备份方法：
– 0 级（完整）数据库备份存储在磁带上：
— 相对便宜的备份介质，可以存储在场外
– 1 级增量备份存储在 FRA 中的磁盘上：
— 可以轻松进行高性能访问

• 请同时遵循针对这两种方法的建议。

还原和恢复建议

• 还原到现有数据文件（如果可能）：
– 还原性能更好。
– 使用所有数据库实例进行还原。
• 如果不存在仸何现有数据文件，请使用最多两个数据库实
例进行还原。
• 建议的 RMAN 通道数：
– 对于基于磁盘的还原，请为每个数据库实例使用两个到四个
RMAN 通道。
– 对于基于磁带的还原，请根据磁带机的总数设置 RMAN 通
道数。

备份和恢复 Database Machine 软件

• 数据库服务器软件
– 执行文件系统级备份和恢复：
— 使用您选择的文件系统备份管理软件，也可以使用 Oracle
Secure Backup。
— Oracle 群集注册表的副本是在数据库服务器文件系统上自动维护
的，并且应包含在数据库服务器文件系统备份中。
• Exadata Storage Server 软件
– 建议不要执行文件系统级备份：
— 系统区域已镜像：
— 如果一个系统磁盘发生故障，请使用 CellCLI 命令进行恢复。
— 如果两个系统磁盘同时发生故障，请使用 Exadata 软件援救过程：
—
该援救过程使用内置的 USB 闪存驱动器。

20-17

关闭和打开 Database Machine 电源
• 电源关闭顺序：
1. 数据库服务器：
# <Grid_Home>/bin/crsctl stop cluster
# shutdown -h -y now
— 确保所有数据库服务器都已关闭，然后再继续。
2. Exadata Storage Server：
# shutdown -h -y now

— 确保所有存储服务器都已关闭，然后再继续。
3. 机架，包括网络交换机
• 打开电源顺序：
1. 机架，包括网络交换机
— 通电几分钟后再继续。
2. Exadata Storage Server：
— 检查所有单元是否都在运行，然后再继续。
3. 数据库服务器


安全地关闭单个 Exadata Storage Server
安全关闭顺序：
•
– 检查以确保关闭存储服务器将不会使任何 ASM 磁盘组脱机：
CellCLI > LIST GRIDDISK WHERE asmdeactivationoutcome != ’Yes’

– 使所有网格磁盘都处于非活动状态：
CellCLI> ALTER GRIDDISK ALL INACTIVE

– 检验所有网格磁盘是否都处于非活动状态：
CellCLI> LIST GRIDDISK WHERE STATUS != 'inactive'

– 关闭存储服务器。
启动顺序：
•
– 启动存储服务器：
— 单元服务会自动启动。
– 使所有网格磁盘都处于活动状态：
CellCLI> ALTER GRIDDISK ALL ACTIVE

– 检验所有网格磁盘是否都处于活动状态：
CellCLI> LIST GRIDDISK ATTRIBUTES name, asmmodestatus


更换损坏的闪存卡

1 确定损坏的闪存卡。

CellCLI> LIST PHYSICALDISK DETAIL
name: [9:0:2:0]
diskType: FlashDisk
...
slotNumber: "PCI Slot: 1; FDOM: 2"
status: critical

2 关闭单元的电源。 3 更换闪存卡。 4 打开单元的电源。

如果该卡包含基于闪存的网格磁盘，
5 则监视 ASM 以确认重新添加了磁盘。

SQL> SELECT NAME, STATE FROM V$ASM_DISK
SQL> SELECT * FROM GV$ASM_OPERATION


Exadata training

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (7)

Ähnlich wie Exadata training

Ähnlich wie Exadata training (20)

Mehr von Louis liu

Mehr von Louis liu (20)

Exadata training

Hinweis der Redaktion