SlideShare ist ein Scribd-Unternehmen logo
1 von 78
深圳市奇摩计算机有限公司
沈炤宇 13828776917
shzy@kimocomputer.com
2
数据保 方案护
的目应该实现 标
2
3
 对所有类型灾难的防护
 灾难的多样性及严重后果
服务器硬件故障、存储硬件故障、交换机硬
件故障、空调故障、电力故障…
应用软件错误、操作失误、误删除、补丁故
障、病毒、黑客攻击……逻辑灾难 : 53%
硬件灾难 : 47%
一般是指机房严重受损,无法使用。
某些灾难会造成业务持续中断,短时间无法
恢复,造成类似站点崩溃的严重影响。
例如:数据库崩溃、系统文件被删……
站点级灾难 : 1%
站点类 级灾难 :
81%
3
4
 基于 SLA 的 RPO 、 RTO 指标
 RPO (数据恢复点目标)
表示在灾难发生后,可以容忍数据丢失的程度。理想结果是
0 。
 RTO (恢复时间目标)
表示在灾难发生后,业务恢复需要的时间。理想结果是 0 。
RTO 主要包括:
 数据就绪 时间较难保证
 主机就绪
 网络就绪
 服务就绪
 验证
基本是静态的,时间比较容易明确保证
4
5
 基于 SLA 的 RPO 、 RTO 指标
 基于 SLA (服务水平协议)
意指在任何情况下都按照约定的水平提供
RPO 、 RTO 。而不能是故障类型来提供不同的水
平,比如:出现某个硬件损坏可以提供 10 分钟的水
平,而出现数据误删除就只能够提供 8 小时的水平
。
5
6
 大部分灾难本地解决
对于站点崩溃的灾难,可以启用容灾站点来恢复业务的继续运行。
但实际上启用容灾站点是一个代价很大的工作。其基本流程为
:
1 、初始响应
2 、事件评估
3 、灾难预警阶段
4 、灾难宣告阶段
5 、灾难恢复阶段
6 、重续运行阶段
7 、回退阶段
6
7
 大部分灾难本地解决
启用容灾站点不仅仅是一个技术问题,更是一个管理问题,并且
可能涉及到数据丢失问题,需要通知所有的业务人员进行数据
检查、追补工作。
启用容灾站点是一个严谨的管理流程,涉及到的设备、人员都非
常多,站点的回切还有可能造成二次灾难。
对于外部环境引起的站点级灾难,无法避免启用容灾站点的程序。
但对于那些几率更大的类站点级灾难,应该在本地解决,避免
将技术问题上升到管理问题。
7
8
 系统构建成本、运行成本的有效控制
 保护方案构架的开放性
硬件、软件平台的升级是否会影响到保护方案的稳定性。如
果有影响就可能会需要重新构建系统,造成巨大的二次投入。
 硬件平台的开放性
当保护方案完全依赖于特定的硬件品牌型号时,往往会造成
更高的采购成本。
 远程通信费用
当前高带宽的远程通信费用高昂,因此远程通信带宽的节约
对成本的影响巨大。
8
9
 对原有生产系统不做任何改动
可以从两个方面来理解:
 如果需要改动原有生产系统,实施保护方案带来的风险就相对
较高,如果因此造成了生产系统出现灾难,就违背了数据保护
的初衷。
 如果需要改动原有生产系统,意味着生产系统与数据保护方案
是紧耦合,也就是说如果需要升级改造生产系统,可能会对数
据保护方案造成巨大影响。
9
10
 易于演练、测试
演练、测试工作应作为日常管理工作的一部分,只有经常进行
演练、测试,才能真正保证灾难发生时数据保护方案能够正常
发挥作用。演练、测试应该具备以下功能:
 演练工作可随时在生产端、容灾端进行
 演练时不影响生产及主存储性能
 演练时不得中止复制关系
 演练数据与实际生产环境完全一致
 演练也是一种测试,是对灾备数据的验证
10
11
 易于管理、维护
当灾难发生时,数据保护方案要快速发挥作用,必需依赖于客户
系统管理人员的工作,易于管理、维护的保护方案可以降低对
客户技术人员的技能要求,提高工作效率。可以从以下几个方
面考察方案的管理维护工作:
 尽量附和管理员使用习惯
 策略设定、设备管理时的复杂度
 恢复时,使用复杂度及灵活性
 满足功能的前提下,少使用专用工具
 容灾数据可用于演练、查询、测试等工作
 容灾设备故障不影响生产系统
11
12
 对所有类型灾难的防护
 基于 SLA 的 RPO 、 RTO 指标
 大部分灾难本地解决
 系统构建成本、运行成本的有效控制
 对原有生产系统不做任何改动
 易于演练、测试
 易于管理、维护
12
13
数据保 的基本 状护 现
13
14
 数据保护方式一:数据备份
 解决历史数据的恢复问题
 解决数据逻辑错误的修复问题
 数据保护方式二:数据容灾
 解决硬件级别灾难的问题
 解决机房灾难甚至自然灾害发生时的业务连续性问题
14
15
 数据备份 ---- 面临的主要问题
 备份窗口问题
需要安排特定的时间完成数据的备份工作,如果需要备份
的主机众多,备份时间的合理安排可能存在一定困难。
有的业务系统数据备份时还需要先停掉业务才能进行,
这就会造成对业务的干扰。
15
16
 数据备份 ---- 面临的主要问题
 数据备份对系统性能的影响
常规的数据备份操作都是在备份过程中对数据源做一次全
面读取并转存到他处。这样就会造成备份期间硬盘 IO 的
高负荷运转,并有可能导致业务系统性能的下降。
16
17
 数据备份 ---- 面临的主要问题
 时间点数据恢复问题
每一次备份的数据实际上都是当时时间点的数据状态,而
两次备份之间基本上都会间隔数小时会 1 天,如果想要
将数据恢复到两次备份之间的某个时间点的数据状态,
是很有难度的,甚至是不可能的。
17
18
 数据备份 ---- 面临的主要问题
 操作系统备份、恢复问题
操作系统的备份、恢复比常规的数据备份难度要大一些,
一些常见的操作系统备份、恢复工具,也都存在一定的
复杂性,在恢复时更是达不到:“直接拿来启动”的程度,
而且整个恢复过程可能需要数十分钟甚至数小时。
18
19
 数据备份 ---- 面临的主要问题
 数据恢复的空间、时间问题
对于一些数据量较大的系统而言,不少用户都存在没有多余的硬
盘空间来恢复备份数据的问题。另外数据恢复时间往往需要数
十小时,由于耗时较长,使得本来是一个小问题事件变成了重
大 IT 事故。
 数据恢复的验证问题
“ 数据备份成功”不等于“数据可以成功恢复”,但由于数据恢复的
空间、时间问题,造成了数据恢复验证工作难以完成。
19
20
 数据容灾 ---- 面临的主要问题
 逻辑错误问题
数据容灾实现的目标是尽量保证异地数据与本地数据的一致性,可
以很好地防范硬件造成的问题。但是对于数据的逻辑错误(例如
:误操作)就无能为力了,因为所有的逻辑错误也会从本地传播
到异地。
 网络带宽问题
对于业务繁忙的系统而言,常规的数据容灾系统对网络带宽的要求
比较高,造成了容灾系统运营成本的大幅提高。
20
21
 数据容灾 ---- 面临的主要问题
 异地切换问题
由于距离、网络带宽的原因,数据容灾系统一般都需要配
置为异步模式,因此在灾难发生时,基本上都会造成少
量的数据丢失问题,因此进行异地切换就不仅仅是一个
存技术问题,同时也是一个管理问题。考虑到数据的追
补需要涉及所有使用人员,管理、操作难度大幅增加,
从业务开始异地切换到完全恢复正常可能需要若干小时
。
21
22
 数据容灾 ---- 面临的主要问题
 容灾对现有系统的影响、系统升级对容灾的影响
有不少容灾方案是基于硬件层面实现的,这些方案对硬件
品牌、型号的要求较为严格,甚至硬件的微码都要求匹
配。此类容灾方案的事实往往都需要对现有系统环境进
行一定的改造;另外对现有系统的升级、扩容也有可能
影响到容灾系统,需要对容灾系统进行一定的调整。
22
23
 常用容灾方案简介
 存储设备的远程镜像 (硬件级别)
基本原理:
主机只连接本地存储,读写操作都只针对本地存储,写操
作的数据由本地存储转发给远端存储保存。
生产主机
生产存储 灾备存储
23
24
 常用容灾方案简介
 存储设备的远程镜像 (硬件级别)
优点:
1 、是实现灾备的传统方案,方案成熟、可靠。
2 、从硬件层面实现数据灾备保护,与应用无关,适用范围广,可以作
为一站式解决方案。
3 、结构简单,两台存储就可以实现多个应用的灾备。
4 、方案实施简单,容易管理。
 
24
25
 常用容灾方案简介
 存储设备的远程镜像 (硬件级别)
缺点:
1 、由于是在硬件层面实现数据灾备保护,主、备存储的硬件平台必须
兼容,因此灵活性较差。
2 、主、备存储的软件存在版本一致性要求,因此当存储设备扩容调整
是都可能需要进行软件版本的同时升级。
3 、方案实施时,可能需要升级主存储的软件版本,存在一定的风险。
4 、生产中心更换主存储时,容灾方案可能会废弃掉,需要重新购买、
实施。
25
26
 常用容灾方案简介
 操作系统的数据镜像功能 (操作系统级别)
基本原理:
主机直接连接两个存储,在操作系统上将两个存储的空间定义成镜像
关系,写数据时,由操作系统分别对两个存储做写操作,读数据时
会将操作分担到两个存储上,减少一个存储的工作负载。
主机
OS 数据操作模块
硬 盘
驱动
硬 盘
驱动
生产存储 远端存储
26
27
 常用容灾方案简介
 操作系统的数据镜像功能 (操作系统级别)
优点:
1 、操作系统自带功能,不需要额外的费用。
2 、对存储设备类型没有要求,硬件选择灵活性大。
3 、与应用软件类型无关,适用范围广。
4 、读操作时,两个存储分担负载,会大幅度提高 IO 性能。
5 、方案实施简单,容易管理。
 
缺点:
1 、只能实现同步镜像模式。
2 、两个存储间的距离一般要控制在 10 公里以内,否则会导致业务性能大
幅度下降。
27
28
 常用容灾方案简介
 卷复制 (操作系统级别)
基本原理:
操作系统通过“卷管理软件”读写硬盘存储,卷管理软件收到写操作数据
后,通过网络将数据块传输到远端主机的卷管理软件,从而实现数
据远程镜像。
本地主机
OS 数据操
作模块
硬盘驱动
生产存储 远端存储
卷管理模块
远端主机
OS 数据操
作模块
硬盘驱动
卷管理模块
28
29
 常用容灾方案简介
 卷复制 (操作系统级别)
优点:
1 、对存储设备类型没有要求,硬件选择灵活性大。
2 、与应用软件类型无关,适用范围广。
3 、技术上比较容易实现数据块压缩后传输,节约网络带宽。
 
缺点:
1 、需要对操作系统有较大改动。
2 、在需要灾备的应用较多时,方案实施及管理都相对复杂。
29
30
 常用容灾方案简介
 数据库灾备 (数据库级别)
基本原理:
通过网络将数据库 LOG 从本地主机传输到远端主机,远端主机收到
LOG 后,对数据库数据进行修改,使两个数据库数据保持一致。
本地主机
数据库
数据
数据库
LOG
远端主机
数据库
LOG
数据库
数据
30
31
 常用容灾方案简介
 数据库灾备 (数据库级别)
优点:
1 、有些数据库类型不需要额外的费用。
2 、对存储设备类型没有要求,硬件选择灵活性大。
3 、在某些情况下,两个主机的操作系统平台都可以不同。
4 、在某些情况下,可以实现对远端数据库的访问,使应用部署更方便。
5 、只需要传输 LOG ,传输量较小。
 
缺点:
1 、一般来说,在使用异步传输时,发生灾难时丢失的数据会更多一些,
要控制在 10 分钟以内都很困难。
2 、只能实现数据库灾备,局限性较大。
3 、管理相对复杂。
31
32
 常用容灾方案简介
 数据库的表复制 (数据级别)
基本原理:
当主数据库的表数据发生变化时,会根据这种变化生成 SQL 语句,并
在远端数据库上执行,使两个表的数据保持一致。
本地主机
数据库
数据表的变
化数据,转
化为 SQL 语
句对复制对
象的修改
远端主机
数据库
32
33
 常用容灾方案简介
 数据库的表复制 (数据级别)
优点:
1 、有些数据库类型不需要额外的费用。
2 、对主机、存储设备类型没有要求,硬件选择灵活性大。
3 、对操作系统平台没有要求。
4 、远端数据库可以承担自己的业务。
 
缺点:
1 、数据表复制不是为灾备目的设计的,只能作为一个辅助性的灾
备手段,局限性很大。
2 、管理相对复杂。
33
34
新一代数据保 技护 术
CDP 方案
34
35
 CDP 技术概要
CDP 的含义是“连续数据保护”, CDP 是一种新兴的数据保护技术,可以
称为“新一代”数据保护模式。
存储网络产业协会( SNIA )对 CDP 的定义是:“ CDP 是一套方法,它可
以捕获或跟踪数据的变化,将其与生产数据分开存放,以确保数据可以
恢复到过去的任意时间点。”
CDP 方案需要具备几个基本要素:
1 、数据变化可以被连续捕获; (减少数据的丢失、甚至不丢失)
2 、捕获的数据变化要和生产存储分开存放; (提高数据的安全性)
3 、数据可以恢复到任意时间点; (大幅提高数据的可恢复性)
4 、访问保护的数据之前不需要做恢复操作。 (快速恢复数据)
CDP 的核心价值是:连续数据备份、瞬间数据恢复。
CDP 实现了数据备份、数据容灾系统的合二为一,并解决了许多困扰的难题。
35
36
 CDP 技术概要
 CDP 与 near-CDP 的差别
由于厂商对 CDP 市场的理解存在一定的差异,导致 CDP 市场分为两
大类: near-CDP 、 CDP 。
near-CDP 实际上是使用快照技术实现的,在恢复历史数据时,实际上
不能做得任意时间点的恢复,有时我们将 near-CDP 称为“准
CDP” 。
CDP 可以记录每个 IO 的日志,因此可以实现任意时间点的恢复。
36
37
 CDP 技术概要
 CDP 数据捕获的方式
 主机端捕获
CDP 软件可以模拟成一个存储设备,然后在利用操作系统卷管理的镜像功能将一
份数据写到 CDP 软件,如果操作系统下不支持卷的镜像(例如 windows ),就
会采用一个代理软件实现此功能。
优点:
1 、硬件选型灵活;
2 、可以保护内置硬盘的数据;
3 、可以实现对操作系统的保护
缺点:
主机上需要软件的支持
目前使用此方式的 CDP 产品比较多
37
FC 交换机
存储
CDP 软件
主机
38
 CDP 技术概要
 CDP 数据捕获的方式
 存储上捕获
某些厂商的存储阵列本身支持 Write Splitter 功能,例如 EMC ClariiON
磁盘阵列,这种方式比较受限于厂商。
38
FC 交换机
存储
CDP 软件
主机
39
 CDP 技术概要
 CDP 数据捕获的方式
 光纤交换机上捕获
有些光纤交换机含有 Data Splitter 功能,通过这样的交换机可以捕获生产卷的
写操作数据块。
优点:
与主机操作系统无关
缺点:
1 、价格高、硬件受限
2 、只能保护存储的数据
使用此方式的 CDP 产品较少,
EMC Recoverpoint 可以使用此方式
39
FC 交换机
存储
CDP 软件
主机
40
 CDP 技术概要
 CDP 的瞬间数据恢复
CDP 软件可以模拟成一个存储设备,可以将任意时间点的备份数据作
为 LUN 分配给主机使用,在主机上直接访问这些 LUN 就能够操作备
份的数据,不需要进行单独的数据恢复动作,整个过程可以在几分钟
内完成。
40
41
 CDP 技术概要
 对主机操作系统的保护
目前 PC server 、小型机都能够支持 FC LUN 及 iSCSI LUN 启动方式
,使用 CDP 对操作系统硬盘保护后, CDP 可以使用 FC 、 iSCSI 方
式供主机直接启动操作系统。
除了直接使用 CDP 启动主机操作系统外,许多 CDP 产品在 PC server
环境下实现了“物理机 => 物理机”、“物理机 => 虚拟机”、“虚拟机
=> 物理机”、“虚拟机 => 虚拟机”的操作系统恢复方式,因此可以很
方便地实现用一台 PC server 备用多台 PC server 的需求,大幅度节
约成本。
41
42
 CDP 技术概要
 网络带宽优化技术
许多 CDP 产品都带有网络带宽优化技术,以节省昂贵的网络
通信费用。主要有以下方式:
1 、数据压缩传输
3 、间隔传输模式下的一个数据块只传输一次
在一定的时间间隔内,应用系统有可能多次修改一个数据块,并且将
此数据块多次写入到硬盘中,如果使用间隔传输模式,飞康 CDP 只
会传输此数据块的最后一次变化,也会一定程度减少数据的传输量。
2 、数据精简技术( microscan )
是飞康 CDP 的专利技术。可大幅度减少数据传输量。
42
43
 CDP 技术概要
 对主机 IO 性能的影响小,甚至可以提高主机系统的性能
数据备份时不需要读取生产存储的数据,不会增加生产存储的 IO 负载
,对生产系统的性能干扰小。
某些 CDP 产品会在本地使用存储空间与主机的生产存储做成完全镜像
关系,这样就可以分担生产存储读操作的 IO 负载,从而提高主机的
综合 IO 性能。
 性能优化技术
CDP 技术作为一种数据保护方案,为了减低存储成本,一般采用大容
量 SATA 硬盘作为存储空间,为了应用于高端应用,某些 CDP 产品
采用了读写优化技术提高 CDP 的性能。
43
44
CDP 技 先者术领
康飞 CDP 灾 一体化技 介备 术 绍
44
45
CDP 是一种新兴的技术,许多大大小小的厂商
或多或少涉足了 CDP 领域,技术的成熟总是有一
个过程的,因此并不是所有的 CDP 产品都是成熟
的。飞康公司是 CDP 领域的领先者,目前有不少
存储厂商(例如 IP 存储的领先厂商 H3C )都在将
飞康 CDP 软件 OEM 到自己的存储设备中,作为
自己的数据灾备解决方案,由此可见飞康 CDP 是
一个成熟可靠的产品。
45
46
飞康 CDP 在国内有多个成功案例,典型客户有中国人民银行总行
、工商银行、太平洋保险、华北电网、多家基金公司、多家大型医院等
。
美国飞康软件公司卓越的解决方案多次在国际存储展会上获奖,所
获奖项为:
CDP/DR 解决方案获得“ 2008 年度中国计算机报编辑选择奖”
IPStor CDP 在 2008 CMP's Xchange 大会上,获得“技术创新奖”
用于 Windows Storage Server 2003 的 iSCSI 存储服务器解决方
案,在 2004 年获得微软公司评选的“ Best of TechEd Europe 2004” 及“
Best of TechEd China 2004”
IPStor 在 TechTarget’s Storage 和 SearchStorage.com 举办的
2007 年度最佳产品评选中获得“备份 & 灾难恢复软件”类银奖
IPStor 在 SearchStorage.com 和 Storage magazine 举办的 2008
年度最佳存储产品评选中获银奖
IPStor 荣获 2008 年度 PC Magazine 和 eWeek 存储类“架构创新
奖”
IPStor 荣获纽约长岛软件协会“ 2008 年度最佳产品奖” 46
47
飞康 CDP 主要特点
很好地实现了数据保护方案的目标:
 对所有类型灾难的防护
 基于 SLA 的 RPO 、 RTO 指标
 大部分灾难本地解决
 系统构建成本、运行成本的有效控制
 对原有生产系统不做任何改动
 易于演练、测试
 易于管理、维护
47
48
 飞康 CDP 主要特点
1 、可以瞬时恢复到任意历史轨迹。
可以将数据恢复到任意历史轨迹(秒级和 I/O 级),并且恢复过程可在几分钟内
完成,而使用传统体系的恢复机制,往往需要若干小时甚至数天的时间。
2 、可实现分层次恢复,高效应对各种类型的灾难
飞康 CDP 解决方案可以实现本地恢复和异地恢复的分层恢复体系,大部分灾难在
本地即刻恢复(如数据丢失或磁盘阵列损坏等),不用“惊动”异地灾备系统,
这种分层次恢复的能力可以高效应对各种灾难。
3 、独特的带宽优化技术,在窄带环境下实现异地灾备
飞康的精简复制功能带有独特的带宽优化技术( Microscan ),是存储设备级灾
备技术占用带宽的 1/50 ,是常规灾备技术占用带宽的 1/6 ,在窄带环境下轻
松实现异地灾备,可节约大量带宽方面的投资。
4 、磁盘故障,无需停机,瞬时接管
当生产存储发生故障时,飞康 CDP 可以自动瞬时接管业务,数据库和应用不停顿
照常提供服务;这个功能可以充分保证业务连续性。
48
49
 数据历史点的保护
两种保护方式: 快照(照相)、连续数据保护(摄像)
Snapshot 12am Day 1
Snapshot 6am Day 1
CDP 12am Day 1
CDP 4:08:05am Day 1
49
50
 数据历史点的保护
飞康 CDP 支持两种保护方式:快照、连续数据保护,可以将两
者结合成一个完整、灵活的数据保护策略。
50
51
 数据历史点的保护
1 、支持快照的生命周期管理,过期的快照自动清理。
2 、支持快照合并技术(删除的快照会自动合并到其后的快照
上),大大加强了对历史数据的管理。
3 、快照可以按照预定的计划时间点自动产生,也可以随时手工
生成。
4 、每个磁盘卷支持 255 个快照。
51
52
 飞康 CDP 构架
52
53
 飞康 CDP 构架
• CDP 系统获取生产系统的写操作并将其记录进 CDP 存储中
• CDP 系统保持有生产磁盘镜像拷贝 , 以及相应历史点快照和日志信
息
53
54
 飞康 CDP 构架
 Clients: 需要保护的生产服务器, CDP
需要对其存储进行镜像或数据分流的应用
主机
 CDP Server: 管理物理存储设备为生
产服务器 (clients) 提供存储资源并对生产
存储提供各种保护
 Console: 使用 BS 架构 (Java) 的管理控
制台,提供各种管理和维护功能,支持简
繁体中文显示
 Tapping( 分流 ): 实现 CDP 功能的技术
核心之一,不同的技术实现 CDP 功能所
需要采用的拓扑和设备都有较大差异,飞
康 CDP 支持下面三种分流的方式
54
55
 飞康 CDP 构架
主机分流
 使用 DiskSafe 或者 LVM 实现数据分流
 通过设置,生产存储任意 LUN 通过 FC
或 IP 通道在镜像存储得到保护
 Disksafe 对写入的数据可通过同步或异
步的方式复制到镜像存储
 Disksafe 可以选择连续和周期的镜像方
式实现同步或异步的镜像
 可以通过 Disksafe 或 CDP 服务器配置
、控制快照的一致性,保障实现数据库
的一致性
 LVM 依赖操作系统实现分流,无需改
变生产架构,天生稳定可靠。
CDP 服务器
生产服务器
安装 DiskSafe 或
使用 LVM
生产存储 镜像存储
55
56
 飞康 CDP 构架
主机分流
 无需改变现有的存储连接架构
 需要在主机端安装分流代理或配置系统自己的分流功能
 稳定性依赖于分流代理 / 功能
 对主机端应用系统可进行编程支持
 对主机的写操作 IO 性能多少会产生一定影响,相对较小,典型值
小于 5%
 对主机的读操作 IO 性能无负面影响,在适度的配置情况下,可以
大幅提高读操作 IO 性能,一般可以提高 1 倍。
56
57
 飞康 CDP 构架
光纤交换机分流
 必须配置专用光纤交换机 ( 例如
Cisco MDS9000 、 Brocade 7600
等 )
 交换机内安装了具有分流功能软件
 软件拦截写入数据并将其分流复制
到镜像存储
CDP 服务器
生产服务器
支持 SAN Tapping 的
光纤通道交换机
生产存储 镜像存储
57
58
 飞康 CDP 构架
光纤交换机分流
 需要规划原存储架构,加入新一代具备分流能力的光纤交换机要求
系统的普通交换机与分流交换机兼容
 稳定性依赖于交换机内核、新旧交换机之间的互操作性及脚本的编
写水平
 要保证 100% 一致性需要在主机端配置脚本
 分流机制决定了与主机端应用较难进行程序接口
 对交换机的 I/O 性能会产生一定影响,对主机的整体影响应小于
5% ,但具体影响度不易确定
 对不通过光纤交换机的存储系统无法提供保护,例如本地系统或数
据盘
58
59
 飞康 CDP 构架
存储控制器分流
 飞康 CDPx 设备 ( 存储控制器 ) 保障
关键业务生产主机对存储的访问,不
允许出现单点故障
 利用多台 CDPx 设备可以组成高可用
集群组。
 数据通过任意的 CDPx 设备分流镜像
出来
 主数据通路的切换不影响数据的分流
,因为 I/O 可以从任意一个 CDPx 设
备分流出去
CDP 服务器
生产服务器
CDPx 设备
生产存储 镜像存储
59
60
 飞康 CDP 构架
存储控制器分流
 在线与近线存储实现统一,在线存储是带内拓扑的架构,对原架构
需要做数据迁移同时具有较高的读写效率和分流能力。
 在线存储(分流系统)性能即为生产系统性能
 稳定性依赖于存储控制器
 要保证 100% 一致性需要在主机端配置脚本
 分流机制决定了与主机端应用较难进行程序接口
 对不存放在存储系统的数据无法提供保护,例如本地系统或数据盘
60
61
 飞康 CDP 构架
CDP 服务器担任的角色
 CDP 服务器接收到分流的数据后,负责进
行加工、存储工作。
 通过虚拟化存储技术, CDP 服务器为每
个生产卷提供了日志,快照,镜像数据区
,并通过 Thin provisioning( 磁盘精简 ) 技
术实现近线存储的按需分配
 CDP 服务器承担所有的高级存储服务,包
括 TimeMark( 快照 ), TimeView( 快照使用
实例 ), Replication( 复制 ), Data
Journaling( 数据连续日志 ), 这些服务均
独立于生产服务器和生产存储 ( 性能和影
响度完全隔离 )
 对写性能要求高的生产应用需求, CDP
服务器提供性能优化
 CDP 服务器对传输进行精简和优化。
CDP 服务器
生产服务器
FC 或
iSCSI
Pro
生产盘
镜像卷
虚拟磁盘
日志区
镜像
卷
快照
区
61
62
 飞康 CDP 的写操作优化技术
飞康 CDP 具备高速写入技术 SafeCache 。 SafeCache 功能可以全面
提高飞康 CDP 管理的磁盘写性能。通过将随机写入向顺序写入的转
换,大大提升 CDP 访问性能 .
IPStor CDP
顺序写入 , 高速 IO
1 2 3 4
5 6 7
2
3
5
6
1
4
7
Serialized
Random
Disk Cache
Area
Data Disk
Blocks
written
sequential
ly
Blocks
written
randomly
"Ack"
62
63
 飞康 CDP 的读操作优化技术
飞康 CDP 具备高速读出技术 HotZone 。 HotZone 功能可
以全面提高飞康 CDP 管理的磁盘读性能。使用 HotZone
时,飞康 CDP 会将磁盘划分为容量相等的多个区域,然
后监控哪些区域经常会被读到,随之将该区域的数据块
映射到高速磁盘中,这样就会提高应用主机读取磁盘的
速度。如果飞康 CDP 监控到某些区域不再被经常读到,
那么会将该区域移出高速磁盘。飞康 CDP 可以使用固态
盘、内存作为高速磁盘。
63
64
 飞康 CDP 的远程传输策略
飞康 CDP 是唯一具备几乎所有传输策略的灾备技术。传输策略分类
:
 连续传输
实现每一个 IO 的远程传输,在带宽许可的情况下,可以保证数据
丢失极小
 时间增量传输
实现定时进行的远程传输,只传输一个数据块的最后一次变化量
,可以减少对带宽的需求。
 数据增量传输
实现数据达到指定水位时的远程传输
飞康 CDP 可以单独使用某个策略,也可以将几种策略组合使用,还
可以设置为自适应模式。这种方式大大减少了系统的管理工作。
64
65
 飞康 CDP 的带宽精简
技术
飞康 CDP 采用的 MicroScan 技
术可大幅度减少带宽需求
 应用程序及文件系统写入磁盘
的数据远远大于实际的数据变
化量
 MicroScan 微单元扫描技术可
以按 512 字节为最小单位扫描
磁盘变化并只传输变化的数据
512
byt
e
= 空白磁 扇区盘
= 用或文件系 写入的数据应 统
= 扇区上 的数据 化实际 变
一个典型的 8K 数
据写操作 . 许多系
统会将 8K 数据全
部传送 . 而飞康
CDP 只传输真实
改变的磁盘块部分
.
512
byt
e
磁 扇区盘
65
66
 飞康 CDP 的带宽精简技术
飞康 CDP 采用的 MicroScan 技术可大幅度减少带宽需求
• 用 某全球前五大律 事物所户为 师
• 83 天 , 共四个生 站点产 , 向灾 中心的 程数据 制备 远 复 统计
站点位置 文件系 中的统
数据增量 GB
经 MicroScan
掉过滤 GB
实际传输
GB
少百分比减
Houston 4,869 4,017 852 82%
New York City 16,176 13,409 2,767 83%
Wash D.C. 7,289 5,581 1,708 77%
Atlanta 73,376 62,527 10,849 85%
Total 83 天 101,710 85,534 16,176 84%
平均 日每 1225 1031 195 84%
66
67
 飞康 CDP 的快照技术
快照技术:
1 、 copy-on-write
传统的快照技术。原理简单,大部分存储设备使用此技术。有
多个快照时性能下降严重,需要的额外存储空间较多。
2 、 Redirect Write
多个快照对性能的影响不大,需要的额外存储空间较小,但是
会造成基础卷的硬盘空间漂移,造成硬盘碎块。
3 、 Copy-On-First Write
从 copy-on-write 技术发展而来,快照之间存在关联关系,每
个快照记录的是上次以来的差量,技术原理更为复杂。多个快照
对性能的影响不大,需要的额外存储空间较小。不会对基础卷造
成影响。
67
68
 CDP 应用场景:本地备份及快速修复
68
69
 CDP 应用场景:异地容灾扩展 ( 两地或两地三中心 )
69
70
 CDP 应用场景:多中心远程数据集中备份 / 容灾
70
71
 CDP 应用场景:多中心灾备及应用级容灾系统
71
72
康飞 CDP 案例介绍
72
73
现状:
73
74
目标:
74
75
方案结构:
75
76
方案结构说明:
1 、使用飞康 CDP 产品实现整个方案。
2 、惠州机房、深圳机房各配置一台飞康 CDP 服务器;实现惠州、深圳
两套系统双向互相灾备。
 惠州机房
 CDP 服务器配置 12TB SATA 硬盘;
 DS4800 存储的空间挂接到 CDP 服务器,作为与 DS6800 的 LVM 镜像
空间;
 从 CDP 服务器 12TB 的 SATA 硬盘拿出部分空间作为 SAP 数据保护的
快照空间、 IO 日志空间;
 CDP 服务器 12TB 的 SATA 硬盘大部分用于深圳机房 PDM 系统的远程
灾备空间。
76
77
方案结构说明:
 深圳机房
 CDP 服务器配置 6.75TB SAS 硬盘、 15TB SATA 硬盘;
 CDP 服务器上的 6.75TB SAS 硬盘,作为与 PDM 系统的 LVM 镜像
空间, SAS 硬盘的性能比 SATA 硬盘好,可以应对 PDM 主存储损
坏后的性能要求,并且在配置 LVM 镜像时可以将此空间设置为只写
不读的状态,做到不影响系统原有性能;
 从 CDP 服务器 15TB 的 SATA 硬盘拿出部分空间作为 PDM 数据保
护的快照空间、 IO 日志空间;
 CDP 服务器 15TB 的 SATA 硬盘大部分用于惠州机房 SAP 系统的远
程灾备空间。
77
78
谢 谢!
深圳市奇摩计算机有限公司
二零一零年十一月
78

Weitere ähnliche Inhalte

Was ist angesagt?

Se2009 ch8
Se2009 ch8 Se2009 ch8
Se2009 ch8
浒 刘
 

Was ist angesagt? (7)

Virtual Datacenter
Virtual DatacenterVirtual Datacenter
Virtual Datacenter
 
作業系統
作業系統作業系統
作業系統
 
作業系統
作業系統作業系統
作業系統
 
Se2009 ch8
Se2009 ch8 Se2009 ch8
Se2009 ch8
 
Symantec Endpoint Protection 12.1
Symantec Endpoint Protection 12.1Symantec Endpoint Protection 12.1
Symantec Endpoint Protection 12.1
 
美國核管會福島事故 經驗回饋執行狀況
美國核管會福島事故 經驗回饋執行狀況美國核管會福島事故 經驗回饋執行狀況
美國核管會福島事故 經驗回饋執行狀況
 
数据访问层开发实践
数据访问层开发实践数据访问层开发实践
数据访问层开发实践
 

Ähnlich wie CDP方案介绍

Solution apc 4.0
Solution apc 4.0Solution apc 4.0
Solution apc 4.0
ahnlabchina
 
软件工程 第八章
软件工程 第八章软件工程 第八章
软件工程 第八章
浒 刘
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
YANGL *
 
200701011
200701011200701011
200701011
5045033
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践
Feng Yu
 
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
samanthaleee
 
数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011
Yiwei Ma
 
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
drewz lin
 
开放云平台数据引擎Cmem
开放云平台数据引擎Cmem开放云平台数据引擎Cmem
开放云平台数据引擎Cmem
yp_fangdong
 

Ähnlich wie CDP方案介绍 (20)

20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
 
Chap12 嵌入式系统开发模式
Chap12 嵌入式系统开发模式Chap12 嵌入式系统开发模式
Chap12 嵌入式系统开发模式
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统
 
应用虚拟存储 缔造关键业务之路
应用虚拟存储 缔造关键业务之路应用虚拟存储 缔造关键业务之路
应用虚拟存储 缔造关键业务之路
 
Solution apc 4.0
Solution apc 4.0Solution apc 4.0
Solution apc 4.0
 
高效益、設計專利保護 如何達成雙贏?
高效益、設計專利保護 如何達成雙贏?高效益、設計專利保護 如何達成雙贏?
高效益、設計專利保護 如何達成雙贏?
 
众行业公司系统架构案例介绍
众行业公司系统架构案例介绍众行业公司系统架构案例介绍
众行业公司系统架构案例介绍
 
软件工程 第八章
软件工程 第八章软件工程 第八章
软件工程 第八章
 
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
 
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
 
200701011
200701011200701011
200701011
 
[嵌入式系統] 嵌入式系統進階
[嵌入式系統] 嵌入式系統進階[嵌入式系統] 嵌入式系統進階
[嵌入式系統] 嵌入式系統進階
 
Altibase介绍
Altibase介绍Altibase介绍
Altibase介绍
 
淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践淘宝商品库MySQL优化实践
淘宝商品库MySQL优化实践
 
Java@taobao
Java@taobaoJava@taobao
Java@taobao
 
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
昆腾技术白皮书- 重新设计备份和恢复,适应未来虚拟化和整合的需求
 
软件工程
软件工程软件工程
软件工程
 
数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011
 
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
 
开放云平台数据引擎Cmem
开放云平台数据引擎Cmem开放云平台数据引擎Cmem
开放云平台数据引擎Cmem
 

CDP方案介绍

  • 3. 3  对所有类型灾难的防护  灾难的多样性及严重后果 服务器硬件故障、存储硬件故障、交换机硬 件故障、空调故障、电力故障… 应用软件错误、操作失误、误删除、补丁故 障、病毒、黑客攻击……逻辑灾难 : 53% 硬件灾难 : 47% 一般是指机房严重受损,无法使用。 某些灾难会造成业务持续中断,短时间无法 恢复,造成类似站点崩溃的严重影响。 例如:数据库崩溃、系统文件被删…… 站点级灾难 : 1% 站点类 级灾难 : 81% 3
  • 4. 4  基于 SLA 的 RPO 、 RTO 指标  RPO (数据恢复点目标) 表示在灾难发生后,可以容忍数据丢失的程度。理想结果是 0 。  RTO (恢复时间目标) 表示在灾难发生后,业务恢复需要的时间。理想结果是 0 。 RTO 主要包括:  数据就绪 时间较难保证  主机就绪  网络就绪  服务就绪  验证 基本是静态的,时间比较容易明确保证 4
  • 5. 5  基于 SLA 的 RPO 、 RTO 指标  基于 SLA (服务水平协议) 意指在任何情况下都按照约定的水平提供 RPO 、 RTO 。而不能是故障类型来提供不同的水 平,比如:出现某个硬件损坏可以提供 10 分钟的水 平,而出现数据误删除就只能够提供 8 小时的水平 。 5
  • 8. 8  系统构建成本、运行成本的有效控制  保护方案构架的开放性 硬件、软件平台的升级是否会影响到保护方案的稳定性。如 果有影响就可能会需要重新构建系统,造成巨大的二次投入。  硬件平台的开放性 当保护方案完全依赖于特定的硬件品牌型号时,往往会造成 更高的采购成本。  远程通信费用 当前高带宽的远程通信费用高昂,因此远程通信带宽的节约 对成本的影响巨大。 8
  • 9. 9  对原有生产系统不做任何改动 可以从两个方面来理解:  如果需要改动原有生产系统,实施保护方案带来的风险就相对 较高,如果因此造成了生产系统出现灾难,就违背了数据保护 的初衷。  如果需要改动原有生产系统,意味着生产系统与数据保护方案 是紧耦合,也就是说如果需要升级改造生产系统,可能会对数 据保护方案造成巨大影响。 9
  • 11. 11  易于管理、维护 当灾难发生时,数据保护方案要快速发挥作用,必需依赖于客户 系统管理人员的工作,易于管理、维护的保护方案可以降低对 客户技术人员的技能要求,提高工作效率。可以从以下几个方 面考察方案的管理维护工作:  尽量附和管理员使用习惯  策略设定、设备管理时的复杂度  恢复时,使用复杂度及灵活性  满足功能的前提下,少使用专用工具  容灾数据可用于演练、查询、测试等工作  容灾设备故障不影响生产系统 11
  • 12. 12  对所有类型灾难的防护  基于 SLA 的 RPO 、 RTO 指标  大部分灾难本地解决  系统构建成本、运行成本的有效控制  对原有生产系统不做任何改动  易于演练、测试  易于管理、维护 12
  • 14. 14  数据保护方式一:数据备份  解决历史数据的恢复问题  解决数据逻辑错误的修复问题  数据保护方式二:数据容灾  解决硬件级别灾难的问题  解决机房灾难甚至自然灾害发生时的业务连续性问题 14
  • 15. 15  数据备份 ---- 面临的主要问题  备份窗口问题 需要安排特定的时间完成数据的备份工作,如果需要备份 的主机众多,备份时间的合理安排可能存在一定困难。 有的业务系统数据备份时还需要先停掉业务才能进行, 这就会造成对业务的干扰。 15
  • 16. 16  数据备份 ---- 面临的主要问题  数据备份对系统性能的影响 常规的数据备份操作都是在备份过程中对数据源做一次全 面读取并转存到他处。这样就会造成备份期间硬盘 IO 的 高负荷运转,并有可能导致业务系统性能的下降。 16
  • 17. 17  数据备份 ---- 面临的主要问题  时间点数据恢复问题 每一次备份的数据实际上都是当时时间点的数据状态,而 两次备份之间基本上都会间隔数小时会 1 天,如果想要 将数据恢复到两次备份之间的某个时间点的数据状态, 是很有难度的,甚至是不可能的。 17
  • 18. 18  数据备份 ---- 面临的主要问题  操作系统备份、恢复问题 操作系统的备份、恢复比常规的数据备份难度要大一些, 一些常见的操作系统备份、恢复工具,也都存在一定的 复杂性,在恢复时更是达不到:“直接拿来启动”的程度, 而且整个恢复过程可能需要数十分钟甚至数小时。 18
  • 19. 19  数据备份 ---- 面临的主要问题  数据恢复的空间、时间问题 对于一些数据量较大的系统而言,不少用户都存在没有多余的硬 盘空间来恢复备份数据的问题。另外数据恢复时间往往需要数 十小时,由于耗时较长,使得本来是一个小问题事件变成了重 大 IT 事故。  数据恢复的验证问题 “ 数据备份成功”不等于“数据可以成功恢复”,但由于数据恢复的 空间、时间问题,造成了数据恢复验证工作难以完成。 19
  • 20. 20  数据容灾 ---- 面临的主要问题  逻辑错误问题 数据容灾实现的目标是尽量保证异地数据与本地数据的一致性,可 以很好地防范硬件造成的问题。但是对于数据的逻辑错误(例如 :误操作)就无能为力了,因为所有的逻辑错误也会从本地传播 到异地。  网络带宽问题 对于业务繁忙的系统而言,常规的数据容灾系统对网络带宽的要求 比较高,造成了容灾系统运营成本的大幅提高。 20
  • 21. 21  数据容灾 ---- 面临的主要问题  异地切换问题 由于距离、网络带宽的原因,数据容灾系统一般都需要配 置为异步模式,因此在灾难发生时,基本上都会造成少 量的数据丢失问题,因此进行异地切换就不仅仅是一个 存技术问题,同时也是一个管理问题。考虑到数据的追 补需要涉及所有使用人员,管理、操作难度大幅增加, 从业务开始异地切换到完全恢复正常可能需要若干小时 。 21
  • 22. 22  数据容灾 ---- 面临的主要问题  容灾对现有系统的影响、系统升级对容灾的影响 有不少容灾方案是基于硬件层面实现的,这些方案对硬件 品牌、型号的要求较为严格,甚至硬件的微码都要求匹 配。此类容灾方案的事实往往都需要对现有系统环境进 行一定的改造;另外对现有系统的升级、扩容也有可能 影响到容灾系统,需要对容灾系统进行一定的调整。 22
  • 23. 23  常用容灾方案简介  存储设备的远程镜像 (硬件级别) 基本原理: 主机只连接本地存储,读写操作都只针对本地存储,写操 作的数据由本地存储转发给远端存储保存。 生产主机 生产存储 灾备存储 23
  • 24. 24  常用容灾方案简介  存储设备的远程镜像 (硬件级别) 优点: 1 、是实现灾备的传统方案,方案成熟、可靠。 2 、从硬件层面实现数据灾备保护,与应用无关,适用范围广,可以作 为一站式解决方案。 3 、结构简单,两台存储就可以实现多个应用的灾备。 4 、方案实施简单,容易管理。   24
  • 25. 25  常用容灾方案简介  存储设备的远程镜像 (硬件级别) 缺点: 1 、由于是在硬件层面实现数据灾备保护,主、备存储的硬件平台必须 兼容,因此灵活性较差。 2 、主、备存储的软件存在版本一致性要求,因此当存储设备扩容调整 是都可能需要进行软件版本的同时升级。 3 、方案实施时,可能需要升级主存储的软件版本,存在一定的风险。 4 、生产中心更换主存储时,容灾方案可能会废弃掉,需要重新购买、 实施。 25
  • 26. 26  常用容灾方案简介  操作系统的数据镜像功能 (操作系统级别) 基本原理: 主机直接连接两个存储,在操作系统上将两个存储的空间定义成镜像 关系,写数据时,由操作系统分别对两个存储做写操作,读数据时 会将操作分担到两个存储上,减少一个存储的工作负载。 主机 OS 数据操作模块 硬 盘 驱动 硬 盘 驱动 生产存储 远端存储 26
  • 27. 27  常用容灾方案简介  操作系统的数据镜像功能 (操作系统级别) 优点: 1 、操作系统自带功能,不需要额外的费用。 2 、对存储设备类型没有要求,硬件选择灵活性大。 3 、与应用软件类型无关,适用范围广。 4 、读操作时,两个存储分担负载,会大幅度提高 IO 性能。 5 、方案实施简单,容易管理。   缺点: 1 、只能实现同步镜像模式。 2 、两个存储间的距离一般要控制在 10 公里以内,否则会导致业务性能大 幅度下降。 27
  • 28. 28  常用容灾方案简介  卷复制 (操作系统级别) 基本原理: 操作系统通过“卷管理软件”读写硬盘存储,卷管理软件收到写操作数据 后,通过网络将数据块传输到远端主机的卷管理软件,从而实现数 据远程镜像。 本地主机 OS 数据操 作模块 硬盘驱动 生产存储 远端存储 卷管理模块 远端主机 OS 数据操 作模块 硬盘驱动 卷管理模块 28
  • 29. 29  常用容灾方案简介  卷复制 (操作系统级别) 优点: 1 、对存储设备类型没有要求,硬件选择灵活性大。 2 、与应用软件类型无关,适用范围广。 3 、技术上比较容易实现数据块压缩后传输,节约网络带宽。   缺点: 1 、需要对操作系统有较大改动。 2 、在需要灾备的应用较多时,方案实施及管理都相对复杂。 29
  • 30. 30  常用容灾方案简介  数据库灾备 (数据库级别) 基本原理: 通过网络将数据库 LOG 从本地主机传输到远端主机,远端主机收到 LOG 后,对数据库数据进行修改,使两个数据库数据保持一致。 本地主机 数据库 数据 数据库 LOG 远端主机 数据库 LOG 数据库 数据 30
  • 31. 31  常用容灾方案简介  数据库灾备 (数据库级别) 优点: 1 、有些数据库类型不需要额外的费用。 2 、对存储设备类型没有要求,硬件选择灵活性大。 3 、在某些情况下,两个主机的操作系统平台都可以不同。 4 、在某些情况下,可以实现对远端数据库的访问,使应用部署更方便。 5 、只需要传输 LOG ,传输量较小。   缺点: 1 、一般来说,在使用异步传输时,发生灾难时丢失的数据会更多一些, 要控制在 10 分钟以内都很困难。 2 、只能实现数据库灾备,局限性较大。 3 、管理相对复杂。 31
  • 32. 32  常用容灾方案简介  数据库的表复制 (数据级别) 基本原理: 当主数据库的表数据发生变化时,会根据这种变化生成 SQL 语句,并 在远端数据库上执行,使两个表的数据保持一致。 本地主机 数据库 数据表的变 化数据,转 化为 SQL 语 句对复制对 象的修改 远端主机 数据库 32
  • 33. 33  常用容灾方案简介  数据库的表复制 (数据级别) 优点: 1 、有些数据库类型不需要额外的费用。 2 、对主机、存储设备类型没有要求,硬件选择灵活性大。 3 、对操作系统平台没有要求。 4 、远端数据库可以承担自己的业务。   缺点: 1 、数据表复制不是为灾备目的设计的,只能作为一个辅助性的灾 备手段,局限性很大。 2 、管理相对复杂。 33
  • 35. 35  CDP 技术概要 CDP 的含义是“连续数据保护”, CDP 是一种新兴的数据保护技术,可以 称为“新一代”数据保护模式。 存储网络产业协会( SNIA )对 CDP 的定义是:“ CDP 是一套方法,它可 以捕获或跟踪数据的变化,将其与生产数据分开存放,以确保数据可以 恢复到过去的任意时间点。” CDP 方案需要具备几个基本要素: 1 、数据变化可以被连续捕获; (减少数据的丢失、甚至不丢失) 2 、捕获的数据变化要和生产存储分开存放; (提高数据的安全性) 3 、数据可以恢复到任意时间点; (大幅提高数据的可恢复性) 4 、访问保护的数据之前不需要做恢复操作。 (快速恢复数据) CDP 的核心价值是:连续数据备份、瞬间数据恢复。 CDP 实现了数据备份、数据容灾系统的合二为一,并解决了许多困扰的难题。 35
  • 36. 36  CDP 技术概要  CDP 与 near-CDP 的差别 由于厂商对 CDP 市场的理解存在一定的差异,导致 CDP 市场分为两 大类: near-CDP 、 CDP 。 near-CDP 实际上是使用快照技术实现的,在恢复历史数据时,实际上 不能做得任意时间点的恢复,有时我们将 near-CDP 称为“准 CDP” 。 CDP 可以记录每个 IO 的日志,因此可以实现任意时间点的恢复。 36
  • 37. 37  CDP 技术概要  CDP 数据捕获的方式  主机端捕获 CDP 软件可以模拟成一个存储设备,然后在利用操作系统卷管理的镜像功能将一 份数据写到 CDP 软件,如果操作系统下不支持卷的镜像(例如 windows ),就 会采用一个代理软件实现此功能。 优点: 1 、硬件选型灵活; 2 、可以保护内置硬盘的数据; 3 、可以实现对操作系统的保护 缺点: 主机上需要软件的支持 目前使用此方式的 CDP 产品比较多 37 FC 交换机 存储 CDP 软件 主机
  • 38. 38  CDP 技术概要  CDP 数据捕获的方式  存储上捕获 某些厂商的存储阵列本身支持 Write Splitter 功能,例如 EMC ClariiON 磁盘阵列,这种方式比较受限于厂商。 38 FC 交换机 存储 CDP 软件 主机
  • 39. 39  CDP 技术概要  CDP 数据捕获的方式  光纤交换机上捕获 有些光纤交换机含有 Data Splitter 功能,通过这样的交换机可以捕获生产卷的 写操作数据块。 优点: 与主机操作系统无关 缺点: 1 、价格高、硬件受限 2 、只能保护存储的数据 使用此方式的 CDP 产品较少, EMC Recoverpoint 可以使用此方式 39 FC 交换机 存储 CDP 软件 主机
  • 40. 40  CDP 技术概要  CDP 的瞬间数据恢复 CDP 软件可以模拟成一个存储设备,可以将任意时间点的备份数据作 为 LUN 分配给主机使用,在主机上直接访问这些 LUN 就能够操作备 份的数据,不需要进行单独的数据恢复动作,整个过程可以在几分钟 内完成。 40
  • 41. 41  CDP 技术概要  对主机操作系统的保护 目前 PC server 、小型机都能够支持 FC LUN 及 iSCSI LUN 启动方式 ,使用 CDP 对操作系统硬盘保护后, CDP 可以使用 FC 、 iSCSI 方 式供主机直接启动操作系统。 除了直接使用 CDP 启动主机操作系统外,许多 CDP 产品在 PC server 环境下实现了“物理机 => 物理机”、“物理机 => 虚拟机”、“虚拟机 => 物理机”、“虚拟机 => 虚拟机”的操作系统恢复方式,因此可以很 方便地实现用一台 PC server 备用多台 PC server 的需求,大幅度节 约成本。 41
  • 42. 42  CDP 技术概要  网络带宽优化技术 许多 CDP 产品都带有网络带宽优化技术,以节省昂贵的网络 通信费用。主要有以下方式: 1 、数据压缩传输 3 、间隔传输模式下的一个数据块只传输一次 在一定的时间间隔内,应用系统有可能多次修改一个数据块,并且将 此数据块多次写入到硬盘中,如果使用间隔传输模式,飞康 CDP 只 会传输此数据块的最后一次变化,也会一定程度减少数据的传输量。 2 、数据精简技术( microscan ) 是飞康 CDP 的专利技术。可大幅度减少数据传输量。 42
  • 43. 43  CDP 技术概要  对主机 IO 性能的影响小,甚至可以提高主机系统的性能 数据备份时不需要读取生产存储的数据,不会增加生产存储的 IO 负载 ,对生产系统的性能干扰小。 某些 CDP 产品会在本地使用存储空间与主机的生产存储做成完全镜像 关系,这样就可以分担生产存储读操作的 IO 负载,从而提高主机的 综合 IO 性能。  性能优化技术 CDP 技术作为一种数据保护方案,为了减低存储成本,一般采用大容 量 SATA 硬盘作为存储空间,为了应用于高端应用,某些 CDP 产品 采用了读写优化技术提高 CDP 的性能。 43
  • 44. 44 CDP 技 先者术领 康飞 CDP 灾 一体化技 介备 术 绍 44
  • 45. 45 CDP 是一种新兴的技术,许多大大小小的厂商 或多或少涉足了 CDP 领域,技术的成熟总是有一 个过程的,因此并不是所有的 CDP 产品都是成熟 的。飞康公司是 CDP 领域的领先者,目前有不少 存储厂商(例如 IP 存储的领先厂商 H3C )都在将 飞康 CDP 软件 OEM 到自己的存储设备中,作为 自己的数据灾备解决方案,由此可见飞康 CDP 是 一个成熟可靠的产品。 45
  • 46. 46 飞康 CDP 在国内有多个成功案例,典型客户有中国人民银行总行 、工商银行、太平洋保险、华北电网、多家基金公司、多家大型医院等 。 美国飞康软件公司卓越的解决方案多次在国际存储展会上获奖,所 获奖项为: CDP/DR 解决方案获得“ 2008 年度中国计算机报编辑选择奖” IPStor CDP 在 2008 CMP's Xchange 大会上,获得“技术创新奖” 用于 Windows Storage Server 2003 的 iSCSI 存储服务器解决方 案,在 2004 年获得微软公司评选的“ Best of TechEd Europe 2004” 及“ Best of TechEd China 2004” IPStor 在 TechTarget’s Storage 和 SearchStorage.com 举办的 2007 年度最佳产品评选中获得“备份 & 灾难恢复软件”类银奖 IPStor 在 SearchStorage.com 和 Storage magazine 举办的 2008 年度最佳存储产品评选中获银奖 IPStor 荣获 2008 年度 PC Magazine 和 eWeek 存储类“架构创新 奖” IPStor 荣获纽约长岛软件协会“ 2008 年度最佳产品奖” 46
  • 47. 47 飞康 CDP 主要特点 很好地实现了数据保护方案的目标:  对所有类型灾难的防护  基于 SLA 的 RPO 、 RTO 指标  大部分灾难本地解决  系统构建成本、运行成本的有效控制  对原有生产系统不做任何改动  易于演练、测试  易于管理、维护 47
  • 48. 48  飞康 CDP 主要特点 1 、可以瞬时恢复到任意历史轨迹。 可以将数据恢复到任意历史轨迹(秒级和 I/O 级),并且恢复过程可在几分钟内 完成,而使用传统体系的恢复机制,往往需要若干小时甚至数天的时间。 2 、可实现分层次恢复,高效应对各种类型的灾难 飞康 CDP 解决方案可以实现本地恢复和异地恢复的分层恢复体系,大部分灾难在 本地即刻恢复(如数据丢失或磁盘阵列损坏等),不用“惊动”异地灾备系统, 这种分层次恢复的能力可以高效应对各种灾难。 3 、独特的带宽优化技术,在窄带环境下实现异地灾备 飞康的精简复制功能带有独特的带宽优化技术( Microscan ),是存储设备级灾 备技术占用带宽的 1/50 ,是常规灾备技术占用带宽的 1/6 ,在窄带环境下轻 松实现异地灾备,可节约大量带宽方面的投资。 4 、磁盘故障,无需停机,瞬时接管 当生产存储发生故障时,飞康 CDP 可以自动瞬时接管业务,数据库和应用不停顿 照常提供服务;这个功能可以充分保证业务连续性。 48
  • 50. 50  数据历史点的保护 飞康 CDP 支持两种保护方式:快照、连续数据保护,可以将两 者结合成一个完整、灵活的数据保护策略。 50
  • 51. 51  数据历史点的保护 1 、支持快照的生命周期管理,过期的快照自动清理。 2 、支持快照合并技术(删除的快照会自动合并到其后的快照 上),大大加强了对历史数据的管理。 3 、快照可以按照预定的计划时间点自动产生,也可以随时手工 生成。 4 、每个磁盘卷支持 255 个快照。 51
  • 52. 52  飞康 CDP 构架 52
  • 53. 53  飞康 CDP 构架 • CDP 系统获取生产系统的写操作并将其记录进 CDP 存储中 • CDP 系统保持有生产磁盘镜像拷贝 , 以及相应历史点快照和日志信 息 53
  • 54. 54  飞康 CDP 构架  Clients: 需要保护的生产服务器, CDP 需要对其存储进行镜像或数据分流的应用 主机  CDP Server: 管理物理存储设备为生 产服务器 (clients) 提供存储资源并对生产 存储提供各种保护  Console: 使用 BS 架构 (Java) 的管理控 制台,提供各种管理和维护功能,支持简 繁体中文显示  Tapping( 分流 ): 实现 CDP 功能的技术 核心之一,不同的技术实现 CDP 功能所 需要采用的拓扑和设备都有较大差异,飞 康 CDP 支持下面三种分流的方式 54
  • 55. 55  飞康 CDP 构架 主机分流  使用 DiskSafe 或者 LVM 实现数据分流  通过设置,生产存储任意 LUN 通过 FC 或 IP 通道在镜像存储得到保护  Disksafe 对写入的数据可通过同步或异 步的方式复制到镜像存储  Disksafe 可以选择连续和周期的镜像方 式实现同步或异步的镜像  可以通过 Disksafe 或 CDP 服务器配置 、控制快照的一致性,保障实现数据库 的一致性  LVM 依赖操作系统实现分流,无需改 变生产架构,天生稳定可靠。 CDP 服务器 生产服务器 安装 DiskSafe 或 使用 LVM 生产存储 镜像存储 55
  • 56. 56  飞康 CDP 构架 主机分流  无需改变现有的存储连接架构  需要在主机端安装分流代理或配置系统自己的分流功能  稳定性依赖于分流代理 / 功能  对主机端应用系统可进行编程支持  对主机的写操作 IO 性能多少会产生一定影响,相对较小,典型值 小于 5%  对主机的读操作 IO 性能无负面影响,在适度的配置情况下,可以 大幅提高读操作 IO 性能,一般可以提高 1 倍。 56
  • 57. 57  飞康 CDP 构架 光纤交换机分流  必须配置专用光纤交换机 ( 例如 Cisco MDS9000 、 Brocade 7600 等 )  交换机内安装了具有分流功能软件  软件拦截写入数据并将其分流复制 到镜像存储 CDP 服务器 生产服务器 支持 SAN Tapping 的 光纤通道交换机 生产存储 镜像存储 57
  • 58. 58  飞康 CDP 构架 光纤交换机分流  需要规划原存储架构,加入新一代具备分流能力的光纤交换机要求 系统的普通交换机与分流交换机兼容  稳定性依赖于交换机内核、新旧交换机之间的互操作性及脚本的编 写水平  要保证 100% 一致性需要在主机端配置脚本  分流机制决定了与主机端应用较难进行程序接口  对交换机的 I/O 性能会产生一定影响,对主机的整体影响应小于 5% ,但具体影响度不易确定  对不通过光纤交换机的存储系统无法提供保护,例如本地系统或数 据盘 58
  • 59. 59  飞康 CDP 构架 存储控制器分流  飞康 CDPx 设备 ( 存储控制器 ) 保障 关键业务生产主机对存储的访问,不 允许出现单点故障  利用多台 CDPx 设备可以组成高可用 集群组。  数据通过任意的 CDPx 设备分流镜像 出来  主数据通路的切换不影响数据的分流 ,因为 I/O 可以从任意一个 CDPx 设 备分流出去 CDP 服务器 生产服务器 CDPx 设备 生产存储 镜像存储 59
  • 60. 60  飞康 CDP 构架 存储控制器分流  在线与近线存储实现统一,在线存储是带内拓扑的架构,对原架构 需要做数据迁移同时具有较高的读写效率和分流能力。  在线存储(分流系统)性能即为生产系统性能  稳定性依赖于存储控制器  要保证 100% 一致性需要在主机端配置脚本  分流机制决定了与主机端应用较难进行程序接口  对不存放在存储系统的数据无法提供保护,例如本地系统或数据盘 60
  • 61. 61  飞康 CDP 构架 CDP 服务器担任的角色  CDP 服务器接收到分流的数据后,负责进 行加工、存储工作。  通过虚拟化存储技术, CDP 服务器为每 个生产卷提供了日志,快照,镜像数据区 ,并通过 Thin provisioning( 磁盘精简 ) 技 术实现近线存储的按需分配  CDP 服务器承担所有的高级存储服务,包 括 TimeMark( 快照 ), TimeView( 快照使用 实例 ), Replication( 复制 ), Data Journaling( 数据连续日志 ), 这些服务均 独立于生产服务器和生产存储 ( 性能和影 响度完全隔离 )  对写性能要求高的生产应用需求, CDP 服务器提供性能优化  CDP 服务器对传输进行精简和优化。 CDP 服务器 生产服务器 FC 或 iSCSI Pro 生产盘 镜像卷 虚拟磁盘 日志区 镜像 卷 快照 区 61
  • 62. 62  飞康 CDP 的写操作优化技术 飞康 CDP 具备高速写入技术 SafeCache 。 SafeCache 功能可以全面 提高飞康 CDP 管理的磁盘写性能。通过将随机写入向顺序写入的转 换,大大提升 CDP 访问性能 . IPStor CDP 顺序写入 , 高速 IO 1 2 3 4 5 6 7 2 3 5 6 1 4 7 Serialized Random Disk Cache Area Data Disk Blocks written sequential ly Blocks written randomly "Ack" 62
  • 63. 63  飞康 CDP 的读操作优化技术 飞康 CDP 具备高速读出技术 HotZone 。 HotZone 功能可 以全面提高飞康 CDP 管理的磁盘读性能。使用 HotZone 时,飞康 CDP 会将磁盘划分为容量相等的多个区域,然 后监控哪些区域经常会被读到,随之将该区域的数据块 映射到高速磁盘中,这样就会提高应用主机读取磁盘的 速度。如果飞康 CDP 监控到某些区域不再被经常读到, 那么会将该区域移出高速磁盘。飞康 CDP 可以使用固态 盘、内存作为高速磁盘。 63
  • 64. 64  飞康 CDP 的远程传输策略 飞康 CDP 是唯一具备几乎所有传输策略的灾备技术。传输策略分类 :  连续传输 实现每一个 IO 的远程传输,在带宽许可的情况下,可以保证数据 丢失极小  时间增量传输 实现定时进行的远程传输,只传输一个数据块的最后一次变化量 ,可以减少对带宽的需求。  数据增量传输 实现数据达到指定水位时的远程传输 飞康 CDP 可以单独使用某个策略,也可以将几种策略组合使用,还 可以设置为自适应模式。这种方式大大减少了系统的管理工作。 64
  • 65. 65  飞康 CDP 的带宽精简 技术 飞康 CDP 采用的 MicroScan 技 术可大幅度减少带宽需求  应用程序及文件系统写入磁盘 的数据远远大于实际的数据变 化量  MicroScan 微单元扫描技术可 以按 512 字节为最小单位扫描 磁盘变化并只传输变化的数据 512 byt e = 空白磁 扇区盘 = 用或文件系 写入的数据应 统 = 扇区上 的数据 化实际 变 一个典型的 8K 数 据写操作 . 许多系 统会将 8K 数据全 部传送 . 而飞康 CDP 只传输真实 改变的磁盘块部分 . 512 byt e 磁 扇区盘 65
  • 66. 66  飞康 CDP 的带宽精简技术 飞康 CDP 采用的 MicroScan 技术可大幅度减少带宽需求 • 用 某全球前五大律 事物所户为 师 • 83 天 , 共四个生 站点产 , 向灾 中心的 程数据 制备 远 复 统计 站点位置 文件系 中的统 数据增量 GB 经 MicroScan 掉过滤 GB 实际传输 GB 少百分比减 Houston 4,869 4,017 852 82% New York City 16,176 13,409 2,767 83% Wash D.C. 7,289 5,581 1,708 77% Atlanta 73,376 62,527 10,849 85% Total 83 天 101,710 85,534 16,176 84% 平均 日每 1225 1031 195 84% 66
  • 67. 67  飞康 CDP 的快照技术 快照技术: 1 、 copy-on-write 传统的快照技术。原理简单,大部分存储设备使用此技术。有 多个快照时性能下降严重,需要的额外存储空间较多。 2 、 Redirect Write 多个快照对性能的影响不大,需要的额外存储空间较小,但是 会造成基础卷的硬盘空间漂移,造成硬盘碎块。 3 、 Copy-On-First Write 从 copy-on-write 技术发展而来,快照之间存在关联关系,每 个快照记录的是上次以来的差量,技术原理更为复杂。多个快照 对性能的影响不大,需要的额外存储空间较小。不会对基础卷造 成影响。 67
  • 69. 69  CDP 应用场景:异地容灾扩展 ( 两地或两地三中心 ) 69
  • 76. 76 方案结构说明: 1 、使用飞康 CDP 产品实现整个方案。 2 、惠州机房、深圳机房各配置一台飞康 CDP 服务器;实现惠州、深圳 两套系统双向互相灾备。  惠州机房  CDP 服务器配置 12TB SATA 硬盘;  DS4800 存储的空间挂接到 CDP 服务器,作为与 DS6800 的 LVM 镜像 空间;  从 CDP 服务器 12TB 的 SATA 硬盘拿出部分空间作为 SAP 数据保护的 快照空间、 IO 日志空间;  CDP 服务器 12TB 的 SATA 硬盘大部分用于深圳机房 PDM 系统的远程 灾备空间。 76
  • 77. 77 方案结构说明:  深圳机房  CDP 服务器配置 6.75TB SAS 硬盘、 15TB SATA 硬盘;  CDP 服务器上的 6.75TB SAS 硬盘,作为与 PDM 系统的 LVM 镜像 空间, SAS 硬盘的性能比 SATA 硬盘好,可以应对 PDM 主存储损 坏后的性能要求,并且在配置 LVM 镜像时可以将此空间设置为只写 不读的状态,做到不影响系统原有性能;  从 CDP 服务器 15TB 的 SATA 硬盘拿出部分空间作为 PDM 数据保 护的快照空间、 IO 日志空间;  CDP 服务器 15TB 的 SATA 硬盘大部分用于惠州机房 SAP 系统的远 程灾备空间。 77