Weitere ähnliche Inhalte
Ähnlich wie Ibm solid db overview v6.3 20090320 (20)
Ibm solid db overview v6.3 20090320
- 1. IBM solidDB & solidDB Universal Cache
黄庆双
huangqs@cn.ibm.com
13911050825
IBM 软件部, solidDB
Ver. Dec. 2008 © 2008 IBM Corporation
- 2. IBM SWG – Information Management Software
关于Solid….
业界领先的内存数据库
92年成立, 10+年商用历程
Solid的客户包括Airbus、Alcatel、Cisco、HP、Motorola、
Nokia-Siemens、NEC、Nortel等几百个知名企业
超过三百万的应用部署
在通信行业广泛使用
快速、灵活、高可靠
2 IBM Confidential © 2008 IBM Corporation
- 3. IBM SWG – Information Management Software
Solid遍布各个行业的知名客户
BUSCOM
Unclassified, 45
Communications, 73
Automotive, 3
Publishing, 5
e-business, 5
Gaming, 6
Manufacturing, 10
Transportation, 13
Retail , 13
Cross-Industry, 64
Financial Services, 20
Public Sector , 21
Healthcare, 23 Education, 24
3 IBM Confidential © 2008 IBM Corporation
- 4. IBM SWG – Information Management Software
Solid在电信行业的应用
先进的OSS解决方案 Solid部分客户
– HP OpenView 系列
– Nokia Traffica
– Nortel Shasta
高可靠性应用平台
– Siemens TSP7000
– Nortel Siren
– NEC
智能控制
– SIP 应用服务器、Class 5 软交换、媒体网关、
IMS 控制器 (HSS..)
关键应用
– VoIP
– Push-to-Talk
– E-911
– Online Charging
4 IBM Confidential © 2008 IBM Corporation
- 5. IBM SWG – Information Management Software
IBM solidDB 产品系列
IBM solidDB Universal Cache
App App App
IBM solidDB
(standalone)
Applications
Universal Cache
5 IBM Confidential © 2008 IBM Corporation
- 6. IBM SWG – Information Management Software
IBM solidDB是…关系型数据库(RDBMS)
高性能数据库服务器
– 可扩展性强
– 基于多线程
– 并发控制 Client
– 支持标准:SQL、ODBC、JDBC Application(s)
– 乐观锁和悲观锁
ODBC SA JDBC
基于事务
– 自动恢复
– 完整的事务处理(ACID)
可嵌入至应用程序
– 最小内存开销: ~5MB
– 广泛的平台支持
– 链接库或C/S模式
– 零维护
6 IBM Confidential © 2008 IBM Corporation
- 7. IBM SWG – Information Management Software
solidDB: 全功能的关系型内存数据库
通讯:
ANSI SQL89, SQL92 及SQL99 • Client/Server
ODBC、JDBC 驱动, SA(Solid API) • 链接库
存储过程
JDBC ODBC SA
触发器和事件
完整的事务处理 (ACID)
并发控制 Solid
Solid
事务级别控制
内存 基于磁盘
基于成本的优化器 的
引擎
多线程数据库引擎 引擎
Unicode
在线备份
自动失败回滚
批量加载数据
数据导出工具 永久数据
内建计划调度
图像管理工具
对 BLOB和CLOB 数据类型的强大处理 空间要求
磁盘数据库 • 数据库程序:3M
能力 • 完全的检查点 • 最小RAM要求:5M
支持多种平台 • 完全的日志 • 最小数据库文件:1M
7 IBM Confidential © 2008 IBM Corporation
- 8. IBM SWG – Information Management Software
特点:
内存和磁盘混合型数据库
远程访问
App App App App
双引擎数据库
solidDB
ODBC SA JDBC
内存数据库
API
磁盘数据库 Client RPC
表的存储位置确定基于应用 TCP/IP
考量
链接式应用
对应用程序透明 App App Server RPC
查询操作可以同时访问两种
SQL engine
类型的表 连接其它
solidDB
检查点机制相同,只有一份 In-memory 节点
Flow
db engine Disk-
数据文件 In-memory
based
db engine
性能最大化 tables 连接HA
HSB
节点
易于优化 Disk storage manager
数据库文件
检查点
第一款混合型数据库!
第一款混合型数据库! 日志
8 IBM Confidential © 2008 IBM Corporation
- 9. IBM SWG – Information Management Software
solidDB 支持的表类型
表类型 特点 创建方式
持久型内 内存表默认类型,数据存储在内存中,并有磁盘 CREATE TABLE tab_name
存表 映象; (col_1 INT, xxxx) STORE
支持Log和Checkpoint持久化机制; MEMORY
支持行级锁、表级锁和事务隔离级别 或DefaultStoreIsMemory=Yes
全局临时 所以数据存储在内存中,没有磁盘映象;不支持 CREATE TRANSIENT TABLE
内存表 Log和Checkpoint持久化机制; tab_name (col_1 INT, xxxx)
支持行级锁、表级锁和事务隔离级别;全局可见
性能比持久型内存表好;
数据不复制到HSB的备节点;
局部临时 所以数据存储在内存中,没有有磁盘映象;不支 CREATE TEMPORARY TABLE
内存表 持Log和Checkpoint持久化机制; tab_name (col_1 INT, xxxx)
不支持行级锁,会话级可见;
性能在所有表中最好;
数据不复制到HSB的备节点
持久型磁 数据存储在磁盘中,支持Buffer Pool; CREATE TABLE tab_name
盘表 支持Log和Checkpoint持久化机制; (col_1 INT, xxxx) STORE DISK
支持行级锁、表级锁和事务隔离级别; 或DefaultStoreIsMemory=No
9 IBM Confidential © 2008 IBM Corporation
- 10. IBM SWG – Information Management Software
IBM solidDB 内存数据库性能
solidDB 6.0 内存数据库 企业级磁盘数据库
160,000
solidDB内存数据库能
140,000
120,000 高达10倍的性能
100,000
MQTH
80,000
60,000
40,000
20,000
0
0 100 200 300 400 500 600 700 800 900 1,000 1,100 1,200
时间 [s]
TM1 v.4.0.1 基准测试(2008-2-6),10分钟的预热和20分钟的采样。
128 个并发客户端模拟10万个移动电话用户。
solidDB使用异步日志,链接库模式,每5分钟执行检查点。
IBM 刀片服务器:2个2.66GHz Intel Xeon双核CPU、4GB内存、
Windows Server 2003 RR SP2。
10 IBM Confidential © 2008 IBM Corporation
- 11. IBM SWG – Information Management Software
solidDB内存数据库引擎的性能
与多处理器的扩展
IBM solidDB 内存数据库引擎 TM1 基准测试:
80,000 模拟HLR 1百万用户数,
66910 70,000 80: 20读写比例的工作负
60,000 荷; 8个双核AMD
50,000 CPU;SuSe 10平台
MQTH
36533
40,000
30,000 与solidDB 6同一台机器上
18449 20,000 32个客户端并发
6518
10,000
0 MQTh = 每秒完成的事务
1 2 4 8 (TPS)
双核CPU数量
solidDB 6.0 内存数据库引擎
11 IBM Confidential © 2008 IBM Corporation
- 12. IBM SWG – Information Management Software
业界领先的高可用功能:
Solid HSB(电信级的高可用集群功能)
高可用数据库
应用程序 – 满足5个9或6个9的高可用环境
– 同步的(或异步的)自动事务复制
– 1+1 冗余拓扑
事务读写操作 读操作 – 对应用程序透明的失败切换
快速切换
– 1秒内的失败切换
易于实施
主数据库 从数据库 – 无需专门的硬件
事务 – 可使用低配置的机器
支持轮替式升级
符合SAF规范 (www.saforum.org)
同步/异步复制
可选的数据安全级别
自动恢复功能
13 IBM Confidential © 2008 IBM Corporation
- 13. IBM SWG – Information Management Software
solidDB HSB 复制模式
1-safe 及 2-safe 复制
激活 备用
1-safe
提交
OK 事务同步 异步复制
异步复制
+ 事务提交响应时间短
+ 事务提交响应时间短
OK -失败接管时,可能会丢失事务
-失败接管时,可能会丢失事务
响应时间
主节点 从节点
数据库 数据库
2-safe
提交 事务同步 同步复制
同步复制
+ 失败接管时,不会丢失事务
+ 失败接管时,不会丢失事务
OK
OK - 事务提交响应时间稍长
- 事务提交响应时间稍长
主节点 从节点
数据库 数据库
14 IBM Confidential © 2008 IBM Corporation
- 14. IBM SWG – Information Management Software
solidDB HSB 性能 vs 单点数据库性能
TM1基准测试:
– 单点solidDB数据库(同步日志模式)对比
– solidDB HSB双机架构(2safe同步复制模式)
3500
3269
3000
2500
2034
事务/秒(TPS)
2000
R20W80
1465 R80W20
1500
1000
711
500
0
单点数据库(同步日志) HA双机架构(同步复制模式)
solidDB HSB数据库比单点数据库更快
15 IBM Confidential © 2008 IBM Corporation
- 15. IBM SWG – Information Management Software
solidDB HSB 透明失败切换
独有的TF技术
应用程序
Transparent Failover (TF)
在切换后,保留Connection或Session 虚拟连接
信息
ODBC/JDBC
ODBC/JDBC驱动自动识别可用数据库, 驱动
无需虚拟IP TF
实际连接 实际连接
在API级自动完成失败切换和状态转
换,对应用程序透明
主数据库 从数据库
即使数据库系统发生了Failover,应用 HA
程序也不会中断,不影响应用程序对外
提供服务 异常 主数据库
16 IBM Confidential © 2008 IBM Corporation
- 16. IBM SWG – Information Management Software
solidDB HSB 自动负载均衡功能
集成负载均衡功能
应用程序
主数据库可读可写,从数据只读
读/写 只读 对应用程序透明,由数据库驱动自
动将部分只读事务分发到从数据库
充分利用从数据库的硬件资源
主数据库
HA
从数据库 提高系统的吞吐率
17 IBM Confidential © 2008 IBM Corporation
- 17. IBM SWG – Information Management Software
solidDB HSB性能:
负载均衡 (80% 读, 20% 写)
TM1 - solidDB 6.0 Beta (DBE) - Test:R80/W20
(2CPU/4core server)
25000
20000
15000 Standard HSB
Clustered reads 25%
10000 Clustered reads 50%
5000
0
1 4 16 64
# of Concurrent Clients
挖掘“备用”数据库的读性能以提高系统吞吐量 >60%(该测试)
备数据库不再只是“空闲”的备用数据库…
18 IBM Confidential © 2008 IBM Corporation
- 18. IBM SWG – Information Management Software
solidDB HSB性能:
负载均衡(100% 读操作)
TM1 - solidDB 6.0 Beta (DBE) - Test: R100
(2CPU/4core server)
60000
50000
40000
Standard HSB
30000
Clustered reads 50%
20000
10000
0
1 4 16 64
# of Concurrent Clients
读操作密集型的事务大量并发(C/S模式),更能体现solidDB负载均衡优势
两个数据库节点能提供2倍吞吐量
19 IBM Confidential © 2008 IBM Corporation
- 19. IBM SWG – Information Management Software
总结:IBM solidDB 关系型内存数据库
极高性能
– 微秒级的查询响应速度
App App App – 每秒以数万计的事务吞吐量
超高可用性
– 失败识别和切换时间低于1秒
– 高达99.9999%的可用性
低成本
– 容易实施和部署,完全支持数据库标准和接口
– 零维护和管理
IBM solidDB – 低开发成本、能充分继承现有的数据库经验和
技能
23 IBM Confidential © 2008 IBM Corporation
- 20. IBM SWG – Information Management Software
IBM solidDB 产品系列
IBM solidDB Universal Cache
App App App
IBM solidDB
(standalone)
Applications
Universal Cache
24 IBM Confidential © 2008 IBM Corporation
- 21. IBM SWG – Information Management Software
IBM solidDB作为前端应用 - solidDB Universal Cache
solidDB作为前端内存数据库,提供...
App App App
– 快速响应,加速访问关键数据
– 更高的事务吞吐率
– 读写操作
– 与后台数据库双向复制增量数据
后台数据库提供...
– 存储所有数据
– 与前端solidDB双向双向复制增量数据
Universal Cache – 写事务的高吞吐量
– 其他应用、OLAP
场景...
– 电子商务
– 股票交易
– 电信计费
– 数据采集
25 IBM Confidential © 2008 IBM Corporation
- 22. IBM SWG – Information Management Software
solidDB Universal Cache 包括什么?
1 • 内存数据库:关系型的内存数据库
提供高性能
Universal Cache
4 • GUI 工具:用于配置和监
控数据的同步 2 • solidDB 代理:读取内存数据
solidDB agent 库的事务日志,并与指定的后台
数据库代理通信
management
console
backend 3 • 后台数据库代理:读取后台数据
库的事务日志,并与solidDB代
database agent
理通信
26 IBM Confidential © 2008 IBM Corporation
- 23. IBM SWG – Information Management Software
solidDB Universal Cache 如何工作?
App App App
solidDB Universal 应用可以同时连接到内存数
2 Cache 从后台数据库加
3 据库和后台数据库进行存取
载关键性能数据 和修改数据
Universal Cache
管理员确定关键性能的 solidDB Universal
1 数据,并配置Cache 4 Cache与指定的后台数据
库之间双向复制数据
27 IBM Confidential © 2008 IBM Corporation
- 24. IBM SWG – Information Management Software
Universal Cache 管理工具
Universal Cache
28 IBM Confidential © 2008 IBM Corporation
- 25. IBM SWG – Information Management Software
solidDB Universal Cache – 复制模型
按条件Cache部分数据
1:N 单表对应多份只读Cache
1:N 单表对应多份可读写Cache
– 自定义冲突处理机制
29 IBM Confidential © 2008 IBM Corporation
- 26. IBM SWG – Information Management Software
solidDB Universal Cache – 双机部署
Default HA
NOTE THE
LOCATION
solidDB solidDB solidDB
Primary Secondary
Front-end Front-end
solidDB JDBC driver
Active Standby
CDC for solidDB
CDC
Management Front-end
Console
solidDB JDBC driver
CDC CDC for solidDB
CDC management node CDC Management
JDBC driver
Console CDC
JDBC driver
CDC management node
Data server
Data server
Back-end
Back-end
30 IBM Confidential © 2008 IBM Corporation
- 27. IBM SWG – Information Management Software
solidDB to solidDB 节点间复制
N-Active复制
多节点扩展
表级复制
负载均衡
高可用
31 IBM Confidential © 2008 IBM Corporation
- 28. IBM SWG – Information Management Software
solidDB Cache在电子交易/订单系统中的应用
订单/历史信息
查询/在线预订
/数据归档
SolidDB:
– 查询有效的航班信息、酒店预订信息等等
– 查询价格、时间、座位等具体信息
– 预订、下达订单、更改、取消
Cache
DB2 or IDS :
– 客户资料
– 订单信息、历史记录
– 报表、分析、商业智能
32 IBM Confidential © 2008 IBM Corporation
- 29. IBM SWG – Information Management Software
IBM solidDB Universal Cache: 支持平台和后台数据库
App App App
支持平台
– AIX, HP-UX, Linux, Solaris, Windows
支持后台数据库
– IDS V11.50.3 on AIX, HP-UX, Solaris, Linux,
Windows
– DB2 LUW (V9.1, V9.5) on AIX, Windows,
Universal Cache Solaris, Linux, zLinux
– DB2 z (V7, V8, V9) on z/OS
– Oracle (9i, 10g, 11g) on AIX, HP-UX, Solaris,
Linux, zLinux, Windows
– Sybase (V12.5.4, V15) on AIX, HP-UX,
Solaris, Linux, Windows
– Microsoft SQL Server
34 IBM Confidential © 2008 IBM Corporation
- 30. IBM SWG – Information Management Software
客户案例:solidDB in PDSN
项目背景
-- 中国某电信运营商 3G项目,全国20多个省公司在使用solidDB
-- solidDB作为接入认证服务器的数据库
项目描述
-- 采用标准的ODBC/JDBC接口开发
-- 整个开发周期很短
-- solidDB工程师提供现场开发支持辅导
-- 2008年10月份上线到现在,solidDB运行良好
solidDB的优势
-- 基于标准的数据库语言和接口,开发、移植方便
-- 轻量、可嵌入
-- 极高的事物处理性能 (传统数据库的数倍乃至10倍)
-- 同等性能要求情况下,硬件成本降低
-- 同时提供磁盘/内存数据库,软件成本降低
-- 多年电信系统的经验,数据库稳定可靠 (1秒钟的切换时间适合电信应用)
-- 有竞争力的价格和合作方式
-- 非常好的技术支持和开发支持
35 IBM Confidential © 2008 IBM Corporation
- 31. IBM SWG – Information Management Software
客户案例:IBM solidDB 支撑3千7百万的用户
语音相关服务
如语音邮件
路由:指定SIP应用服务的重定向目
MRS
标,如语音邮件系统,从某个用户
SIP PROV MR HLR 的电话号码,通过SIP发送重定向目
标信息至终端设备(如移动电话)
Standby Server
Primary Server
KEY
用户信息存取:收到来自HLR的新
提供服务
SIP solidDBtells
SIP module
PROV:
MR: 媒体资源 用户信息后,solidDB为SIP应用服
Gateway solidDB MRS: 媒体资源服务器
solidDB指示
which MRS to
SIP模块连接
connect
UPS: 用户数据服务器 务器提供用户信息快速存取服务
哪个MRS
城市 2 城市 n
UPS in City 1
UPS 2 UPS n
可便携号码:使得用户在不需要更
换电话号码的情况下,在PSTN与IP
网络之间切换服务变成可能
3千7百万用户(每个城市)
20微秒的查询相应
24x7x365在线服务,上线后至今未出现异常和重启
36 IBM Confidential © 2008 IBM Corporation
- 32. IBM SWG – Information Management Software
Q&A
37 IBM Confidential © 2008 IBM Corporation
- 33. IBM SWG – Information Management Software
38 IBM Confidential © 2008 IBM Corporation