![议程 ,[object Object],[object Object],[object Object],[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Selling sybase hds solution for banking
Ähnlich wie Selling sybase hds solution for banking (20)
Selling sybase hds solution for banking
- 1. 银行历史数据库解决方案 — 基于 Sybase IQ 的历史交易数据管理和应用
- 8. 历史数据管理和应用 — 总体架构 ODS/DSA – 面向主题、当前 Data Warehouse 面向主题 包含历史 和汇总的 数据集市 数据集市 业务系统 核心 零售 信贷 国际 基金 当前数据 当前数据 当前数据 当前数据 当前数据 数据仓库和分析型应用 历史数据查询系统 历史数据 历史数据 历史数据 历史数据 历史数据 历史交易数据存储 HDS 数据交换平台 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它 审计 反洗钱 随机查询
- 9. 历史交易数据管理和应用逻辑结构 历史交易数据存储 -HDS 元 数 据 管 理 数 据 安 全 性 管 理 统一数据视图 / 统一数据访问服务 历史数据存储层 历史数据访问服务层 历史数据查询服务层 遗留数据 零售 遗留数据 对公 核心 信贷 零售 国际 数据交换平台 核心 业务系统 零售 业务系统 信贷 业务系统 国际结算 业务系统 … 业务系统实时查询服务 批量检索服务 随机查询服务 数据下载服务 核心 零售 信贷 国际 审计 反洗钱 公安 人行 分行 其它
- 10. 基于 Sybase IQ 的历史库系统 — 信息生命周期管理 HDS 主库 磁带库 HDS 缓存库 数据加载服务器 1 中央 数据字典 元数据管理和 IQ 监控服务器 信息生命周期管理 在线 0~2 年 在线 0~6 年 近线 7~12 年 离线 13~ 年 历史数据存储 历史数据查询服务 遗留数据 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 其他数据 核心 个贷 信贷 基金 批量检索节点组 实时查询节点组 其他应用节点组 遗留应用节点组
- 11. 历史库系统物理架构 元数据管理 服务器 PC 服务器 Linux/Windows Sybase PowerDesigner 数据库复制 服务器 Unix/Linux Sybase RS 抽取转换装载 服务器 Linux/Windows Sybase ETL 活跃数据 近线数据 历史数据 历史库 服务器群 Unix/Linux SAN 交换机 1 SAN 交换机 2 磁盘阵列 FC/SAS/SATA 6/12/24TB 实时查询 应用服务器 ASE 客户端 台式机 即席查询 服务器 批量检索 应用服务器
- 33. Sybase IQ 自适应的查询处理 启动查询 1 查询 3 服务器资源被不停地进行重新分配 CPUs 使用 CPUs 使用 CPUs 使用 启动查询 2 启动查询 3 查询 2 查询 1 Resources are rebalanced Resources are rebalanced Resources are rebalanced 资源被重新调配
- 36. Sybase IQ 高可用性及扩展性 超快 并行分析 高速内部互联 Kerberos – 认证 ECC/RSA/FIPS- 安全加密 连接 共享、压缩、分区的 列式数据存储 外扩展 外扩展 外扩展 外扩展 协同 读 / 写节点 读节点 读节点 读 / 写节点 活动数据存储 近线数据存储 历史数据存储 节点 节点 1 节点 3 节点 4 节点 5 高速实时 数据加载 高性能 批量 ETL 高并发 报表 客户端 数据加载和查询 图形化系统管理 主节点 读 / 写节点 节点 2
- 37. Sybase IQ Multiplex : 高扩展性 查询负载 : 每个用户随机执行类似 TPC/H 的查询 ( 来源 : HP San Bruno 试验室 , 美国加州 ) 80 120 160 200 240 280 320 360 40 400 0 100 200 300 400 500 1 2 3 4 5 6 7 8 9 10 节点 31 秒 31.6 秒 400 用户 响应时间 = 31.6 秒 增加 : 1.9% (0.6 秒 ) 用户 40 用户 响应时间 : 31 秒 用户 98% Sybase IQ Multiplex 扩展性测试结果
- 39. 问答（ Question & Answer ） 谢谢！ Thanks!
Hinweis der Redaktion
- In IQ based historical database system, most important parts are historical data storage and data query service. The historical data storage consists of 3 tiers data store. From middle to left, the first tier database is called HDS cache database that store latest 2 years (0-2 years) original transaction data of business system; The second tier is called HDS Main database that will store latest 12 years of transaction data. The 3 rd tier is archive library on Tape which will archive all the transaction data of more than 12 years. On the right, there are 4 types of application, real time query, data retrieval, legacy data query and other back-end applications. These applications will be running on Sybase IQ multiplex environment. The HDS cache database is dedicated data store for real time query from various types of business systems. As the data volume of HDS cache is relatively small, and the database reside in the IQ dbspace on high performance disk ( Fiber Channel , FC disk ) . To keep storage cost low and insure that frequently accessed data is readily available, the HDS Main database is composed of multiple IQ dbspaces, transaction data of less than 7 years reside in IQ dbspaces on FC disk, which will support high performance data access, and transaction data of 7-12 years will reside in IQ dbspaces on cheaper & slower storage ( SATA disk ). As time goes on, data will be moved from high performance storage to cheaper & slower storage. So ILM strategy can be implemented.
- Background of historical data system project. After the centralized of business and data, the volume of data increased fast. At the same time, the increased demands of acceess (ad hoc query) to historical transaction detail data from business departments, customers and various external organizations stress the existed IT system. Keeping large amount of historical transaction detail data in core banking system on Mainframe slowed down performance of business process, so they want to off load historical data query from business system to protect transaction response time by moving out the transaction data from business system, then consolidating the transaction data into a centralized historical data store. During 2005 to 2009, they implemented 3 phases of the HDS project. Phase 1 : In 2005, based on Teradata Phase 2: In 2007, Migrating from Teradata to Sybase IQ Phase 3: In 2009, Expand and extend with Sybase IQ Multiplex
- 在 iq 中，索引就是数据。
- 传统的数据库引擎不能以一种通用的访时进行数据压缩，主要是由于存在以下三个问题： 1 、其按行存储的数据存储方式不利于压缩。这是由于数据（数据库底层的存储为二进制数据）在以这种方式存储视重复并不多。我们发现，按行存储的数据，最多能有 5-10% 的压缩比例； 2 、对于许多的 2K 和 4K 的二进制数据的页来说，为压缩和解压缩而增加的开销太大； 3 、在 OLTP 环境中，大量读取和更新大量读取和更新混杂在一起。每一次更新需要进行压缩操作，而读取只需要解压缩操作，大多数的数据压缩算法在压缩时比解压缩时慢 4 倍。这一开销将明显降低 OLTP 数据库引擎的事务处理效率而使得数据压缩的代价昂贵到几乎不能忍受。 在数据仓库应用中，数据压缩可以用小得多的代价换取更大好处。其中包括减少对于存储量的要求；增大数据吞吐量（大页面设置， IQ 一般的页面至少为 128K ），这相当于减少查询响应时间。 Sybase IQ 使用了数据压缩。这是由于数据按列存储，相邻的字段值具有相同的数据类型，其二进制值的范围通常也要小得多，所以压缩更容易，压缩比更高。 Sybase IQ 对列存储的数据通常能得到大于 50% 的压缩。更大的压缩比例，加上大页面 I/O ，使得 Sybase IQ 在获得优良的查询性能的保跎倭硕源娲⒖占涞男枨蟆