[2016 데이터 그랜드 컨퍼런스] 2 1(빅데이터). 티맥스 빅데이터시대,더욱중요해진dw를위한어플라이언스전략
•
2 gefällt mir•1,077 views
빅데이터 환경에서 기업의 의사결정에 필요한 DW 시스템은 더욱 중요해졌고, 대용량 데이터 분석은 필수가 되었다. 전통적인 DBMS의 확장성, 성능 한계를 해결하기 위해서 소프트웨어 뿐만 아니라 최신의 하드웨어 디바이스와 결합하여 어플라이언스 형태의 DW 구축이 대세가 되고 있는 환경에서, 국산 DBMS의 선두주자 티맥스소프트는 외산 DB 어플라이언스와 경쟁할 수 있는 데이터베이스 어플라이언스를 출시하였다. 최근 HP 하드웨어와 어플라이언스 협력 모델을 내놓았으며, 기존의 DBMS가 해결하지 못한 초대용량과 고성능, 그리고 데이터의 확장성이 특징이다. ZetaData는 고성능 데이터베이스 서버와 지능형 스토리지 서버, 초고속 네트워크를 통해 대용량 데이터의 빠른 처리와 시스템 안정성을 제공하는 통합(Consolidated) 데이터 솔루션이다.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie [2016 데이터 그랜드 컨퍼런스] 2 1(빅데이터). 티맥스 빅데이터시대,더욱중요해진dw를위한어플라이언스전략
Ähnlich wie [2016 데이터 그랜드 컨퍼런스] 2 1(빅데이터). 티맥스 빅데이터시대,더욱중요해진dw를위한어플라이언스전략 (20)
Mehr von K data
Mehr von K data (20)
[2016 데이터 그랜드 컨퍼런스] 2 1(빅데이터). 티맥스 빅데이터시대,더욱중요해진dw를위한어플라이언스전략
- 1. 1 1 빅데이터 시대, 더욱 중요해진 DW를 위한 어플라이언스 전략 티맥스소프트
- 2. 2 Agenda 2016 DATA GRAND CONFERENCE 1. Database Appliance 등장 배경 3. 적용 업무 2. Tmax ZetaData
- 3. 3 등장 배경 - 데이터 증가 • 대용량 데이터 분석이 필수가 된 기업 환경 • 기존 아키텍처로는 초대용량 데이터 처리 요구에 한계 대용량 데이터 분석은 필수 기 구축된 DW로는 분석 요구 불충족 데이터 증가에 따른 시스템 확장 부담 정형 데이터 증가율 연 49% 기업 내 DW 크기는 2년마다 3배씩 증가 증가하는 데이터 처리 성능 한계 처리시간 데이터 크기1TB 3TB 10TB 1 Hour 5 Hour 10 Hour 2016년 2010년 데이터 증가 대용량화에 따른 인프라 운영 복잡도 증가 그러나, 등장 배경
- 4. 4 기존 한계와 시장의 노력 • 기존 DBMS의 기술적 한계를 해결할 수 있는 새로운 솔루션 필요 기존의 기술적 한계 빅데이터 해결 노력 성능 한계 확장성 한계 • 전통적 DB 아키텍처의 Disk I/O 병목 으로 인한 성능 한계(Disk, Network) • 빅데이터 수용을 위한 Scale-up 한계 • 분석을 위한 DB서버 처리량 확장 한계 소프트웨어 + 최신 하드웨어 결합을 통한 성능 극복 아키텍처 개선을 통한 Scale-out 용이성 구현 기존 DBMS 아키텍처 진화 등장 배경
- 5. 5 솔루션 구성 • 우수한 소프트웨어, 고성능 하드웨어의 최적 조합으로 기존 한계 극복 데이터베이스 어플라이언스 데이터베이스 전용 전송 규약 고성능 병렬 데이터베이스 관리 시스템 우수한 소프트웨어 고성능의 하드웨어 초고속 플래시 메모리 (HDD 대비 20배 이상 성능) 초고속 네트워크 (기존 대비 5배 이상) 지능형 스토리지 소프트웨어 고성능 데이터베이스 서버 •초고속 성능 •최고의 확장성 SW와 HW를 결합한 문제 해결 등장 배경
- 6. 6 ZetaData 개요 • 고성능 DB 서버, 지능형 스토리지 서버, 초고속 네트워크 구성 • 대용량 데이터의 빠른 처리를 제공하는 DB 어플라이언스 솔루션 ZetaData DB Server Storage Server High Speed Special Network Disk Disk Disk Tibero DBMS와 진화한 하드웨어를 조합한 일체형 DB 어플라이언스 스토리지 S/W와 고대역폭 N/W을 통한 대용량 데이터의 고성능 처리 TAC와 병렬 스토리지 아키텍처를 통한 DB, 스토리지 확장성 Resource Manager, Flash Cache를 통한 혼합 워크로드 및 DB 통합 지원
- 7. 7 ZetaData 특장점 • 대용량 분석에 대한 고성능 제공 및 강화된 확장성 구조 • 기존 DBMS의 전환 용이성 ZetaData 데이터베이스 요구 기술 대용량 고성능 분석 Scale-out 확장 DB 통합 적용 용이성 • TAC로 DB서버 확장 용이 • 볼륨 매니저를 통한 디스크, 스토리지 수평 확장 용이 • 대량 데이터 분석과 고속 트랜잭션 처리를 동시에 수용 • 업무별 리소스 관리를 통한 OLAP, OLTP 동시 처리 • 표준 SQL, 함수, 표준 인터 페이스 AP 호환성 • 기존 Tibero 뿐만 아니라 O사, E제품 DB 전환 용이 (T-up) • 고성능 Software - Smart Storage 등 • 고성능 Hardware - Flash Memory - Infiniband N/W 혼합 부하 수용3 고성능 구조1 전환 & 호환성 강화된 확장성 2 4 Tmax DB Appliance ZetaData
- 8. 8 ZetaData 아키텍처 • 다수 DB 서버와 스토리지 서버, 그 사이를 고성능 네트워크로 구성 ZetaData Tibero Active Cluster DB Server Volume Mgr. Network Storage Server DB Server 1 TAS • Tibero & TAC • DB Resource Manager • Tibero 전용 Volume Manager • Software RAID • 고성능, 저부하 네트워크 & 프로토콜 • 데이터 읽기/쓰기 속도 향상 • Disk 병렬처리 • Disk 확장성 Storage Server 1 disk disk disk Flash Cache ZetaData Storage Storage Server 2 disk disk disk Flash Cache ZetaData Storage Storage Server 3 disk disk disk Flash Cache ZetaData Storage Tibero(TAC) DB Server 2 TAS Tibero(TAC) IB Network • Data Filtering • I/O 향상 기법 • Columnar 압축 • I/O Resource Mgr.
- 9. 9 Function Offloading • DB 서버로 전송되는 데이터 볼륨을 감소, 분석을 스토리지 서버로 분산 • 기존 DBMS의 가장 큰 성능 저하 요인인 I/O 병목을 획기적으로 제거 ZetaData DB Server Storage Server 초고속 N/W Column Filtering Row Filtering • Storage 서버에서 Row, Column 필터링 DB서버로 데이터 이동 감소 • DB 대기 시간 제거로 대량 데이터 처리 시간 획기적 감소 - 분석 업무 5~10배 속도 향상 • 복잡한 통계 함수, 압축 해제, 암호화 등 계산량이 많은 업무를 스토리지 서버로 분산 • 고효율 컬럼 압축과 병행하여 대용량 처리 속도 극대화 Function Offloading
- 10. 10 Storage Data Map • 자주 사용되는 컬럼의 요약 정보를 스토리지 서버 메모리에 관리 • 불필요한 Disk I/O 방지, 디스크의 데이터 읽기 시간을 크게 줄임 ZetaData • 컬럼에 저장된 데이터의 요약 정보를 실시간으로 메모리에 저장(Disk 각 구간별 Min/Max 관리) • 조건에 맞는 범위의 데이터만 Access 불필요한 Disk I/O 제거 및 빠른 데이터 전송 • Function Offloading에 앞서 진행되어 Disk의 불필요한 Row Scan을 사전 제거 Storage Data Map C1 C2 C3 4 9 8 Storage Server 구간 1 Min : 4 Max : 9 구간 2 Min : 1 Max : 6 구간 3 Min : 3 Max : 7 메모리에 저장 C1 C2 C3 2 1 6 C1 C2 C3 3 7 5 [Table] [Storage Data Map] 요약 disk disk disk
- 11. 11 고속의 Network • H/W와 S/W 기술이 결합된 고속의 Infiniband를 통한 대역폭 확장 • 전용 프로토콜을 통한 고속, 저부하 전송으로 병목 없는 데이터 전송 ZetaData 고속의 Special Network기존 SAN DB Server Disk1 Disk2 Disk20… SAN Switch 5~8 Gbps 속도 5배 이상 • 제한된 대역폭으로 데이터 증가할수록 네트워크 병목현상 심화 DW 성능 제한 • H/W와 S/W가 결합된 고속 네트워크 - InfiniBand(H/W) : 40Gbps 이상의 고대역폭 - RDS&RDMA(S/W) : 고성능, 저부하 네트워크 프로토콜 기존 대비 5배 이상 속도 향상 DB Server Disk1 Disk2 Disk10 Disk1 Disk2 Disk10 40 Gbps IB Network … … …
- 12. 12 Flash Caching • Flash Cache에 Hot Data를 자동 캐싱하여 Disk I/O 지연 제거 • 빠른 응답시간을 보장함으로써 향상된 OLTP 성능 제공 ZetaData • Flash Cache를 이용하여 Random I/O 응답시간을 획기적으로 향상 - Flash Cache : ~1ms, Disk : 5~10ms • 자주 사용되는 Hot Data를 자동으로 Flash Caching Index Scan을 유도하는 랜덤 액세스 성능 향상 • Write-back 알고리즘을 통한 데이터 쓰기 응답시간 향상 • 스토리지 서버 당 12TB Flash 제공 1/4 Rack 기준 약 36TB 캐싱 가능 Flash Cache를 통한 성능 향상 사용률이 높은 데이터 사용률이 낮은 데이터 Disk Disk Disk Cold Data Hot Data Flash Cache DB Buffer Cache Storage Server DB Server
- 13. 13 아키텍처 확장성 • Disk와 스토리지 서버 확장이 용이한 아키텍처 • 무한대에 가까운 Disk 처리량과 데이터 저장 용량을 제공 ZetaData 무한대의 데이터 확장 • Disk, 스토리지 서버 확장을 통하여 무한대에 가까운 데이터 용량 지원 DB Server Storage Server High Speed Special Network Disk 추가 disk disk disk disk disk disk disk disk disk 노드 추가 New Disk Disk 1 8TB1 Disk Disk 2 Disk 3 Disk 12… 스토리지 서버 당 Local Disk 96TB … Full Rack 14개 서버 1,344TB (Usable 440TB)
- 14. 14 Tibero Active Storage(TAS) • Tibero가 제공하는 스토리지 가상화 솔루션, 여러 Disk에 데이터 저장 • Disk 추가/제거로 인한 작업 자동화로 높은 확장성 제공 ZetaData Online RebalancingVolume Manager Disk 1 TAS • TAS Clustering를 통한 CLVM(Clustered Logical Volume Manager) 제공 - 한 개의 DBMS가 스토리지 서버 자원 공유 - 서버, Disk 추가/제거 용이 시스템 확장성 제공 확장 … Tibero #1 Tibero #2 Tibero #N Disk 2 Disk 3 Disk 4 • Disk 간 데이터 분포를 고르게 하여 분산 처리를 통한 병렬 I/O 효과 극대화 - 서버, 디스크 추가/제거 시 자동 Rebalancing - 일부 Disk에 집중된 데이터를 다른 Disk로 분산 Disk1 Disk2 Disk3 Disk4 Disk1 Disk2 Disk3 Disk4 디스크 간 데이터 불균형 발견 Rebalancing 후 균형 상태확장 …
- 15. 15 Columnar Compression • 데이터 압축을 최적화하는 컬럼 압축의 높은 압축 효율 제공 • 디스크 공간 절약으로 비용 절감 및 성능 향상 ZetaData C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C1 C1 C2 C2 C2 C3 C3 C3 C4 C4 C4 C1 C2 C3 C4 Column Store (압축 전) Columnar Compression (압축 후) • 보다 효율적인 컬럼 압축으로 기존 크기의 1/5로 압축(압축률 82%) • 데이터 사용 빈도와 저장 공간 효율을 Trade-off하여 컬럼 압축 Level 조정 • 컬럼 압축 → 스토리지 절약 • I/O 감소 → 성능 향상 컬럼 압축 0 100 200 300 400 500 600 700 비압축 Basic Level 1 Level 2 Level 3 (GB) 657 120
- 16. 16 ZetaData 장애 진단 툴 • 구성 요소에 대한 장애 포인트 및 서버 상태에 대한 진단 도구 • 문제 발생 시 장애 포인트를 단시간 내 식별하고 해결 ZetaData 진단 툴 기능 • 시스템 자원 정보 모니터링 - CPU, Disk I/O, Disk 사용량 - Network I/O - Swap Memory, Virtual Memory - 설정 및 사용량 정보 제공 • 하드웨어 환경 정보 - Fan 정보, 서버 온도, 전원 공급량 등 상태 모니터링 및 이력 관리 상태 분석 & 진단 DB Server TAS Storage Server 서버 상태 로그 이벤트 발생 정보 설정 정보 ZD Monitoring ZD Client • 시스템 설정을 근거로 시스템 상태 분석하여 정상 여부 진단 - CPU, IB Mode, Disk, Fan, 온도, 전원 공급량 단일 툴로 H/W, S/W 모두 진단 어플라이언스 운영 효율성 극대화 ZetaData 구성
- 17. 17 유연한 구성과 확장성 • DB서버 처리 능력, 디스크 공간까지 확장성 보장 구 분 Flex 1/8 Rack 1/4 Rack 1/2 Rack Full Rack DB서버 1 2 2 4 8 스토리지 서버 1 3 3 7 14 DB 코어 22 Core 16 Core 44 Core 32 Core 88 Core 64 Core 176 Core 128 Core 352 Core 256 Core Disk(Usable) 15 TB 45 TB 90 TB 210 TB 420 TB Flash 용량 (Cache) 6 TB 18 TB 36 TB 84 TB 168 TB Small Medium Large Large+ Large++ DB 서버 스토리지 서버 고성능 N/W ZetaData
- 18. 18 도입 예상 분야 • 대량 데이터 보관 및 분석(처리) 용도의 다양한 업무에 도입 가능 분석 업무 (DW) 분석 업무 외 사용중인 DB 어플라이언스 확장 / 재구축 고려 기존 DW 확장 필요 DW 신규 구축 운영 효율화를 위한 물리적인 DB 통합 법규, 서비스 요구에 의한 장기간 데이터 저장 사업 확장에 따른 시스템 증설 또는 확장 적용 가능 업무 : 기 운영 DW 전환, ILM(Information Lifecycle 관리), 과거내역 조회 (카드사, 은행 등), 개인정보 분리 보관, 혼합 워크로드가 포함된 온라인 배치 업무(감사 업무 등) 등 적용 업무
- 19. 19 도입 사례 • 한국마사회(KRA), 빅데이터 기반 사업 도입 적용 업무
- 20. 20 티맥스소프트 DBMS 진화 • Tibero DBMS와 공유디스크 기반 Active Cluster의 확산 성공 • 빅데이터 시대에 맞춘 데이터 관리 기술로 진화 중 Tibero TAC Tibero Appliance AnyMiner ZetaData ~ 2012 2015 전통 DBMS 빅데이터 클라우드 • 1,600개 적용 사례 • 미션 크리티컬 고가용성 사례 • 공유디스크 기반 Active Cluster • OLTP용 DB 어플라이언스 • Flash Disk 기반 2014 2016 Appliance 클라우드 DB/ 스토리지 • Database in PaaS • Storage in IaaS • 클라우드 볼륨 관리자 • 정형, 비정형 빅데이터 처리 • 빅데이터 DB 어플라이언스 • 정형, 비정형 통합 분석
- 21. 21 21