2018年2月時点のRed Hatストレージの紹介資料 アジェンダ - ビジネスを取り巻く環境の変化とストレージが果たすべき役割と機能 - Red Hatのストレージポートフォリオ - Red Hat Gluster Storage - Red Hat Ceph Storage

1. Red Hat ストレージ製品
レッドハット株式会社
2018/02

2. アジェンダ
● ビジネスを取り巻く環境の変化とストレージが果たすべき役割と機能
● Red Hatのストレージポートフォリオ
● Red Hat Gluster Storage
● Red Hat Ceph Storage
2

3. ビジネスを取り巻く環境の変化と
ストレージが果たすべき役割と機能
3

4. UBER ARIBABA AIRBNB
世界最大のタクシー業
自車を1台も保有していない
世界最も人気のあるメディア
コンテンツは1つも作っていない
世界で最も価値のある小売業
自社商品は1つも無い
世界最も大きな宿泊業
自社保有の宿は1つもない
FACEBOOK
破壊的なビジネスモデルの登場
4

5. S&P500に掲載された企業の平均的な企業寿命の推移
5
企業寿命は短縮傾向
→ 厳しい市場競争に晒されている

6. 参照：PWC: 18th Annual Global CEO Survey (2015)
54%のCEOが新しい業界への参入を検討している。
これまで競争は[自社の]業界の中だけの話だった。しかし、デジタル時代の到来で参入障壁が低くなり
始めた。設立間もない 企業でさえ競合相手になるかもしれない。
H. Faik Açıkalın CEO, Yapı Kredi, Turkey
参照：PWC:第18回世界CEO意識調査 日本分析版 (2015)
日本のCEOの69%(世界調査では56%)は、業界を超えた競
争が激しくなることを見込んでいる。
どこの業界から競争相手が出現する可能性があるか質問したところ、「テクノロジー」 (30%)、「小売り、卸販
売」(25%)、「通信、エンターテイメント、メディア」 (20%)が上位3業種となった。テクノロジー業界の企業が新し
い技術変化を活用しながら競争を促していく傾向が強いものと考えられている。
CEOの意識調査 - 新しい競争のかたち
6

7. ストレージは、時代の変化やビジネスの進化への順応が求められている
しかし…
IT意思決定者の38%は、解
決すべき優先順位の高い3つ
の問題点の1つとして、不十
分なストレージ機能を指摘し
ています
IT意思決定者の70%は、そ
れらの組織の現在のストレー
ジが、出現仕事量に対処でき
ないと認めています
IT意思決定者の98%は、より
敏捷なストレージソリューショ
ンがそれらの組織に役立って
いるかもしれないと信じてい
ます
組織が感じている現在のストレージの課題
Vansan Bourne.
7

8. 新しいストレージの形
- SDS : ソフトウェアデファインドストレージ
変更に対しての
柔軟性が高い
見えない未来の
変化に即応できる
ソフトウエア ソフトウエア
既存コンテンツの価値を最
大化できる
アプリケーションとの
連携性が高い
8

9. 伝統的なストレージ
複雑で占有的なサイロ形態
オープンでソフトウェアが定義するストレージ
スタンダード・統合・オープンプラットホーム
専用の管理GUI
独自のソフトウエア
一般的なサーバ
＆
デバイス
Ceph Gluster +++
制御層 (API, GUI)
管理者 利用者
管理者
利用者
管理者
利用者
管理者
利用者
専用の管理GUI
独自のソフトウエア
専用の管理GUI
独自のソフトウエア
専用のハードウエア 専用のハードウエア専用のハードウエア
オープンソース標準的なハードウエア
SDSと従来型ストレージとの比較
9

10. 専用のハードウエア
ハードウエアに固定された仕様・機能
スケールアップ・アーキテクチャ
ベンダーに閉じた開発工程
共通な標準量産品のハードウエア
一般的なサプライチェーンを活用した導入コストの最適化
スケールアウト・アーキテクチャ
柔軟な操作性と拡張性を実現
ソフトウエアで実現している仕様・機能
より多くの機能追加、柔軟性、シンプルな制御を実現
オープンな開発工程
より柔軟で、合理的に統合されたテクノロジー
従来型ストレージの課題とSDSの優位点
10

11. “By 2020, between 70-80% of unstructured data will be held on
lower-cost storage managed by SDS environments.”
“By 2019, 70% of existing storage array products
will also be available as software only versions”
“By 2016, server-based storage solutions will lower storage
hardware costs by 50% or more.”
Gartner: “IT Leaders Can Benefit From Disruptive Innovation in the Storage Industry”
Innovation Insight: Separating Hype From Hope for Software-Defined Storage
Innovation Insight: Separating Hype From Hope for Software-Defined Storage
2013 2014 2015 2016 2017 2018 2019
$1,349B
$1,195B
$1,029B
$859B
$706B
$592B
SDS製品別市場規模
$457B
Source: IDC
Software-Defined Storageが ストレージ産業全体の構造
変革をグローバル市場で牽引しています
ハイパーコンバージド
ブロックストレージ
ファイルストレージ
オブジェクトストレージ
市場規模は、2015年から2019年までの間、前年比で約20%増での成長
が予測されています
著名な調査会社のコメント
SDSの市場動向
11

12. Software-Defined Storageとは、根本的にストレージ自体が、どのように稼
働するかをソフトウエアにより再定義することです。
またその事は、経済性と運用の利便性、また多くの利用形態に対して最適か
つ柔軟に対応できる様になる事を意味しています。
クラウド基盤
クラウド
アプリケーション
ビックデータ解析
ハイパー
コンバージド
コンテナ技術
???
???
SDSの方向性と適用領域
12

13. Red Hatのストレージポートフォリオ
13

14. ストレージベンダとしてのRed Hatの評価
Gartner Magic Quadrant
- VISIONARIES
2017 Magic Quadrant for Distributed File Systems and Object Storage.14

15. Standard Hardware Public Cloud
Open Source Platform
Unified accessibility
(Object/Block/File access)
RADOS; The enhanced
object store technology
OpenStack Integration
Open Source Software
Multi-client scale-out NAS
Platform-free
(P/V host, container, cloud)
Container Native Storage;
OpenShift Integration
Red Hat Storage
● 高いスケーラビリティを持つ2種類のSDS
● Red Hat Ceph Storage
○ スケールアウト型分散ユニファイドストレージ
○ オブジェクトストレージとしてのみでなく、ブロックデバイスや
ファイルシステムとしても利用可能
○ 最適なデータの分散配置を低い計算コストで実現する
RADOSオブジェクトストア
○ OpenStackとの統合に優れ、単独でCinder, Glance,
Nova, Keystone, Swift, Manila全てのバックエンドストレー
ジとして稼働可能
● Red Hat Gluster Storage
○ スケールアウト型分散ファイルシステム
○ NFS, CIFS/SMB, FUSEクライアントに対応
○ 物理/仮想環境、パブリッククラウドで稼働
○ OpenShift環境にデプロイし、永続ストレージとして利用可
能 (CNS; Container Native Storage)
○ TCOに優れたノード数に基づくサブクリプション体系
scalability based on shared
nothing architecture
scalability based on shared
nothing architecture
15

16. PHYSICAL VIRTUAL PRIVATE CLOUD CONTAINERS PUBLIC CLOUD
様々なプラットフォームで稼働
16

17. 容量重視
性能重視
次世代型従来型
File
OpenStack
Virtualization
Containers
HPC Analytics
Object
Storage
Web Apps
DevOps
NoSQL
Hadoop
Broadcast
Content
Delivery
Medical
Imaging
Video
Surveillance
Archive
Backup
Database
Sync &
Share
Media &
Entertainment
適応する領域
17

18. Red Hat Gluster Storage
18

19. OPEN
Red Hat Gluster Storage (RHGS) の特長
SCALABLE
LINUX
HA
コミュニティベース開発
メタデータサーバーレス
マルチプロトコル
学習・管理コスト低
単一障害点なし
• GlusterFS コミュニティーでのオープンな開発プロセス
• RHEL デフォルトの XFS ファイルシステム使用
• Data is stored in native format
• Elastic ハッシュによる高速かつスケーラブルなデータアクセス
• メタデータはファイルの拡張属性に保存
• Nothing shared アーキテクチャー
• 単一名前空間
• NFS, SMB, Gluster ネイティブプロトコル (FUSE)
• Posix 準拠
• ユーザー空間ファイルシステム (FUSE)
• プラグインベース (translator) で拡張性が高い
• Linux 管理スキルを活用
• レプリケーション or Erasure Coding によるデータ冗長性
• ディスク・ノード障害時はデータ自己修復
• Geo-replication による遠隔地への非同期レプリケーション
すべて基本機能 (No “Premium” Edition)
ACCESSIBLE
19

20. IAサーバー／インスタンスをベースとした分散型スケールアウト・ファイルストレージ
Gluster 構成イメージ
FILE
FUSE NFS SMB API Swift
100s OF SERVER NODES
ON-PREMISE or IN THE CLOUD
20
ローカルデバイスを集約して単一ボリュームへ
クライアントからオープンプロトコルでアクセス

21. All OK – オンプレミス／クラウド、物理／仮想マシン、コンテナ
RHGS 構築先の選択肢
Red Hat Gluster Storage
物理サーバー 仮想サーバー コンテナー パブリッククラウド
21

22. HDD/SSD増設
ノード増設
毎年一定額で利用が可能
（１）必要最小限で導入
（２）必要に応じてHDD/SSDを追加
（３）処理能力のバランス・最大構成に到達した段階でノード追加
増設ノード分追加毎年一定額で利用が可能
22
ノード増設時のみ追加サブスクリプションが発生
Gluster スケールアウトの流れ

23. ❑ 機能面❑ コスト面
23
✓ ノード単位のサブスクリプション
• コストセンター
✓ ファイルシステム (NAS)
• 既存アプリは無修正
✓ フル機能アクセス (editionなし)
✓ Red Hat Enterprise Linux 同梱
✓ コンテナと好相性
✓HA NFS/SMB サーバー
✓レプリケーション, Erasure Coding
✓階層ボリューム
✓スナップショット, 遠隔レプリケーション
✓クォータ設定
✓ビット化け検出
✓Ansible ベースの構築、管理
✓OpenShift/Kubernetes環境におけるHCI
✓ Coming Soon!
重複排除・圧縮 (Permabit 社買収)
RHGS の優位性

24. DEVICE → LV → XFS → DIR → BRICK → VOLUME
Gluster 論理構成
BRICKS
(LVM + XFS)
BRICKS
(LVM + XFS)
Local disk
or RAID LUN
Local disk
or RAID LUN
Local disk
or RAID LUN
Local disk
or RAID LUN
24
VOLUME
Clients
• クライアントは Volume をマウントしてファイ
ルアクセス
• Volume は Brick が集合した仮想的なファ
イルシステム
• Brick はサーバーのローカルデバイス上の
物理的なXFSファイルシステム
一般的なLinuxファイルシステムを束ねて
スケーラブルなファイルシステムとして提供

25. ❑ ボリュームの種類
25
✓ Replicated Volume
- ファイルを複製して複数 Brickに配置
- 耐障害性、パフォーマンス
✓ Dispersed Volume (Erasure Coding)
- ファイルをchunkに分割しparity chunkを計算して生成、
複数Brickに配置
- 耐障害性、容量効率
✓ Distributed Volume
- シンプルにファイルごとに複製 Brickに分配
- 容量効率、パフォーマンス
✓ 以上3種類の組み合わせ
- Distributed-Replicated Volume (RAID10のイメージ)
- Dispersed-Replicated Volume (RAID60のイメージ)
など
ボリュームのタイプ
❑ sharding
✓ ファイルを任意のサイズに分割
- 1ファイルを複数チャンクに分割して複数 Brickに分散
- Brickごとの使用率のばらつきや、 I/Oボトルネックを防ぐ
ことに寄与
- Replicated Volume, Distributed Volumeで効果的
- チャンクのサイズはボリュームごとに設定可能

26. スナップショット
● コマンドラインから実行
● ユーザーへのアクセス提供も可
能
● ボリュームごとに最大256 個 作成
可能
● スケジュールベースで実行可能
● スナップショットの名前はクラスター
内で一意に
● 取得時点のストレージ状態、データを
保存
● ボリューム単位に作成、リスト、リスト
ア、削除可能
● LVM2 の thin-provisioned volume
を利用
26
CURRENT FILE
SYSTEM
CURRENT FILE
SYSTEM
CURRENT FILE
SYSTEM
SNAPSHOTSNAPSHOT
A B C D A B C D A B C D B D+ E1 E2
スナップショット取得前 スナップショット取得後 ファイルシステムへの変更
データ
削除
データ
変更
新規
データ

27. 27
Geo-Replication
• LAN, WAN, or Internet を介した非同期レプリケーション
• Master/Slave型
• 常時差分レプリケーションを実行
• 柔軟な構成
- One to one
- One to many
- Cascading
• パフォーマンス
- 並列転送
- 高速な対象ファイル走査
- 複数コネクションを使用、一括転送
- ファイル種別・階層には非依存
• チェックポイント
• Failover/Failback
Site A
Site B
Site B
Site A Site C
One to One replication
Cascading replication

28. Red Hat Ceph Storage
28

29. ストレージノード
オブジェクト
● 全てのデータを ”オブジェクト” として単一階層で保管
○ スケーラビリティに富むアーキテクチャ
● xxx TB 〜 xx PBがスイートスポット
Ceph : ペタバイト級の分散ストレージ
29

30. RBD
分散オブジェクトの集合を
ブロックデバイスのイメージとして提供
RGW
分散オブジェクトのインターフェースとなりオ
ブジェクトストレージとして提供
APP HOST/VM
LIBRADOS
アプリから直接RADOS にアクセスするためのライブラリー(C, C++, Java, Python, Ruby, PHP)
RADOS
従来の分散オブジェクトストレージの課題を克服すべく、耐障害性・自律制御・自己修復を念頭に設計された
アーキテクチャーを、ソフトウェアで実装した軽量ストレージクラスター
CEPHFS
分散オブジェクトの集合をPOSIX互換で
大規模にスケールアウトする
分散ファイルシステムとして提供
CLIENT
● Block, File, Objectのインターフェースを持つユニファイドストレージ
Red Hat Ceph Storage アーキテクチャ概要
30

31. Ceph RADOSクラスターの全体像
･･･
･･･
･･･
･･･
･･･
･･･
･･･
･･･
Object Storage Device node (OSD)
Monitor/Manager
node
(MON/MGR)
Metadata
Server node*
(MDS)
Cluster
Network
Public Network
RADOS Gateway
node (RGW)
iSCSI Gateway
node (IGW)
Application
REST API
(S3, Swift) librados
library
krbd /
librbd
kernel client /
ceph-fuse
RADOS Block Device
(RBD) client
CephFS client iSCSI client
iSCSI
31

32. 32
● Poolは論理的なオブジェクトの保存領域
● Cephクライアントは、Poolに対してデータをRead/Write
● Poolはクライアントのアクセス形態(RGW, RBD等)に依存せず、多種多数のクライアントから共通利用可能
- ただしクライアントごとに冗長性 , 性能等の要件が異なる場合は Poolを分けることを推奨
RADOS
Pool 3
RGW RBD CephFS
Pool 1 Pool 2
クライアント
Pool

33. 33
● 2つのタイプのPoolが存在
RADOS
obj
objobj obj
Replicated Pool
- オブジェクト全体を複製して冗長化
- 容量効率は低いがI/O性能とリカバリの早さには EC Poolより優れ
る
- 一般的によく利用される標準のタイプ
Replicated Pool
RADOS
obj
A
Erasure Coded(EC) Pool
- Erasure Codingの仕組みで冗長化
- I/O性能とリカバリはReplicated Poolに劣るが容量効率は高い
- RGWからのみ利用サポート
Erasure Coded Pool
B C X Ycoding codingdata data data
Placement Group Placement Group
Poolのタイプ

34. Red Hat Ceph Storage 機能概要
❖ 可用性, データ保護
• スケールアウト・アーキテクチャ
• 単一障害点(SPOF)なし
• Stretched Cluster
• Multi-Site Cluster (Region/Zone)
• 自動Failover
• データレプリケーション /Erasure Coding
• オンライン拡張
• 自動Rebalance
• プールスナップショット
• オンラインアップデート
34
❖ アクセシビリティ
• オブジェクトストレージ
- S3, Swift
• ブロックストレージ
- Linux kernel driver for block (kRBD)
- libRBD
- iSCSI
• ファイルストレージ
- Linux kernel driver for POSIX file (CephFS)
- NFS*オブジェクトへのマイグレーション , バックアップ用途
- OpenStack Manila バックエンド*TechPreview
❖ データサービス
• オブジェクトストレージ
- オブジェクトバージョン管理
- ライフサイクル管理
• ブロックストレージ
- クローニング
- スナップショット
- シンプロビジョニング
- ボリュームレプリケーション (RBD Mirroring)
- RBDイメージのエクスポート /インポート
❖ セキュリティ
• 認証/認可
- Active Directory, LDAP, Keystone v3, AWS v4
- cephx
• 暗号化
- dm-crypt, OpenStack Nova and Cinder 暗号化ボリューム
- SSL/TLS
• マルチテナンシー
and so on…!

35. OpenStack環境におけるRed Hat Ceph Storageの利用
FEATURES
• Nova, Cinder, Glanceとの連携
• VMイメージとVMボリューム(ephemeral/persistent)用のスト
レージ機能を提供
• Copy-on-Write(CoW)クローニング
• Swift互換のオブジェクトストレージゲートウェイ
• Red Hat OpenStack Platformとの統合
BENEFITS
• オブジェクトとブロックの両ストレージを単独で提供
• インスタンスのプロビジョニングの時間を短縮
• Storage nodeとCompute nodeの間でVMイメージのコピー不
要
• Swiftからの移行、およびSwiftバックエンドとしての稼働
• Red Hat OpenStack Platformと一緒に導入可能
CEPH BLOCK DEVICE
(RBD)
CEPH OBJECT GATEWAY
(RGW)
CEPH STORAGE CLUSTER
(RADOS)
OPENSTACK
Keystone API Swift API Cinder API Glance API Nova API
Hypervisor
* http://superuser.openstack.org/articles/openstack-users-share-how-their-deployments-stack-up
RADOS CLUSTER
35

36. * April 2017 OpenStack User Survey
https://www.openstack.org/assets/survey/April2017SurveyReport.pdf
Which OpenStack block storage (Cinder) drivers are in use?
OpenStackで最も利用されているストレージ
36

37. Webアプリケーション用オブジェクトストレージ
APP SERVERAPP SERVERAPP SERVERAPP SERVER
WEB APPLICATION
CEPH OBJECT GATEWAY (RGW) CEPH OBJECT GATEWAY (RGW)
RADOS CLUSTER
S3/SwiftS3/Swift S3/Swift S3/Swift
37

38. Thank you