VIOPS10: SSDの基本技術と最新動向

© 2015 Toshiba Corporation© 2015 Toshiba Corporation
VIOPS10 「クラウドのつぎに起こるコト」
SSDの基本技術と最新動向
2015年 7月 24日
株式会社東芝セミコンダクター&ストレージ社
ストレージプロダクツ事業部ストレージプロダクツ応用技術部
ストレージプロダクツ応用技術第三担当参事
(エンタープライズSSD商品企画グループ）
友永和総(Kazusa Tomonaga)

© 2015 Toshiba Corporation 2Storage Products Division VIOPS10
友永和総（ともながかずさ）
 現職にて、エンタープライズSSD関連のプロダクトマーケティング/商品企画を担当
– 主なお客様
• OEMベンダ中心（サーバー、ストレージベンダ）：米国、日本、中国等
• 大規模データセンター事業者：拡大傾向
 これまでの経歴
– 日系某社：ディスクストレージシステム（特にファームウェア）の開発設計(FC, iSCSIドラ
イバ、仮想化システム等）
– 外資HWベンダ：サーバー/ストレージ製品のプロダクトマーケティング
– 外資NWベンダ：HPC分野/DC・クラウド分野の高速ネットワーク製品(InfiniBand,
Ethernet)のテクニカルセールス/テクニカルマーケティング
自己紹介
New

 NANDフラッシュメモリ動作概要
 SSD動作概要
 東芝エンタープライズSSDラインアップ紹介
 SSD最新動向
– SSDの大容量化と低DWPD SSD
– Storage Intelligence関連動向概要
– データセンター業界での取り組み例（Facebook論文紹介）
Agenda

出典： IDC's Digital Universe, 「The Digital Universe of Opportunities: Rich Data and the Increasing
Value of the Internet of Things」Sponsored by EMC （2014年4月) ※図は東芝にて作成
データ処理/管理はエンタープライズ
システムに集中する傾向
会場投影のみ

NANDフラッシュメモリ動作概要

 1987年に東芝が開発。電源を供給しなくても記憶を保持する不揮発性メモリの一種。
 代表的なフラッシュ・メモリは、回路配置の違いでNOR型とNAND型に分かれる。
 NAND型は高集積化に向いていて、書き込みが高速で大容量のデータストレージに適して
いるが、ビット単位の書き込みはできない。
What is NAND Flash Memory？
半導体メモリ
UV-EPROM
MASK ROM
不揮発性
EEPROM
揮発性RAM
DRAM
SRAM
NAND Flash
NOR Flash
不揮発性：
• 電源offでもデータ保持
揮発性：
• 電源offでデータ消える
• 高速アクセス可能

Memory Cell
Memory Cell Structure (1)
ワード線（ＷＬ）選択ゲート線
（ソース側）
選択ゲート線
（ドレイン側）
1ページ
（読み込み/書き出しの単位）
1ブロック
（消去の単位）
ビット線
コンタクト
ビット線
Cell
NANDフラッシュ・メモリ
は、直列につながった
多数のメモリ・セルが二
つの選択ゲートに挟ま
れた構造

 書き込みや消去時に、制御ゲート(CG)やシリコン基板に電圧をかける。
 浮遊ゲートの電子がトンネル酸化膜を通じて、シリコン基板間で出入りする。
 浮遊ゲートにある電子量を「0」｢1｣で信号化し、情報の記録再生を行う。
Memory Cell Structure (2)
ソースドレイン
酸化膜
絶縁膜
トンネル酸化膜
シリコン基板
制御ゲート(CG)
電圧をかける
浮遊ゲートから
電子が注入または排出
メ
モ
リ
・
セ
ル
の
構
造
浮遊ゲート(FG)
電子を漏らさない
ための膜
電子を格納する
ゲート
通常は絶縁状態で、
データ記録・消去時に
高電圧をかけると電子
を通す性質の膜

NANDフラッシュメモリ種別：SLC/MLC/TLC
*eR=Erase State, A~G=Programmed State
MLC (Multi Level Cell)：2-Bits NAND
・2 bits per cell is already well known technology.
・3 bits per cell (TLC) is now available in manufacturing.
Bit-storage doubled 2^2=4 state
“0,1”
“0,0”
“1,0”
“1,1”
Number of Bits
セルデータ
p
nn
p
nn
p
nn
p
nn
セルデータ “0,1”
セルデータ“0,0”
セルデータ“1,0”
セルデータ “1,1”
A B C
Voltage(Vth)
Bit-storage Tripled 2^3 =8 state
A
B
C
eR
eR OR A eRB C D E F G
OR
SLC (Single Level Cell): 1-bit NAND
・1 bit per cell is technologically matured.
OR
Voltage(Vth)
セルデータ “1”
セルデータ “0”
Number of Bits
セルデータ
“0”
p
nn
“1”
p
nn
eR
eR A
A
Bit-storage singled 2^1=2 state
TLC (Triple Level Cell)：3-BitsNAND

 Bit Cost ($/GB)・容量密度と性能・信頼性・耐久性はトレードオフの関係
NANDフラッシュメモリ種別と特徴
Vth distribution
Vth
Levels
Bit / Cell
Bit Cost,
Density
Write
Speed
Max
Write/
Erase
Cycles
Data
Retention
SLC 2 1 High High High High
MLC 4 2 Mid. Mid. Mid. Mid.
TLC 8 3 Low Low Low Low
# of cells
Vth
# of cells
Vth
# of cells
Vth
eR A
A B C
A B C D E F G
*eR=Erase State A~G=Programmed State
eR
eR
X 2
X 2
X 2
X 3
Better
Better Better Better

SSD動作概要

 様々な形状が製品化
SSDのフォームファクタ
(Half size of 2.5inch)
M.2
22x42
M.2
22x80
BGA & M.2 2230
PCIe AIC

SSD構成コンポーネント
●NANDフラッシュメモリ
•データストレージ機能
•MLC/TLC技術により低価格/大容量化を実現
•1パッケージに16chipまで積層
●コントローラ (SoC)
•SSDの心臓部。NAND I/F、Host I/Fコントローラを兼ねる。
•高速化/書換寿命の長期化/高信頼性化を実現。
●コネクタ
•SATA, SAS, PCIe®, mSATA, M.2 etc.
●DRAM
•Cache機能（DRAM無しの場合もある）
SSD Structure (example)
●電源バックアップ用コンデンサ
•停電時のデータ保護
PCB基板はモデルによって複数枚

 SSD動作関連
– Page Write
– Block Erase
– Compaction (Garbage Collection)
– Ware Leveling
– Refreshing
– ECC (Error Correcting Code)
– BB (Bad Block) Management
– FTL (Flash Translation Layer)
– NAND Channels
– NAND Access Interleave
 SSDの動作パラメータ関連
– OP (Over Provisioning)
– WAF (Write Amplification Factor)
– Power
– Performance (Sequential/Random,
Read/Write)
 SSD信頼性・寿命関連
– Lifetime
– Endurance – TBW, DWPD
– P/E (Program/Erase) Cycle
– Data Retention
– Read Disturb
– UBER (Uncorrectable Bit Error Rate)
SSDに関する重要キーワード

SSDの書き込み動作 (Page Write)
LBA空間
Block sizeHostからの
Write要求
Block 1 Block 2
Old data
Page
Write
NAND

LBA空間
Write要求
Block 1 Block 2
Old data
Page
Write
NAND
内部RAM
Write
1)Read

LBA空間
Write要求
Block 1 Block 2
Old data
Page
Write
NAND
内部RAM
Write
1)Read
Write2)Modify

LBA空間
Write要求
Block 1 Block 2
Old data
Page
Write
NAND
内部RAM
Write
1)Read
Write2)Modify
Write
3)Write & Invalidate old pages

SSDの動作 (Compaction(Garbage Collection))
Block 1 Block 2
NAND
Block 1 Block 2
Block Erase
NAND
Copy
Invalid data
SSD動作のポイント：
• Page単位で書き込み（上書きできない） - マイクロ秒オーダー
• Block単位で消去 – ミリ秒オーダー
ライトが継続する場合、余剰容量を使い尽くすため、最終的には空きBlockが無くなる。
Garbage Collectionを効率よく行っていく必要がある。

東芝エンタープライズSSDラインアップ紹介
※本セッションでは東芝エンタープライズSATA SSDは省略しています。

Performance
東芝エンタープライズSSD(eSSD) – SAS & PCIe/NVMe
SAS SSDs
PCIe SSDs
FutureNow
Available Now
• 東芝NANDフラッシュメモリ技術をエンタープライズシステムへ最適化して適用
• 高い信頼性と性能を実現する東芝自社製フラッシュコントローラーを採用
2010
2012
2015
※本セッションでは東芝エンタープライズSATA SSDは省略しています。

Toshiba SSD
Model
PX01S
(EOL)
PX02S/03S
(Available Now)
New SSD
(Available Soon)
Form Factor 2.5” 2.5”, AIC
I/F 6Gb/s SAS
Dual Port
12Gb/s SAS
Dual Port
PCIe Gen3 x4 NVMe
Single Port
Capacity(GB) 100-400 100-1,600 200-4,000 800-4,000
NAND 32nm SLC 24/19nm eMLC A19nm eMLC A19nm eMLC
DWPD Unlimited 1-30 1-25 1-25
Warranty 5 years
Random IOPS 90K/16K 130K/42K
Sequential MB/s 500/250 1,100/410
Toshiba Enterprise SSDs – Roadmap & Specification
※本内容は予告無く変更となる場合があります。
2010/12 2012/8 2015
X4 X2.5
2015
会場投影のみ

東芝エンタープライズSSDトレンド
1.0
10.0
2010 2012 2015 2015
Capacity Rand R Rand W Seq R Seq W
第１世代=1 とした場合の相対比率
Model
Year
Capacity
RW
RR
SW
SR
24/19nm eMLC
12Gb/s SAS
※本内容は予告無く変更となる場合があります。
PX01S
32nm SLC
6Gb/s SAS
PX02S/03S New SAS SSD New PCIe SSD
会場投影のみ
A19nm eMLC
12Gb/s SAS
A19nm eMLC
PCIe Gen3x4

NVMe – SSD専用に策定された新しいプロトコルインタフェース
PCIe
HBA
(e.g., SAS)
Host
Storage Interconnect
(e.g., SAS)
SSD
Controller
NVM
SSD
PCIe
Host NVMe SSD
Controller
NVM
NVMe SSD
Standard
Interface
Proprietary
Interface
Standard
Interface
従来:
• HDDの延長
• 二段階のスタック
• オーバーヘッド大
NVMe:
• SSD専用
• CPU直結
• オーバーヘッド小
出典：NVM Express Architecture 技術資料

SSD最新動向
～SSDの大容量化と低DWPD SSD～

 SSDの寿命
– エンタープライズSSD：5年
（クライアントSSD：1～3年(SSDによる））
SSDのカテゴリ分け指標：DWPD(Drive Writes Per Day)
 DWPD(Drive Writes Per Day)
– DWPD：SSDの書き込み制限TBW(Tera Bytes Written)を寿命期間で平均
すると1日当たりどの程度書き込めるかをSSD容量の倍数で表現した耐久性指標
– DWPDが大きいほど耐久性高いSSD
例：DWPD=10, 1TB, 寿命5年という仕様のSSDの場合、下記の関係がある。
TBW=10(DWPD) x 1(TB) x 365(days) x 5(yrs)=18,250(TB)(=18.25(PB))

I/F Class
Endurance
(DWPD)
Form factor
SAS
High Endurance ~x25 2.5inch, 3.5inch
Mainstream ~x10 2.5inch, 3.5inch
Read Intensive <x1~x3 2.5inch, 3.5inch
SATA
Mainstream x3~x5 2.5inch, 3.5inch, mSATATM
Read Intensive <x1~x3 2.5inch, 3.5inch, mSATATM, BGA
PCIe
High Performance x1~x10 AIC (x8 /x16)
Mainstream x3~x25 2.5inch, 3.5inch (x4)
Read Intensive
x1~x5 2.5inch, 3.5inch (x4)
<x1~x3 M.2, 2.5inch, BGA (x2)
SSDのカテゴリとRead Intensive SSD
DWPDが大きいSSDは、OP(余剰容量)が大きく、ランダムライト性能が高い傾向にある。

ランダムライト性能(IOPS)
SSDポジショニング
コスト($/GB)
新たなカテゴリの登場
ニーズの変化
(要因考察は後述)
DWPD= ~25
OP:大
DWPD=5~10
OP:中
DWPD=1~3
OP:小
DWPD < 1
OP:非常に小
OP : Over Provisioning
全物理容量のうち、SSD作業用として内部確保している容量

2013 2014 2015 2016 2017
SAS High Endurance
SAS Mid Endurance
SAS Read Intensive
SATA Mainstream
SATA Read Intensive
PCIe High Performance
PCIe Mainstream
PCIe Low End
2013 2014 2015 2016 2017
SAS High Endurance
SAS Mid Endurance
SAS Read Intensive
SATA Mainstream
SATA Read Intensive
PCIe High Performance
PCIe Mainstream
PCIe Low End
 出荷ユニット数トレンド(units)
World Wide Enterprise SSD 市場トレンド (I/F、Type別)
 出荷容量トレンド
(EB=1,000PB=1,000,000TB)
4M
8M
12M
1.3 EB
4.4 EB
11 EB
2x/2yr
1.5x/2yr
2.6x/2yr
3.4x/2yr
2.5x/2yr
4.3x/2yr
Now
Now
出典：東芝予測(2015年6月)

 低DWPD SSD活用が進む背景
SSD市場動向 – 低DWPDのSSD活用が進む
Vendor 容量(GB) DWPD
Vendor-A 4000 0.5
Vendor-B 3840 0.5
Vendor-C 3840 0.5
低DWPD SSD製品例
Vendor 製品容量(GB) DWPD
Toshiba
(検討中)
SAS SSD
Very Read
Intensive
1,000 0.5
2,000
4,000
SSD運用実績の蓄積ワークロード把握(I/O負荷、ライト比率)の取り組み
性能要件緩和
• 要因1：ユーザー側のノウハウ蓄積→よりコスト効率のよいSSD活用が可能となった
• 要因2：SSD単体容量の増加→同じ書き込み量であればDWPD要求は低下
SSD単体容量増加
• 要因3：$/GB低下、SSD適用範囲拡大→性能要件(特にランダムライト性能)緩和
東芝SAS SSD最大容量の例：400GB1.6TB4TB

SSD最新動向
～Storage Intelligence関連動向概要～

Storage Intelligence（ストレージ・インテリジェンス）
SSD制御
ソフトウェアレイヤー
SSD制御、
アプリケーション
情報の伝達
SSD運用情報
アプリケーション
アプリケーションに合わせ
てSSDを最大限活用
（性能、耐久性面）
 NANDフラッシュメモリやSSDの特性を考慮し、ア
プリケーション(Host)からSSD制御を行う仕組み
(Host Managed SSD）
– “Storage Intelligence”という名前でコマンド仕様の標準
化が進められている。
– SAS, SATA, NVMe(PCIe)それぞれで取り組みあり
– 標準化例
• GC (Garbage Collection)制御
– 負荷の低いタイミングでSSDの内部処理をホストから
起動
 SSD内部処理とI/Oの競合を低減し、性能安定化
• Stream制御
– ホスト側でライトデータにStream IDを付与し、SSD
へデータ属性に関する情報を伝達
 SSD内部の処理効率を向上し、耐久性向上
Host
Host Managed SSD

SSD最新動向
～データセンター業界での取り組み例（Facebook論文紹介）～

 FacebookのデータセンタでのSSD故障の大規模調査結果をまとめた論文
– 元論文(ACM SIGMETRICS)
• “A Large-Scale Study of Flash Memory Errors in the Field”
– Proceedings of the ACM International Conference on Measurement
and Modeling of Computer Systems, June 2015
• 著者
– Justin Meza: 2013-14にFacebookでインターン、その後FBに就職
– Qiang Wu, Sanjeev Kumar: インターン時のFacebook側担当者
– Onur Mutlu: CMU准教授(指導教官)
– 上記論文の紹介記事(ZDNet)
• Facebook’s SSD findings: Failure, fatigue and the data center
概要

 調査対象
– 調査期間: 4年弱
– 合計稼働時間: 数百万日
– SSD: MLCのPCIe SSD(720GB, 1.2TB, 3.2TB)
 調査方法
– 以下のデータを定期的に取得して解析
• 読み出しバイト数
• 書き込みバイト数
• uncorrectable bit error rate(UBER)
• その他
– 一度でもuncorrectable bit errorが出たSSDをfailureとして扱う
調査条件

 以下の知見が得られたと述べている
1. SSDの故障率はライフサイクルを通じて単調増加す
るわけではない
2. Read disturbanceの影響は故障全体から見ると
少ない
3. ユーザデータが非連続で配置されていると、故障が
増える
4. 温度が上がると故障が増える(ただしスロットリングで
影響を低減できる)
5. OSレベルの書き込み量とNANDへの書き込み量は
大幅に異なる
論文のポイント
フラッシュメモリ使用量
故障率
各社SSD及びフラッシュメモリについて実運用環境での
ノウハウ蓄積を進めている
今後の市場／技術動向に反映されていくと思われる

 SSDの基本
– 上書きできない、Garbage Collectionが内部処理として必要という特徴
 SSDのトレンド
– 容量・性能進化、NVMe/PCIe登場、”Read Intensive” SSDのニーズ拡大
 新たな技術
• “Storage Intelligence” - ホストと連携してSSDを効率よく使う
 実環境での運用検証進む
– Facebookの論文紹介
まとめ
「クラウドのつぎ」ではフラッシュメモリを始めとする不揮発メモリの活用がさらに進む
• SSDの制約事項を踏まえた活用が重要
• 新技術も続々：NVMe over Fabrics、NVMP(NVM Programming Model) etc.
• 企業でのノウハウ蓄積、「ワークロード」に合った製品選択

 PCIeは、PCI-SIGの登録商標です。
 NVMeは、NVM Express, Inc.の商標です。
 その他本資料に記載の会社名および商品名は、それぞれ各社が商標として使用している場合があります。
• 東芝セミコンダクター＆ストレージ社ストレージプロダクツ情報：
http://toshiba.semicon-storage.com/jp/product/storage-products.html

VIOPS10: SSDの基本技術と最新動向

VIOPS10: SSDの基本技術と最新動向

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (9)

Ähnlich wie VIOPS10: SSDの基本技術と最新動向

Ähnlich wie VIOPS10: SSDの基本技術と最新動向 (20)

Mehr von VIOPS Virtualized Infrastructure Operators group ARCHIVES

Mehr von VIOPS Virtualized Infrastructure Operators group ARCHIVES (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (9)

VIOPS10: SSDの基本技術と最新動向