Weitere ähnliche Inhalte
Ähnlich wie 20120913 nosql@hikarie(okuyama fuse) (20)
Mehr von Takahiro Iwase (10)
Kürzlich hochgeladen (10)
20120913 nosql@hikarie(okuyama fuse)
- 2. 自己紹介
・岩瀬 高博(@okuyamaoo)
> 株式会社 神戸デジタル・ラボ所属
業務及び活動
>大規模e-コマースサイトのチューニング、運用
>分散処理、データベースの研究及び適応
>(独)情報通信研究機構 特別研究員
研究領域:大規模Webアーカイブ
>分散KVS okuyama、CEP Setsuna の開発
>OSS、Java、DB、車が好き
- 5. NOSQLでファイルシステム?
・ファイルシステムが利用しているハードは?
・HDD
最も主流な記憶装置。
内臓する円盤に磁気を散布してそこにデータを記憶。
それを磁気ヘッドと言われる目のようなもので読み込む。
・SSD
徐々に浸透してきている記憶装置
HDDの様に円盤やヘッドなどの稼働部を持たず、
フラッシュメモリにデータを記憶。
・ioDrive
最近特に注目度の高い超高速デバイス。
NANDフラッシュメモリを記憶部に持ち、接続方式を
PCIeとすることでSSDを超える速度を発揮する。
- 9. NOSQLでファイルシステム?
・よくHDDが遅いといわれる原因は?
このように円盤上にデータが
保存されている。
連続してデータを取り出す場合は、
先頭から順にデータを取り出せば
よいので、高速に取り出せる。
ではこのように離れた場所のデータを
読み込みたい場合はどうするか?
円盤とヘッドが動いてデータの場所まで
移動しないといけない。
この移動に時間がかかる
- 19. 動かしてみた結果
・連続書き込み、読み込み
・テスト結果
HDD
Write:4817158144 bytes (4.8 GB) copied, 84.9928 seconds, 56.7 MB/s
Read:4817158144 bytes (4.8 GB) copied, 36.766 seconds, 131 MB/s
okuyamaFuse
Write:4817158144 bytes (4.8 GB) copied, 149.642 seconds, 32.2 MB/s
Read:4817262144 bytes (4.8 GB) copied, 191.958 seconds, 25.1 MB/s
・HDDは秒間56MB書き出せて、131MB読み出せる
・okuyamaFuseは32MB書き出せて、25MB読み出せる
いきなり負けてる。。。 どうすんだよ。。。。。
- 21. 動かしてみた結果
・ランダム書き込み、読み込み
・テスト結果
HDD
Write:io=1232.0KB, bw=36151 B/s, iops=2 , runt= 34897msec
Read:io=58128KB, bw=1928.5KB/s, iops=120 , runt= 30142msec
okuyamaFuse
Write:io=176832KB, bw=5886.1KB/s, iops=367 , runt= 30038msec
Read:io=1342.7MB, bw=45823KB/s, iops=2863 , runt= 30004msec
・HDDは秒間36KB書き出せて、1.9MB読み出せる
・okuyamaFuseは5.8MB書き出せて、45MB読み出せる
- 22. 動かしてみた結果
・MySQLでのベンチ
・InnoDBのデータファイルを配置し、tpccにてベンチ
tpccとは?
TPC-Cとは卸売業における注文・支払いなどの処理を擬似的に再現した
業務モデルで、TPCという業界団体によって策定されたものです。9種類
のテーブルに対する5種類のトランザクションがミックスされており、そのう
ち注文処理のスループットを測定結果として利用します。
※sh2さんの「SH2の日記」より http://d.hatena.ne.jp/sh2/20090212
このtpccに準拠したベンチマークツールが
MySQL用に存在する。
これがtpcc-mysql
https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql
- 26. 最後に
・Information
Web
http://okuyama-project.com/
Development
http://sourceforge.jp/projects/okuyama/
Facebook
http://www.facebook.com/okuyama.jp