アマゾンデータサービスジャパン株式会社 新製品発表会で話したスライド

1. 三
⽉月
⼀一
⽇日
アマゾン データ サービス ジャパン株式会社
新製品発表会

2. 私、 インフ
株式会社
マイニング
ブラウニー
・2006年設⽴立
・クローラの開発・運⽤用
・リサーチ
代表取締役
・テキストマイニング
得上 ⻯竜⼀一

3. インフラでの悩み 様々な
サーバの調達

4. インフラでの悩み 様々な
サーバの調達
Amazon
EC2

5. インフラでの悩み 様々な
サーバの調達
Amazon
効率的な
EC2
インフラの利⽤用

6. インフラでの悩み 様々な
Amazon
サーバの調達 SQS
Amazon
効率的な
EC2
インフラの利⽤用

7. インフラでの悩み 様々な
⼤大量のデータを
Amazon 保存できる
サーバの調達 SQS データベース
Amazon
効率的な
EC2
インフラの利⽤用

8. インフラでの悩み 様々な
⼤大量のデータを
Amazon 保存できる
サーバの調達 SQS データベース
Amazon
効率的な
EC2
インフラの利⽤用

9. 様々なDBの検討 クロー

10. 様々なDBの検討 クロー

11. 様々なDBの検討 クロー
システム停⽌止
なしでスケール
できず断念

12. 様々なDBの検討 クロー
システム停⽌止
なしでスケール
できず断念

13. 様々なDBの検討 クロー
Sharding
システム停⽌止 +ReplicaSetの
なしでスケール インフラコスト
できず断念 の⼤大きさで断念

14. 様々なDBの検討 クロー
Sharding
システム停⽌止 +ReplicaSetの
なしでスケール インフラコスト
できず断念 の⼤大きさで断念 SimpleDB

15. 様々なDBの検討 クロー
Sharding
システム停⽌止 +ReplicaSetの
なしでスケール インフラコスト
できず断念 の⼤大きさで断念 SimpleDB
10Gの容量では
⾜足りず⼀一部で
のみ利⽤用

16. クローラだけではない 検討を
莫⼤大な数の1Kbyte以下の細かいデータ
例）
「吾輩は猫である」 Size:約700Kbyte
テキスト
⽂文の数：9200
マイニング 単語：14,000種類、250,000単語

17. 検討を重ねた Dyna

18. 検討を重ねた Dyna
SimpleDB

19. 検討を重ねた Dyna
1billion個の
レコードでは
⾜足りず
⼀一部での利⽤用に
SimpleDB

20. 検討を重ねた Dyna
1billion個の
レコードでは
⾜足りず
⼀一部での利⽤用に S3
SimpleDB

21. 検討を重ねた Dyna
1billion個の
レコードでは
⾜足りず
⼀一部での利⽤用に S3
検索機能の
SimpleDB 弱さで断念

22. 検討を重ねた Dyna
1billion個の
レコードでは
⾜足りず
⼀一部での利⽤用に S3
検索機能の
SimpleDB 弱さで断念 Cassandra

23. 検討を重ねた Dyna
1billion個の
レコードでは 運⽤用の⼿手間
⾜足りず インフラコスト
⼀一部での利⽤用に S3 の⼤大きさで断念
検索機能の
SimpleDB 弱さで断念 Cassandra

24. Dynamoとの出会い 論⽂文

25. 論⽂文 この論
|
Dynamo:Amazonʼ’s Highly Available Key-‑value Store
Traditionally production systems store their state in relational databases. For many
of the more common usage patterns of state persistence, however, a relational
database is a solution that is far from ideal. Most of these services only store and
retrieve data by primary key and do not require the complex querying and
management functionality offered by an RDBMS. This excess functionality
requires expensive hardware and highly skilled personnel for its operation,
making it a very inefficient solution.
In addition, the available replication technologies are limited and typically choose
consistency over availability. Although many advances have been made in the
recent years, it is still not easy to scale-out databases or use smart partitioning
schemes for load balancing.

26. この論⽂文に出会ってから そして

27. この論⽂文に出会ってから そして
2007年

28. この論⽂文に出会ってから そして
2007年
2008年

29. この論⽂文に出会ってから そして
2007年 2009年
2008年 SimpleDB

30. この論⽂文に出会ってから そして
2007年 2009年
2010年
2008年 SimpleDB 2011年

31. そして今⽇日 クロー
|
Amazon DynamoDBが⽇日本でも使えるようになりました。
|
⽇日本-‑⽶米国間のレイテンシの問題も解決
|
|
|
最⾼高のパフォーマンスで使えるようになりました
|

32. クローラのデータストア テキス
クローラが
集めたデータの
保存先に
mitsubachi
クローラの
PaaS

33. テキストマイニング ビッグ
テキストマイニ
ングの過程で
発⽣生する⼤大量の
データの処理に
hotaru
テキスト
マイニングの
SaaS

34. ビッグデータと共に
|
この1年でHadoopは当たり前のようになりました。
|
|
今年ビッグデータと呼ばれる⼤大規模なデータの処理
|
が今以上に当たり前になってきます。
|
|
ビッグデータの保存先として、
|
Amazon DynamoDBほど適したデータストアは
|
他にはありません。
|