CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
•
3 gefällt mir•1,123 views
CloudSearchって、実は凄いデータベースなんじゃないかな
Empfohlen
Weitere ähnliche Inhalte
Mehr von Ryuichi Tokugami
Mehr von Ryuichi Tokugami (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
- 1. 1位 DynamoDB 2位 SimpleDB 3位 CloudSearch 4位 Route53 5位 S3
- 3. 札幌に来た理由
- 5. まず質問
- 6. Result facet Result こんな使い方 facet facet Result
- 7. { name = 完訳 ファーブル昆虫記 第1巻 上 , author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], price = 2940 , } { name = ファーブル昆虫記 <1> ふしぎなスカラベ , Result author =[ 奥本 大三郎 ], facet format =[ 単行本 ], price = 1680 , } Result { こんな使い方 name = 完訳 ファーブル昆虫記 <1> (岩波文庫) , facet author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林 達夫 ], format =[ 単行本 ], facet price = 2940 , } Result
- 8. 自動でスケール
- 9. ちょっとデモ
- 12. データもってないと使えない？
- 13. ここから事例紹介
- 14. うちはクローラ屋さん
- 16. だけど万能ではない
- 18. 機械的に収集するには？
- 19. セレクタ:span#btAsinTitle 正規表現:<span id= btAsinTitle>(.*?)</span> おそらくこうする セレクタ:td#actualPriceValue>b.priceLarge 正規表現:<span id= actualPriceValue .*?￥([D,]+)s</b>
- 20. これが1サイトなら問題ない
- 22. ....
- 24. AWS上に実装しサービス化 ユーザ・課金の管理 サービスの窓口API 独自に作った分散処理の仕組み
- 25. ユーザ・課金の管理 IAM 課金情報 ユーザ作成 顧客情報 http://member.mushikago.org/entry
- 26. サービスの窓口 API 負荷 api. (subdomain) metadata 増減 認証 message 利用量
- 27. 独自に作った分散処理 metadata データ status データ message 利用量 データ EC2増減 message数
- 28. この仕組みでやっていること HTMLのパース 各ノードに重み付け 最適なノードの抽出と学習 そして、各項目の抜き出し 少しだけ詳しいことは2010/12/16に行われた 第6回JAWS-UG勉強会の資料を見て下さい http://www.slideshare.net/tottokug/simpledb
- 29. 具体例
- 30. 具体例 { name = 完訳 ファーブル昆虫記 第1巻 上 , author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], price = 2940 , } { name = ファーブル昆虫記 <1> ふしぎなスカラベ , author =[ 奥本 大三郎 ], format =[ 単行本 ], price = 1680 , } { name = 完訳 ファーブル昆虫記 <1> (岩波文庫) , author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林 達夫 ], format =[ 単行本 ], price = 2940 , }
- 31. 実装例 { name = 完訳 ファーブル昆虫記 第1巻 上 , CloudFront author =[ ジャン=アンリ・ファーブル , 奥本 大三郎 ], format =[ 単行本 ], 動的コンテンツ price = 2940 , } { html,js name = ファーブル昆虫記 <1> ふしぎなスカラベ , author =[ 奥本 大三郎 ], format =[ 単行本 ], CloudSearch price = 1680 , } { name = 完訳 ファーブル昆虫記 <1> (岩波文庫) , author =[ J.H.ファーブル , J.H.Fabre , 山田 吉彦 , 林 達夫 ], format =[ 単行本 ], price = 2940 , }