Submit Search
Upload
20131213 jawsugソフトウェアベンダーがAWSを活用して 急にSaaSをはじめた話
•
21 likes
•
6,833 views
Kazuhiro Ogura
Follow
JAWSUG 東京 2013/12/13 ソフトウェアベンダーが AWSを活用して 急にSaaSをはじめた話
Read less
Read more
Technology
Report
Share
Report
Share
1 of 63
Download now
Download to read offline
Recommended
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
AWSだけでSI/MSPする会社に入って
AWSだけでSI/MSPする会社に入って
真吾 吉田
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
Takahiro Moteki
20190723 PubSec local gov webinar
20190723 PubSec local gov webinar
Amazon Web Services Japan
基調講演: 「パーペイシブ分析を目指して」#cwt2015
基調講演: 「パーペイシブ分析を目指して」#cwt2015
Cloudera Japan
Clouderaが提供するエンタープライズ向け運用、データ管理ツールの使い方 #CW2017
Clouderaが提供するエンタープライズ向け運用、データ管理ツールの使い方 #CW2017
Cloudera Japan
kintone のレコード絞り込み置き換え事例の紹介
kintone のレコード絞り込み置き換え事例の紹介
Ryo Mitoma
Recommended
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
AWSだけでSI/MSPする会社に入って
AWSだけでSI/MSPする会社に入って
真吾 吉田
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
Takahiro Moteki
20190723 PubSec local gov webinar
20190723 PubSec local gov webinar
Amazon Web Services Japan
基調講演: 「パーペイシブ分析を目指して」#cwt2015
基調講演: 「パーペイシブ分析を目指して」#cwt2015
Cloudera Japan
Clouderaが提供するエンタープライズ向け運用、データ管理ツールの使い方 #CW2017
Clouderaが提供するエンタープライズ向け運用、データ管理ツールの使い方 #CW2017
Cloudera Japan
kintone のレコード絞り込み置き換え事例の紹介
kintone のレコード絞り込み置き換え事例の紹介
Ryo Mitoma
AWS WAF Security Automation
AWS WAF Security Automation
Hayato Kiriyama
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
Cloudera Japan
先行事例から学ぶ IoT / ビッグデータの始め方
先行事例から学ぶ IoT / ビッグデータの始め方
Cloudera Japan
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNews, Inc.
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
Amazon Web Services Japan
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
Yosuke Katsuki
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
BeeX.inc
AWS re:Invent 2017 Security re:Cap Key Messages
AWS re:Invent 2017 Security re:Cap Key Messages
Hayato Kiriyama
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
SmartNews, Inc.
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Services Japan
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
Trainocate Japan, Ltd.
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
Amazon Web Services Japan
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
Toshihiko Sawaki
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
cyberagent
AWS IoTの勘所
AWS IoTの勘所
Tsuyoshi Seino
Machine Learning forDigital Advertising
Machine Learning forDigital Advertising
Amazon Web Services Japan
GDC2018 Amazon Overview
GDC2018 Amazon Overview
Amazon Web Services Japan
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
Amazon Web Services Japan
Cloudera in the Cloud #CWT2017
Cloudera in the Cloud #CWT2017
Cloudera Japan
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
BeeX.inc
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
Amazon Web Services Japan
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
More Related Content
What's hot
AWS WAF Security Automation
AWS WAF Security Automation
Hayato Kiriyama
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
Cloudera Japan
先行事例から学ぶ IoT / ビッグデータの始め方
先行事例から学ぶ IoT / ビッグデータの始め方
Cloudera Japan
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNews, Inc.
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
Amazon Web Services Japan
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
Yosuke Katsuki
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
BeeX.inc
AWS re:Invent 2017 Security re:Cap Key Messages
AWS re:Invent 2017 Security re:Cap Key Messages
Hayato Kiriyama
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
SmartNews, Inc.
Serverless analytics on aws
Serverless analytics on aws
Amazon Web Services Japan
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
Trainocate Japan, Ltd.
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
Amazon Web Services Japan
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
Toshihiko Sawaki
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
cyberagent
AWS IoTの勘所
AWS IoTの勘所
Tsuyoshi Seino
Machine Learning forDigital Advertising
Machine Learning forDigital Advertising
Amazon Web Services Japan
GDC2018 Amazon Overview
GDC2018 Amazon Overview
Amazon Web Services Japan
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
Amazon Web Services Japan
Cloudera in the Cloud #CWT2017
Cloudera in the Cloud #CWT2017
Cloudera Japan
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
BeeX.inc
What's hot
(20)
AWS WAF Security Automation
AWS WAF Security Automation
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt
先行事例から学ぶ IoT / ビッグデータの始め方
先行事例から学ぶ IoT / ビッグデータの始め方
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
2018/9/11 SAP on AWS お客様事例セミナー@東京(BeeX資料1/2)
AWS re:Invent 2017 Security re:Cap Key Messages
AWS re:Invent 2017 Security re:Cap Key Messages
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
Serverless analytics on aws
Serverless analytics on aws
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
AWS White Belt Guide 目指せ黒帯!今から始める方への学び方ガイド
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
AWS社員による怒涛のLTチャレンジ! AWS IoT EduKitで遊ぼうぜ!
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
AWS IoTの勘所
AWS IoTの勘所
Machine Learning forDigital Advertising
Machine Learning forDigital Advertising
GDC2018 Amazon Overview
GDC2018 Amazon Overview
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
20180306 AWS Black Belt Online Seminar 働き方改革を実現するAWSのエンドユーザーコンピューティングサービス
Cloudera in the Cloud #CWT2017
Cloudera in the Cloud #CWT2017
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
デジタル化への第一歩 「エンタープライズデータレイク構築事例のご紹介」
Similar to 20131213 jawsugソフトウェアベンダーがAWSを活用して 急にSaaSをはじめた話
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
Amazon Web Services Japan
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
2014年09月 上司説得メソッド2014年版
2014年09月 上司説得メソッド2014年版
Serverworks Co.,Ltd.
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Trainocate Japan, Ltd.
Web制作/SIerのためのAWS
Web制作/SIerのためのAWS
真吾 吉田
東急ハンズを支える技術
東急ハンズを支える技術
Tomoaki Imai
Azure/Office 365環境の医療クラウドセキュリティ
Azure/Office 365環境の医療クラウドセキュリティ
moss-jp
クラウドファースト時代のAWS活用事例と今後の展望 - AWS Cloud Storage & DB Day 2014
クラウドファースト時代のAWS活用事例と今後の展望 - AWS Cloud Storage & DB Day 2014
Takayuki Enomoto
As1 company profile[1]
As1 company profile[1]
ssusere2833f
[CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法
[CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法
Takanori Ohba
Big Data Architecture 全体概要
Big Data Architecture 全体概要
Knowledge & Experience
基幹システムにAwsを利用してはいけない10の理由公開版
基幹システムにAwsを利用してはいけない10の理由公開版
osaca z4
[簡易提案書]働き方改革にMSインフラストラクチャー
[簡易提案書]働き方改革にMSインフラストラクチャー
Toshihiko Sawaki
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Boss4434
S3をDB利用 ショッピングセンター向けポイントシステム概要
S3をDB利用 ショッピングセンター向けポイントシステム概要
一成 田部井
「IoT時代のデータのあり方と活用の方向性」名古屋大学エネルギーシステムシンポジウム 170222
「IoT時代のデータのあり方と活用の方向性」名古屋大学エネルギーシステムシンポジウム 170222
知礼 八子
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
それでもボクはMicrosoft Azure を使う
それでもボクはMicrosoft Azure を使う
Masaki Takeda
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
schoowebcampus
Soft layerのご紹介 1409
Soft layerのご紹介 1409
YoshiyukiKonno
Similar to 20131213 jawsugソフトウェアベンダーがAWSを活用して 急にSaaSをはじめた話
(20)
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
[よくわかるクラウドデータベース] Amazon RDS for SQL Server導入事例
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
2014年09月 上司説得メソッド2014年版
2014年09月 上司説得メソッド2014年版
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Web制作/SIerのためのAWS
Web制作/SIerのためのAWS
東急ハンズを支える技術
東急ハンズを支える技術
Azure/Office 365環境の医療クラウドセキュリティ
Azure/Office 365環境の医療クラウドセキュリティ
クラウドファースト時代のAWS活用事例と今後の展望 - AWS Cloud Storage & DB Day 2014
クラウドファースト時代のAWS活用事例と今後の展望 - AWS Cloud Storage & DB Day 2014
As1 company profile[1]
As1 company profile[1]
[CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法
[CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法
Big Data Architecture 全体概要
Big Data Architecture 全体概要
基幹システムにAwsを利用してはいけない10の理由公開版
基幹システムにAwsを利用してはいけない10の理由公開版
[簡易提案書]働き方改革にMSインフラストラクチャー
[簡易提案書]働き方改革にMSインフラストラクチャー
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Aws summits2014 ガリバーインターナショナル社内システムのaws化
S3をDB利用 ショッピングセンター向けポイントシステム概要
S3をDB利用 ショッピングセンター向けポイントシステム概要
「IoT時代のデータのあり方と活用の方向性」名古屋大学エネルギーシステムシンポジウム 170222
「IoT時代のデータのあり方と活用の方向性」名古屋大学エネルギーシステムシンポジウム 170222
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
それでもボクはMicrosoft Azure を使う
それでもボクはMicrosoft Azure を使う
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
スタートアップのCEOもおさえておきたい、ITインフラのセキュリティ対策 先生:
Soft layerのご紹介 1409
Soft layerのご紹介 1409
20131213 jawsugソフトウェアベンダーがAWSを活用して 急にSaaSをはじめた話
1.
ソフトウェアベンダーが AWSを活用して 急にSaaSをはじめた話 小椋 一宏/Kazuhiro Ogura CTO of
HDE, Inc. @goura fb.me/rgoura
2.
3.
4.
なぜSaaSを はじめたのか
5.
はじめたかったから
6.
3.11以降、企業で変化が起きた
7.
8.
3.11以降、HDEでも変化が起きた
9.
HDEが提供するセキュリティサービス
10.
11.
12.
HDEメールサービスとは
13.
メールアーカイブツール市場シェア ※株式会社富士キメラ総研「富士マーケティング・レポート・BT"クラウド型コラボレーション系サービス及び周辺ビジネス市場動向"」(2013)
14.
約 550社 40万ユーザー
15.
処理通数:約3.0億通/月 保管通数:約1.0億通/月
16.
急激にデータ量が増加
17.
アーカイブサービスについて
18.
アーカイブ主要コンポーネント
19.
ストレージについて
20.
メインストレージには 何を使うか?
21.
要件 ・無限に増加するデータの安全な保管 ・現実的なパフォーマンスで検索可能にする (検索インデックスの作成) ・目標稼働率 99.99%
22.
S3の採用 • • • • • • オブジェクト数上限:なし ストレージ総容量制限:なし オブジェクト容量制限: 5TBまで 可用性: 99.99% 三つ以上のデータセンターに分散 GBあたり単価:
$0.10/GB
23.
使いたかったから
24.
無限に増加するデータを保存する
25.
S3の課題: I/O性能 HTTPベースのAPI:単体でのアクセスは遅い
26.
課題解決: I/O性能
27.
S3のパフォーマンス 出典: Donald Kossmann,
Tim Kraska, Simon Loesing. An Evaluation of Alternative Architectures for Transaction Processing in the Cloud, 2010.
28.
書き込み→並列化
29.
SMTPサーバーの並列化
30.
課題解決: I/O性能
31.
読み出しの高速化
32.
課題解決: I/O性能
33.
S3でメインストレージを構築
34.
検索インデックスについて
35.
アーカイブサービス画面
36.
全文検索エンジン ゼロから開発
37.
作りたかったから
38.
検索インデックス作成:SQSで分散 SQSでジョブをワーカーに分配
39.
何のグラフ?
40.
昼夜の流量差に応じた スポットインスタンスの起動 台数半分 ! 価格1/4 !
41.
めでたしめでたし のようだが……
42.
克服できなかった弱点
43.
S3の課金体系 PUTはGETの 約10倍
44.
インデックス処理にかかる金額 • 当社の検索方式はN-gram風 • 全文検索インデックス処理では、メール1通につき 3000∼5000キーの更新が発生する ! •
そのままS3に書き込んでしまうと、、
45.
S3だとパケ死する
46.
しょうがないので MongoDB
47.
EBS+インスタンス構成でスタート
48.
…増えつづけるDBサーバーに苦戦!
49.
S3を使えなかった理由は 更新・書き込みが多いから ! ならば ! 更新が終わったら S3に移せばいいかも
50.
そうだ ついでに圧縮して 料金を節約しよう
51.
更新が無くなったインデックスを EMRでS3に移動
52.
EMR
53.
使いたかったから
54.
工夫:S3上のZIP形式を直接読む • • • Range付きGETでCentral Directoryを読み 各ファイルのオフセットを取得してまた Range付GET 1000個のキーを書き込むときなど、PUTリ クエスト課金を節約できる http://en.wikipedia.org/wiki/File:ZIP-64_Internal_Layout.svg
55.
56.
ここまでのまとめ • S3 +
SQS でたいていのことはできる • 書き込み→並列化 • 読み込み→キャッシュで弱点克服 • 細かいデータをたくさん書く用途は、 従来型のシステムとのハイブリッド型 も選択肢の一つ
57.
Glacier登場 2012/8 Glacierの発表 ! • ストレージコストはS3のおよそ1/8 •
100TB貯めても12万円/月 • 読み出しにはお金がかかる→バックアップ用 • 削除にはお金がかからない
58.
使いたかったので 使いどころを必死で考えた
59.
Glacierの活用
60.
ここまでのまとめ • Glacierは、取り出さない目算が高いデー タを格納するのに有効 • AWSを基盤にすることで、AWSの競争力 を武器にできる
61.
話は以上です ありがとうございました さいごに
62.
ジョブシェアで人材募集中です! https://job-share.net/jobs/3084
63.
ありがとうございました! 小椋 一宏/Kazuhiro Ogura CTO of
HDE, Inc. twitter.com/goura fb.me/rgoura
Download now