Suche senden
Hochladen
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
•
35 gefällt mir
•
9,905 views
Naoyuki Yamada
Folgen
Internet
Melden
Teilen
Melden
Teilen
1 von 17
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
はてなブックマークに基づく関連記事レコメンドエンジンの開発
はてなブックマークに基づく関連記事レコメンドエンジンの開発
Shunsuke Kozawa
ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回
Naoyuki Yamada
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
サービス改善はログデータ分析から
サービス改善はログデータ分析から
Kenta Suzuki
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorks
佑介 九岡
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Ryoji Kurosawa
Empfohlen
はてなブックマークに基づく関連記事レコメンドエンジンの開発
はてなブックマークに基づく関連記事レコメンドエンジンの開発
Shunsuke Kozawa
ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回
Naoyuki Yamada
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
サービス改善はログデータ分析から
サービス改善はログデータ分析から
Kenta Suzuki
Elasticsearchインデクシングのパフォーマンスを測ってみた
Elasticsearchインデクシングのパフォーマンスを測ってみた
Ryoji Kurosawa
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorks
佑介 九岡
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Ryoji Kurosawa
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
崇介 藤井
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kentaro Yoshida
20120405 setsunaセミナー
20120405 setsunaセミナー
Takahiro Iwase
みんな大好き“全文検索 on AWS”を試してみました!
みんな大好き“全文検索 on AWS”を試してみました!
宗 大栗
Caching ガイダンスの話
Caching ガイダンスの話
Sunao Tomita
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Kentaro Yoshida
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
Kouhei Sutou
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Shinsuke Sugaya
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
Embulkを活用したログ管理システム
Embulkを活用したログ管理システム
Akihiro Ikezoe
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
ニコニコニュースと全文検索
ニコニコニュースと全文検索
techtalkdwango
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
安全なPHPアプリケーションの作り方2014
安全なPHPアプリケーションの作り方2014
Hiroshi Tokumaru
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
Yoichi Kawasaki
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
Insight Technology, Inc.
CloudSearchによる全文検索 - CM:道 2014/08/01
CloudSearchによる全文検索 - CM:道 2014/08/01
Shuji Watanabe
Mroongaを選んだ理由と ちょっと嬉しかった話
Mroongaを選んだ理由と ちょっと嬉しかった話
Terui Masashi
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
Developers Summit
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
Takuya Ogawa
Weitere ähnliche Inhalte
Was ist angesagt?
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
崇介 藤井
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kentaro Yoshida
20120405 setsunaセミナー
20120405 setsunaセミナー
Takahiro Iwase
みんな大好き“全文検索 on AWS”を試してみました!
みんな大好き“全文検索 on AWS”を試してみました!
宗 大栗
Caching ガイダンスの話
Caching ガイダンスの話
Sunao Tomita
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Kentaro Yoshida
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
Kouhei Sutou
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Shinsuke Sugaya
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
Embulkを活用したログ管理システム
Embulkを活用したログ管理システム
Akihiro Ikezoe
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
ニコニコニュースと全文検索
ニコニコニュースと全文検索
techtalkdwango
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
安全なPHPアプリケーションの作り方2014
安全なPHPアプリケーションの作り方2014
Hiroshi Tokumaru
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
Yoichi Kawasaki
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
Insight Technology, Inc.
CloudSearchによる全文検索 - CM:道 2014/08/01
CloudSearchによる全文検索 - CM:道 2014/08/01
Shuji Watanabe
Mroongaを選んだ理由と ちょっと嬉しかった話
Mroongaを選んだ理由と ちょっと嬉しかった話
Terui Masashi
Was ist angesagt?
(20)
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
20120405 setsunaセミナー
20120405 setsunaセミナー
みんな大好き“全文検索 on AWS”を試してみました!
みんな大好き“全文検索 on AWS”を試してみました!
Caching ガイダンスの話
Caching ガイダンスの話
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Embulkを活用したログ管理システム
Embulkを活用したログ管理システム
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
ニコニコニュースと全文検索
ニコニコニュースと全文検索
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
安全なPHPアプリケーションの作り方2014
安全なPHPアプリケーションの作り方2014
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
Azure サービスを活用して作るフルマネージドな全文検索アプリケーション
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
CloudSearchによる全文検索 - CM:道 2014/08/01
CloudSearchによる全文検索 - CM:道 2014/08/01
Mroongaを選んだ理由と ちょっと嬉しかった話
Mroongaを選んだ理由と ちょっと嬉しかった話
Ähnlich wie Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
Developers Summit
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
Takuya Ogawa
RTBにおける機械学習システムの実装と運用
RTBにおける機械学習システムの実装と運用
Atsuhiro Narita
AWSで透過プロキシをやってみた
AWSで透過プロキシをやってみた
kuro kuro
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
griddb
松本克彦 ピグにおけるリアルタイムランキングの導入
松本克彦 ピグにおけるリアルタイムランキングの導入
matsumoto_katsuhiko
楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発
Rakuten Group, Inc.
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
Yosuke Mizutani
Real World Cloud Architectures ~CDPの概念と実装~
Real World Cloud Architectures ~CDPの概念と実装~
statemachine
パーソナル広告配信徹底入門
パーソナル広告配信徹底入門
yskn67
SCG-AT:静的コード生成のみによる自動チューニング実現方式
SCG-AT:静的コード生成のみによる自動チューニング実現方式
Takahiro Katagiri
Auto Scaling x Spot Instances によるスケーラビリティと コストカット
Auto Scaling x Spot Instances によるスケーラビリティと コストカット
akitsukada
Akka-Streams in Production
Akka-Streams in Production
Kazunobu Raita
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
Masakazu Sano
ISACA名古屋支部_2023年7月SR分科会_フィッシング詐欺.pdf
ISACA名古屋支部_2023年7月SR分科会_フィッシング詐欺.pdf
Tatsuya Hasegawa
Agile meets bigdata
Agile meets bigdata
Tokyo, Japan
P1様 dsp spire_111218
P1様 dsp spire_111218
Kenta Arai
M5 sinchir0
M5 sinchir0
ShinichiroSaito
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
syou6162
Ähnlich wie Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
(19)
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
AlloyDB のデータ分析基盤での活用におけるポテンシャルとは?
RTBにおける機械学習システムの実装と運用
RTBにおける機械学習システムの実装と運用
AWSで透過プロキシをやってみた
AWSで透過プロキシをやってみた
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
松本克彦 ピグにおけるリアルタイムランキングの導入
松本克彦 ピグにおけるリアルタイムランキングの導入
楽天市場を取り巻く状況と開発
楽天市場を取り巻く状況と開発
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
Real World Cloud Architectures ~CDPの概念と実装~
Real World Cloud Architectures ~CDPの概念と実装~
パーソナル広告配信徹底入門
パーソナル広告配信徹底入門
SCG-AT:静的コード生成のみによる自動チューニング実現方式
SCG-AT:静的コード生成のみによる自動チューニング実現方式
Auto Scaling x Spot Instances によるスケーラビリティと コストカット
Auto Scaling x Spot Instances によるスケーラビリティと コストカット
Akka-Streams in Production
Akka-Streams in Production
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
ISACA名古屋支部_2023年7月SR分科会_フィッシング詐欺.pdf
ISACA名古屋支部_2023年7月SR分科会_フィッシング詐欺.pdf
Agile meets bigdata
Agile meets bigdata
P1様 dsp spire_111218
P1様 dsp spire_111218
M5 sinchir0
M5 sinchir0
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
Mehr von Naoyuki Yamada
KubernetesでRedisを使うときの選択肢
KubernetesでRedisを使うときの選択肢
Naoyuki Yamada
いわき情報技術研究会20170513
いわき情報技術研究会20170513
Naoyuki Yamada
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
Naoyuki Yamada
東北Tech道場郡山20151031
東北Tech道場郡山20151031
Naoyuki Yamada
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
Naoyuki Yamada
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
Naoyuki Yamada
Adtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フロー
Naoyuki Yamada
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
Naoyuki Yamada
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
Naoyuki Yamada
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2
Naoyuki Yamada
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Naoyuki Yamada
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
Naoyuki Yamada
社内勉強会:ソーシャルゲームのデータベース設計入門
社内勉強会:ソーシャルゲームのデータベース設計入門
Naoyuki Yamada
データマイニング+WEB勉強会資料第6回
データマイニング+WEB勉強会資料第6回
Naoyuki Yamada
Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"
Naoyuki Yamada
ソーシャルアプリ業界を構成する中間サービスたち
ソーシャルアプリ業界を構成する中間サービスたち
Naoyuki Yamada
Mehr von Naoyuki Yamada
(17)
KubernetesでRedisを使うときの選択肢
KubernetesでRedisを使うときの選択肢
いわき情報技術研究会20170513
いわき情報技術研究会20170513
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
東北Tech道場郡山20151031
東北Tech道場郡山20151031
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
Adtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フロー
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
社内勉強会:ソーシャルゲームのデータベース設計入門
社内勉強会:ソーシャルゲームのデータベース設計入門
データマイニング+WEB勉強会資料第6回
データマイニング+WEB勉強会資料第6回
Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"
ソーシャルアプリ業界を構成する中間サービスたち
ソーシャルアプリ業界を構成する中間サービスたち
Kürzlich hochgeladen
あらゆる通信環境で切れない「ネットモーション」のモバイルアクセス [NetMotion]
あらゆる通信環境で切れない「ネットモーション」のモバイルアクセス [NetMotion]
Taka Narita
ダウンロードがダウンロード(Downloads)フォルダに表示されない」問題の対処法
ダウンロードがダウンロード(Downloads)フォルダに表示されない」問題の対処法
ivanwang53
Windows Defenderのフル・クイック・カスタム・オフラインスキャンを実行する方法.docx
Windows Defenderのフル・クイック・カスタム・オフラインスキャンを実行する方法.docx
ivanwang53
Windows 10、Windows 11の付箋を簡単に復元する6つの方法|データ復元
Windows 10、Windows 11の付箋を簡単に復元する6つの方法|データ復元
ivanwang53
動的 & 非同期コンポーネント / Dynamic & Async Components
動的 & 非同期コンポーネント / Dynamic & Async Components
okitamasashi
Windowsアップデート後の黒い画面を修正する方法|データ復元|ブラックスクリーン
Windowsアップデート後の黒い画面を修正する方法|データ復元|ブラックスクリーン
ivanwang53
Kürzlich hochgeladen
(6)
あらゆる通信環境で切れない「ネットモーション」のモバイルアクセス [NetMotion]
あらゆる通信環境で切れない「ネットモーション」のモバイルアクセス [NetMotion]
ダウンロードがダウンロード(Downloads)フォルダに表示されない」問題の対処法
ダウンロードがダウンロード(Downloads)フォルダに表示されない」問題の対処法
Windows Defenderのフル・クイック・カスタム・オフラインスキャンを実行する方法.docx
Windows Defenderのフル・クイック・カスタム・オフラインスキャンを実行する方法.docx
Windows 10、Windows 11の付箋を簡単に復元する6つの方法|データ復元
Windows 10、Windows 11の付箋を簡単に復元する6つの方法|データ復元
動的 & 非同期コンポーネント / Dynamic & Async Components
動的 & 非同期コンポーネント / Dynamic & Async Components
Windowsアップデート後の黒い画面を修正する方法|データ復元|ブラックスクリーン
Windowsアップデート後の黒い画面を修正する方法|データ復元|ブラックスクリーン
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
1.
ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析 2015年2月13日 第8回Elasticsearch勉強会 株式会社サイバーエージェント 山田
直行
2.
目次 • 自己紹介 • ディスプレイ広告配信DSP「Smalgo」について •
インフラ全体の構成とElasticsearchの位置づけ • Kibanaを使った実際の分析項目とパネルの紹介 - Bid率 / Win率 / Unhandled Exception数 / NoBidの理由の内訳 - レスポンスタイムの時系列分布 / Worstレスポンスタイム - BidType別Bid数・Imp数 / Click数, CV数 / BidType別のWin価格の平均と標準偏差 - Bid価格・Win価格の時系列分布 / SSP毎のRequest数・Bid数 / 生ログの調査
3.
自己紹介 • 山田 直行(やまだ
なおゆき) @satully / blog.kirishikistudios.com / www.facebook.com/yamadanaoyuki • 株式会社サイバーエージェント アドテク本部 Smalgoカンパニー ソフトウェアエンジニ ア • アドネットワーク・DSPに携わって2年 • 担当分野:インフラ・DevOps・サーバーサイドアプリケーション全般 • 好きなキーワード:自動化・大量トラフィック・イミュータブル • AWS認定ソリューションアーキテクト アソシエイト • データの活用について、インフラ構築から分析、実サービスへの適用までを通してできる エンジニアを目指しています
4.
ディスプレイ広告配信DSP「Smalgo」 • ディスプレイ広告( バナー広告)の配信プラットフォーム •
2014年5月から提供(前身となるプロダクトを含めると2014年2月から) • サイバーエージェント アドテクスタジオ内の1プロダクト(1事業部) • RTB & 第三者配信、CPA/CPC課金に対応。コンバージョン獲得に特化した 配信ロジックを持つ • さまざまな配信手法と広告フォーマットに対応、多くの接続先と在庫量を持つ • 開発・運用に携わるエンジニアは計6人
5.
インフラ全体の構成とElasticsearchの位置づけ • 2014年9月に発表した資料 ElasticSearch勉強会 第6回 http://www.slideshare.net/Satully/elasticsearch- study6threaltime20140916 •
今回は、このときからの変遷も交えてお話します
6.
サーバーインフラ全体の構成 配信 サーバー ログサーバー (Fluentd) S3 Redshift MySQLRedis Elasticsearch Kibana Tableau
7.
Elasticsearch部分の詳細 ElasticSearch Data Nodes ElasticSearch Coordinate Nodes ElasticSearch Data
Nodes ElasticSearch Data Nodes ElasticSearch Data Nodes Elasticsearch Data Nodes ELB Elasticsearch Coordinate Nodes master: true/ data: false EC2: c3.2xlarge + 80GBのInstanceStore x 2 2ノード master: false / data: true EC2: c3.2xlarge + 80GBのInstanceStore x 2 14ノード 12シャード & 1レプリカ ログサーバー (Fluentd) EC2: c3.largeインスタンス + EBS(GP2)200GBを横に並べる td-agent1.1系 独自のプラグインで ElasticsearchへBulkInsert Kibana Kibana3の最新版 EC2: m1.small + ElasticIP フロントにapache VPC内の Internal ELB ElasticSearchバージョン:1.4.2
8.
半年前と比べて構成を変更したところ • レポーティングと分析の基盤はバッチ処理形式のRedshiftで構築。 ElasticsearchはKibanaを使った数時間以内のリアルタイムな調査・モニタリ ングに役割を特化 • 以前は30日分データを保持していたが、現在では最大3日分程度のみ保持 •
Elasticsearchに使うインスタンスはEBSをやめ、InstanceStoreを2つアタッ チしてデータディレクトリを2つ指定してIOを分散 • データノードの台数は28台→14台に減らせた (秒間書き込みレコード数は3万→6万に増加したが捌けた) • サーチノードを廃止し、コーディネートノードに一本化
9.
Kibanaを使った実際の分析項目
10.
• Bid率 Bidした量とNoBidで返した量の比率を 円グラフで表示。 そもそもBidしないとImpressionも出 ないので、一定以上に保てるようにする • Win率(Bidの勝率) Imp数
Bid数=Win率。 これも基本的には高くしていきたい指標
11.
• UnhandledException数 想定外の例外を投げた際にカウントされ る。エラーログが出ているはずなので、 調査する • NoBidの理由の内訳 オークションに参加できなかった理由 をID別に円グラフで表示。 原則としてBid率は高めていきたいの で、なぜBidしなかったかの内訳を把 握しておく
12.
• Bidレスポンスタイムの時系列分布 50msec or
die なので、ほとんど全 面をブルーの状態(50msec以内)に保つ 赤い部分が出てきたら、それは障害 • Bidレスポンスタイムのうち、最も 遅かったレスポンスタイムを表示 全てのリクエストに対して100%を 50msecで返すことは不可能だが、数 秒以上かかっているレスポンスがあれば 異常のサイン
13.
• BidType別Bid/Imp数 Bidロジック(配信方法)別にどれくら いのボリュームが出ているか • Click/Conversion数 コンバージョン数は数日以上さかの ぼってカウントする場合もあるので、 ここに出てくる値とは一致しない。 なので参考程度だが、計測連携のテ ストをするときなどは便利
14.
• CPMの基礎統計 配信方法ごとに、いまいくらでBidし ているかの俯瞰を表示。最小値・最 大値・平均値・標準偏差の4つ • CPMの時系列分布 価格帯ごとにクエリを分け、それを 積み重ねグラフとして表示。 リリース直後・設定変更直後などの 急激な価格変動を見ている
15.
• SSPごとの時系列での Request数、Bid数 特に新しいSSP(配信先パートナー)をつ なぐときに使うことが多い。1秒あたり の数で表示しているので、配信サーバー の台数と性能の比較でキャパシティを把 握できる。 また、接続後も大きく変動したりすると 実はSSP側が障害になっていることもあっ た。
16.
• 生ログの調査 フィルタを使って任意のリクエストの詳細をみる ※この用途には、Kibana4はかなり動作が速く使いやすくてオススメ
17.
まとめ • 少人数で比較的大きなシステムを見ているのでElasticsearchもそれほど深く使えているわ けではありませんが、逆に手がかからず安定して動作しています(特にver1.2以降安定し たイメージがあります) • リアルタイムのモニタリング用途に特化した使い方をしていますが、役割をしぼったことで かえって上手く使えている気がします。Kibanaのダッシュボードはチームの席の近くにあ る大きなテレビに映していて、誰でも見られるようになっています •
24時間365日動かし続けなければいけないシステムなので、監視システムのアラートが鳴 る前でも、異常な徴候があれば気づきたい。また、配信ロジックも複雑かつリリース頻度も 多いので、特にデプロイ直後、監視システムだけでは捉えられないサービスレベルの変化に 気づくには、こうしたサービスの数値をモニタリングするシステムは有用だと思います • ElasticsearchとKibanaの活用方法の一つとして、参考になれば幸いです
Jetzt herunterladen