Recommended
More Related Content
Similar to SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
Similar to SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化 (20)
Recently uploaded
Recently uploaded (11)
SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
- 1. 法人事業統括 ソリューションエンジニアリング本部 クラウドデザイン統括部 SE第2部 第2課 葉山 恵一 ビッグデータ活用の第一歩 AWS環境での大容量ログ可視化
- 2. 自己紹介 • 法人のお客さま向けにパブリッククラウド全般の プリセールス/設計/構築を提供するクラウドSE • メインで対応しているのはAWSとAzure • SEキャリアの大部分はISP基幹システムの担当 DNS/Radius/メールサーバ&メールセキュリティ • 軽い社内開発でPerl, PHP, Ruby等の経験も あり(主にMVCフレームワーク利用) • ログ分析ではElastic Searchを愛用 • 2015年頃からvagrantやchef等のオーケスト レーションを触り始める • クラウドの領域は2016年から • 今年40歳、夫婦とモルモット2匹で暮らしています
- 3. • AWSを知らない方や利用を検討中の方 → 手を動かすきっかけになってもらえれば • すでにバリバリとAWSを利用中の方 → Fargate, OpenSearch等の検証手順を 用意しましたので、お持ち帰りください このセッションで持ち帰ってほしい事
- 4. • AWS利用開始へのハードル • AWSの企業利用が進まないワケ • ソフトバンクが伴走する価値とは • 大容量ログ可視化の具体的な方法 • ダミーログの発生方法 → Fargate x Firelens x Cloudwatch Logs • ログの加工とマネージドサービスによる可視化 → Cloudwatch Logs + Lambda + OpenSearch Agenda
- 5. • 初めからおむつとビールを求めない このような相関に気付ける環境を 構築する事こそがビッグデータ活用 • その上で • 取り出したいデータを明確にする • 必要なデータが揃っているのか確認する • 誰が使うのかを明確にする ビッグデータの活用とは
- 6. • 取り出したいデータを明確にする • 必要なデータが揃っているのか確認する • 誰が使うのかを明確にする このあたりの勘所は普段から要素技術を触っていないと、 明確なイメージが沸かないと思います ビッグデータの活用とは 手近なログを使って、勘所養いましょう
- 7. • Qiitaに手順を残しておきました。 大容量ログ可視化の具体的な方法 • 前半:https://qiita.com/Kedamari/items/fba00598c0bd9e08fdb9 • 後半:https://qiita.com/Kedamari/items/9210d108c6ffff9b2a65
- 8. 利用開始へのハードル
- 14. クラウドの俊敏性を正しく発揮する AWSの契約 検証用データを 準備 ETLの実装 マネージドサー ビスでの可視化 本番データ使いたい気持ちよくわかります でもそのために越えなければいけないハードルが高過ぎる (クラウドの安全性?, JDCC Tier?, 閉域の検討?, オンプレとの接続?) 非エンジニアの方でも使える可視化ツールを選定したい その可視化ツールに合わせた環境をはじめから構築したい (認証基盤連携, ライセンス費用, 使える関数, 3rdパーティー連携)
- 16. 情報通信白書 令和3年版
- 18. ANSWER: ドロップした高難易度な部分の実現 ANSWER: 閉域回線の敷設 ANSWER: 運用保守のアウトソース ANSWER: 3rdパーティー製品との連携 ANSWER: 仮想CoE体制の確立 etc… いろいろとありますが、本日は割愛します。 クラウド利用検討中の法人様、お問い合わせください。
- 21. 検証用データを準備 AWSの契約 検証用データを準備 ETLの実装 マネージドサービスに よる可視化 Fargate + Firelens Apacheのダミーログを吐き出すだけの Docker コンテナを設置 → Dockerコンテナイメージとステップバイステップの手順を用意しておきました ・Ruby Gemの Apache-Loggenを利用 ・Fargate最小構成で準備 早くアウトプットがほしければいきなり、OpenSearch触りはじめてもよいです → OpenSearch側にも予め用意されたダミーデータがあります 可視化部分の検証のみをやりたい人は、ここからどうぞ
- 22. ETLの実装 AWSの契約 検証用データを準備 ETLの実装 マネージドサービスに よる可視化 Firelens サイドカーコンテナからFluent bit経由で Cloudwatch Logsへログ転送 → Fluent bit では新しめの CloudWatch_Logs プラグインを利用 CloudWatchのフィルタは手順上は利用無しです → 利用したい場合はリファレンスを参照して、どんなことができるのかを確認してみてください LambdaでOpenSearch投入前に簡単なETL処理を実施しています → お好きなランタイムで書き換えてみたり、AWS Glueの利用なども試してみてください 今回S3へのエクスポートはせずに、OpenSearchへサブスクライブする手順にしています → CloudWatch Logsへ送信さえしておけば、いつでもエクスポートできるので、 分析をAthenaにするとか、この先の可視化や加工が楽に実行できます CloudWatch Logs Lambda
- 23. Lambdaのコード改修箇所 AWSの契約 検証用データを準備 ETLの実装 マネージドサービスに よる可視化 CloudWatch Logs Lambda ■Cloudwatch LogsからサブスクライブされてくるRAW DATA '@message': '{"source":"stdout","log":"188.54.63.58 - - [11/Jan/2022:08:54:56 +0000] ¥¥"POST /search/?c=Books+Software HTTP/1.1¥¥" 200 72 ¥¥"-¥¥" ¥¥"Mozilla/5.0 (iPad; CPU OS 5_0_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A405 Safari/7534.48.3¥¥"","container_id":"2dde6a9268e74f568406f89e2965a9af-1717728986","container_name":"apache- loggen","ecs_cluster":"apache-loggen","ecs_task_arn":"arn:aws:ecs:ap-northeast-1:198762873513:task/apache- loggen/2dde6a9268e74f568406f89e2965a9af","ecs_task_definition":"apache-loggen-task:9"}',
- 24. OpenSearchによる可視化 AWSの契約 検証用データを準備 ETLの実装 マネージドサービスに よる可視化 10分で可視化用のクラスターを作成し、インターネット公開が可能 → 当然HTTPS化されています パフォーマンスが不足した場合や、本番昇格が必要な場合もすぐにスケールアップ/アウト可能 → 検証期間中はミニサイズでお財布にやさしく運用できます 数十GBクラスのデータセットを快適に描画可能 → より大きいデータセットの検証が必要になった場合は、中間処理を挟むか別サービスの 利用も検討してみてください OpenSeach
- 27. 好きな用途にフォークする事が出来ます Fargate + Firelens CloudWatch Logs S3 Lambda OpenSeach Athena Glue Quick Sight logging Subscribe ETL pool extract Batch ETL Query Visualize Visualize
- 29. お わ り