Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Hyper-V上での大規模監視システム構築事例のご紹介
Ähnlich wie Hyper-V上での大規模監視システム構築事例のご紹介 (20)
Mehr von Hinemos
Mehr von Hinemos (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (7)
Hyper-V上での大規模監視システム構築事例のご紹介
- 1. 1 2015年2月6日 株式会社アトミテック Hyper-V上での大規模監視システム構築事例 のご紹介 Copyright (c) 2015 Atomitech CORPORATION
- 2. 内容 Copyright (c) 2015 Atomitech CORPORATION 2 会社概要 事例紹介 Hyper-V上での大規模監視システム構築事例 関連したアトミテックの取り組み ルールエンジンによる自動運用管理 その他アトミテックの取り組み
- 3. 会社概要 社名 株式会社アトミテック 設立 2004年07月01日 営業拠点 東京本社 山口本社 福岡営業所 Copyright (c) 2015 Atomitech CORPORATION 3 Hinemosビジネスへの取り組み 移行・ 構築 保守開発 Hinemosにする幅広い ソリューションをご提供 いたします。
- 4. Hyper-V上での大規模監視システム 構築事例のご紹介 4Copyright (c) 2015 Atomitech CORPORATION
- 5. 背景 Copyright (c) 2015 Atomitech CORPORATION 5 お客様 • 某通信会社系データセンタ 業務内容 • ホスティングとホスティング顧客システムの監視 システム環境（監視） • OS:WindowsServer 2012 • 仮想環境：Hyper-V（KVM環境から移行） • 正副2系統の冗長構成のアクティブ/スタンバイ構成 • 正系と副系それぞれにホストマシンを用意 • マルチテナント構成 • １ホスティング顧客（システム）に対し２台のHinemos（正系１台、副系１台） • Hinemosは複数バージョンが存在 規模 • 監視システム数（Hinemosサーバ数）：100台程度（正副それぞれ：40～50台程度） ・運用のしやすさを考慮 ・Windows GUIによるオペレーション
- 6. 構成（アクティブ/スタンバイ構成） Copyright (c) 2015 Atomitech CORPORATION 6 専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc ・・・顧客 システム 顧客 システム 顧客 システム 仮想マシン 仮想化ホスト Hyper-V ・・・ 顧客用 ホスティング環境 監視システム 仮想化ホスト Hyper-V ・・・ 正系 副系
- 7. 課題と対処 Copyright (c) 2015 Atomitech CORPORATION 7 課題 • Hinemosのメンテナスが煩雑 • 正副のHinemosは独立しており、監視対象や監視項目の変更は それぞれに行う必要がある • 2台ホストだと可用性とメンテナンスに制限 対処 • WSFC/MSFC（Windows Server Failover Clustering/Microsoft Failover Cluster）構成 • １ホスティング顧客（システム）に対し1台のHinemos • 仮想マシン移動で簡単に切り替え • 3台以上のホストで可用性を担保しながら柔軟なメンテナスが可能
- 8. 専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc ・・・顧客 システム 顧客 システム 顧客 システム WSFC 構成(WSFC) Copyright (c) 2015 Atomitech CORPORATION 8 仮想マシン 仮想化ホスト Hyper-V ・・・ 顧客用 ホスティング環境 監視システム 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・
- 9. 仮想マシンの移動について ライブマイグレーション •共有ディスクを使用しない •ディスク情報とメモリ情報をネットワークで移動先に転送 •ダウンタイムがほとんど発生しない クイックマイグレーション •共有ディスクを使用する •メモリ情報をディスクに保存し、そのメモリ情報を移動先で読み込み仮想マシンを再 開させる •ダウンタイムが発生（通常、数秒～数十秒程度） 9Copyright (c) 2015 Atomitech CORPORATION 仮想化ホストのメンテナス を行う際にも監視を継続 仮想マシンの移動 でHinemosの動作に影響がない WSFC の仮想マシンの移動方式
- 10. 仮想マシンの移動について Copyright (c) 2015 Atomitech CORPORATION 10 ライブマイグレーション方式を検討するも課題あり ライブマイグレーションは高速なネットワークが必要 事例の環境ではネットワークは100Mbps 当時10Gbpsは出始めたばかりで高価 クイックマイグレーション方式を採用 対障害性のために共有ストレージは必要 共有ストレージは高速なものを採用 ライブマイグレーションより高速に仮想マシンの移動が可能 ダウンタイムが数秒程度 仮想マシンの移動にかかる時間 100Mbps:数十秒 10Gbps：数秒 Hinemosの監視処理継続性に影響なし クイックマイグレーション方式でライブマイグレーションを実現
- 11. WSFCへの移行について Copyright (c) 2015 Atomitech CORPORATION 11 顧客のシステムを停止できないので、監視も停止できない 監視を停止せずに正副冗長構成をWSFC構成に移行 移行手順 1. 仮想化ホストを１台追加 2. 追加した仮想化ホストと副系仮想化ホストのHyper-V間でWSFC を構築 3. Hinemosによる監視を正系から副系への切り替え 4. 正系の仮想化ホストを加えWSFCを構築 5. 正副２台のHinemos用仮想ノードを１台に整理し、仮想化ホストへ 配置
- 12. 構成変更 Copyright (c) 2015 Atomitech CORPORATION 12 仮想マシン 仮想化ホスト Hyper-V ・・・ 仮想化ホスト Hyper-V ・・・ 副系正系
- 13. 1.仮想化ホストを１台追加 2.追加した仮想化ホストと副系の仮想化ホストのHyper-V間でWSFCを構築 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 13 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・ ・・・ 副系 正系
- 14. 3.Hinemosによる監視を正系から副系への切り替え WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 14 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・ ・・・ 副系 正系
- 15. ４．正系の仮想化ホストを加えWSFCを構築 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 15 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・ 副系 正系
- 16. ５．正副２台のHinemos用仮想ノードを１台に整理し、仮想化ホストへ配置 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 16 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・
- 17. まとめ Copyright (c) 2015 Atomitech CORPORATION 17 操作しやすいGUI オペレータにとって慣れ親しんだWindowsのGUIによる操作 監視を継続しながらの仮想ノードの移動 高速なネットワークがなくても、クイックマイグレーションで、監視に 影響を与えずに監視用の仮想ノードを移動し、ライブマイグレーショ ンを実現 監視を停止せずにWSFCへ移行 正副2系統の冗長構成から、WSFC+共有ストレージ構成による監視 仮想ノードの集約を、ホスティング顧客システムとその監視を停止 することなく実現
- 18. アトミテックの運用環境構築 Copyright (c) 2015 Atomitech CORPORATION 18 最適な ソリューションの ご提案・ご提供 様々な運用基盤 に対応（構築） • オンプレ • 仮想化（Hyper-V等） • クラウド（Azure等） Hinemos環境構築 • 監視 • JOB 柔軟な移行支援 • 監視を継続しなら • JOBを実行しながら
- 19. 運用管理業務にも解決すべき問題が 19Copyright (c) 2015 Atomitech CORPORATION 運用状況： • 運用管理ツールからアラート情報を運用管理者にメール通知してい る • 運用管理者はアラート情報の内容を判断して、顧客担当者および顧 客へメール通知を行っている • 顧客ごとにアラート発生からメール通知までの通知時間に関する SLAが異なる 課題： • アラートメール通知時間が長い（SLA低）顧客システムで、大量にア ラートが発生すると、メール通知が運用管理者に大量に送られる • この時、アラートメール通知時間の短い（SLA高）顧客システムでア ラートが発生しメール通知が来ても、大量メールに埋もれてしまい、 顧客へのメール通知が遅れてしまう
- 20. 「SLA高」顧客 問題発生時の運用管理 ログ収集ツール 運用 手順書 運用管理者 顧客 20 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 ある顧客のシ ステムで重大 な障害発生！ 障害を検知してアラート 情報として大量にメール 通知 運用管理者の処理が間に合 わず大量のメールが蓄積 「SLA高」顧客の監視 対象でも障害発生 「SLA高」顧客のア ラート情報が埋もれる 大量のアラート情 報を受け取る アラート情報を受け取 るまで時間がかかる Copyright (c) 2015 Atomitech CORPORATION 「ルールエンジンによる運用管理自動化」 で解決へ
- 21. ルールエンジンによる自動運用管理 関連したアトミテックの取り組み 21Copyright (c) 2015 Atomitech CORPORATION
- 22. 運用管理 運用監視ツール インシデント監視ツール 運用 手順書経験則 ノウハウ 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 22Copyright (c) 2015 Atomitech CORPORATION
- 23. 運用管理（自動運用管理機能導入） 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 自動運用管理機能 判断 操作 手順実行 運用手 順書 経験則 ノウハウ 操作・情報 取得 インシデント登録 23 ルールエンジン 技術の活用 運用監視ツール インシデント監視ツール Copyright (c) 2015 Atomitech CORPORATION
- 25. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 25 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 運用管理者 自動運用管理 機能 ルール エンジン ルールルールルール Copyright (c) 2015 Atomitech CORPORATION
- 26. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 26 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 自動運用管理 機能 ルール エンジン 運用管理者 ルールルールルール 条件の定義 アクションの定義 監視を解除する アラートを監視項目と重 要度で指定 監視を解除する監視 項目を設定する 判断する項目 アクションの内容 （Javaコード） 判断する項目に マッチする値 アクションの内容 でセットするパラ メータ ルール設定例（監視解除ルール） rule "Monitor_Control_10" no-loop true when //条件 ei: EventInfo(managerFacilityId == “HINEMOS_MANAGER_003”, //運用監視ツールID facility_id == “DB_SERVER_001”, //ファシリテイID monitor_id == “DB_PING”, //監視項目ID priority_num == “0”) //重要度 act: ActionFlg(flg == "0") then //アクション //停止するプラグインID,監視項目ID（１） SetValidMonitorActionInfo monitorActionInfo = new SetValidMonitorActionInfo($ei.getManagerFacilityId()); monitorActionInfo.setMonitorTypeId(“MON_PNG”); //プラグインID monitorActionInfo.setMonitorId(“DB_PING”); //監視項目ID monitorActionInfo.setValidFlag(false); sysActInfoList.add(monitorActionInfo); //停止するプラグインID,監視項目ID（2） ・ ・ ・ end ルールエンジンにより 1行1ルールとして変換 される Copyright (c) 2015 Atomitech CORPORATION
- 27. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 27 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 自動運用管理 機能 ルール エンジン 監視解除 運用管理者 ある顧客のシ ステムで重大 な障害発生！ 「SLA高」顧客の監視 対象でも障害発生 障害を検知してアラート情 報として大量にメール通知 ルールルールルール 監視の停止によるア ラート発生の抑止 アラート情報を受 け取る 同一アラート 情報の集約 メール自動送信 遅延なくアラート 情報を受け取る 項目 値 運用HinemosID HINEMOS_MANAGER_003 ファシリティID DB_SERVER_001 重要度 0 プラグインID MON_PNG 監視項目ID DB_PING 発生日時 2014/12/4 14:35:10 メッセージ Packets: Sent = 1, Received = 0, Lost = 1 (100% loss), 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PNG 監視種別ID DB_PING 有効/無効 無効 アラート情報 監視制御情報 アラート情報にマッ チするルール 停止する監視項目 情報の作成 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_SNMP 監視種別ID DB_SNMP 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRC 監視種別ID DB_PROCESS 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRT 監視種別ID DB_PORT 有効/無効 無効 ルール動作例（監視解除ルール） Copyright (c) 2015 Atomitech CORPORATION
- 28. 自動運用管理化ツールの今後 ２つの方向性でソリューションを検討中 28 インシデント監視 ツール 自動運用管 理機能 ルール エンジン リポジトリ 監視 ジョブ 性能 Hinemosの機能拡張 各種運用管理 ツール インシデント監視 ツール 自動運用管理 機能 ルール エンジン 自動運用管理 ツール 独立した自動運用管理ツール Hinemosに限らず各種の運用管理ツー ルからの情報を集約し、ルールエンジン により的確な判断を施し、運用の自動化 を目指すソリューション ルールエンジンによる的確な判断機能 をHinemos自身に組み込み、運用の自 動化を目指すソリューション ご期待ください！！ Copyright (c) 2015 Atomitech CORPORATION
- 29. その他アトミテックの取り組み 29Copyright (c) 2015 Atomitech CORPORATION
- 30. Hinemos関連サービス Copyright (c) 2015 Atomitech CORPORATION 30 移行・構築 最適なHinemos環境を 提供します。 保守 年間1,000件を超 えるサポート実績 で、安心を提供し ます。 開発 新たな機能を提供 します。 あらゆるフェーズで 最適なソリューション をご提供いたします。
- 31. Atomitech OnCloud Service for Hinemos アトミテックの豊富なノウハウにより構築したクラウド上のHinemosマネージャと、 その維持管理を含めた運用環境をサービスとして提供いたします。 お客様のシステムを管理する為の最適な機能と環境を備えたHinemosをご利用に なれます。 対応予定クラウドサービス： Microsoft Azure , Cloudn Copyright (c) 2015 Atomitech CORPORATION 31 バックアップ バージョンアップ 保守サポート お客様システム マネージャ お客様 クライアント Elastic Load Balancin g Web サーバ Web サーバ Web サーバ EC2 EC2 EC2 DynamoDB Memcache d 各種テンプレート 死活監視・性能管理 クラウド管理 ジョブ管理 障害通知 パッチ適用 お客様は、Hinemosマネージャーの 環境構築・維持管理を意識すること なく、豊富な機能を利用できます
- 32. ご清聴ありがとうございました ご不明な点等ございましたら、お気軽にお問い合わ せ下さい。 本資料をご希望の方も、下記までご連絡ください。 お問い合わせ先 株式会社アトミテック 050-3775-7632 sales@atomitech.jp 担当：中西、加藤 Copyright (c) 2015 Atomitech CORPORATION 32