More Related Content Similar to Zabbix監視運用業務の自動化事例 (20) Zabbix監視運用業務の自動化事例4. ⼿手作業の運⽤用の問題
撲滅できない操作ミス
タイプミス
⼿手順書のタイポ
エラー時のロールバック⼿手順不不備
原因不不明の障害
開発環境、検証環境、本番環境が微妙に異異なる(ライブラリやOS設定)
環境によって操作⼿手順が異異なる
そもそも⼿手作業なので、再現が困難
秘伝のタレによる属⼈人化
リリースサイクルの⻑⾧長期化
変更更が適⽤用されるまでに、次の変更更要求が滞留留
変更更頻度度が少ないため、変更更箇所が増え、変更更のリスクが増⼤大
環境の複雑化への対応が困難
仮想化、クラウド化によってシステム環境が複雑化し、動的な変更更/変化が発⽣生
それに伴い作業⼿手順も複雑化し、メンテナンスが困難に
⾮非効率率率、⾮非⼈人間的な作業
端末操作、⼿手順書読み上げ、作業確認の3⼈人体制
⻑⾧長時間にわたる操作の緊張と重圧
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
4
6. 運⽤用管理理を⾃自動化する効果
構築〜~実装〜~サービス稼働までプログラム化
コスト低減、ミスの削減、期間短縮
「運⽤用でカバー」から、「設計で保証」
運⽤用管理理の集中化と可視化
作業は⾃自動化し、⼈人間は判断に集中
⼈人に依存しない標準化、品質向上
定量量評価による投資対効果の明確化
継続的デリバリーの実現
リリースの多頻度度化により、リリースのリスクを低減
ビジネスサイクルの⾼高速化に適応
広域分散環境に対応
AWS等のクラウドサービスから、オンプレミスの既存物理理サーバまで⼀一元管理理
リソースの最適化
⽬目的に応じて最適なプラットフォームにアプリケーションを移動
DR/BCPへ対応
DR/BCPの⾃自動化
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
6
7. 運⽤用管理理⾃自動化の役割
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
7
要件定
義
設計
コーディ
ング
テスト
継続的
インテ
グレーション
開発サイクルの高速化
ジョブ
管理
監視
検知
リカバ
リ
運用
サイクル
運用サイクルの自動化
運用引き継ぎの自動化
バージョン管理
構成管理
自動デプロイ
自動テスト
• 全てプログラム化
• どの環境でも同じ手順
• 何度実行しても同じ結果を再現
• 作業結果をログに保存
8. 構成管理理及びリリース管理理の成熟度度モデル
「継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの⾃自動化」
David Farley (著), Jez Humble (著), 和智 右桂 (翻訳), ⾼高⽊木 正弘 (翻訳) アスキー・メディアワークス (2012/3/14)
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
8
レベル -1
レベル 0
レベル 1
レベル 2
レベル 3
プラクティス
リグレッションエラー多発:
プロセスは繰返せず管理も
貧弱、そして対症療法を行っ
ている。
繰返し可能:
プロセスは文書化され、一部
は自動化されている。
一貫している:
自動化されたプロセスが、ア
プリケーションのライフサイク
ル全体に適用されている。
定量的な管理:
プロセスが計測可能で制御さ
れている。
最適化:
プロセスの改善に注力する。
ビルド管理及
び継続的イン
テグレーション
ソフトウェアのビルド手順が
手動である。成果物やビルド
結果の管理をしていない。
普段のビルドやテストを自動
化している。全てのビルドは
ソース管理システムを使って
自動化された手順で再現で
きる。
自動ビルドと自動テストのサ
イクルを、変更がコミットされ
るたびに実行する。依存関係
を管理する。スクリプトやツー
ルを再利用する。
ビルドメトリクスを収集して可
視化し、それに基づいて作業
する。ビルドを壊れたままに
しない。
チームで定期的に話し合い
の場を持ち、統合時の問題
やその自動化による解決、素
早いフィードバック、そしてよ
り良い可視化について議論
する。
環境及びデプ
ロイメント
ソフトウェアのデプロイ手順
が手動である。バイナリが環
境に依存する。環境の配布
が手動である。
一部の環境ではデプロイを自
動化している。新しい環境を
手軽に作成できる。全ての構
成情報を外に出してバージョ
ン管理する。
ソフトウェアのデプロイは完
全に自動化され、ボタンを押
すだけで完結する。全ての環
境に対して同じ手順でデプロ
イする。
統合したデプロイ管理、リ
リースやリリース取消の手順
もテストしている。
全ての環境がうまく管理され
ている。プロビジョニングは完
全に自動化、仮想化を適切
に活用する。
リリース管理及
びコンプライア
ンス
リリース頻度が低く、しかも信
頼できない。
面倒で頻度も低く、信頼でき
ないリリース、リリース要件に
関するトレーサビリティも限定
的。
変更管理とその承認プロセス
が定義され、それを守ってい
る。規約を遵守している。
環境はアプリケーションの健
康状態を監視し、能動的に管
理している。サイクルタイムを
監視している。
運用チームとデリバリーチー
ムが協力し、リスク管理やサ
イクルタイム削減を行う。
テスト
開発をした後に手作業でのテ
ストを実施する。
ストーリーの開発の一環とし
て自動テストを書く。
ユニットテストや受入テストを
自動化する。受入テストはテ
スターが書く。テストが開発プ
ロセスに組み込まれている。
品質のメトリクスとその傾向
を追跡する。非機能要件を定
義し、計測する。
本番環境への変更の取消は
滅多に発生しない。問題があ
ればすぐに見つかり、すぐに
修正される。
データ管理
データのマイグレーションは
バージョン管理されておらず、
手作業で操作する。
データベースへの変更は自
動化したスクリプトで行い、ス
クリプトはアプリケーションと
共にバージョン管理する。
データベースの変更はデプロ
イメントプロセスの一環として
自動的に行う。
データベースの更新やロー
ルバックはデプロイの度にテ
ストされる。データベースの
パフォーマンスを監視、最適
化する。
リリースのたびに、データ
ベースのパフォーマンスやデ
プロイメントプロセス自体につ
いてのフィードバックを得る。
構成管理
バージョン管理システムを
使っていない、あるいは使っ
ていても滅短チェックインしな
い。
バージョン管理システムを
使って、ソフトウェアの作成に
必要な物を全て管理する。
ソースコードや設定ファイル、
ビルドやデプロイ用スクリプト、
データのマイグレーション等。
ライブラリや依存関係を管理
する。バージョン管理システ
ムの利用ポリシーは、変更管
理プロセスで定義する。
開発者は、少なくとも1日1度
はメインラインにチェックイン
する。ブランチはリリース作業
のときだけ使う。
変更管理のポリシーを常に
検証し、効率的な共同作業
や素早いデプロイができてい
るかを確かめる。また、変更
管理プロセスの可監査性も
チェックする。
22. CMDBuild構成管理理システム
2005年年プロジェクト開始
伊Tecnoteca 社が開発、AGPLライセンス
http://www.cmdbuild.org/
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
22
CMDB
インベントリ収集
ワークフロー
文書管理
地理情報
レポーティング
API
JSON/SOAP
APACHE
TOMCAT
アセット
コンピュータ
ライセンス
サーバ
デスクトップ
ユーザ
サプライヤ
ドキュメント
場所
保守契約
監視システム
ポータル
23. CMDBuildの特徴
⾃自由なデータモデル
クラスとリレーションの設定で
⾃自由に設計可能
組み込まれたワークフローエンジン
Together Workflow (Shark)を使⽤用し、ワークフローを設計/実⾏行行
他システムの連携
SOAP API, Mail, SQL, LDAP/AD, CSV, etc.
ITIL V3準拠
組み込まれた⽂文書管理理機能
多⾔言語対応
⽇日本語/英語/ドイツ語
スペイン/フランス/イタリア
ロシア/ポルトガル/セルビア
ブラジル
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
23
サービス戦略略 サービス設計 サービス移⾏行行 サービス運⽤用 継続的改善
財務管理理
サービスカタログ
管理理
変更更管理理 イベント管理理 7ステップ改善
需要管理理
サービスレベル管
理理
資産構成管理理 インシデント管理理 サービス測定
ポートフォリオ管
理理
キャパシティ管理理 ナレッジ管理理 リクエスト対応 サービスレポート
可⽤用性管理理 移⾏行行計画/⽀支援 アクセス管理理
サービス継続性管
理理
リリースデプロイ
管理理
問題管理理
セキュリティ管理理
サービスバリデー
ション/テスト
サービスデスク
サプライヤ管理理 評価 技術管理理
アプリケーション
管理理
オペレーション管
理理
アセット
コンピュータ
ライセンス
サーバ
デスクトップ
ユーザ
サプライヤ
ドキュメント
場所
保守契約
ロケーション
顧客
サービス
ネットワーク
保守契約
モデル
26. ワークフロー機能
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
26
Together Workflow Editorで作成したワークフローを、インポート
http://www.together.at/prod/workflow/twe
Redmine'>)
Cmdbuild)
)
)
or
Redmine
Redmine
XRFC
X X X
)
)X
Redmine)
)
)
XX
X
RFC01 RFC02
RFC03
RFC04 RFC05
RFC00
RFC06
RFC07
RFC08
RFC09 RFC10
RFC11
RFC12
RFC13
RFC14
)
32. インベントリ収集フロー
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
32
Webから実⾏行行
Network Groupが
なければ作成
Nmapスクリプト
実⾏行行
ログ画⾯面にリダイ
レクト
Nmap実⾏行行結果
確認
Snmp?
Snmpスキャン
実⾏行行
デバイス
登録済?
デバイス追加
デバイス更更新
WMI?
VBSスクリプト
転送・実⾏行行
ssh?
shellスクリプト
転送・実⾏行行
スクリプト実
⾏行行結果を、
Open-‐‑‒Auditサ
ーバにhttp put
終了了
対象デバイス
34. ジョブ管理理:JobSchedulerの特⻑⾧長
オープンソース(GNU Public License V.2)
Linux/Windows版は、全ての機能が無料料で使⽤用可能。
サポートライセンスを購⼊入すれば、HP-‐‑‒UX/Solaris/AIX版の利利⽤用に加えて、障害対応、
バグフィックス/ワークアラウンドの提供、新機能の早期提供、チケットシステム
(OTRS)、JIRAの利利⽤用が提供される。
プログラマブル
ジョブの中で、Java, Perl, JavaScript, VBScript, Powershell, javax.scriptの内部
APIを使ったロジックを記述可能
外部API(XML形式)によりRESTまたはコマンドラインからジョブの実⾏行行制御、実⾏行行
状況の取得が可能
エンタープライズ・グレード
ファイル転送やログローテンション等豊富なテンプレート機能
リモートジョブ実⾏行行、冗⻑⾧長化機能、ロードバランス、外部認証等、エンタープライズ
向け⼤大規模システム対応
JasperReport(ジョブ実⾏行行レポート)やZabbix/Nagios(ジョブ実⾏行行監視)との連携
機能
MySQLの他、PostgreSQL, Oracle, DB2, MS SQL Server, Firebirdに対応
豊富な導⼊入実績15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
34
38. 導⼊入事例例1
国内製造業A社
流流通・⼩小売業向けの各種機器を製造
機器導⼊入先のエンドユーザー企業で、機器の保守のほか、ネットワーク監視、運⽤用監視
サービスも併せて提供している
監視システムのリプレースプロジェクト
Nagiosを監視エンジンとして使⽤用したシステムを開発・導⼊入
2012年年1⽉月開発開始、同年年9⽉月から本稼働
フロントエンドはCakePHPで開発
監視対象ノードは現在6,000を超える
監視対象
疎通やサーバの⽣生死等のネットワーク監視
業務運⽤用系の監視 ←これはNagiosだけでは難しい
店舗レジの開閉店処理理の実施有無
マスタファイルの送信処理理の成否
監視規模
1つのエンドユーザー企業で、数百店舗(=ノード)の監視が必要となることも
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
38
42. 導⼊入事例例2
データセンタ事業者
監視サービス設定の⾃自動化
設定シートを読み込んで、監視対象へのZabbixエージェ
ントインストール/設定と、Zabbixサーバへの監視登録
を⾃自動化
通信事業者
社内設備テスト環境の⾃自動化
数百パターンの試験項⽬目を⾃自動実⾏行行
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
42
43. HyClops JobMonitoring概要
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
43
ジョブをZabbix監視アイテムに⾃自動登録
JobSchedulerにジョブを登録すると、⾃自動的にZabbixに
ジョブ監視アイテムを設定
Zabbixからジョブのアラート監視
ジョブ定義で指定したアラート(開始遅延、実⾏行行失敗等)
を監視
Zabbixからジョブの実⾏行行時間監視
各ジョブの実⾏行行時間履履歴を監視、傾向グラフを表⽰示
Zabbix監視閾値をジョブから⾃自動変更更
特定のジョブを実⾏行行する際に、cpu loadやmemory free
の閾値を変更更し、実⾏行行完了了後元に戻す
44. Zabbixによるジョブ実⾏行行状況監視
Hyclops Jobmonitoring
http://tech-‐‑‒sketch.github.io/hyclops_̲jm/jp/
Zabbix APIとJobScheduler APIを使った、連携モジュール
実⾏行行モジュールはFabricで実装
他のプログラムからも呼び出し可能
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
44
WEB APIpolling
ZabbixAPI
46. CMDBuild情報
⽇日本語メーリングリスト(Google グループ)
https://groups.google.com/forum/?hl=ja#!forum/
cmdbuild-‐‑‒ja
CMDBuildの紹介(⽇日本語)
http://www.ossl.co.jp/jpn/Products/infrastructure/
CMDBuild
プロジェクト
http://cmdbuild.org/en
開発元
http://tecnoteca.com
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
46
47. ⽇日本JobSchedulerユーザーグループ
2013/4発⾜足
JobSchedulerいけるやん、という⼈人の集まり
独SOSサイトにも掲載
“Company News : Japanese language JobScheduler user group on Facebook”
http://www.sos-‐‑‒berlin.com/modules/news/article.php?storyid=42
会則/会費ありません
会員資格ありません、Google Groupsに参加して下さい
https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-‐‑‒ja
JobSchedulerを使う上での疑問やノウハウの共有
勉強会と⾔言う名の飲み会
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 47