20110406aws accenture

オリンパス様事例にみる、
クラウドでシステム開発・運用の勘所

アクセンチュア株式会社
Copyright © 2011 Accenture All Rights Reserved. Accenture, its logo, and High Performance Delivered are trademarks of Accenture.

システム紹介

-1- Copyright © 2011 Accenture All Rights Reserved.

サービス概要
本システムは、ユーザがデジタルカメラで撮った写真を、PCアプリケーションやPC上からブラウザを使ってWebにアップロードし、
Web上で見たり共有したりプリントに利用できるBtoCサービスを提供しています。2011年4月時点で、日本とアメリカにサービス
を展開しています。

PCアプリケーション
デジタルカメラ

デジタルカメラで撮った PC上の写真を、アプリ
写真を、USB経由でPC ケーション、ブラウザで
上の専用アプリケーショ Web上にアップロード
ンに登録

URL : http://www.ibonthenet.com
Webアプリケーションの主な機能
保存写真をWeb上にアップロード。ユーザは写真を蓄積するストレージとして利用可能

ビュー Web上に蓄積されている写真を、PCアプリケーション・ブラウザ・携帯電話（日本）で参照

共有写真にコメントをつけて家族、友達、スポーツチームといった他人と共有。非会員にメールで写真を公開も可能

プリントユーザがアップロードした写真で、フォトブック、フォトプリントを編集、注文

Webアプリケーションで提供する全体機能を、Amazon Web Serviceの基盤上に構築しています。

基盤としてAWSを選んだ背景
プロジェクト開始当時、主に以下のベンダーがクラウドサービスを提供していました。今回のシステムでは、カスタムで開発す
る範囲が多く、ある程度自由に開発できることが必要と考え、HW以外をカスタマイズできるAWSを採用しました。

SaaS PaaS IaaS

Service Cloud 2 Force.com Google Apps Windows Azure

ク CRM専用
開発範囲開発範囲
ラサービス
ウ開発範囲
API API API
ド（.Netベース）
サ開発範囲
ー SDK SDK SDK
ビ
ス Software Software Software Software

Server Server Server Server Server

NW NW NW NW NW

CRMに特化したサー Salesforce.comのプ Google上で提供して Microsoftのプラットフ Server上のOSで動く
ビスを提供しているたラットフォームを利用いるWebサービス機ォームを利用して、シソフトであれば全て利
め、CRMに限れば短して、システムを構築能のAPIを活用可能。ステムを構築可能。用可能。
特期間で構築可能。可能。ただし、開発言語は但し、現時点ではサ従って開発自由度が
徴 Salesforce.comが提 PythonとJavaのみでービス提供がされて高く、機能的な制約が
供するAPIを利用した開発自由度が低い。おらず、2009年秋頃少ない。
開発が可能。からサービス稼動
本プロジェクト採用


システム構成


Webアプリケーションシステムサマリー
本システムは、AWS US Westリージョンでインスタンスを起動し、WAS、DBサーバをスケールアウトができるように構築して
います。現在、本番環境では、14の64bitインスタンスを利用しています。
Notes
A ・・・Operation Agent
DNS 外部のDNSサービスを利用
M ・・・Operation Manager

C C ・・・Operation Client
Mail 外部のメールサービスを利用
運用端末

ユーザ( 日本/US )
A Operation
PC
DB #1 Client
A (Master) M
ネ運用サーバ
ッ WAS #1
ト A
ワ Load A DB #2
ー WAS #2 Storage(EBS)
Balancer (Slave)
ク A
携帯電話基
盤 WAS #3
A
DB #3 Backup
・ Scale out
・ (Slave) Storage(S3)
・
・ Scale out
・
Cloud Front ・

I/F接続サーバ外部システム
分析機能
（外部システム）


プロジェクト開始後にAWSで提供された機能
プロジェクト開始当時には、いくつかの機能がまだAWSから提供されておらず、代替の方法やソフトウェアを使ってシステムを
構築しました。AWS上で新規にシステムを構築する場合、AWSからどのような機能が提供されているかを確認してから、
AWSにないが、システム上必要となる機能をどのように実装するかを検討する必要があります。

項目 AWS提供機能現在の実装

DNS Amazon Route 53 外部サービスを利用

メール Amazon Simple Email Service 外部サービスを利用

VPN Amazon VPC Open VPNを利用

ロードバランサ Elastic Load Balancing Apacheのmod_proxy_balancerを利用

システム監視をして、リソースが閾値を超えたら
Auto Scaling Auto Scaling
サーバを手動で追加


システム全体アーキテクチャ
本システムは、AWSが提供しているOS、ソフトウェアを使ってシステム基盤を構築し、その上でアプリケーションを開発してい
ます。

Presentation Function Data

フロント画面系コントロールアプリケーション I/F 外部システムI/F

Java 外部連携（XML）外部
JSP
システム
Shell
PCアプリ HTML Java
SA-Struts DB処理トランザクション管理 Database
Apache JavaScript

SQL S2DAO

ブラウザ
共通ファンクション
SSL
Seasar2
Cloud Front MySQL
携帯電話
Infrastructure
Red Hat JBoss Java SE/ Java EE
Enterprise Linux

Platform

Amazon EC2 and S3

Notes: ：Business application ：Common function ：System infrastructure on Cloud （Amazon )


クラウド環境での開発


開発時におけるシステム開発・テスト環境
プロジェクト開始当初、開発はローカルサーバに統合開発環境を構築し、システムテストからAWS上に構築した環境でテスト
を実施しました。開発・テストは従来のやり方と同じです。

開発環境検証環境本番環境

ローカルサーバー Storage Storage
Amazon S3 Amazon S3

バージョン管理 Database Server Database Server

ローカル環境では、検証環境でテストが
開発から結合テスト Application Server 完了したプログラム Application Server
WAS/DB を本番環境へ移送
までを実施。結合テ
ローカル環境 JBoss JBoss
ストが完了したら、
検証環境へプログラ
ムを移送
Web Server Web Server

Eclipseによるローカル Apache
統合開発環境
Amazon EC2 Amazon EC2
• Eclipse
• JDK
• JＵｎｉｔ
• Ａｎｔブラウザ PCアプリブラウザ PCアプリ


グローバル開発拠点からのアクセス
開発・テストをするメンバーの拠点が散らばっていたため、全拠点からアクセスするのに、パフォーマンスを考慮して、US
Westにあるインスタンスを利用しました。各拠点からのアクセスの設定、制御は容易に行うことができました。

中国アメリカ
韓国
日本

インド

- 10 - Copyright © 2011 Accenture All Rights Reserved.

プログラムのバージョン管理
ローカルの開発環境下にSubversionでバージョン管理用のリポジトリを構築し、テスト、本番環境への移送モジュールをBuild
してから、必要なファイルをAWS上の環境に移送しています。

開発環境
検証環境本番環境

Javaプログラム WAS WAS
アプリアプリ
Build 移送資源ケーションケーション
Java Build
プログラム Configuration Build configuration Configuration Configuration

移送 Configuration Configuration

データ Server WAS configuration
ベース Configuration
SQL Database
Configuration Configuration
configuration

Database resources

開発が進むにつれて、移送時にローカル環境から大容量のファイルをAWS上に転送する必要があり、アップロードに時間
がかかりました。アクセス速度が速いAWS東京上にリポジトリを構築すれば、移送時間を短縮して行えます。

開発環境の移設
ローカル環境での移送ファイルが大きくなることを解消するために、ローカルサーバの環境をAWS上に移設しました。

開発環境検証環境本番環境

Amazon EC2 Storage Storage
Amazon S3 Amazon S3

バージョン管理 Database Server Database Server

ローカル環境では、検証環境でテストが
開発から結合テスト Application Server 完了したプログラム Application Server
WAS/DB環境までを実施。結合テを本番環境へ移送
JBoss JBoss
ストが完了したら、
検証環境へプログラ
ムを移送
Web Server Web Server

Eclipseによるローカル Apache
統合開発環境
Amazon EC2 Amazon EC2
• Eclipse
• JDK
• JＵｎｉｔ
• Ａｎｔ Browser PCアプリ Browser PCアプリ


開発時の注意点－EBSとS3のディスクの速度の違い
EBSとS3では、ファイルを読み書きするためのディスクの速度が違うため、最初にEBSにファイルに書いて、非同期でS3に書
き込んで、通常処理はEBS上のファイルで行っています。

☆書き込み速度の違い
S3 EBS
実測値で、EBSへのファイルの読み込み、書き込みの方がS3よりも約8
倍～30倍程度速いので、書き込み時は最初EBSに書いて、参照でよく Read速度 16M/s 100M/s
利用するファイルをそのままEBSに格納し、他のファイルを非同期でS3
に書いています。 Write速度 16M/s 100-400M/s

WASインスタンス

End user 処理であまり使わないファイ
ルを非同期でS3に書き込み
PC ファイル EBS S3
アップロードファイルを
EBSに書き
込み
ファイル
ダウンロード
EBS上のフ
ァイルを読
み込み


開発時の注意点－AWSで開発・テスト環境の構築
AWSのインスタンスが簡単に短時間で準備できるため、テスト時には環境利用の時間的制約やシステム制約を回避するため
に、テスト環境を乱立させがちになります。それぞれの環境の用途と構成管理のコントロールが重要になります。

# 環境用途主担当

1 結合テスト環境機能関連系の検証アプリT

2 トレーニング環境コールセンターオペレータのトレーニング、動作確認 CS

3 ＰＣアプリI/F環境 PCアプリケーションとのIF連携検証アプリT

4 他社I/F検証環境他社システムとのI/F機能検証各対向システム担当

5 UI検証環境画面のUI、ユーザビリティ検証デザインT

6 統合テスト環境ユーザ操作シナリオの正常動作確認アプリT

7 脆弱性テスト環境 OS/NW/アプリケーションのセキュリティ、脆弱性確認基盤T

8 パフォーマンステスト環境各画面の応答時間、高負荷時の動作、限界性能の確認アプリT

9 End to Endテスト環境外部システムとの統合連携確認各対向システム担当

10 運用テスト環境運用フローの正常性確認運用担当

11 受入テスト環境受入テスト実施クライアント


クラウド環境でのシステム運用


運用管理・監視項目
Amazon Cloud Watchで参照できるHWリソースの監視項目に加えて、プロセス監視、アプリケーションのログ管理（Exception監
視）、ジョブ管理を行うため、独自で運用機能を構築しています。

カテゴリ項目概要実施項目

CPU使用率 CPU使用率（idle、user、sys）を取得
CPU情報
ロードアベレージ 直近1、5、15分間のロードアベレージを取得
Cloud Watch

仮想メモリ使用率 仮想メモリに関するメモリ使用率を取得
メモリ情報
実メモリ使用率 実メモリに関するメモリ使用率を取得
で
可
能 デバイス別ディスクI/O回数 デバイス単位のディスクI/Oの読み取り/書き込み回数を取得
ディスク情報 デバイス別ディスクI/O量 デバイス単位のディスクI/Oの読み取り/書き込み量（バイト/S）を取得
ファイルシステム使用率 マウント位置単位のファイルシステム使用率を取得

プロセス監視、 プロセスの稼動監視 利用しているソフトウェアが稼動していることを監視
ポート監視 ポートの監視 ソフトウェアが利用しているポートがOpenとなっていることを監視

独
自アプリケーション アプリケーションレベルのExceptionをモニタリングして、Exception発生
に 例外監視
実ログ監視時に運用担当者にメールで通知
装
ジョブのスケジューリング
ジョブスケジュール
ジョブ管理 ジョブの実行状況を取得し、エラーとなった場合に運用担当者にメール
ジョブ実行管理
で通知


システム監視方法
すべてのシステム状況が監視できるように、Amazon Cloud Watchと並行して運用端末で管理コンソールを使った監視を実施し
ています。リソースが閾値を超えた場合や、エラーを検知した場合には、画面にアラート表示とメールの通知を行っています。

システム監視構成図（一部）管理画面イメージ

1 Mail
WAS
Agent

1 2
DB(Master） Operation
Amazon インターネット
S3 Agent Manager

3
1 Operation
DB(Slave） RDP 運用端末
Client
Agent

1. 監視対象サーバにSNMPエージェントをインストールし、プロセ
ス監視、ログ監視、HWリソース監視、ジョブ管理結果を
Operation Managerへ送信
2. 監視対象のインスタンスからポーリング、SNMPエージェントよ
り定期的に情報を取得
3. GUIでOperation Managerで保持しているサーバの状態を表示


バックアップ概要
システムでは、AWSが提供するバックアップ方式に加えて、障害発生に備えて、システム独自でのバックアップ方式を採用して
います。

バックアップ方式バックアップ対象実行方法バックアップデータ格納場所

OS情報（モジュール、ライブラリ、設定ファイル等）
各ソフトウェア情報 cron
AMIによる
-Apache、JBOSS、MySQL、Operation 及び Amazon S3
バックアップ
-Webアプリケーション運用担当者
AWS

OSおよび各ソフトウェア、Webアプリケーションパラメータ値
提
供
Amazon S3に格納している全ファイル cron
RAID1による
-RAID1（ミラーリング）構成を組んでいるため、自動的にバックアップ及び他サイトのAmazon S3
バックアップ
を取得運用担当者

ユーザデータ情報 Amazon EBS
-ユーザがアップロードした画像ファイル、サムネイル（画像のみ）
アプリケーショ
ログファイル
ンによるバック cron
-OS
独アップ Amazon S3
-各ソフトウェアおよびWebアプリケーション
自 -アプリケーションログ（ログファイル）
に
実
装
レプリケーショ
DBデータ
ンによるバック MySQL DB Slaveサーバ
-MySQLによるMasterからSlvaeへのDBデータコピー
アップ


セキュリティ対策
AWSのインスタンス上でのサーバの設定と、セキュリティソフトウェアを組み合わせることによって、これまでWebサービス向けに実
施してきた脆弱性検証で担保するのと同等のセキュリティを持ったシステムを構築しています。
Notes 8 ウイルスチェックソフトのインストール
N AWSの機能 9 セキュリティパッチの適用

N 独自で開発した機能 5 Firewallによるアクセス制限 10 仮想サーバのアカウント管理
6 Firewallによる接続数制限 11 ログ証跡

1 http通信をSSL
で暗号化

PCアプリ
12 IDS(Snort)による不正アクセスの監視
運用サーバ

LB
インターネット
外部IP

Firewall
ブラウザ 13 SQLインジェクション検知
内部IP Web/APサーバ 14 クロスサイトスクリプティング
15 パラメータチェック
携帯電話

DBサーバストレージ
7 （S3）
2 SSHによるアクセス運用端末からアク 16 DBサーバにアクセスするIPアド
セスするIPアドレス
レスの制限
の制限

3 ParosProxyによる
脆弱性のチェック
I/Fサーバ

4 VPN用認証キー
の配布外部サーバ
運用端末

今後の検討


サービス展開に合わせたインスタンスの配置
グローバルにサービスを展開していく場合、パフォーマンス、コスト、コンプライアンスの観点を考慮し、それぞれの地域でどこ
の国にあるインスタンスを使うか、あるいはインスタンスを１箇所に統合すべきかを検討する必要があります。

サービス提供地域（現在）今後のサービス提供予定地域

US
日本アジアヨーロッパオセアニア南米・・・
US East US West

Web/AP Web/AP

US Westのインス
タンスのみを利用 DB DB
し、全サービスをシンガポール？ EU？？？
実装
Storage Storage
(S3) (S3)

ネットワークの速度を考慮すると、日本はAWS東京サービス提供地域に応じて、どの地域にあるAWSインスタンスを使え
を使うことを検討。US Westと比較して、AWS東京をば、パフォーマンス面、コスト面安いか、コンプライアンス面で問題が
使った場合、アップロードは約3倍、ダウンロードは約ないかを検討し、最終的にどこのリージョンを使うのが最もよいかを決
8倍ネットワークが高速定


20110406aws accenture

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 20110406aws accenture

Ähnlich wie 20110406aws accenture (20)

Mehr von awsadovantageseminar

Mehr von awsadovantageseminar (8)

20110406aws accenture