빅데이터 기반의 End-to-End APM 사례, 그리고 비정형 데이터 분석 사례 자료입니다. 코세나(kosena), 이승훈 실장 admin@kosena.kr, kosena21@naver.com 010-9338-6400

1. Lee at MOS Asia
SMARTSIGHTSANDBIGDATA

2. 부서별 사용
특화리포트
QOS/포렌식/BI
통합모니터링
빅데이터 BIZ - 고객과의 눈높이..
원인분석/
트레이싱
빅데이터
현업/지속활용
예측/전사 활용
small
Big
smart
all
Data

3. End-to-End
APM

4. 4Global Field Enablement - Copyright © 2014 Splunk, Inc.
뱅킹 애플리케이션 아키텍처
4
Loans&Credits
FX
Import / Export
Deposit
(TD,DD) FBS Securities Promissory
Notes
MerchantChequesNBS EFT
DAL
Batch Operations
ATM
POS
Teletel
Telerom
Teller (Branch)
Internet Banking
Phone Banking
Internet Shopping
PCM Campaign
Management
Credit Risk
Management Productivity
CIF Product Factory Portfolio
Management
I
N
F
O
C
E
N
T
E
R
Sales Support
System YKB HRPaymentsCMS Treasury
Relationship Management
DeliveryServices
Management & Control
Reporting
InformationDelivery
Settlement
GL / Accounting
Corporate Tables

5. 5Global Field Enablement - Copyright © 2014 Splunk, Inc.
PIB 아키텍쳐의 샘플 개요
5
Internet Banking Ap
plication
Back-end Connecto
r
Put/Get
messages
Business Services
Business Services
Governance
Application
Server
Back-end message
queue manager
Back-end message
queue manager Database
Communicates
Store data
Uses / Calls
Monitors
ManagesPut/Get
messages

6. 6Global Field Enablement - Copyright © 2014 Splunk, Inc.
스플렁크 도입 전 – 해결 과제
6
 로그는 중앙 로그 서버에 저장된– 액세스 로그인이 필요.
 고객에 로그온할 때, 그는 실제로 10개의 다른 시스템을
통해 서비스 접속
 문제 해결 중, 하나의 연속적인 세션에 서로 다른 로그
구성 요소를 젤하기 쉽지 않다.
 필요한 정보를 'grep'하는 복잡한 스크립트를 작성해야 –
어렵고 시간이 소요 - 건초 더미에서 바늘을 찾으려고.
 문제를 해결하려면, 한사람이 응용 프로그램 및 로깅
흐름을 모두 이해해야 합니다.

7. 7Global Field Enablement - Copyright © 2014 Splunk, Inc.
스플렁크 도입 후 – 서비스 향상
7
 지원 팀을 위한 아주 간단한 인터페이스 생성
 지원팀은 PIB 서비스 문제가 발생하는 고객의 이름을
입력하기만 하면 됩니다.
 고객이 PIB 서비스를 사용했을 때 Splunk는 사용자의
활동의 엔드 - 투 – 엔드 뷰를 수행합니다.
즉각적인 원인 파악

8. 8Global Field Enablement - Copyright © 2014 Splunk, Inc.
이기종 분산 시스템에서 엔드 - 투 – 엔드 뷰
8
Requesting
App
Message
Broker
MQ App
accountNumber=COT6037774908, host=1
0.34.50.48, messageDetails=Begin posting
message to content store
Requesting App
accountNumber=COT6037774908 threadI
D=“46321 transactionStatus="COMPLETE
”
Message Broker
46321: An ItemNotFoundException occurr
ed: Queue_ID_9
MQ App
Tracking transaction across different co
mponents across the infrastructure

9. 9
2010-03-24 11:28:54,301 [WEB] INFO messageType = POST, messageStatus = INIT, accountNumber =
COT6037774908, host = 10.34.50.48, messageDetails = Begin posting message to content store
2010-03-24 11:28:54,322 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber
= COT6037774908, host = 10.34.50.48, messageDetails = Opening connection to host:
[ www.contentstore.com:80 ]
2010-03-24 11:28:54,397 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber
= COT6037774908, host = 10.34.50.48, messageDetails = Connection established to host:
[ www.contentstore.com:80 ]
2010-03-24 11:28:54,474 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber
= COT6037774908, host = 10.34.50.48, messageDetails = Writing message to host:
[ www.contentstore.com:80 ]
<TRANSACTION date=”24032010 11:28:54,797" activityCode="1010" sequenceNumber="100198887"
accountNumber="COT6037774908” threadID=”46321" callerID="MAR10209LA"
transactionStatus=”FAILURE" result=”FATAL" host="10.34.51.91" comment="Invocation of Content API
for sequenceNumber 100198887 failed” >
이기종 분산 시스템에서 엔드 - 투 – 엔드 뷰

10. 웹 서비스 이상 분석
10
WEB 서버
- 서버 OS환
경
- 시스템 로그
- Web 로그
Load
Balancer
WAS 서버
- 서버 OS환
경
- 시스템 로그
- WAS 로그
- APP 로그
DB 서버
- 서버 OS환
경
- 시스템 로그
- DB 로그
특화 서버
- 서버 OS환
경
- 시스템 로그
- APP 로그
시스템 명령어 내역, 시스템 로그, APP 로그, DB데이터 등 총 200+ 관리 포인트
Intern
al
Server
Error
문제발생
500에러
발생
WAS 2 문
제
DB 3 문제

11. 11
서비스 이상 분석
외부 인터
넷
데이터
서비스
시스템
미들웨어
오류
문제 IP 세션정보
유해 감염 정보
서비스 정보
문제 외부 IP
사용자 ID
WHO IS 의 외부 DB
문제 IP프로세스
문제 IP
Database
여러 이종의 데이터의 복합 검색 및 분석의 요구사항 충족
123.23.56.45  문제의 IP 검
색

12. 비정형 데이터
분석>

13. 인터넷
내부 정보
증권사 사이트
주요 신문 사이트
일반 개인 및 PDA 서비스
스포츠
건강, 의학
지역정보, 예술
뉴스, 미디어
비즈니스, 경제
사회, 문화
학문, 과학
엔터테인먼트
수집정보제공
수집 정책 관리 www.daum.net
www.yahoo.co.kr
www.naver.com
www.paran.com
스켸쥴관리
웹정보 수집
(DB, HTML, 워드문서, 동영상, 이미지
등)
특정 URL
특정 정보 수집
수집 지시
웹정보 Dead Checker
& Update Checker
URL DB
원문 DB수집 DB
저장
DB 관리
스플렁크의 정형/비정형 수집 모듈
iRS Apps

14. 비정형화된 Data(WEB, Twitter, Facebook 등…)를 IRS InfoCature, iDocuFilter를 이용하여
형태소 분석 후 스클렁크에 인덱싱하여 분석, 대쉬보드, 경고, 리포팅 기능을 수행한다.
형태소
분석
비정형 데이타
ex) 대한민국은 세계최강의 IT 강국중의
하나이다
ex) 대한민국은 세계최강의 IT 강국중의 하나
이다|대한민국|한국|세계|최강|IT|강국
추이,민감도,감
성,소셜등 분석
스플렁크의 정형/비정형 분석
iRS Apps

15. 비정형화된 Data를 Splunk 시스템에 인덱싱하여 대쉬보드, 리포트, Splunk APP로 구성
Dashboard Report Splunk
APP
비정형 데이터
정형 데이터(OLAP)
WEB, SNS, 외부 의료 약품 정보
JOI
N
비정형 데이터
HTTP
/FTP/SCP날씨정보
………………의료,
약품정보
날씨정보
………………
날씨정보
………………의료,
약품정보
의료,
약품정보
사용자
Visualization
InfoCaptur
e
통합 데이터
플랫폼
Splunk
iDocuFilter
스플렁크의 정형/비정형 분석
iRS Apps

16. 센서 : 보행자, 수량, 수위, 교통량, 지하수
DB : 예산, 회계, 사건 사고, 범죄, 조례, 법규
외부기관 : 소방, 화재, 지도, 날씨, 지질정보, 토양,
농작물/수산 정보
소설 : 웹 크롤링, 트위터, 페이스북, 소셜 사이트 정보
예산 삭감에 따른 범죄율 및 사고 증감의 상관 관계
출산율과 건강교육과의 상관 관계
화재발생화 질병 발생률 간의 상관 관계
지자체 간의 강수량에 따른 침수 및 홍수 발생 관계
…
…
…
민원 : 민원 데이터
웹 : 서비스 포텅 및 서비스 데이터
정책 DB : 상위 기관 정책, 내부 지역 정책
지역민들의 최근 관심의 대상인 정책 사안 파악
중앙기관 정책에 따른 지역민들의 반응 및 동향 분석
과거 언론 보도에 따른 지역 이슈들의 상관 관계 및 통계 분석
….
….
….
각종 언론 매체
스플렁크의 공공 데이터 분석

17. 사례 – 소셜/검색 분석
검색어 모니터링

18. Splunk를 활용하여
내부전문가가 즉각적인 Visual 분석을
통해 이슈를 해결
빅데이터 플랫폼의 지속적인 활용

19. +
Successful Ingredient of Data Analysis
19
Machine
Data
+
Splunk
Platform Analysis
Logic
Data
Science
Very Satisfied Customer

20. 같은 생각/행동 다른 결과