SlideShare ist ein Scribd-Unternehmen logo
1 von 48
Elasticstack으로
생초보도 할 수 있는
데이터 시각화
JAVACAFE
최용호
발표자
• 최용호
• 넥슨 코리아
• 자바카페 운영진
• 엘라스틱서치 실무 가이드 저자 중 1인
1. 데이터 수집의 목적
2. 데이터 파이프라인
3. 비츠
4. 로그스태시
5. 키바나
우리는 왜 데이터를 수집하려 할까?
로그 중앙화
사용자 행동 분석
이상징후 탐지
추천 서비스
우리가
알아볼 내용은?
1. 데이터 수집의 목적
2. 데이터 파이프라인
3. 비츠
4. 로그스태시
5. 키바나
일반적인 Elasticstack 파이프라인
일반적인 Elasticstack 파이프라인
Elasticstack은 ETL을 할 수 있는 하나의 도구
우리 회사의 서비스에 가장 적합한
도구를 선택하는 것이 중요!
우리 회사의 서비스에 가장 적합한
도구를 선택하는 것이 중요!
서비스
이해도
우리 회사의 서비스에 가장 적합한
도구를 선택하는 것이 중요!
트렌드
서비스
이해도
우리 회사의 서비스에 가장 적합한
도구를 선택하는 것이 중요!
트렌드
서비스
이해도
방법
우리 회사의 서비스에 가장 적합한
도구를 선택하는 것이 중요!
트렌드
서비스
이해도
방법
데이터 수집
데이터 소스
데이터 수집
데이터 소스
• 수집할 데이터의 대상
• 데이터베이스, 웹, 파일 등등
데이터 수집
데이터 소스
이 때 수집되는 데이터들은
비정형 데이터
데이터 가공
데이터 소스
가공
데이터 가공
데이터 소스
가공
• 필요 없는 데이터 제거
• 데이터 형식 변환
• 데이터 첨가
데이터 저장
데이터 소스
저장소
가공
데이터 시각화
데이터 소스
저장소
분석 및 시각화
가공
ElasticStack in 데이터 파이프라인
데이터 소스
저장소
분석 및 시각화
가공
ElasticStack in 데이터 파이프라인
데이터 소스
저장소
분석 및 시각화
가공
ElasticStack in 데이터 파이프라인
데이터 소스
저장소
분석 및 시각화
가공
ElasticStack in 데이터 파이프라인
데이터 소스
저장소
분석 및 시각화
가공
1. 데이터 활용
2. 데이터 파이프라인
3. 비츠
4. 로그스태시
5. 키바나
비츠의 역할
데이터 소스
저장소
분석 및 시각화
가공
비츠의 특징
데이터 소스
Agent
비츠의 특징
데이터 소스
Agent
Light
weight
비츠의 특징
데이터 소스
Agent
Light
weight
Modules
Beats 아키텍처
Beats 종류
1. 데이터 활용
2. 데이터 파이프라인
3. 비츠
4. 로그스태시
5. 키바나
로그스태시 역할
데이터 소스
저장소
분석 및 시각화
가공
로그스태시의 기능
데이터 소스
가공
Input
Plugin
로그스태시의 기능
데이터 소스
가공
Input
Plugin
Filter
Plugin
로그스태시의 기능
데이터 소스
가공
Input
Plugin
Filter
Plugin
Output
Plugin
1. 데이터 활용
2. 데이터 파이프라인
3. 비츠
4. 로그스태시
5. 키바나
키바나 역할
데이터 소스
저장소
분석 및 시각화
가공
키바나 역할
분석 및 시각화
키바나 역할
분석 및 시각화
키바나 역할
분석 및 시각화
Demo
http://bit.ly/2lybE9W
Thank you

Weitere ähnliche Inhalte

Mehr von 용호 최

데이터 수집부터 시각화까지
데이터 수집부터 시각화까지데이터 수집부터 시각화까지
데이터 수집부터 시각화까지용호 최
 
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)[For.D] 개발자 경력을 위한 소프트 스킬 (2019)
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)용호 최
 
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)용호 최
 
[자바카페] Elasticsearch Aggregation (2018)
[자바카페] Elasticsearch Aggregation (2018)[자바카페] Elasticsearch Aggregation (2018)
[자바카페] Elasticsearch Aggregation (2018)용호 최
 
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP용호 최
 
[넥슨] kubernetes 소개 (2018)
[넥슨] kubernetes 소개 (2018)[넥슨] kubernetes 소개 (2018)
[넥슨] kubernetes 소개 (2018)용호 최
 
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기용호 최
 
[넥슨토크] 모바일게임 하이브 런칭기 (2018)
[넥슨토크] 모바일게임 하이브 런칭기 (2018)[넥슨토크] 모바일게임 하이브 런칭기 (2018)
[넥슨토크] 모바일게임 하이브 런칭기 (2018)용호 최
 
[자바카페] Infra CI (2018)
[자바카페] Infra CI (2018)[자바카페] Infra CI (2018)
[자바카페] Infra CI (2018)용호 최
 
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)[AWSKRUG] 모바일게임 하이브 런칭기 (2018)
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)용호 최
 
[자바카페] 람다 아키텍처, 더 깊이 살펴보기
[자바카페] 람다 아키텍처, 더 깊이 살펴보기[자바카페] 람다 아키텍처, 더 깊이 살펴보기
[자바카페] 람다 아키텍처, 더 깊이 살펴보기용호 최
 
[자바카페] 람다 일괄처리 계층 사례
[자바카페] 람다 일괄처리 계층 사례[자바카페] 람다 일괄처리 계층 사례
[자바카페] 람다 일괄처리 계층 사례용호 최
 
[자바카페] 람다 일괄처리 계층
[자바카페] 람다 일괄처리 계층[자바카페] 람다 일괄처리 계층
[자바카페] 람다 일괄처리 계층용호 최
 
[자바카페] Amazon Elastic Beanstalk 소개 (2017)
[자바카페] Amazon Elastic Beanstalk 소개 (2017)[자바카페] Amazon Elastic Beanstalk 소개 (2017)
[자바카페] Amazon Elastic Beanstalk 소개 (2017)용호 최
 
[자바카페] 자바 객체지향 프로그래밍 (2017)
[자바카페] 자바 객체지향 프로그래밍 (2017)[자바카페] 자바 객체지향 프로그래밍 (2017)
[자바카페] 자바 객체지향 프로그래밍 (2017)용호 최
 
Solr 디렉토리 구조와 관리 콘솔
Solr 디렉토리 구조와 관리 콘솔Solr 디렉토리 구조와 관리 콘솔
Solr 디렉토리 구조와 관리 콘솔용호 최
 
[Solr 스터디] Solr 설정 및 색인 (2017)
[Solr 스터디] Solr 설정 및 색인 (2017)[Solr 스터디] Solr 설정 및 색인 (2017)
[Solr 스터디] Solr 설정 및 색인 (2017)용호 최
 
Docker & Kubernetes 기초 - 최용호
Docker & Kubernetes 기초 - 최용호Docker & Kubernetes 기초 - 최용호
Docker & Kubernetes 기초 - 최용호용호 최
 
모바일 게임 하이브 런칭기 - 최용호
모바일 게임 하이브 런칭기 - 최용호모바일 게임 하이브 런칭기 - 최용호
모바일 게임 하이브 런칭기 - 최용호용호 최
 
객체지향 프로그래밍 기본
객체지향 프로그래밍 기본객체지향 프로그래밍 기본
객체지향 프로그래밍 기본용호 최
 

Mehr von 용호 최 (20)

데이터 수집부터 시각화까지
데이터 수집부터 시각화까지데이터 수집부터 시각화까지
데이터 수집부터 시각화까지
 
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)[For.D] 개발자 경력을 위한 소프트 스킬 (2019)
[For.D] 개발자 경력을 위한 소프트 스킬 (2019)
 
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)
[DDD] 모바일 게임을 만들기 위한 AWS 고군분투기 (2019)
 
[자바카페] Elasticsearch Aggregation (2018)
[자바카페] Elasticsearch Aggregation (2018)[자바카페] Elasticsearch Aggregation (2018)
[자바카페] Elasticsearch Aggregation (2018)
 
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP
[GCP Summit 2018] Kubernetes with Nginx and Elasticsearch on GCP
 
[넥슨] kubernetes 소개 (2018)
[넥슨] kubernetes 소개 (2018)[넥슨] kubernetes 소개 (2018)
[넥슨] kubernetes 소개 (2018)
 
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기
[AWS Summit 2018] 모바일 게임을 만들기 위한 AWS 고군분투기
 
[넥슨토크] 모바일게임 하이브 런칭기 (2018)
[넥슨토크] 모바일게임 하이브 런칭기 (2018)[넥슨토크] 모바일게임 하이브 런칭기 (2018)
[넥슨토크] 모바일게임 하이브 런칭기 (2018)
 
[자바카페] Infra CI (2018)
[자바카페] Infra CI (2018)[자바카페] Infra CI (2018)
[자바카페] Infra CI (2018)
 
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)[AWSKRUG] 모바일게임 하이브 런칭기 (2018)
[AWSKRUG] 모바일게임 하이브 런칭기 (2018)
 
[자바카페] 람다 아키텍처, 더 깊이 살펴보기
[자바카페] 람다 아키텍처, 더 깊이 살펴보기[자바카페] 람다 아키텍처, 더 깊이 살펴보기
[자바카페] 람다 아키텍처, 더 깊이 살펴보기
 
[자바카페] 람다 일괄처리 계층 사례
[자바카페] 람다 일괄처리 계층 사례[자바카페] 람다 일괄처리 계층 사례
[자바카페] 람다 일괄처리 계층 사례
 
[자바카페] 람다 일괄처리 계층
[자바카페] 람다 일괄처리 계층[자바카페] 람다 일괄처리 계층
[자바카페] 람다 일괄처리 계층
 
[자바카페] Amazon Elastic Beanstalk 소개 (2017)
[자바카페] Amazon Elastic Beanstalk 소개 (2017)[자바카페] Amazon Elastic Beanstalk 소개 (2017)
[자바카페] Amazon Elastic Beanstalk 소개 (2017)
 
[자바카페] 자바 객체지향 프로그래밍 (2017)
[자바카페] 자바 객체지향 프로그래밍 (2017)[자바카페] 자바 객체지향 프로그래밍 (2017)
[자바카페] 자바 객체지향 프로그래밍 (2017)
 
Solr 디렉토리 구조와 관리 콘솔
Solr 디렉토리 구조와 관리 콘솔Solr 디렉토리 구조와 관리 콘솔
Solr 디렉토리 구조와 관리 콘솔
 
[Solr 스터디] Solr 설정 및 색인 (2017)
[Solr 스터디] Solr 설정 및 색인 (2017)[Solr 스터디] Solr 설정 및 색인 (2017)
[Solr 스터디] Solr 설정 및 색인 (2017)
 
Docker & Kubernetes 기초 - 최용호
Docker & Kubernetes 기초 - 최용호Docker & Kubernetes 기초 - 최용호
Docker & Kubernetes 기초 - 최용호
 
모바일 게임 하이브 런칭기 - 최용호
모바일 게임 하이브 런칭기 - 최용호모바일 게임 하이브 런칭기 - 최용호
모바일 게임 하이브 런칭기 - 최용호
 
객체지향 프로그래밍 기본
객체지향 프로그래밍 기본객체지향 프로그래밍 기본
객체지향 프로그래밍 기본
 

Elasticstack으로 생초보도 할 수 있는 데이터 시각화 - 최용호