Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
안효빈
Solutions Architect / Amazon Web Services
30...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터는 계속하여 발생
미터링 기록
모바일 앱 애플리케이션 로그웹 클릭스트림
IoT 센...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
빠른 데이터 분석의 필요성
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터 분석의 중요성
*Aberdeen: Angling for Insight in To...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
그래서 오늘은 실시간 데이터를
빠르게 분석하는
분석 애플리케이션을 만들어 봅니다.
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo J
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석할 데이터
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon.com 에서는
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
EC2 - 클릭스트림 로그 발생
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
데이터 분석 파이프라인
수집 저장 분석/처리 시각화
데이터 결과
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS 빅데이터 분석 서비스 = 서버리스
오케트스트레이션 / 변환
EMR EC2
S3
...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
수집수집 저장 분석/처리 시각화
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (수집)
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Kinesis Data Firehose
• 완전 관리형 서비스
• 서버리스...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. Kinesis Firehose 생성
2. Lambda 전처리
3. Agent Lo...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
수집 단계 요약
• 서버에서 발생하는 데이터를 실시간으로 수집 하는 단계
• Kines...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
저장수집 저장 분석/처리 시각화
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (저장)
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon S3
• 확장성이 뛰어난 오브젝트 스토리지
• 객체 당 1Byte에서 5T...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. S3 에 파일 저장 확인
2. 파일을 열어서 확인
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
저장 단계 요약
• Kinesis를 통해 수집한 데이터를 안전하게 저장하는 단계
• 발...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석수집 저장 분석/처리 시각화
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
작게 시작해서 반복하기
Start Small and Iterate
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (분석)
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS Glue
• 완전 관리형 ETL 서비스
• 서버리스
• AWS에 저장된 데이터를...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Compliance
Glue
데이터 카탈로그
데이터 검색
스키마 추출
Glue 데이터 ...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Athena
• 대화식 쿼리 서비스
• 서버리스
• 표준 (ANSI) SQ...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
1. Glue Crawler
2. Athena Query
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
분석 단계 요약
• S3에 저장된 데이터를 실제로 분석하여 원하는 결과를 얻는 단계
•...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
시각화수집 저장 분석/처리 시각화
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo 아키텍처 (시각화)
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon QuickSight
• 클라우드 기반 관리형 BI 서비스
• 서버리스
• ...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
QuickSight Dashboard 구성
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
시각화 단계 요약
• 수집하고 저장하고 분석한 데이터를 시각화하여 통찰력을 얻는 단계
...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
결론
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
서버리스 빅데이터 분석 애플리케이션 : 결론
ü 빠르게 구축
ü 실시간 데이터 분석
ü...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
본 강연이 끝난 후…
1. 오늘 데모로 보신 데이터 분석 플랫폼을 구축해보세요
http...
© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시...
감사합니다
Nächste SlideShare
Wird geladen in …5
×

30분만에 만드는 AWS 기반 빅데이터 분석 애플리케이션::안효빈::AWS Summit Seoul 2018

3.745 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ..................................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

30분만에 만드는 AWS 기반 빅데이터 분석 애플리케이션::안효빈::AWS Summit Seoul 2018

  1. 1. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 안효빈 Solutions Architect / Amazon Web Services 30분만에 만드는 AWS기반 빅데이터 분석 애플리케이션
  2. 2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터는 계속하여 발생 미터링 기록 모바일 앱 애플리케이션 로그웹 클릭스트림 IoT 센서 스마트 빌딩
  3. 3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 빠른 데이터 분석의 필요성
  4. 4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터 분석의 중요성 *Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence 다양한 데이터를 효율적으로 수집하고 분석하여 활용하고 있는 회사는 경쟁 업체 대비 9% 높은 매출 성장률을 보입니다. 24% 15% 매출 성장률 Leaders Followers
  5. 5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 그래서 오늘은 실시간 데이터를 빠르게 분석하는 분석 애플리케이션을 만들어 봅니다.
  6. 6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo J
  7. 7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 분석할 데이터
  8. 8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon.com 에서는
  9. 9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. EC2 - 클릭스트림 로그 발생
  10. 10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터 분석 파이프라인 수집 저장 분석/처리 시각화 데이터 결과
  11. 11. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS 빅데이터 분석 서비스 = 서버리스 오케트스트레이션 / 변환 EMR EC2 S3 Amazon Redshift DynamoDB AWS DMS (CDC) Lambda Kinesis Analytics Athena QuickSight RDS AWS Glue AWS Step Functions Kinesis Streams 수집 저장 분석 / 처리 시각화 AWS Snowball Kinesis Firehose Amazon Elasticsearch 3rd Party Log Collector
  12. 12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo 아키텍처
  13. 13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 수집수집 저장 분석/처리 시각화
  14. 14. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo 아키텍처 (수집)
  15. 15. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Kinesis Data Firehose • 완전 관리형 서비스 • 서버리스 • 스트리밍 데이터를 손쉽게 캡처 • S3, Redshift, ES 등으로 데이터 로드 • Lambda를 이용한 데이터 전처리 • 데이터 처리량에 대응하여 자동 확장수집
  16. 16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 1. Kinesis Firehose 생성 2. Lambda 전처리 3. Agent Log + S3 수집
  17. 17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 수집 단계 요약 • 서버에서 발생하는 데이터를 실시간으로 수집 하는 단계 • Kinesis Data Firehose를 이용하여 클릭스트림 데이터를 S3에 수집 • Kinesis Agent로 데이터를 수집해 Kinesis Data Firehose로 전송 • Lambda를 이용하여 데이터 전처리
  18. 18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 저장수집 저장 분석/처리 시각화
  19. 19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo 아키텍처 (저장)
  20. 20. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon S3 • 확장성이 뛰어난 오브젝트 스토리지 • 객체 당 1Byte에서 5TB 크기 지원 • 저장할 수 있는 객체 수 제한 없음 • 99.999999999% 의 내구성 제공 • 서버 측 암호화(SSE) 제공 저장
  21. 21. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 1. S3 에 파일 저장 확인 2. 파일을 열어서 확인
  22. 22. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 저장 단계 요약 • Kinesis를 통해 수집한 데이터를 안전하게 저장하는 단계 • 발생한 스트림 데이터를 S3에 안전하게 저장 • 정형, 비정형, 스트림 데이터 상관없이 S3에 저장 • 이후 다양한 분석 서비스에서 S3의 데이터를 분석
  23. 23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 분석수집 저장 분석/처리 시각화
  24. 24. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 작게 시작해서 반복하기 Start Small and Iterate
  25. 25. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo 아키텍처 (분석)
  26. 26. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS Glue • 완전 관리형 ETL 서비스 • 서버리스 • AWS에 저장된 데이터를 자동 검색하고 분류하여 빠르게 분석 가능 • 메타데이터(테이블 정의, 스키마 등) 를 Glue 데이터 카탈로그에 저장 • ETL 코드를 추천 및 생성 분석 / 처리
  27. 27. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Compliance Glue 데이터 카탈로그 데이터 검색 스키마 추출 Glue 데이터 카탈로그 • Glue 크롤러를 통해 자동으로 데이터를 검색하고 스키마를 카탈로그에 저장 • 카탈로그를 통해 Athena, EMR, Redshift Spectrum 에서 즉시 쿼리 • 카탈로그는 ETL 에 사용 가능
  28. 28. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Athena • 대화식 쿼리 서비스 • 서버리스 • 표준 (ANSI) SQL 을 이용해 S3에 저장된 데이터를 분석 • 실행한 쿼리에 대한 비용만 지불 분석 / 처리
  29. 29. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 1. Glue Crawler 2. Athena Query
  30. 30. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 분석 단계 요약 • S3에 저장된 데이터를 실제로 분석하여 원하는 결과를 얻는 단계 • Glue 크롤러를 사용하여 S3 에 저장된 데이터의 스키마를 추출하여 데이터 카탈로그 생성 • Glue 데이터 카탈로그와 Athena를 이용해 S3 에 저장된 데이터를 간편하게 분석 • 표준 SQL을 이용한 대화식 쿼리
  31. 31. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 시각화수집 저장 분석/처리 시각화
  32. 32. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Demo 아키텍처 (시각화)
  33. 33. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon QuickSight • 클라우드 기반 관리형 BI 서비스 • 서버리스 • 다양한 데이터에 쉽게 연결하고 빠르게 시각화 가능 • 스토리 보드를 통한 공유 및 협업 • 모든 브라우저 및 다양한 모바일 플랫폼 지원 시각화
  34. 34. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. QuickSight Dashboard 구성
  35. 35. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 시각화 단계 요약 • 수집하고 저장하고 분석한 데이터를 시각화하여 통찰력을 얻는 단계 • QuickSight에서 손쉽게 데이터에 연결하고 시각화 • QuickSight의 빠른 인 메모리 병렬 계산 엔진인 SPICE 를 이용하여 빠르게 업데이트
  36. 36. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 결론
  37. 37. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 서버리스 빅데이터 분석 애플리케이션 : 결론 ü 빠르게 구축 ü 실시간 데이터 분석 ü 서버 관리 불필요 ü 유연하게 확장 ü 무제한 데이터 저장 ü 유휴 용량 없음
  38. 38. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 본 강연이 끝난 후… 1. 오늘 데모로 보신 데이터 분석 플랫폼을 구축해보세요 https://bit.ly/aws-analytics 2. 이어지는 세션에서 각각의 서비스에 대한 보다 더 자세한 내용을 들으실 수 있습니다 3. AWS의 다양한 분석 서비스를 확인해보세요 https://aws.amazon.com/ko/products/analytics
  39. 39. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS Summit 모바일 앱과 QR코드를 통해 강연 평가 및 설문 조사에 참여해 주시기 바랍니다. 내년 Summit을 만들 여러분의 소중한 의견 부탁 드립니다. #AWSSummit 해시태그로 소셜 미디어에 여러분의 행사 소감을 올려주세요. 발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로 공유될 예정입니다. 여러분의 피드백을 기다립니다!
  40. 40. 감사합니다

×