Sources와 Sinks를 Confluent Cloud에 원활하게 연결

Sources와 Sinks를 Conﬂuent Cloud에
원활하게 연결
HyunSoo Kim
Senior Solutions Engineer, Korea SE Team Lead

Copyright 2020, Confluent, Inc. All rights reserved. This document may not be reproduced in any manner without the express written permission of Confluent, Inc.
주제
2
1. 워크샵 팁 및 도움말
2. 프레젠테이션: Confluent Connectors 개요 및 이용 사례
3. 워크샵: Confluent 전문가가 안내하는 Hands-on Lab
4. Q&A

C O N F I D E N T I A L
3
워크샵 팁 및 도움말:
1. 세션이 진행되는 동안 '채팅' 창에서 지침을 확인하세요.
[Zoom 하단의 도구 모음에 있는 아이콘]
2. 기술적인 문제가 있는 경우
'손 들기' 버튼을 클릭하거나 '채팅' 창에 글을 올려주세요.
[Conﬂuent 팀원이 도와드립니다.]
3. 이 세션은 대화형 세션이므로 Zoom 하단의 도구 모음에 있는 'Q&A 버튼'을 활용해 질문을
해주시기 바랍니다. 세션이 끝나기 전에 'Q&A' 시간도 가질 예정입니다.

이벤트 기반 아키텍처로의 전환을 고려하기 전에는...
기존 아키텍처는 다음과 같은 모습이었습니다.
• 확장이 어렵고 처리량이 적음
• 여러 개의 단일 장애 지점(Single Points of Failure)
• 비영구적 데이터
• 데이터 통합이 복잡
• 높은 레거시 시스템 비용

그리고 시간이 지나면서 이렇게 바뀌었습니다...
5
비즈니스 부문 1 비즈니스 부문 2 퍼블릭 클라우드

Data in Motion을 위한 Conﬂuent
실시간 재고 관리 실시간 사기
탐지
실시간
고객 360
머신
러닝
모델
실시간 데이터
변환
LOB
앱
이벤트 스트리밍 애플리케이션
범용 이벤트 파이프라인
Hadoop ...
장치
로그 ... 앱 ...
데이터
웨어하우스
Splunk ...
데이터 저장소 로그 타사 앱 사용자 정의 앱 / 마이크로서비스
메인프레임
마이크로
서비스

Kafka Connect
알려진 시스템(데이터베이스, 오브젝트 스토리지, 큐 등)을
Apache Kafka에 연결하는 코드 없는 방식
Kafka Connect Kafka Connect
데이터
Sources
데이터
Sinks

Kafka Connect(ETL과 유사)
8

널리 사용되는 Data Sources & Sinks 연결
데이터
다이오드
175+
사전 구축된
connectors
80개 이상의 Conﬂuent 지원 45개 이상의 파트너 지원, Conﬂuent 인증

다음을 통해 connector를 쉽게 찾아볼
수 있습니다.
• Source vs. Sinks
• Confluent 지원 vs 파트너 지원
• 상업용 vs 무료
• Confluent Cloud에서 이용 가능
confluent.io/ko-kr/hub
Confluent Hub

Kafka Connect 용어
12
Connector
- Source
- Sink
Connect Worker
- Distributed
- Standalone
Tasks Converters &
Transforms

Workers, Connectors and Tasks (1/3)
13
JDBC Source Oracle DB1
task 2
task 1
Kafka Connect Worker 1 Kafka Connect Worker 2 Kafka Connect Worker 3
HDFS Sink Connector
task 2
task 1
task 4
task 3
HDFS Sink Connector
task 4
task 3
task 6
task 5
HDFS Sink Connector
task 6
task 5
13
JDBC Sink Oracle DB2
task 1

14
task 2
task 1
HDFS Sink Connector
task 2
task 1
task 4
task 3
HDFS Sink Connector
task 4
task 3
task 6
task 5
HDFS Sink Connector
task 6
task 5
14
task 1

15
task 2
task 1
HDFS Sink Connector
task 2
task 1
task 4
task 3
HDFS Sink Connector
task 4
task 3
HDFS Sink Connector
task 6
task 5
15
task 6
task 5
task 1

16
Self managed vs Fully managed ?

Fully Managed
Connectors
● Conﬂuent Cloud에서 완전히 관리되고
호스팅됨
● 간단한 GUI 기반 구성 - UI, ccloud CLI
또는 Connect API를 사용하여 쉽게
설정 가능
● 관리할 인프라가 없는 탄력적인 확장
● 완전 관리형 Connector 30개, 지금도
계속 증가하고 있음

Self Managed Connectors
1) Confluent Platform을 사용하여 로컬
Connect 클러스터 배포
2) Confluent Cloud에 로컬 Connect 클러스터
연결
3) Connect 클러스터에 Self Managed
Connector 설치
4) Connector 실행
18
● Confluent Cloud의 클러스터에 연결된 로컬
Kafka Connect 클러스터에 설치
● Confluent에서 지원
● 다양한 배포 방법:
○ Zip
○ RPM(RHEL 및 Centos)
○ DEB(Ubuntu 및 Debian)
○ Docker
○ Kubernetes - Confluent Operator
○ Terraform(GCP/AWS용)

Schema Registry
앱 1
!
Schema
Registry
Kafka
topic
!
Serializer
앱 1
Serializer
• 앱 개발 호환성 지원
• 표준 스키마를 사용하여 개발
• 모든 표준 스키마의 버전화된 기록 저장
및 공유
• 클라이언트 또는 커넥터 수준에서
데이터 호환성 확인
• 운영 복잡성 감소
• 스키마를 표준화하여 개발자들 간의
시간이 많이 걸리는 조정 방지

Conﬂuent Cloud
동적 성능 및 탄력성
자동 밸런싱 및 업그레이드
유연한 DevOps 자동화
CLI | Terraform | Operator | Ansible
GUI 기반 관리 및 모니터링
클라우드 대시보드 | Metrics API
규모에 맞는
효율적인 운영
선택의 자유
커미터 기반의 전문성
이벤트 스트리밍 데이터베이스
ksql
풍부한 사전 구축 에코시스템
Connectors | Hub | Schema Registry
다국어 개발
비 Java 클라이언트 | REST 프록시
글로벌 탄력성
Replicator
데이터 호환성
Schema Registry
엔터프라이즈급 보안
SSO/SAML | ACL
아키텍트
운영자
개발자
오픈 소스 | 커뮤니티 라이선스
무제한의
개발자 생산성
프로덕션 단계 전제조건
완전 관리형 클라우드 서비스
자체 관리형 소프트웨어
교육 파트너
엔터프라이즈
지원
프로페셔널
서비스
Apache Kafka

Copyright 2021, Confluent, Inc. All rights reserved. This document may not be reproduced in any manner without the express written permission of Confluent, Inc. 22
Confluent Cloud 계정 가입하기
● 여기서 가입하세요! https://www.confluent.io/confluent-cloud/tryfree/
● 가입을 완료하고 로그인한 후 우측 상단에 있는 메뉴 아이콘을 클릭하고 "Billing & payment"를
클릭한 다음 "Payment details & contacts"에 결제 정보를 입력합니다.
● Confluent Cloud 계정에 가입하면 처음 두 달 동안 Confluent Cloud 계정에 최대 400달러의
크레딧이 추가됩니다.
● 참고: 이 워크샵에서는 비용이 발생하는 리소스를 생성하게 됩니다. 400달러의 크레딧으로 워크샵 중에
생성한 리소스 비용을 충당합니다. 추가 비용이 발생하지 않도록 "클러스터를 스핀다운"하세요.
랩 가이드:
https://github.com/confluentinc/commercial-workshops/tree/master/series-getting-started-wi
th-cc/workshop-connectors

워크샵 내용
23
- 완전 관리형(fully-managed), 셀프 관리형(self-managed) connector를 이용해
Conﬂuent Cloud 환경 설정하기
- 완전 관리형(fully-managed), 셀프 관리형(self-managed) connector의 사용 사례
배우기
- Conﬂuent Cloud 환경에서 data의 엔드투엔드 흐름 확인하기

워크샵 아키텍처 다이어그램 본 실습에서는
GCS 사용

워크샵 주의사항
26
- 완전히 새로운 Environment를 생성하세요.
- GCP Seoul Region을 선택해서 Conﬂuent Cloud 생성하세요.
- Pre-requisites : 6번 항목
Service Account는 이미 생성되어서 제공됩니다
Bucket Name : bucket_workshop_20220223_kr
Region : asia-northeast3 (Seoul)
IAM Policy는 이미 적용되어 있습니다
- Fully-Managed Google Cloud Storage(GCS) Sink Connector 사용
Use an existing API key 선택

Fully-Managed Google Cloud Storage(GCS) Sink
Connector 생성 화면
27
bucket_workshop_20220223_kr
중요

docker-compose 실행 결과
28

목표 과제
29
GCS Sink Connector 생성후 정상 동작 화면 캡처 후
메일(korea-marketing@conﬂuent.io)로 전송

Sources와 Sinks를 Confluent Cloud에 원활하게 연결

Sources와 Sinks를 Confluent Cloud에 원활하게 연결

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Sources와 Sinks를 Confluent Cloud에 원활하게 연결

Ähnlich wie Sources와 Sinks를 Confluent Cloud에 원활하게 연결 (20)

Mehr von confluent

Mehr von confluent (20)

Sources와 Sinks를 Confluent Cloud에 원활하게 연결