서버에서 발생하는 로그를 Fluentd를 활용하여 Object Storage에 저장하는 법에 대해서 소개합니다. | This section describes how to save logs from a server to Object Storage using Fluentd

1. Fluentd를 이용한
ObjectStorage 로그 저장
[네이버클라우드플랫폼 온라인 교육 시리즈]

2. Fluentd

3. Fluentd를 활용한 로그 수집
access.log
access.log
access.log
buffer
access.log
Object Storage

4. Fluentd 구조
Input Engine
Fliter Buffer Output
Output
로그 저장

5. Fluentd 수집 아키텍처
Log File
Application
Fluentd
Log File
Application
Fluentd
.
.
.
Object Storage

6. Fluentd 수집 아키텍처 (fail-over, routing)
Log File
Application
Fluentd
Log File
Application
Fluentd
.
.
.
Object Storage
Fluentd
Fluentd
Archive Storage

7. Fluentd Plugins

8. Object Storage SDK
AWS S3 호환성을 위해, AWS SDK 사용 가능

9. Object Storage 접속 정보
목적지 정보 (Region, Endpoint URL)
인증 정보 (Access Key ID, Secret Key)

10. Object Storage SDK Sample
service_name = 's3'
endpoint_url = 'https://kr.objectstorage.ncloud.com'
region_name = 'kr-standard'
access_key = 'qEvQEqjALeNxsOXqAa0F'
secret_key = 'sU9ZMODPKawiR9lA2cKoKfjs9pv71pfy0eo2hkXQ'
s3 = boto3.client(service_name, endpoint_url=endpoint_url, aws_access_key_id=access_key,
aws_secret_access_key=secret_key)
s3.upload_file(file_path, bucket_name, file_name) # object 업로드
s3.put_object(Bucket=bucket_name, Key=folder_name) # folder 생성
Python Sample 소스
Object Storage 호출 도메인
리전
인증키

11. Fluentd를 이용한 로그 수집 데모

12. Fluentd Apache 로그 수집

13. Bucket 생성
All Products > Object Storage > 버킷 생성

14. Object Storage 접속 정보
API 인증키 복사
계정관리 > 인증키 관리 > Access Key ID, Secret Key
접속 정보
Region : kr-standard
EndPoint Url : https://kr.objectstorage.ncloud.com

15. Apache 웹서버 생성
서버 생성 (cento-7.3-64, vCPU 2, Memory 4GB)

16. Apache 설치
Apache 설치
yum -y install httpd
systemctl enable httpd
systemctl start httpd
chmod 777 /var/log/httpd

17. Fluentd 설치
Fluentd 설치
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.5.sh | sh
Launch Daemon
sudo /etc/init.d/td-agent start
TEST
curl -X POST -d 'json={"json":"message_test"}' http://localhost:8888/debug.test
tail -f /var/log/td-agent/td-agent.log

18. Fluentd 테스트
curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test

19. vi /etc/td-agent/td-agent.conf
Fluentd conf 설정 – 수집대상
conf 파일 수정

20. Fluentd conf 설정 – 대상 스토리지

21. Object Storage 저장

22. Object Storage 로그 저장

23. 감사합니다.