[AWS SAP] 실시간의 로그 수집, 저장과 Daily Batch 처리

Req)

무선서비스를 제공하는 어떤 기업이 사용자 액티비티에 대한 로그 파일을 저장&분석하는 솔루션을 필요로 합니다. 

현재 로그 파일은 일일로 리눅스 EC2인스턴스에 전달됩니다. 배치 스크립트는 하루에 한 번 동작해서 3rd party 툴에 의해 분석을 위해 사용한 데이터를 집계합니다. 3rd party툴로 넘겨진 데이터는 엔드 유저를 위한 시각화를 생성하는데 사용됩니다. 배치 스크립트는 유지하기에 귀찮고, 몇 시간이 걸려서야 증가하는 데이터 볼륨을 3rd party 툴에 전달합니다.

그 기업은 비용을 낮추고 개발 노력과 관리 오버헤드를 최소화할 수 있는 새로은 툴을 고려하고 싶어합니다.  

그 기업은 좀 더 애자일한 솔루션을 만들어서 데이터를 실시간의 최소 오버헤드로 저장하고 분석을 수행할수 있기를 바랍니다. 그 솔루션은 비용효과적이고 확장성이 있어서 기업 엔드유저의 기본 성장을 충족할 수 있어야 합니다. 

어떤 솔루션이 그 기업의 요구사항을 충족할 수 있을까요?

 

Sol) Kinesis agent, Kinesis Data Firehose, AWS Elastic Search, Kibana

실시간의 로그 수집,저장과 Daily Batch처리	Kinesis agent(수집) ->Kinesis Data Firehose(스트림 전달) -> ES(저장/분석) -> Kibana(시각화)
실시간의 로그 수집	Kinesis agent를 사용하여 Kinesis Data Firehose에 쓰기
비용효과적이고 확장성, 기본 성장 충족	Amazon Kinesis Data Firehose는 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없는 완전관리형 서비스
개발 노력과 관리 오버헤드를 최소화	With Kinesis Data Firehose, you don't need to write applications or manage resources.
로그분석, 최소 오버헤드로 저장하고 분석	Elasticsearch는 로그 분석, 실시간 애플리케이션 모니터링, 클릭 스트림 분석 같은 사용 사례를 위한 인기 있는 오픈 소스 검색 및 분석 엔진
엔드 유저를 위한 시각화	Kibana

- there is no need to transfer to S3 first unless it needs to retain the data for long period of time for analysis

- Amazon Kinesis Data Firehose에는 최소 요금이나 설치 비용이 들지 않습니다. 서비스를 통해 전송하는 데이터 양에 대한 비용을 지불하며, 해당하는 경우 데이터 형식 변환, Amazon VPC 전송 및 데이터 전송에 대한 비용도 지불

작동 방식

Kinesis agent를 사용하여 Kinesis Data Firehose에 쓰기	docs.aws.amazon.com/ko_kr/firehose/latest/dev/writing-with-agents.html
Amazon Kinesis Data Firehose이란 무엇입니까?	docs.aws.amazon.com/ko_kr/firehose/latest/dev/what-is-this-service.html
Amazon Kinesis Data Firehose	실시간 데이터 스트림을 준비하여 데이터 스토어 및 분석 서비스로 로드aws.amazon.com/ko/kinesis/data-firehose/?kinesis-blogs.sort-by=item.additionalFields.createdDate&kinesis-blogs.sort-order=desc
Amazon Elasticsearch Service	docs.aws.amazon.com/ko_kr/elasticsearch-service/latest/developerguide/what-is-amazon-elasticsearch-service.html 로그 분석, 실시간 애플리케이션 모니터링, 클릭 스트림 분석 같은 사용 사례를 위한 인기 있는 오픈 소스 검색 및 분석 엔진 aws.amazon.com/ko/elasticsearch-service/?nc=sn&loc=1 완전 관리, 확장 가능 및 보안형 Elasticsearch 서비스
Filter Aggregations in Kibana	aws.amazon.com/ko/blogs/database/get-started-with-amazon-elasticsearch-service-filter-aggregations-in-kibana/