AWS SAP : 스트림데이터 수집과 관리(비용/신뢰성)

다수의 데이터 소스를 저장하고 일일 쿼리 업무 처리(신뢰성과 비용효과성 중요) 

Req) 10만개의 소스로부터 천만 개의 스트림 데이터 수집하는 회사에서 RDS MySQL사용 중이며, 

         30일간의 일일 평균 데이터 소스를 쿼리해야 하며, 읽기가 쓰기보다 2배가 많음 

         쿼리는 한 번에 하나의 소스ID별로 발생 

         솔루션스 아키텍트는 어떻게 신뢰성과 비용과성을 높을 수 있을까?

 

Sol) Source ID별 파티션키를 가지는 DynamoDB를 사용 가능, Sort key는 timestamp 로 지정

        30일 후에 삭제되도록 TTL(time to live) 사용(일일 쿼리 처리로 실시간성은 요구되지 않음)

신뢰성	DynamoDB : 분산처리를 구조의 NoSQL DB
비용효과성	TTL 설정으로 DynamoDB 사용이 비용효과적 (비용 때문에 Mult-AZ 모드의 Aurora MySQL은 비권장)
30일 보관	TTL기능

 - 실시간성 처리가 요구될 때는 Kinesis Stream을 권장