본문 바로가기
ITPE metacog/Cloud metacog

[AWS SAP] 작은 사이즈 디바이스 데이터 저장과 자동 삭제

by 잘 배우고, 잘 익히기 2021. 4. 22.

Req)

솔루션즈 아키텍트가 데이터 저장과 검색 아키텍처를 신규 애플리케이션을 위해 설계하고 있습니다. 

신규 애플리케이션은 곧 론칭될 예정입니다. 그 애플리케이션은 세계 각지의 디바이스로부터의 분당 수백만 개의 작은 레코드를 받아내도록 설계가 됩니다. 각 레코드는 4KB보다 작은 사이즈이고 영구 위치에 저장될 필요가 있습니다.  그 위치는 낮은 레이턴시로 조회될 수 있습니다. 그 데이터는 일시적이고, 그 회사는 그 데이터 120일 동안 보관하는 것이 요구됩니다. 이후에는 그 데이터는 삭제가 됩니다. 

솔루션즈 아키텍트는 일년 동안을 계산해 보니, 그 스토리지 요구사항은 대략 10~15TB가 됩니다. 

어떤 스토리지 전략이 가장 비용효과적이고 설계 요구사항을 만족할까요?

 

Sol) DynamoDB 

요구사항 솔루션
4KB보다 작은 사이즈의 수백만개의 디바이스 데이터 처리
120일 이상 지난 데이터는 삭제(120일 동안만 보관)
 - 데이터 사이즈는 대락 10~15TB 산정 

DynamoDB Table 
 - 인입 레코드 데이터 저장
DynamoDB TTL feature 
 - 120일 이상 데이터는 삭제하도록 TTL 설정