사용자 이미지와 주문 내역은 저장 요구가 다르다. 이미지는 여러 서버에서 공유하거나 정적 콘텐츠로 전달해야 하고, 주문 데이터에는 트랜잭션과 일관성이 필요하다. 저장소를 선택할 때는 데이터 형식뿐 아니라 조회 방식, 복구 범위, 비용도 살펴야 한다.
S3, EBS, EFS의 저장 방식
| 서비스 | 저장 단위 | 접근 방식 | 대표 사용처 |
|---|---|---|---|
| Amazon S3 | 객체 | API, Bucket과 Object Key | 이미지, 백업, 정적 자산 |
| Amazon EBS | 블록 | EC2에 볼륨 연결 후 파일 시스템 구성 | 운영체제 디스크, 데이터베이스 볼륨 |
| Amazon EFS | 파일 | NFS를 통한 공유 마운트 | 다중 인스턴스 공유 파일 |
S3는 파일 시스템이 아닌 객체 저장소
S3에서 객체를 식별하는 단위는 Bucket과 Key다. 객체에 대한 PUT, GET, LIST 등의 API로 접근한다. 일반적인 POSIX 파일 시스템처럼 파일을 열어 일부 바이트를 직접 수정하는 사용 모델과는 다르다.
정적 자산이나 사용자 업로드는 S3에 저장할 수 있다. 애플리케이션 인스턴스가 늘어나도 EC2마다 공유 디스크를 연결할 필요가 없다. CloudFront를 사용한다면 엣지 캐시와 Origin Access Control(OAC)을 통해 콘텐츠 전달과 원본 접근을 각각 관리할 수 있다.
EBS는 EC2에 연결하는 블록 저장소
EBS 볼륨은 특정 AZ에 생성된다. 일반적인 EBS 볼륨을 서로 다른 AZ의 EC2에 같은 공유 디스크처럼 붙일 수 없다. 장애 복구 시에는 스냅샷을 기반으로 다른 AZ에 새 볼륨을 생성하는 방식 등을 검토한다.
gp3는 용량과 성능 설정을 분리할 수 있어 범용 SSD의 기본 후보가 된다. io2는 높은 IOPS와 지연 특성이 중요한 워크로드에서 검토할 수 있다. 성능 비교는 IOPS만이 아니라 처리량과 I/O 크기, 애플리케이션 접근 패턴을 함께 보아야 한다.
EFS는 여러 서버에서 공유하는 파일 시스템
EFS Regional 파일 시스템은 여러 AZ에서 접근할 수 있으며, 각 AZ의 Mount Target을 통해 연결하도록 구성할 수 있다. 여러 EC2나 컨테이너가 같은 파일 경로를 공유해야 하는 상황에 적합하다.
EFS는 성능 모드, 처리량 모드, 스토리지 클래스를 함께 선택한다. 작은 파일을 자주 읽고 쓰는 작업에서 EBS와 같은 지연을 기대해서는 안 된다.
RDS Multi-AZ와 Read Replica를 헷갈리지 않기
주문 데이터베이스에는 트랜잭션 처리와 장애 시 서비스 복구가 필요하다. RDS의 Multi-AZ DB Instance는 가용성을, Read Replica는 읽기 부하 분산을 주목적으로 한다.
| 항목 | Multi-AZ DB Instance | Read Replica |
|---|---|---|
| 중심 목표 | 장애 조치와 가용성 | 읽기 부하 분산 |
| 복제 | 일반적으로 동기식 | 비동기식 |
| 읽기 처리 | 대기 인스턴스에서 일반적인 읽기 제공 안 함 | 복제본 읽기 가능 |
| 장애 전환 | 관리형 Failover | 승격 가능하지만 별도 설계 필요 |
| 주의 사항 | Failover 시간, 연결 재수립 | 복제 지연, 최신성 요구 |
그림 가운데의 Multi-AZ DB Cluster는 세 AZ에 Writer 하나와 읽기 가능한 대기 인스턴스 둘을 둔다. 왼쪽의 Multi-AZ DB Instance와는 대기 인스턴스의 읽기 가능 여부가 다르다.
Read Replica에는 복제 지연이 생길 수 있다. 주문 직후 최신 상태를 보여 줘야 한다면 Writer에서 조회하거나 일관성 정책을 별도로 설계한다. 읽기 복제본이 많아도 장애 시 자동으로 연결이 전환되는 것은 아니다.
Aurora는 컴퓨트와 저장소를 따로 관리한다
Aurora의 Writer와 Reader는 하나의 논리적 클러스터 저장 볼륨을 공유한다. 인스턴스의 장애 전환과 저장소의 복제는 별도로 이해해야 한다.
그림의 실선은 Writer의 쓰기 경로, 점선은 Reader의 읽기 경로를 단순화한 것이다. 각 AZ의 저장소 심벌 두 개는 하나의 논리적 클러스터 볼륨을 구성하는 여섯 복제 사본을 나타낸다. 독립된 데이터베이스 여섯 개가 아니며, 실제 데이터는 여러 디스크의 세그먼트에 분산된다.
Aurora는 쓰기 시 여섯 저장 노드 중 네 노드의 확인을 받으면 내구성을 충족하는 쿼럼 방식을 사용한다. 따라서 저장 사본 두 개를 잃어도 쓰기를 유지하도록 설계되어 있다. 다만 저장소의 내구성과 Writer 인스턴스의 무중단 가용성은 별개의 문제다. Writer 장애 시 Reader 승격, 엔드포인트 갱신과 애플리케이션 재연결 시간을 함께 고려해야 한다.
주요 구성요소:
- Writer: 쓰기 트랜잭션 처리. Cluster Endpoint가 현재 Writer를 가리킴
- Reader: 읽기 부하 분산과 장애 시 승격 후보. Reader Endpoint를 통한 연결 가능
- Cluster Volume: 세 AZ에 복제되는 공용 저장소 계층. 인스턴스별로 별도 전체 사본을 두는 구조가 아님
Reader 인스턴스의 수와 배치 AZ는 구성에 따라 달라진다. Reader Endpoint는 주로 새 연결을 분산한다. 하나의 연결에서 실행하는 SQL 문장을 Reader마다 나누는 쿼리 라우터가 아니다. 애플리케이션에서도 읽기 및 쓰기 연결과 연결 풀을 구분해야 한다.
Aurora Auto Scaling의 확장 대상
Aurora Auto Scaling은 읽기 복제본 수를 조절한다. Writer의 CPU나 메모리를 자동으로 늘리는 기능은 아니다. Writer가 병목이라면 인스턴스 클래스, 쿼리, 연결 풀, 데이터 모델을 점검한다.
서버리스 운영 모델이 필요하다면 Aurora Serverless v2의 용량 단위를 별도로 평가할 수 있다. Auto Scaling과 Serverless는 확장 대상과 세부 동작이 같지 않다.
DynamoDB 키는 조회 조건에서 출발한다
관계형 데이터베이스와 달리 DynamoDB는 자주 실행할 조회를 먼저 정하고 키를 설계하는 방식이 중요하다. 예를 들어 CustomerId별 주문을 OrderTime 순서로 조회한다고 가정하자.
PK = CustomerId, SK = OrderTime으로 테이블을 구성하면 특정 사용자의 주문을 시간 조건에 따라 Query하는 작업에 적합하다. 반대로 OrderId만 알고 한 건을 찾거나, 결제 상태별 전체 주문을 빠르게 검색해야 한다면 다른 키나 인덱스를 설계해야 한다.
조회 방식별 차이:
Query: 파티션 키를 지정한 조회. 정렬 키 조건으로 범위 제한 가능Scan: 테이블이나 인덱스의 항목을 폭넓게 읽는 방식.FilterExpression으로 결과를 걸러도 이미 읽은 항목의 비용은 줄지 않음- GSI: 기본 테이블과 다른 키를 사용하는 조회 경로. 별도 쓰기 비용과 반영 지연 발생 가능
- LSI: 파티션 키는 유지하고 다른 정렬 키 사용. 테이블 생성 시 정의 필요
GSI는 비동기적으로 갱신되므로 기본 테이블과 같은 강한 일관성 읽기를 제공하지 않는다. 읽기 시 최신 데이터가 필수인지, 약간의 지연을 허용할 수 있는지에 따라 조회 경로를 나누어야 한다.
용량과 비용
DynamoDB On-Demand는 용량을 미리 지정하지 않고 요청량에 따라 과금한다. Provisioned는 읽기 및 쓰기 용량을 지정하거나 Auto Scaling으로 조절한다. 요청량이 급변하면 On-Demand를, 부하가 안정적이면 Provisioned의 비용을 비교한다.
GSI, 트랜잭션, 읽기 일관성, 항목 크기 역시 읽기 및 쓰기 비용에 영향을 준다. 성능 문제를 해결한다며 GSI를 무작정 늘리면 쓰기 비용과 운영 복잡성이 함께 증가한다.
특정 파티션 키에 쓰기가 몰리면
DynamoDB는 테이블 전체 용량에 여유가 있어도 특정 키로 요청이 집중되면 병목이 생길 수 있다. 그림 왼쪽은 Tenant A로 쓰기가 몰리는 논리적 접근 패턴이다. 상자 하나가 AWS의 실제 물리 파티션 하나와 대응하는 것은 아니다.
PK = TenantId로 쓰기를 모으면 한 고객의 요청이 병목이 될 수 있다. 적응형 용량 관리도 단일 키에 무제한 처리량을 제공하지는 않는다.
쓰기 샤딩(Write Sharding)은 같은 고객의 쓰기를 여러 파티션 키로 분산하는 방법이다. 예를 들어 TenantA#0, TenantA#1, TenantA#2처럼 키를 나누면 한 키에 집중되던 쓰기를 분산할 수 있다. 대신 고객 전체 이력을 읽을 때는 여러 키를 조회한 뒤 결과를 합쳐야 한다.
쓰기 분산의 대가도 비교해야 한다.
| 선택 | 얻는 효과 | 새로 생기는 부담 |
|---|---|---|
| 단일 파티션 키 | 고객별 조회 단순화 | 인기 고객의 쓰기 집중 |
| 키 샤딩 | 쓰기 대상 분산 | 여러 키 조회와 결과 병합 |
| GSI | 다른 조건으로 조회 가능 | 추가 쓰기 비용과 반영 지연 |
| 캐시 | 반복 읽기 감소 | 쓰기 집중 자체는 해결하지 못함 |
샤딩에 앞서 어떤 키에 요청이 집중되는지 측정한다. CustomerId별 주문 조회가 대부분이라면 샤딩 때문에 매번 여러 키를 조회해야 할 수 있다. 동일한 PK에 이벤트를 계속 기록하는 구조에서는 쓰기 분산이 더 유리할 수 있다.
조회 최신성과 쓰기 충돌 방지는 별개의 문제다. ConditionExpression으로 갱신 조건을 원자적으로 검사하면 중복 주문이나 버전 충돌을 방지할 수 있다.
S3 Versioning과 Object Lock이 막는 것
S3 Versioning은 같은 키의 이전 객체 버전을 보존한다. 일반적인 삭제 요청에는 삭제 마커(Delete Marker)를 추가하지만, 권한이 있는 주체가 특정 버전을 영구 삭제하는 것까지 막지는 못한다.
| 제어 | 보장하는 범위 | 주의할 조건 |
|---|---|---|
| Versioning | 객체의 이전 버전 보존 및 복구 가능성 | 권한 있는 주체가 특정 버전을 영구 삭제할 수 있음 |
| Object Lock Governance | 보존 기간 안에 객체 버전 삭제와 덮어쓰기 제한 | 권한과 명시적인 우회 요청이 있는 주체는 Bypass 가능 |
| Object Lock Compliance | 보존 기간 안에 객체 버전 변경과 삭제를 강하게 금지 | 루트 사용자를 포함해 만료 전 임의 단축 또는 제거 불가 |
| Legal Hold | 개별 버전을 기간과 무관하게 보존 | 별도 권한으로 Hold를 해제하기 전까지 유지 |
| CRR | 지원 조건에 따라 객체 버전을 다른 리전으로 복제 | 복제 지연, 버전과 Delete Marker 정책, 대상 버킷 설정 |
Object Lock은 Versioning을 전제로 하며 보존 정책은 객체 키 전체가 아니라 보호 대상 객체 버전에 적용된다. 잠긴 버전이 남아 있어도 같은 키에 새 버전이나 Delete Marker를 생성할 수 있다는 점을 구분해야 한다. 복구 시에는 남아 있는 버전의 ID를 확인해 읽거나 복원한다.
Legal Hold는 보존 기간과 무관하게 해제 전까지 유지된다.
Lifecycle 규칙과 Object Lock을 함께 설정했다면 수명 주기 만료가 보존 중인 버전을 강제 삭제하지 못한다. 보존 기간이 지나더라도 기존 버전의 정리 방식과 저장 비용을 확인해야 한다. 복제와 불변 보존은 역할이 다르므로, 리전 장애를 위한 복제본과 관리자 오삭제를 견딜 복구본을 각각 검증해야 한다.
S3 Lifecycle에서 전환 시점보다 중요한 비용
S3 저장 클래스는 저장 단가만으로 선택할 수 없다. 조회 빈도, 즉시 접근 필요성, 최소 저장 기간, 복원 비용을 함께 비교해야 한다. 그림의 네 갈래는 가능한 Lifecycle 경로다. 한 객체가 동시에 네 클래스로 이동한다는 뜻은 아니다.
| 저장 클래스 | 접근 방식 | 최소 저장 기간 과금 | 설계 기준 |
|---|---|---|---|
| S3 Standard | 밀리초 조회 | 없음 | 자주 접근하는 일반 객체 |
| S3 Intelligent-Tiering | 기본 접근 계층은 밀리초 조회 | 없음 | 접근 패턴이 불규칙한 객체, 모니터링 요금 확인 |
| S3 Standard-IA | 밀리초 조회, 읽기 요금 | 30일 | 드물게 읽지만 즉시 필요한 다중 AZ 객체 |
| S3 One Zone-IA | 밀리초 조회, 읽기 요금 | 30일 | 단일 AZ 손실을 감수할 수 있는 재생성 가능 데이터 |
| S3 Glacier Instant Retrieval | 밀리초 조회, 읽기 요금 | 90일 | 드문 조회에도 즉시 응답이 필요한 보관 데이터 |
| S3 Glacier Flexible Retrieval | 복원 요청 후 접근 | 90일 | 복원 대기 시간을 허용하는 장기 보관 |
| S3 Glacier Deep Archive | 복원 요청 후 접근 | 180일 | 장기간 거의 조회하지 않는 기록 |
Intelligent-Tiering의 자동 계층 조정과 Lifecycle 전환은 다르다. Intelligent-Tiering은 계층을 내부적으로 바꾸며, 선택적으로 활성화하는 아카이브 계층은 복원이 필요할 수 있다. Lifecycle은 객체의 경과 시간, 접두사, 태그 등으로 저장 클래스 전환과 만료를 지정한다.
객체가 작거나 빠르게 삭제될수록 비용 계산이 달라진다. 최소 저장 기간보다 일찍 삭제하거나 다른 클래스로 옮겨도 남은 기간의 과금이 발생할 수 있다. Lifecycle 전환 요청 비용, Glacier 계열의 객체별 메타데이터 오버헤드, 검색 및 복원 요금도 함께 비교한다. 따라서 매일 읽는 파일에 가장 저렴한 보관 단가만 적용하면 전체 비용이 오히려 늘어날 수 있다.
DMS만으로 스키마가 옮겨지지는 않는다
Oracle에서 PostgreSQL로 이전할 때는 데이터 복사 외에 스키마와 SQL 호환성도 검증해야 한다.
이전 절차:
- 스키마 호환성: DMS Schema Conversion 또는 AWS Schema Conversion Tool(AWS SCT)로 테이블, 인덱스, 저장 프로시저, SQL 함수 검토
- 최초 적재: Full Load로 기존 데이터 이전
- 변경분 반영: CDC(Change Data Capture)로 원본의 후속 변경 복제
- 전환: 복제 지연과 핵심 쿼리 결과를 확인한 뒤 애플리케이션 연결 대상을 변경
AWS DMS는 Full Load와 CDC를 조합해 최초 데이터를 옮기면서 발생한 변경분을 이후에 반영할 수 있다. CDC에도 지연은 생긴다. 원본의 트랜잭션 로그, 네트워크, 복제 인스턴스 용량, 대상의 쓰기 처리량이 영향을 준다.
스키마 변환 도구가 처리하지 못한 SQL과 저장 프로시저는 애플리케이션에서 직접 수정해야 한다.
전환 직전에는 테이블별 행 수뿐 아니라 핵심 컬럼의 값, 트랜잭션 정합성, CDC 지연, 권한, 연결 문자열을 검증한다. 복제 작업이 정상 상태여도 애플리케이션에서 사용하는 SQL이 대상 엔진에서 다르게 동작할 수 있다.
DataSync와 하이브리드 데이터 전송의 선택
파일과 객체를 대량 전송할 때는 복사 목적부터 구분한다. 일회성 이전인지, 반복 동기화인지, 온프레미스 애플리케이션의 지속적인 파일 접근인지에 따라 적합한 서비스가 달라진다.
| 서비스 | 주로 해결하는 문제 | 선택할 때 확인할 점 |
|---|---|---|
| AWS DataSync | NFS, SMB, 객체 저장소 등의 대량 데이터 전송과 반복 동기화 | 에이전트 및 네트워크 경로, 증분 복사, 검증 |
| Storage Gateway File Gateway | 온프레미스 애플리케이션의 파일 인터페이스 유지 | 로컬 캐시, S3 객체 매핑, 네트워크 의존성 |
| AWS Transfer Family | 관리형 SFTP, FTPS, FTP 또는 AS2 엔드포인트 | 외부 클라이언트 프로토콜, 인증, S3 및 EFS 백엔드 |
| AWS Data Transfer Terminal | 휴대용 저장 장치를 지정 시설로 가져가 AWS 네트워크에 업로드 | 이용 가능 지역, 예약, Enterprise Support 자격, 장치 운송 |
| AWS Snowball Edge(기존 고객) | 배송받은 물리 장치에 데이터를 담아 AWS로 반환 | 2025-11-07부터 신규 고객 주문 불가, 기존 고객의 이용 조건 확인 |
수십 TB를 전송할 때는 데이터 양뿐 아니라 회선의 실제 유효 대역폭과 사용 가능한 전송 시간을 계산해야 한다. 예를 들어 10 TB를 실제 1 Gbps로 끊임없이 보낸다고 단순 가정하면 전송 시간은 약 22시간이지만, 프로토콜 오버헤드와 다른 트래픽, 검증 및 재시도까지 포함하면 더 길어진다. 물리 장치 이동이 필요한 경우에는 Data Transfer Terminal의 시설 접근성, 사전 예약, 장치 이동 시간과 업로드 시간을 포함해 비교한다.
물리 장치 전송에는 이용 자격과 지역 제한이 있다. Snowball Edge의 신규 고객 주문은 중단됐다. Snowball Edge 이용 조건, Data Transfer Terminal 이용 조건
선택 이후에는 파일 권한과 타임스탬프 보존 범위, 객체 이름 변환, 변경분 충돌, 암호화와 비용까지 검증한다. 전송 성공 메시지만으로 애플리케이션이 동일하게 파일을 사용할 수 있다고 판단하면 안 된다.
트랜잭션 조회와 분석 쿼리는 다른 시스템이다
주문 처리 DB에 대규모 집계 쿼리가 몰리면 운영 조회까지 느려질 수 있다. 트랜잭션과 분석의 부하를 분리하는 구조가 필요하다.
S3에 저장된 데이터를 필요할 때 SQL로 읽는다면 Athena와 Glue Data Catalog를 검토한다. 반복적인 대규모 집계와 BI에는 Redshift 같은 데이터 웨어하우스가 맞을 수 있다. 전문 검색이나 로그 탐색에는 OpenSearch처럼 검색용 인덱스를 만드는 서비스가 적합하다.
Glue Data Catalog는 S3 데이터의 테이블과 컬럼 등 메타데이터를 관리하고, Athena는 해당 메타데이터를 활용해 데이터를 조회할 수 있다. Data Catalog를 사용한다고 원본 데이터가 자동으로 이동하는 것은 아니다. S3 파일의 파티션 구성과 컬럼형 포맷은 스캔 비용과 쿼리 성능에 직접 영향을 준다.
Kinesis에서 S3와 Athena까지 이어지는 흐름
실시간 이벤트를 S3에 쌓아 Athena로 분석하려면 수집 경로를 정해야 한다. 이벤트 재처리가 필요한지, 일정 간격으로 S3에 적재하면 되는지에 따라 Data Streams와 Firehose를 선택한다.
| 구성 | 핵심 기능 | 설계 판단 |
|---|---|---|
| Kinesis Data Streams | 순서가 있는 샤드 기반 스트림과 보존 기간 내 재처리 | 파티션 키, 처리량, 소비 지연 |
| Amazon Data Firehose | 데이터를 모아 S3 등 대상으로 전달 | 버퍼 크기 및 시간, 변환, 전달 실패 |
| Lambda Consumer | 스트림 레코드의 이벤트 처리 | 배치 실패, 재시도, 체크포인트와 멱등성 |
| Glue Data Catalog | 테이블과 파티션 메타데이터 관리 | 스키마 갱신, Crawler 또는 ETL |
| Athena | S3 객체에 대한 SQL 쿼리 | Parquet, 파티셔닝, 스캔 바이트 |
그림의 대표 경로는 생산자가 Data Streams에 이벤트를 기록하고, Firehose가 레코드를 받아 S3에 적재하는 구성이다. Lambda 소비자는 같은 스트림을 별도로 읽을 수 있다. Firehose는 자체적으로 소스를 받아 전송할 수도 있으므로 항상 Data Streams를 앞에 두어야 하는 것은 아니다.
Data Streams의 보존 기간은 재처리 가능한 시간 범위를 결정한다. Firehose는 데이터를 모아 전달하므로 S3에서 조회할 수 있기까지 지연이 발생할 수 있다.
ElastiCache를 붙이기 전에 확인할 것
주문 API가 같은 데이터를 반복 조회한다면 ElastiCache로 DB 읽기 부하를 줄일 수 있다. 대신 캐시된 값의 최신성을 관리해야 한다.
Cache Aside 방식에서는 캐시에 값이 없을 때 DB를 조회해 결과를 캐시에 넣는다. Write Through 방식에서는 쓰기 경로에서 캐시도 함께 갱신한다. 두 방식 모두 실패 시 데이터가 어긋날 수 있으므로 무효화 전략이 필요하다. TTL(Time to Live)을 설정한다면 만료 전까지 오래된 값이 보일 수 있는지도 정해야 한다.
캐시 장애가 DB에 갑작스러운 조회 폭증을 일으키는 Cache Stampede 상황도 고려해야 한다. TTL에 무작위 분산을 주거나, 인기 키의 동시 재생성을 제한하는 방법을 사용할 수 있다.
데이터베이스가 연결 수에 민감한 상황이라면 캐시 외에 RDS Proxy도 검토할 수 있다. RDS Proxy는 연결 풀링과 장애 조치 시 연결 관리에 도움을 주지만, 느린 SQL이나 부족한 DB 처리 용량을 자동으로 해결하는 기능은 아니다.
주문 데이터의 기준은 DB다. 캐시가 만료되거나 유실되어도 DB에서 값을 다시 조회할 수 있어야 한다.