안녕하세요 오늘은 베스핀글로벌 D&A 한제호님이 작성해 주신 ‘Amazon S3 소개’에 대해 알아보겠습니다.
궁금하신 부분이 있으시면 댓글을 달아주세요 🙂
1. Overview
1-1. Data Service in AWS
- AWS 에 존재하는 데이터 처리 서비스
1-2. Block Storage vs File Storage vs Object Storage
1-3. AWS 스토리지 포트폴리오
1-4. Amazon S3 (Simple Storage Service)
- Amazon Simple Storage Service(Amazon S3)는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스
1-5. S3 Storage Class
- S3는 저장된 객체에 대해 다양한 스토리지 클래스를 제공함
1-6. Amazon S3 Glacier
- 자주 사용되지 않는 데이터(콜드 데이터)에 최적화된 스토리지 서비스
1-7. 스토리지 관리 기능
2. Organize
2-1. 스토리지 관리 기능
2-2. Object Tags
2-3. Versioning
2-4. Static Website
- Static Website 기능을 통해 웹 호스팅 구성 가능
2-5. Transfer Acceleration
- 거리가 먼 클라이언트와 S3 버킷간에 파일을 빠르고, 쉽고, 안전하게 전송
3. Monitor and Analyze
3-1. 스토리지 관리 기능
3-2. Inventory
- 동기식 S3 LIST API 대신에 S3인벤토리를 빅 데이터 작업 또는 워크플로 애플리케이션의 미리 준비된 입력으로 사용하여 LIST API 응답을 호출 및 처리하는데 드는 시간과 컴퓨팅 리소스를 절약
3-2. Inventory
- 인벤토리 정보는 Athena를 통해 SQL형식으로 검색 가능
3-3. Analysis
- 스토리지 클래스 분석을 통해 액세스 패턴을 분석하고 올바른 스토리지 클래스로 옮길 시간을 결정 할 수 있음
- S3 버킷 내 객체의 사용 패턴 분석
- 객체 연령 그룹에 따라 해당 객체를 언제 Standard – Infrequent Access로 이동할지 권장
- 분석 결과를 이용해 수명 주기 정책을 개선할 수 있음
- 분석 필터 생성 후 최소 24시간에서 최대 48시간 안에 분석결과가 출력됨
- 보고서는 매일 업데이트되며 사용자가 구성한 객체 연령 그룹 필터 적용
3-3. Analysis
3-3. Analysis
- 분석 결과 내보내기 파일 Layout
3-3. Analysis
3-4. Metrics with CloudWatch
3-5. Access Log with CloudTrail
- S3는 버킷 및 객체에 대해 두가지 타입의 로깅을 제공함
4. Act
4-1. 스토리지 관리 기능
4-2. CRR (Cross-Region Replication)
- 리전 간 자동화된 신속하고 신뢰할 수 있는 비동기 복제
4-2. CRR (Cross-Region Replication)
4-3. Lifecycle Policy
- 객체에 대해 비용 효율적으로 저장/관리 되도록 수명주기 정책 구성 가능
4-3. Lifecycle Policy
4-4. Event Trig ger
4-5. Select
- 표준 SQL 질의를 사용하여 저장된 객체에서 필요한 정보만 조회
4-5. Select – S3
4-6. Select – Glacier
5. Security Management
5-1. 스토리지 관리 기능
5-2. Policy 평가 방법
- 버킷내에 접근 권한은 기본적으로 아래 형태로 평가가 진행됨
5-3. Policy 구성요소
- IAM Policy 및 Bucket Policy는 E,P,A,R,C 형태의 요소로 구성됨
5-4. S3 Policy 적용 방법
- 버킷 접근 제어를 위해 IAM Policy 및 Bucket Policy의 2가지 방법 가능
5-5. Cross-Account Access
- Account간의 정책 설정을 통해 S3버킷 접근 권한을 관리 할 수 있음
5-6. VPC Endpoints with Amazon S3
- VPC Endpoint를 통해 AWS Public서비스와 비공개로 연결 가능
6. Data Transfer
6-1. Data Transfer – Direct Connect
- DX를 통해 직접 다양한 Amazon public service와 연결 가능
6-2. Data Transfer – CLI 및 SDK
- AWS CLI 및 SDK를 통해 AWS S3로 데이터를 전송 할 수 있음
6-3. Data Transfer – Transfer for SFTP
- 완전 관리형 SFTP 서비스를 통해서 S3로 데이터를 전송 가능
6-4. Data Transfer – DataSync
- DataSync 서비스를 통해 S3로 데이터 이동을 쉽고 빠르게 구성 가능
7. Appendix
7-1. Appendix. 병렬 처리
7-2. Appendix. S3연동 가능 서비스
7-3. Appendix. 기타 Policy
7-4. Appendix. 요청자 지불 방식
- 버킷별로 요청자 지불 방식 설정 시데이터 저장 비용을 제외한 요청/전송 비용은 요청자 계정에서 지불되는 방식
감사합니다 🙂