최신 리포트 다운로드 지금 바로 문의하기
최신 리포트 다운로드 지금 바로 문의하기
CSPBig Data PlatformTECHAWSData

Amazon S3 소개

by 형래 김

안녕하세요 오늘은 베스핀글로벌 D&A 한제호님이 작성해 주신 ‘Amazon S3 소개’에 대해 알아보겠습니다.

궁금하신 부분이 있으시면 댓글을 달아주세요 🙂

1. Overview

1-1. Data Service in AWS

  • AWS 에 존재하는 데이터 처리 서비스

1-2. Block Storage vs File Storage vs Object Storage

1-3. AWS 스토리지 포트폴리오

1-4. Amazon S3 (Simple Storage Service)

  • Amazon Simple Storage Service(Amazon S3)는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스

1-5. S3 Storage Class

  • S3는 저장된 객체에 대해 다양한 스토리지 클래스를 제공함

1-6. Amazon S3 Glacier

  • 자주 사용되지 않는 데이터(콜드 데이터)에 최적화된 스토리지 서비스

1-7. 스토리지 관리 기능

2. Organize

2-1. 스토리지 관리 기능

2-2. Object Tags

2-3. Versioning

2-4. Static Website

  • Static Website 기능을 통해 웹 호스팅 구성 가능

2-5. Transfer Acceleration

  • 거리가 먼 클라이언트와 S3 버킷간에 파일을 빠르고, 쉽고, 안전하게 전송

3. Monitor and Analyze

3-1. 스토리지 관리 기능

3-2. Inventory

  • 동기식 S3 LIST API 대신에 S3인벤토리를 빅 데이터 작업 또는 워크플로 애플리케이션의 미리 준비된 입력으로 사용하여 LIST API 응답을 호출 및 처리하는데 드는 시간과 컴퓨팅 리소스를 절약

3-2. Inventory

  • 인벤토리 정보는 Athena를 통해 SQL형식으로 검색 가능

3-3. Analysis

  • 스토리지 클래스 분석을 통해 액세스 패턴을 분석하고 올바른 스토리지 클래스로 옮길 시간을 결정 할 수 있음
  • S3 버킷 내 객체의 사용 패턴 분석
  • 객체 연령 그룹에 따라 해당 객체를 언제 Standard – Infrequent Access로 이동할지 권장
  • 분석 결과를 이용해 수명 주기 정책을 개선할 수 있음
  • 분석 필터 생성 후 최소 24시간에서 최대 48시간 안에 분석결과가 출력됨
  • 보고서는 매일 업데이트되며 사용자가 구성한 객체 연령 그룹 필터 적용

3-3. Analysis

3-3. Analysis

  • 분석 결과 내보내기 파일 Layout

3-3. Analysis

3-4. Metrics with CloudWatch

3-5. Access Log with CloudTrail

  • S3는 버킷 및 객체에 대해 두가지 타입의 로깅을 제공함

4. Act

4-1. 스토리지 관리 기능

4-2. CRR (Cross-Region Replication)

  • 리전 간 자동화된 신속하고 신뢰할 수 있는 비동기 복제

4-2. CRR (Cross-Region Replication)

4-3. Lifecycle Policy

  • 객체에 대해 비용 효율적으로 저장/관리 되도록 수명주기 정책 구성 가능

4-3. Lifecycle Policy

4-4. Event Trig ger

4-5. Select

  • 표준 SQL 질의를 사용하여 저장된 객체에서 필요한 정보만 조회

4-5. Select – S3

4-6. Select – Glacier

5. Security Management

5-1. 스토리지 관리 기능

5-2. Policy 평가 방법

  • 버킷내에 접근 권한은 기본적으로 아래 형태로 평가가 진행됨

5-3. Policy 구성요소

  • IAM Policy 및 Bucket Policy는 E,P,A,R,C 형태의 요소로 구성됨
https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/reference_policies_elements.html

5-4. S3 Policy 적용 방법

  • 버킷 접근 제어를 위해 IAM Policy 및 Bucket Policy의 2가지 방법 가능

5-5. Cross-Account Access

  • Account간의 정책 설정을 통해 S3버킷 접근 권한을 관리 할 수 있음

5-6. VPC Endpoints with Amazon S3

  • VPC Endpoint를 통해 AWS Public서비스와 비공개로 연결 가능

6. Data Transfer

6-1. Data Transfer – Direct Connect

  • DX를 통해 직접 다양한 Amazon public service와 연결 가능

6-2. Data Transfer – CLI 및 SDK

  • AWS CLI 및 SDK를 통해 AWS S3로 데이터를 전송 할 수 있음

6-3. Data Transfer – Transfer for SFTP

  • 완전 관리형 SFTP 서비스를 통해서 S3로 데이터를 전송 가능

6-4. Data Transfer – DataSync

  • DataSync 서비스를 통해 S3로 데이터 이동을 쉽고 빠르게 구성 가능

7. Appendix

7-1. Appendix. 병렬 처리

7-2. Appendix. S3연동 가능 서비스

7-3. Appendix. 기타 Policy

7-4. Appendix. 요청자 지불 방식

  • 버킷별로 요청자 지불 방식 설정 시데이터 저장 비용을 제외한 요청/전송 비용은 요청자 계정에서 지불되는 방식

감사합니다 🙂