AWS Storage Gateway 이해하기

by

AWS Storage Gateway 란?

1. 개요

AWS Storage Gateway는 온프레미스 소프트웨어 어플라이언스를 클라우드 기반 스토리지에 연결하여 온프레미스 IT 환경과 AWS 스토리지 인프라 Amazon Web Services Cloud에 데이터를 저장하여 데이터 보안을 유지하는 데 도움이 되는 확장 가능하면서 비용 효율적인 스토리지를 구현할 수 있습니다.

AWS Storage Gateway에서는 파일 기반 파일 게이트웨이 (Amazon S3 파일 및 Amazon FSx 파일), 볼륨 기반 (캐시 및 저장) 및 테이프 기반 스토리지 솔루션을 제공합니다.


2. 유형

  • 파일 게이트웨이 – Amazon S3 파일 게이트웨이는 Amazon S3 로의 파일 인터페이스를 지원하고 서비스와 가상 소프트웨어 어플라이언스를 결합합니다. 이 조합을 사용하면 NFS (Network File System) 및 SMB (Server Message Block) 같은 업계 표준 파일 프로토콜을 사용하여 Amazon S3 S3에서의 객체를 저장하고 검색할 수 있습니다.
  • 볼륨 게이트웨이 – 볼륨 게이트웨이는 온프레미스 애플리케이션 서버에서 iSCSI (Internet Small Computer System Interface) 장치로 탑재할 수 있도록 클라우드 기반 스토리지 볼륨을 제공합니다.
    • 저장 볼륨 – 전체 데이터 세트에 액세스할 때 지연 시간이 낮은 액세스가 필요한 경우에는 먼저 모든 데이터를 로컬에 저장하도록 온프레미스 게이트웨이를 구성합니다. 그런 다음 이 데이터의 특정 시점 스냅샷을 Amazon S3 비동기식으로 백업합니다. 이렇게 구성하면 내구성과 경제성이 좋은 오프사이트 백업 방식으로 로컬 데이터 센터나 Amazon EC2 로 복구할 수 있습니다. 예를 들어 재해 복구를 위해 교체 용량이 필요한 경우에는 백업을 Amazon EC2로 복구할 수 있습니다.
    • 캐싱 볼륨 – Amazon S3 에 데이터를 저장하고 자주 액세스하는 데이터 하위 집합의 사본은 로컬에 저장합니다. 캐싱 볼륨을 통해 기본 스토리지 비용이 상당 부분 절감되고 온프레미스 스토리지를 확장할 필요성이 최소화됩니다.
  • 테이프 게이트웨이 – 테이프 게이트웨이는 클라우드 기반 가상 테이프 스토리지를 제공합니다. 테이프 게이트웨이는 VMware ESXi, KVM 또는 Microsoft Hyper-V 하이퍼바이저에서 실행되는 VM으로 온프레미스 환경에 배포됩니다.

테이프 게이트웨이를 사용하면 S3 Glacier Flexible Retrieval 또는 S3 Glacier Deep Archive 에 백업 데이터를 비용 효율 및 내구성이 좋은 방식으로 아카이브할 수 있습니다. 테이프 게이트웨이는 비즈니스 요구에 따라 원활하게 규모를 조정할 수 있는 가상 테이프 인프라를 제공하여 물리적 테이프 인프라를 프로비저닝, 조정 및 유지 관리해야 하는 운영 부담을 없애줍니다.


3. Storage Gateway 의 사용 사례

  • 클라우드 스토리지에서 온프레미스 백업 및 아카이브를 이동합니다. 스토리지 비용을 줄이고 IT 팀의 유지 관리 작업을 줄이는 데 도움이 됩니다.
  • AWS에 저장된 데이터에 대한 짧은 지연 시간의 액세스를 온프레미스 애플리케이션에 제공합니다.

Type 별 Architecture

1. 파일 게이트웨이

파일 게이트웨이는 네트워크 파일 시스템(NFS) 마운트 지점.

  • S3에 저장된 파일, 파일과 연결된 객체의 메타데이터(소유권, 권한, 타임스탬프 등)도 저장합니다.
  • 객체가 S3 버킷으로 전송되면 버전 관리, 수명 주기 관리, 교차 리전 복제와 같은 S3의 기능을 사용하여 파일/객체를 관리할 수 있습니다.
  • 파일 게이트웨이의 사용 사례:
    • 온프레미스 애플리케이션을 클라우드로 마이그레이션.
    • 더 적은 비용으로 클라우드에서 온프레미스 데이터를 백업합니다.
    • 기계 학습, 빅 데이터 분석 또는 서버리스 기능과 같은 AWS 서비스를 통한 데이터 분석.

2. 볼륨 게이트웨이

볼륨 게이트웨이는 백업, 재해 복구 및 마이그레이션에 사용할 수 있는 온프레미스 스토리지 볼륨의 Amazon EBS 스냅샷을 제공합니다. AWS Storage Gateway 서비스를 볼륨 게이트웨이로 구성하여 클라우드 기반 iSCSI 블록 스토리지 볼륨을 온프레미스 애플리케이션에 제공할 수 있습니다.

  • 볼륨 인터페이스는 iSCSI 블록 프로토콜을 사용하여 애플리케이션에 디스크 볼륨을 제공합니다. TCP/IP를 통해 SCSI 프로토콜을 사용하여 블록 데이터를 호스트로 전송할 수 있는 iSCSI 프로토콜입니다.
  • 볼륨 게이트웨이는 데이터가 AWS로 전송되기 전과 AWS에 저장되는 동안 데이터를 압축합니다. 이 압축은 데이터 전송 및 저장 비용을 모두 줄일 수 있습니다.
  • 볼륨 게이트웨이는 백업, 재해 복구 및 마이그레이션에 사용할 수 있는 온프레미스 스토리지 볼륨의 Amazon EBS 스냅샷을 제공합니다.
  • 볼륨 게이트웨이는 두 가지 유형의 구성을 지원합니다.
    • 저장 볼륨
    • 캐싱 볼륨

2-1. 저장 볼륨

저장된 볼륨을 사용하면 지연 시간이 매우 짧은 데이터 액세스를 위해 데이터의 전체 복사본을 로컬에 저장할 수 있으며 데이터를 Amazon S3에 EBS 스냅샷으로 비동기식으로 백업할 수 있습니다.

2-2. 캐싱 볼륨

캐시 볼륨을 사용하면 Amazon S3를 데이터 스토리지로 사용하면서 자주 액세스하는 데이터를 스토리지 게이트웨이에 로컬로 유지할 수 있습니다.


3. 테이프 게이트웨이

AWS Storage Gateway 서비스는 비즈니스 요구 사항에 따라 원활하게 확장되고 물리적 테이프 인프라의 프로비저닝, 확장 및 유지 관리를 방지하는 VTL(가상 테이프 라이브러리) 역할을 하도록 구성할 수 있습니다.

Amazon S3에 저장된 가상 테이프를 백업하는 동안 기존 백업 애플리케이션과 워크플로를 계속 사용할 수 있습니다. 더 이상 데이터에 즉각적이거나 자주 액세스할 필요가 없으면 애플리케이션 아카이브를 가상 테이프 라이브러리에서 Amazon S3 Glacier 또는 Amazon S3 Glacier Deep Archive로 백업하여 스토리지 비용을 절감할 수 있습니다.


특징 및 장점

1. 특징

  • 런던 지역, 4개 EU 지역 및 전 세계에서 사용 가능
  • NCSC 클라우드 보안 원칙 조정, 보안 승인(SC) 직원 이용 가능
  • 연결 옵션: N3, HSCN, PSN, Police(ex-PNN), Janet, RLi, 기타
  • 자동화된 IaaS(Infrastructure-as-a-Service), PaaS(Platform-as-a-Service) 아키텍처에 배포
  • 파일 게이트웨이는 S3를 NFS 파일 공유로 제공합니다.
  • Tape Gateway는 S3/Glacier를 가상 테이프 라이브러리로 제공합니다.
  • 볼륨 게이트웨이는 데이터가 S3로 오프로드된 iSCSI 볼륨을 제공합니다.
  • 게이트웨이는 온프레미스 또는 Amazon VPC 내에 배포할 수 있습니다.
  • 하이브리드 워크로드, DR, 계층형 스토리지

2. 장점

  • 모든 AWS 서비스(IAM)에서 통합된 역할 기반 액세스 제어
  • 포괄적인 교차 서비스 API 감사 로깅 및 보안(CloudTrail)
  • 다른 AWS 서비스와 통합(24×7 지원 및 통합 결제)
  • 교육 및 아키텍처 패턴/지침(잘 설계된)
  • SSL을 통해 데이터를 안전하게 전송합니다. AES-256 암호화 지원
  • Amazon S3 및 Amazon Glacier의 강력한 지원
  • 장기 약정 없이 사용한 만큼만 지불
  • 온프레미스 애플리케이션과 호환 가능
  • 변경된 데이터만 압축하여 업로드

Storage Gateway 생성 매뉴얼

1. Gateway settings

게이트웨이에 사용할 시간대 및 식별할 이름을 입력합니다.

2. Gateway options

게이트웨이 유형을 선택합니다.

  • 파일 게이트웨이 – 표준 스토리지 프로토콜(NFS, SMB)를 통해 S3 액세스 제공
  • 볼륨 게이트웨이 – iSCSI를 통한 블록 스토리지 볼륨 제공 및 백업을 EBS 스냅샷으로 제공(iSCSI란?)
  • 테이프 게이트웨이 – 물리적 테이프 인프라를 대체할 수 있도록 설계

3. Platform options

호스트 플랫폼을 선택합니다. 이는 Storage Gateway 사용 시, 버퍼가 저장되는 플랫폼을 선택합니다.

  • VMWare ESXi
  • Microsoft Hyper-V 2012R2/2016
  • Linux KVM
  • Amazon EC2
  • 하드웨어 어플라이언스

EC2를 선택하도록 하겠습니다.

생성한 인스턴스의 기본 user/password 는 admin/password 와, 생성한 키 페어를 적용하여 인스턴스를 시작한다.


4. Endpoint options

  • publicly accessible – 게이트웨이가 인터넷을 통해 AWS 스토리지로 연결
  • VPC hosted – 게이트웨이가 VPC 엔드포인트를 사용해 AWS 스토리지로 연결

5. Gateway connection options

게이트웨이에 연결하기 위한 첫 단계는 게이트웨이 VM 의 IP 주소를 얻는 것입니다. 이 IP 주소를 사용하여 해당 게이트웨이를 활성화합니다. 활성화가 이루어지기 위해서는 해당 게이트웨이 VM 을 반드시 실행해야 합니다.


6. Configure cache storage

게이트웨이에 사용될 로컬 디스크를 구성합니다. VM 을 배포할 때 게이트웨이에 로컬 디스크를 할당하였습니다. 이제 이 디스크를 사용할 수 있도록 게이트웨이를 구성합니다.

원활한 캐시 스토리지의 사용을 위해 150GiB 로 구성하였습니다.


7. cloudwatch log 및 alarm 세팅 후, 생성 완료

8. Create file share 를 통해 스토리지로 사용될 기존에 만들어 둔 Amazon S3 를 지정합니다.


9. File shares 생성 완료


10. 생성한 File shares 를 클릭하면 아래처럼 마운트 명령어가 보인다.

자신이 사용하는 OS 에 맞게 입력해주면 된다. 명령어의 마지막 부분은 설치될 드라이브의 이름을 정하는 곳이다.


11. 파일 공유 테스트

위의 리눅스 마운트 명령어를 또 다른 EC2 인스턴스를 생성하여, 마운트 수행한다. 즉 클라이언트 서버에서 마운트를 수행한다.

/root/nfs 를 만들어주고, nfs 디렉토리에 마운트합니다.

sudo -i
mkdir /root/nfs
mount -t nfs -o nolock,hard 10.200.1.167:/yw-s3-bucket-ap-northeast-2 /root/nfs

storage-gateway-test.txt. 를 만들어서 저장합니다.

cd /root/nfs
vi storage-gateway-test.txt

s3 로 들어가서 확인해보면, 성공적으로 storage-gateway-test.txt 가 업로드 된 것을 볼 수 있다.

클라이언트 서버 또한 s3 파일을 공유하고 있는 것을 볼 수 있습니다.


마치며

AWS Storage Gateway 의 개념과 간단한 생성 및 실습 방법까지 살펴보았습니다. 이 게이트웨이 서비스를 통해 파일 또는 파일 공유 탑재 지점으로 S3 내 객체에 액세스할 수 있습니다. 이 글을 통해 Storage Gateway 를 이해하고 앞으로 사용하는 데 있어 지침이 되기를 기대합니다.


참조

https://docs.aws.amazon.com/ko_kr/storagegateway/latest/userguide/WhatIsStorageGateway.html

AWS Storage Gateway (cloudiofy.com)

https://www.digitalmarketplace.service.gov.uk/g-cloud/services/440140710222706

Leave a Comment