Mai-Lan Tomsen Bukovec, VP of Foundational Data Services (FDS), Amazon
Andy Warfield, VP / Distinguished Engineer, Amazon
세션요약자
이수영(Suyoung Lee)
핵심내용 요약
다양한 데이터 및 워크로드와 공유 데이터 환경의 복원력 필요성으로 인해 모든 애플리케이션에서 스토리지 선택이 중요
최신 AWS 스토리지 혁신을 공유하고 고객이 데이터 레이크와 고성능 데이터로 현대 비즈니스를 추진하는 방법에 대해 알수 있다.
키워드
Data Lake
Exabyte
Data Protection
상세내용
Data Lake
Data Lake on AWS는 회사 내부에서 또는 다른 외부 사용자가 특정 데이터 하위 집합을 손쉽게 태그 지정, 검색, 공유, 변환, 분석 및 관리하는 데 필요한 핵심 AWS 서비스를 자동으로 구성
데이터레이크는 10년 전에 나온 용어임
빠르고 민첩하게 구축
데이터레이크는 S3 기반 서비스
S3는 내구성, 탄력적, 비용 효율성을 제공함
Datasync 를 이용하여 AWS 동기화 설정할 수 있음
Data Lake on AWS 아키텍처
AWS Lambda 마이크로서비스(함수) 집합, 안정적 검색 기능을 위한 Amazon OpenSearch Service(Amazon Elasticsearch Service 후속), 사용자 인증을 위한 Amazon Cognito, 데이터 변환을 위한 AWS Glue, 분석을 위한 Amazon Athena를 구성
데이터 액세스 유연성
미리 설명된 Amazon S3 URL을 활용하거나 적절한 AWS Identity and Access Management(IAM) 역할을 사용하여 제어된 환경에서 Amazon S3의 데이터 집합에 직접 액세스
관리형 스토리지 계층
관리형 Amazon S3 버킷에서 데이터 저장 및 검색을 보안, 관리하고 솔루션별 AWS Key Management Service(KMS) 키로 저장된 데이터를 암호화
페더레이션 로그인
필요한 경우 SAML ID 공급자(IdP)(예: Microsoft Active Directory Federation Services(AD FS))를 통한 사용자 로그인을 허용
명령줄 인터페이스
기본 제공되는 CLI 또는 API를 사용하여 데이터 레이크 활동을 간편하게 자동화하거나 이 지침을 기존 데이터 자동화에 통합하여 데이터 집합 수집, 수신, 분석에 활용
사용자 인터페이스
Data Lake on AWS는 Amazon S3에서 호스트되고 Amazon CloudFront를 통해 제공되는 직관적인 웹 기반 콘솔 UI를 제공합니다. 콘솔에 액세스하면 데이터 레이크 사용자 및 데이터 레이크 정책 관리 데이터 패키지 추가/제거, 데이터 패키지 검색, 추가 분석을 위한 데이터 집합 매니페스트 생성 기능을 손쉽게 사용
