세션 유형
Leadership
세션명
Your data: How you need it, where you need it, when you need it
강연자
Jeff Carter, Nandu Ramani, Alek Zdziarski, Mark Senerth
세션요약자
왕승준(SeungJun Wang)
핵심내용 요약
- 데이터 중력에 대해 정의하며, Application과 Service를 Data 중심으로 워크로드 맞는 솔루션을 선택하여야 한다.
- 목적에 맞는 솔루션을 이용한 비즈니스 설계가 되어야 성능과 기능 측면에서 적합한 설계이며, 적절한 크기에 최대 성능에 맞게 솔루션을 사용해야 한다.
- Amazon GuardDuty : Database의 보안요소에 대한 모니터링 및 Machine Learning을 이용한 침임여부 및 보안적 이슈로 부터 모니터링 되어 방어할수 있도록 보안요소 강화(aws aurora)
- Amazon RDS Blue/Green Deployments : 기존 다운타임이 필요한 RDS의 작업요소 중 Blue/Green 배포를 적용하여 다운타임이 필요한 OS 업그레이드, 마이너 및 메이저 버전 업그레이드등의 작업을 다운타입 없이 진행할수 있음.
키워드
- Data Gravity
- Guard Duty
- Blue/Green Deployments
상세내용
AWS의 전략은 관계형 데이터베이스와 비관계형 데이터베이스 모두 작업에 적합한 도구를 갖추는 것
전체 Data 관련 서비스, 본 세션은 OLTP 관련 Database와 관련 서비스 소개에 한정된 주제임.
데이터는 OLTP 시스템에서 더 많은 요구사항에 따른 다른 형태의 처리를 위해 오른쪽에서 왼쪽으로 흐르며, 현재 AWS에서 지원하는 서비스,
Data Store 중 Database 3가지(RDB, NoSQL, DWDB)의 서비스 들 나열
AWS Aurora 성능
- 6개의 데이터 복사본
- 3개의 다른 가용 영역을 사용
- Aurora는 표준 MySQL성능의 5배 제공
- Postgres의 3배 성능
분석 관점에서 분석에 환경에 사용할 수 있는 서비스
Data Store 중 Database 3가지(RDB, NoSQL, DWDB)의 서비스 들 중 DWDB와 주로 analytic관련 서비스들 나열
RDS의 새기능 출시
- RDS 솔루션의 성능(가용성 및 업그레이드 성능 향상)
- 워크로드에 따라 CPU와 메모리의 수를 즉석에서 조정
4가지의 신기능
- DynamoDB는 S3에서 대량 Import를 수행가능하도록 허용
- Neptune 글로벌 데이터베이스 기능
- AWS Neptune Serverless 추가
- Redis의 메모리 내 저장되는 데이터의 크기를 4배로 증가
데이터 중력 : Application과 Service를 Data쪽으로 끌어당긴다.
How : 목적에 맞게 구축된 데이터베이스에서 작업에 적합한 도구를 사용하여 지원하는데 필요한 규모와 성능을 제공하는 방법
Where : 다른 지역에 있더라도 빠른 응답시간을 게공할 수 있도록 데이터 위치를 최적화 하는 방법
When : OLTP, DW에서 실시간 Application의 내구성과 탄력성이 필요
목적에 맞는 데이터와 응용서비스에 맞는 서비스의 조합 그리고 워크로드에 적합한 데이터베이스가 중요하다.
특수 워크로드를 기반으로 성능과 확장성을 최적화 할 수 있도록 제공한다.
그 기능중의 하나가 Amazon DocumentDB Elastic Clusters 이다.
MongDB의 PaaS형 버전인 AWS DocumentDB를 한단계 더 업그래이드 함.
FaaS형(Serverless) 서비스 인지 확인 필요. 비싼 라이센스 없이 클러스터 구현
- DocumentDB는 Managed JSON 데이터베이스이다.
Optimized Writes를 통해 RDS의 MySQL의 최적화된 쓰기에 대해 2배 향상된 성능으로 제공하고 있습니다.
AWS Nitro 기반 인스턴스에 있는 16K 쓰기를 수행할 수 있는 새로운 기능이 있다.
이기능을 활용하여 데이터의 쓰기 위험이나 데이터 손상의 위험을 해소하였다.
읽기 기능을 높이기 위해 로컬스토리지를 추가하였다. 제약사항으로는 정렬 및 집계와 같은 항목에 대한 임시 테이블 및 중간 결과와 같은 항목에 대해서만 사용가능하다.
로컬에 있는 데이터를 활용함으로써 최대 50% 더 빠른 쿼리 실행을 할수 있다.
글로벌 Data 분산, 스트리밍 관련 서비스 소개
글로벌 서비스에서 중요한것으로 지역 읽기 전용 복제본을 생성할 수 있도록 허용하는 것이다.
세계에 여러 복사본을 생성할 수 있도록 분산된 복제본을 사용하여 데이터 세트를 복제할수 있는 것이 중요
DR(재해 복구의 한 형태)을 구성할수 있다.
DynamoDB는 하나 더 발전시켜 읽기 전용 복제본을 생성할수 있을뿐 아니라 Read-Write 복제본을 만들 수 있다.
읽기 및 쓰기를 수평으로 확장하여 글로벌 규모로 Application을 만들 수 있다.
Zero-ETL
테이블명만 제공하면 데이터를 복제하여 Redshift 시스템으로 가져올 수 있다.
Aurora 스토리지 내에서 행이 삽입, 업데이트, 삭제된다면 이러한 행은 자동으로 Redshift에 반영된다.
여러 Aurora인스턴스가 단일 Redshift 스토리지에 쓸 수 있도록 하는것과 같은 작업도 수행가능 함.
Zero-ETL 외에도 다양한 서비스에서 사용할 수 있는 많은 접근 방식이 있다. 다양한 형태의 변경 데이터 캡처하는 서비스가 있다.
DMS 및 Glue처럼 변경데이터 캡처 스트림을 읽을 수 있다.
MSK(Managed Streaming for Apache Kafka), Kinesis 및 Glue을 사용하여 ETL을 수행할 수 있음
Postgres는 일반적으로 제공하기 어려운 기능에 대해 다양한 확장 기능을 가지고 있음.
빌더라는 기능을 이용하여 확장기능에 대해 빌드 할수 있음. 6개의 다른 언어 중 하나로 그것을 수행할수 있으며 앞으로 더 추가 할것이다.
Amazon GuardDuty for RDS이다. 데이터베이스에 대해 로그인 정보를 모니터링 합니다.
모니터링된 정보를 활용하여 Machine Learning를 통해 침입여부를 판단합니다.
Aurora로 시작하여 점차 확대할 것이다.
Amazon Rds Blue/Green 배포 기능이 추가되었음.
다운타임이 필요한 OS 업그레이드, 마이너 및 메이저 버전 업그레이드등의 작업을 다운타입 없이 진행할수 있음.
DMS서비스에서 지원하는 Sources, Targets종류 이며, 지속적으로 늘려나갈 계획이다.
Bespin’s Comment
- 신규 서비스와 update의 서울 리전 서비스 유효성은 해당 서비스 검색을 통해 확인 가능
- AWS가 Data 관련 서비스의 기능 강화와 더불어 사용자 편의성을 대거 높임
- Cloud Migration에 대한 서비스 기능 추가로 인한 Migration에 대한 제약사항을 해소