Kinesis Introduction

7

안녕하세요 오늘은 베스핀글로벌 D&A 한제호 님이 작성해 주신 ‘Kinesis’에 대해 알아보겠습니다.

궁금하신 부분이 있으시면 댓글을 달아주세요 🙂

1. overview

1-1. What is Streaming?

• 스트리밍 데이터는 수천개의 데이터 소스에서 연속적으로 생성되는 데이터로서 일반적으로 데이터 레코드를 작은 크기로 동시에 전송하는 방식

1-2. Data Service in AWS

• AWS 에 존재하는 데이터 처리 서비스

1-3. Kinesis overview

• 스트림 데이터를 수집,처리,분석 가능한 서비스

1-4. Kinesis 리전표

• 리전별 Kinesis 서비스 GA 내역

2. Kinesis Data Stream

2-1. Kinesis Data Streams

• 대량의 스트림 데이터를 가능한 완전 관리형 서비스

2-2. Kinesis Data Streams Architecture

2-3. Kinesis Data Streams – 제약 사항

2-4. Kinesis Data Streams- 리샤딩

• CLI 또는 SDK를 통해 샤드에 대해 리샤딩 가능

2-5. Kinesis Data Streams – Agent, API, KCL, KPL

• Agent, API, KPL, KCL을 통해 Producer 및 Consumer를 구성할 수 있음

2-6. Kinesis Data Streams – Consumer 주요 API (1/2)

2-6. Kinesis Data Streams- Consumer 주요 API (2/2)

2-7. Kinesis Data Streams – Standard consumers

• AWS SDK, KCL을 통해 구현 가능

2-8. Kinesis Data Streams – Enhanced fan-out consumers

• AWS SDK, KCL 2.0을 통해 구현 가능

3. Kinesis Firehose

3-1. Kinesis Firehose

• 대량의 스트림 데이터를 다양한 AWS 서비스와 연계가능한 완전 관리형 서비스

3-2. Kinesis Firehose Architecture

3-3. Kinesis Firehose – 제약 사항 (1/2)

3-3. Kinesis Firehose – 제약 사항 (2/2)

3-4. Kinesis Firehose – Data Flow (1/2)

3-4. Kinesis Firehose – Data Flow (2/2)

3-5. Kinesis Firehose – 주요 설정 화면

4. Kinesis Analytics

4-1. Kinesis Analytics

• 실시간 스트리밍 데이터를 Read, Process, Deliver 할 수 있는 완전 관리형 서비스

4-2. Kinesis Analytics Architecture

4-3. Kinesis Analytics – 제약 사항

4-4. Kinesis Analytics – 윈도우 모드 쿼리

• 지정된 시간 내에 수집된 이벤트들을 대상으로 집계를 수행하기 위해 윈도우 모드를 지원함

4-5. Kinesis Analytics – 예제 – Architecture

4-5. Kinesis Analytics – 예제 – Client Application

4-5. Kinesis Analytics – 예제 – Source 구성

4-5. Kinesis Analytics – 예제 – Application 처리

4-5. Kinesis Analytics – 예제 – Destination 구성

4-5. Kinesis Analytics – 예제 – Athena를 통한 S3 조회

4-6. Kinesis Analytics – 연계 Case

5. Appendix

5-1. Appendix. 서비스 비교

5-2. Appendix. 사례

5-3. Appendix. Kinesis Video Stream 예제

감사합니다 🙂