안녕하세요 오늘은 베스핀글로벌 D&A 한제호 님이 작성해 주신 ‘Kinesis’에 대해 알아보겠습니다.
궁금하신 부분이 있으시면 댓글을 달아주세요 🙂
1. overview
1-1. What is Streaming?
- 스트리밍 데이터는 수천개의 데이터 소스에서 연속적으로 생성되는 데이터로서 일반적으로 데이터 레코드를 작은 크기로 동시에 전송하는 방식
1-2. Data Service in AWS
- AWS 에 존재하는 데이터 처리 서비스
1-3. Kinesis overview
- 스트림 데이터를 수집,처리,분석 가능한 서비스
1-4. Kinesis 리전표
- 리전별 Kinesis 서비스 GA 내역
2. Kinesis Data Stream
2-1. Kinesis Data Streams
- 대량의 스트림 데이터를 가능한 완전 관리형 서비스
2-2. Kinesis Data Streams Architecture
2-3. Kinesis Data Streams – 제약 사항
2-4. Kinesis Data Streams- 리샤딩
- CLI 또는 SDK를 통해 샤드에 대해 리샤딩 가능
2-5. Kinesis Data Streams – Agent, API, KCL, KPL
- Agent, API, KPL, KCL을 통해 Producer 및 Consumer를 구성할 수 있음
2-6. Kinesis Data Streams – Consumer 주요 API (1/2)
2-6. Kinesis Data Streams- Consumer 주요 API (2/2)
2-7. Kinesis Data Streams – Standard consumers
- AWS SDK, KCL을 통해 구현 가능
2-8. Kinesis Data Streams – Enhanced fan-out consumers
- AWS SDK, KCL 2.0을 통해 구현 가능
3. Kinesis Firehose
3-1. Kinesis Firehose
- 대량의 스트림 데이터를 다양한 AWS 서비스와 연계가능한 완전 관리형 서비스
3-2. Kinesis Firehose Architecture
3-3. Kinesis Firehose – 제약 사항 (1/2)
3-3. Kinesis Firehose – 제약 사항 (2/2)
3-4. Kinesis Firehose – Data Flow (1/2)
3-4. Kinesis Firehose – Data Flow (2/2)
3-5. Kinesis Firehose – 주요 설정 화면
4. Kinesis Analytics
4-1. Kinesis Analytics
- 실시간 스트리밍 데이터를 Read, Process, Deliver 할 수 있는 완전 관리형 서비스
4-2. Kinesis Analytics Architecture
4-3. Kinesis Analytics – 제약 사항
4-4. Kinesis Analytics – 윈도우 모드 쿼리
- 지정된 시간 내에 수집된 이벤트들을 대상으로 집계를 수행하기 위해 윈도우 모드를 지원함
4-5. Kinesis Analytics – 예제 – Architecture
4-5. Kinesis Analytics – 예제 – Client Application
4-5. Kinesis Analytics – 예제 – Source 구성
4-5. Kinesis Analytics – 예제 – Application 처리
4-5. Kinesis Analytics – 예제 – Destination 구성
4-5. Kinesis Analytics – 예제 – Athena를 통한 S3 조회
4-6. Kinesis Analytics – 연계 Case
5. Appendix
5-1. Appendix. 서비스 비교
5-2. Appendix. 사례
5-3. Appendix. Kinesis Video Stream 예제
감사합니다 🙂