안녕하세요 오늘은 BESPIN GLOBAL Data실 한제호님이 작성해주신 ‘Spark 1편 – Backend Service – Optimizer’가 무엇인지 소개해드리도록 하겠습니다.

오늘은 BESPIN GLOBAL Innovate AI실 김철환님이 작성해주신 [BigData] Spark 개요 정리에 대해 소개해드리도록 하겠습니다.

Amazon Redshift 데이터베이스에서 사용자 및 권한 관리, 그룹 생성, 권한 부여 및 제거, UDF, Spectrum 및 IAM 권한 설정에 대한 구체적인 구문 및 지침을 제공합니다.

Amazon Redshift의 주요 기능부터 MPP 아키텍처, 데이터 Load/Unload, 분산 스타일, 정렬 키, 데이터 압축, Vacuum/Deep Copy, WLM, Concurrency Scaling, Spectrum까지 자세히 알아봅니다.

Splunk를 WSL(Windows Subsystem for Linux)을 이용해서 개인 PC에 설치하여 사용하는 방법에 대해 설명드립니다. 전제 조건, 설치 방법 및 주의사항까지 자세히 알아봅니다.

Kinesis의 개요부터 Kinesis Data Strem, Kinesis Firehose, Kinesis Analytics, 서비스 비교까지 ‘Kinesis’에 대해 자세하게 알아봅니다.

Amazon S3에 대한 개요부터 Organize, Monitor and Analyze, Act, Security Management, Data Transfer까지 Amazon S3에 대해 자세하게 알아봅니다.

Stream Processing과 Apache Flink 프레임워크에 대한 내용을 알아보고, Flink를 사용하여 실시간 데이터 처리 및 분석을 수행하는 방법과 주요 특징에 대해 설명합니다.

Apache Airflow에 대한 개요와 핵심 용어, 아키텍처, DAG(Directed Acyclic Graph)의 생성 및 실행 과정, Web UI, 내장 및 외부 Operator, Catch Up과 Backfill과 같은 데이터 처리 및 실행 제어 기능에 …

Spark Backend Service – Optimizer에 대해 알아봅니다. Spark의 Catalyst Project는 데이터 처리 작업 최적화와 실행 계획 생성을 담당하며, Catalyst Pipeline은 분석과 최적화로 쿼리 성능을 향상시킵니다.