Spark Backend Service – Optimizer에 대해 알아봅니다.
Spark의 Catalyst Project는 데이터 처리 작업 최적화와 실행 계획 생성을 담당하며, Catalyst Pipeline은 분석과 최적화로 쿼리 성능을 향상시킵니다.
Spark Backend Service – Optimizer
Apache Kafka
Apache Kafka에 대한 개요와 기본 개념을 다루며, 이벤트 스트리밍 플랫폼으로서의 역할, 데이터 전송 아키텍처의 변화, Kafka의 구성요소 및 동작 원리, 기존 메시징 시스템과의 차이점, 활용 사례 등을 알아봅니다.
Quicksight 소개
AWS의 데이터 분석 서비스, Dataset, Analysis, dashboard, 사용자, 그룹, 네임 스페이스, 자산 공유, 보안, Audit Log, 사용자별 로그 추적, 버전 별 기능 및 가격 정책까지 Quicksight에 대해 자세히 알아봅니다.
Data Lakehouse란?
Data Lakehouse에 대해 알아봅니다.
정형(DBMS), 반정형(CSV, XML, JSON등), 비정형 및 이진 데이터(PDF, dnjem, 이메일, 오디오, 비디오, 이미지 등)의 다양한 형태의 데이터를 원시 형태로 저장하는 단일 데이터 저장소입니다.
[MySQL] Online DDL 별 적용 가능한 알고리즘 (8.0 이상)
Online DDL 별 적용 가능한 알고리즘 (8.0 이상)에 대해 알아봅니다. MySQL에서는 스키마 변경을 수행할 때 온라인 DDL을 지원하여 테이블의 읽기 및 쓰기 작업을 유지할 수 있도록 적용 가능한 알고리즘은 다음과 같습니다.
[MySQL] MysqlTuner Utility
[Mysql] Mysql Tuner Utility
Mysql Tuner Utility 에 대해 알아봅니다.
MySQL Tuner는 Perl로 작성된 스크립트로 MySQL 설치를 빠르게 검토하고 조정하여 성능과 안정성을 높일 수 있습니다.
[MySQL] MySQL DETERMINISTIC
[ MySQL DETERMINISTIC]
Mysql Function/Procedure 에서 DETERMINISTIC ,NOT DETERMINISTIC
옵션이 미치는 영향에 대해 알아봅니다.
[MySQL] Mysql Lateral Query
[Mysql Lateral Query]
이번 글에서는 MariaDB와 MySQL 8.0에서의 LATERAL 키워드 사용 차이를 알아보고, LATERAL 키워드의 중요성과 SQL 쿼리 최적화에 대해 설명합니다.
[MySQL] RDS 업그레이드 및 볼륨암호화 작업
‘AWS MySQL RDS 버전 업그레이드 및 볼륨암호화 작업’에 대해 공유드립니다.
작업 배경 및 목적은 MySQL RDS old minor 버전 Maintenance 예정, 스토리지 볼륨 암호화, 네이밍 룰 적용 등이 있습니다.