Spark Backend Service – Optimizer
Spark Backend Service – Optimizer에 대해 알아봅니다.
Spark의 Catalyst Project는 데이터 처리 작업 최적화와 실행 계획 생성을 담당하며, Catalyst Pipeline은 분석과 최적화로 쿼리 성능을 향상시킵니다.
Data 영역의 카테고리
Spark Backend Service – Optimizer에 대해 알아봅니다.
Spark의 Catalyst Project는 데이터 처리 작업 최적화와 실행 계획 생성을 담당하며, Catalyst Pipeline은 분석과 최적화로 쿼리 성능을 향상시킵니다.
AWS의 데이터 분석 서비스, Dataset, Analysis, dashboard, 사용자, 그룹, 네임 스페이스, 자산 공유, 보안, Audit Log, 사용자별 로그 추적, 버전 별 기능 및 가격 정책까지 Quicksight에 대해 자세히 알아봅니다.
Data Lakehouse에 대해 알아봅니다.
정형(DBMS), 반정형(CSV, XML, JSON등), 비정형 및 이진 데이터(PDF, dnjem, 이메일, 오디오, 비디오, 이미지 등)의 다양한 형태의 데이터를 원시 형태로 저장하는 단일 데이터 저장소입니다.
Online DDL 별 적용 가능한 알고리즘 (8.0 이상)에 대해 알아봅니다. MySQL에서는 스키마 변경을 수행할 때 온라인 DDL을 지원하여 테이블의 읽기 및 쓰기 작업을 유지할 수 있도록 적용 가능한 알고리즘은 다음과 같습니다.
[Mysql] Mysql Tuner Utility
Mysql Tuner Utility 에 대해 알아봅니다.
MySQL Tuner는 Perl로 작성된 스크립트로 MySQL 설치를 빠르게 검토하고 조정하여 성능과 안정성을 높일 수 있습니다.
[ MySQL DETERMINISTIC]
Mysql Function/Procedure 에서 DETERMINISTIC ,NOT DETERMINISTIC
옵션이 미치는 영향에 대해 알아봅니다.
[Mysql Lateral Query]
이번 글에서는 MariaDB와 MySQL 8.0에서의 LATERAL 키워드 사용 차이를 알아보고, LATERAL 키워드의 중요성과 SQL 쿼리 최적화에 대해 설명합니다.
‘AWS MySQL RDS 버전 업그레이드 및 볼륨암호화 작업’에 대해 공유드립니다.
작업 배경 및 목적은 MySQL RDS old minor 버전 Maintenance 예정, 스토리지 볼륨 암호화, 네이밍 룰 적용 등이 있습니다.
ySQL Shell (Dump/Load Utility) 사용하여 Maria10.4.11 -> Aurora Mysql 8.0.23 migration로 마이그레이션 한 내용 공유합니다. 상세 기능 및 옵션, 사용법은 첨부파일을 참고해 주세요.