LLM 기반 AI 플랫폼 개발에서의 LangChain을 활용한 RAG 구성하기
LLM 기반 AI 플랫폼 개발에서의 LangChain을 활용한 RAG 구성 방법을 소개합니다.
Data
Data 영역의 카테고리
Redshift 사용자 관리
Amazon Redshift 데이터베이스에서 사용자 및 권한 관리, 그룹 생성, 권한 부여 및 제거, UDF, Spectrum 및 IAM 권한 설정에 대한 구체적인 구문 및 지침을 제공합니다.
Redshift 주요 기능 및 성능 개선
Amazon Redshift의 주요 기능부터 MPP 아키텍처, 데이터 Load/Unload, 분산 스타일, 정렬 키, 데이터 압축, Vacuum/Deep Copy, WLM, Concurrency Scaling, Spectrum까지 자세히 알아봅니다.
Splunk를 WSL을 이용하여 개인 PC에 설치하여 사용하는 방법
Splunk를 WSL(Windows Subsystem for Linux)을 이용해서 개인 PC에 설치하여 사용하는 방법에 대해 설명드립니다. 전제 조건, 설치 방법 및 주의사항까지 자세히 알아봅니다.
Kinesis Introduction
Kinesis의 개요부터 Kinesis Data Strem, Kinesis Firehose, Kinesis Analytics, 서비스 비교까지 ‘Kinesis’에 대해 자세하게 알아봅니다.
Amazon S3 소개
Amazon S3에 대한 개요부터 Organize, Monitor and Analyze, Act, Security Management, Data Transfer까지 Amazon S3에 대해 자세하게 알아봅니다.
Apache Flink
Stream Processing과 Apache Flink 프레임워크에 대한 내용을 알아보고, Flink를 사용하여 실시간 데이터 처리 및 분석을 수행하는 방법과 주요 특징에 대해 설명합니다.
Apache Airflow
Apache Airflow에 대한 개요와 핵심 용어, 아키텍처, DAG(Directed Acyclic Graph)의 생성 및 실행 과정, Web UI, 내장 및 외부 Operator, Catch Up과 Backfill과 같은 데이터 처리 및 실행 제어 기능에 대해 설명합니다.
Spark Backend Service – Optimizer
Spark Backend Service – Optimizer에 대해 알아봅니다.
Spark의 Catalyst Project는 데이터 처리 작업 최적화와 실행 계획 생성을 담당하며, Catalyst Pipeline은 분석과 최적화로 쿼리 성능을 향상시킵니다.
Apache Kafka
Apache Kafka에 대한 개요와 기본 개념을 다루며, 이벤트 스트리밍 플랫폼으로서의 역할, 데이터 전송 아키텍처의 변화, Kafka의 구성요소 및 동작 원리, 기존 메시징 시스템과의 차이점, 활용 사례 등을 알아봅니다.