소속팀: AI플랫폼엔지니어링 작성자: 손재홍
Databricks Lakehouse 아키텍처를 다시 정리하며 배운 점
안녕하세요. AI 플랫폼 엔지니어링팀 손재홍입니다.
최근 Databricks Lakehouse 아키텍처를 다시 봤습니다. 예전에 자격증 공부를 하면서 한 번 봤던 내용이지만, 실제 데이터 플랫폼 운영 관점에서 다시 보니 눈에 들어오는 부분이 조금 달랐습니다.
처음에는 Lakehouse를 Data Lake와 Data Warehouse를 합친 개념 정도로만 이해하고 있었습니다. 틀린 말은 아니지만, 그렇게만 보면 조금 추상적입니다. 다시 보면서 느낀 건 Lakehouse의 핵심은 저장소 이름보다 운영 방식에 더 가깝다는 점이었습니다.
Data Lake는 원천 데이터를 저렴하게 많이 저장하기 좋습니다. 로그, 파일, 반정형 데이터처럼 형태가 다양한 데이터도 담기 쉽습니다. 대신 운영하다 보면 품질 관리, 스키마 관리, 트랜잭션, 권한 관리 같은 부분이 약해질 수 있습니다.
Data Warehouse는 반대로 정제된 데이터를 안정적으로 분석하기 좋습니다. BI나 리포트에는 강하지만, 모든 데이터를 Warehouse로 복사하고 가공해야 하다 보니 데이터 복제와 파이프라인 관리가 늘어납니다. 데이터가 많아질수록 비용과 운영 복잡도도 같이 올라갑니다.
Lakehouse는 이 둘 사이에서 나온 구조라고 이해했습니다. 클라우드 오브젝트 스토리지 위에 데이터를 두되, Warehouse에서 기대하는 관리 기능을 같이 가져오는 방식입니다. Databricks 문서에서는 Lakehouse가 Data Lake의 개방성과 확장성, Data Warehouse의 안정성과 거버넌스를 함께 가져가는 구조라고 설명합니다.
가장 중요하게 본 부분은 Delta Lake입니다. 단순히 파일을 Parquet로 저장하는 것만으로는 테이블 운영이라고 보기 어렵습니다. 데이터가 언제 들어왔는지, 어떤 버전이 있는지, 스키마가 어떻게 바뀌었는지, 실패한 작업이 중간에 데이터를 망가뜨리지는 않았는지 확인할 수 있어야 합니다.
Delta Lake는 이 지점을 메타데이터와 트랜잭션 로그로 보완합니다. 그래서 Lake 위에 테이블처럼 다룰 수 있는 계층이 생깁니다. ACID 트랜잭션, 스키마 강제, Time Travel 같은 기능이 여기서 의미를 갖습니다.
운영 관점에서 보면 이 차이가 꽤 큽니다.
예를 들어 배치 작업이 실패했을 때 단순 파일 기반 구조에서는 어느 파일까지 정상이고 어느 파일부터 이슈가 있는지 추적하기가 애매할 수 있습니다. 반면 Delta 기반 테이블은 버전과 커밋 단위로 상태를 볼 수 있습니다. 이게 있으면 장애 원인을 추적하거나 이전 상태를 확인하는 일이 훨씬 단순해집니다.
또 하나는 스키마입니다. 데이터 파이프라인을 운영하다 보면 컬럼이 추가되거나 타입이 바뀌는 일이 생깁니다. 작은 변경처럼 보여도 downstream 쪽에서는 리포트 실패나 ETL 오류로 이어질 수 있습니다. Lakehouse 구조에서는 이런 변경을 테이블 관리 기능 안에서 다루기 때문에, 단순 파일 적재보다 운영 기준을 세우기 쉽습니다.
다시 보면서 Lakehouse가 ML/AI 쪽과도 잘 연결되는 이유도 조금 더 이해됐습니다.
AI나 ML 작업은 정형 데이터만 쓰지 않습니다. 로그, 텍스트, 이미지, 이벤트 데이터처럼 다양한 데이터가 섞입니다. Data Lake는 이런 데이터를 담기 좋지만, 관리가 약하면 모델 학습이나 평가 과정에서 재현성이 떨어질 수 있습니다. 반대로 Warehouse는 관리가 좋지만 모든 데이터를 유연하게 다루기에는 답답할 수 있습니다.
Lakehouse는 이 사이에서 데이터를 한곳에 두고, BI와 ML/AI가 같은 기반 데이터를 보게 하는 방향입니다. 이론적으로만 보면 너무 당연한 말 같지만, 실제 운영에서는 중요합니다. 같은 지표를 두고 분석팀과 운영팀이 서로 다른 데이터를 보고 있으면 문제 원인 파악부터 꼬입니다.
그래서 저는 Lakehouse를 좋은 아키텍처 용어라기보다, 데이터 복제와 운영 기준을 줄이려는 시도라고 이해하는 편이 더 와닿았습니다.
물론 Lakehouse를 쓴다고 모든 이슈가 자동으로 해결되는 건 아닙니다. 테이블 설계, 파티션 전략, 권한 관리, 비용 관리, Job 모니터링은 여전히 필요합니다. 오히려 데이터가 한곳에 모이기 때문에 관리 기준을 더 명확히 잡아야 합니다.
특히 운영 업무에서는 아래 세 가지가 중요해 보였습니다.
- 테이블 변경 이력을 볼 수 있어야 함
- 배치 실패 시 어느 시점부터 이슈가 생겼는지 추적할 수 있어야 함
- 데이터 품질과 스키마 변경을 사전에 감지할 수 있어야 함
이 부분은 앞으로 볼 Databricks 운영 자동화 주제와도 연결됩니다. 단순히 Job이 성공했는지 실패했는지만 보는 것이 아니라, 테이블 상태와 데이터 품질까지 같이 보는 구조가 필요하다고 생각했습니다.
이번 학습에서 Lakehouse를 조금 다르게 보게 됐습니다.
예전에는 Lakehouse를 Data Lake와 Warehouse의 중간 형태로만 봤습니다. 지금은 데이터 플랫폼 운영에서 데이터를 저장하는 방식과 데이터를 믿고 운영하는 방식을 연결하는 구조로 이해하고 있습니다.
아직 더 봐야 할 부분도 많습니다. 특히 Unity Catalog, Lakeflow, Workflows, Delta Live Tables 쪽은 운영 자동화와 직접 연결될 수 있어 따로 볼 예정입니다.
여기까지입니다.
참고 링크
- Databricks – What is a Data Lakehouse?: https://www.databricks.com/glossary/data-lakehouse
- Databricks Docs – What is a data lakehouse?: https://docs.databricks.com/aws/en/lakehouse/