다섯 살도 알 수 있게 · DB/데이터
데이터 웨어하우스와 데이터 레이크가 뭐예요?
데이터 웨어하우스와 데이터 레이크를, 미리 분류해 선반에 올린 창고와 일단 쌓아두는 야적장을 비교하는 이야기로 풀어봤어요.
반듯한 상자도, 뒤죽박죽 더미도 한꺼번에 들어와요.물건마다 선반에 올릴지, 일단 쌓아둘지 정해야 해요.
선반에 올리려면 분류 규칙을 미리 다 정해둬야 해요.처음 보는 물건은 규칙이 없어 못 올려요.
웨어하우스는 분류해 선반에, 레이크는 들어온 그대로 쌓아둬요.정기 보고엔 웨어하우스, 원본 보관엔 레이크를 쓰니 둘 다 필요할 때가 많아요.
웨어하우스 = 분류 후 저장스키마 온 라이트예요
레이크 = 저장 후 분류스키마 온 리드예요
웨어하우스 = 빠른 정기 보고SQL로 바로 집계해요
레이크 = 다양한 원본 보관사진·로그도 그대로 보관해요
웨어하우스와 레이크의 핵심 차이는 언제 분류하느냐예요.웨어하우스는 저장할 때, 레이크는 꺼내 읽을 때 분류해요.
관리 안 된 레이크는 '데이터 늪'이 돼요.분석(OLAP)은 보통 잘 정리된 웨어하우스 쪽에서 해요.
한 줄로
데이터 웨어하우스는 미리 분류해 선반에 올린 정돈된 창고, 데이터 레이크는 들어온 그대로 쌓아두는 원본 야적장이에요.
데이터 웨어하우스는 저장 전에 스키마를 정해(schema-on-write) 정형 데이터를 담고 빠른 집계·보고에 강해요. 데이터 레이크는 저장은 먼저 하고 필요할 때 구조를 해석(schema-on-read)해, 정형·비정형을 가리지 않고 원본 그대로 쌓아둘 수 있어요. 관리되지 않은 레이크는 '데이터 늪'이 되기 쉽고, 둘을 합친 레이크하우스 같은 접근도 쓰여요.
어른들은 이렇게 불러요
- 스키마 온 라이트
Schema-on-write - 담기 전에 분류부터. 웨어하우스가 쓰는 방식이에요.
- 스키마 온 리드
Schema-on-read - 담아두고 쓸 때 분류. 레이크가 쓰는 방식이에요.
- 정형/비정형 데이터
Structured/Unstructured Data - 반듯한 상자 vs 뒤죽박죽 더미. 레이크는 둘 다 받아줘요.
- ETL/ELT
ETL/ELT - 데이터를 옮기는 일과 다듬는 일의 순서 차이. ETL은 옮기기 전에, ELT는 옮긴 뒤에 다듬어요.
- 데이터 늪
Data Swamp - 관리 안 된 야적장. 아무도 못 찾는 쓰레기 더미가 돼요.
- BI 보고
BI Reporting - 정기적으로 올리는 집계 보고서. 웨어하우스가 가장 잘하는 일이에요.
- 레이크하우스
Lakehouse - 야적장에 선반 몇 개를 더한 것. 웨어하우스와 레이크를 합친 접근이에요.
- OLAP
OLAP - 전체 데이터를 여러 기준으로 썰어보는 분석. 주로 웨어하우스 데이터로 해요. → 전체를 썰어보는 창고 관리자
다음 이야기
전체를 썰어보는 창고 관리자 →