다섯 살도 알 수 있게 · SW공학
빅데이터 플랫폼이 뭐예요?
빅데이터 플랫폼과 처리 아키텍처를, 전국 독자 주문을 감당하는 출판사 창고 네트워크 이야기로 풀어봤어요.
전국 독자 주문이 하루에도 수백만 건씩 쏟아져요.창고 하나로는 주문 자료를 다 담지도, 다 찾지도 못해요.
주문 자료를 한 창고에 다 넣으려니 창고는 넘치고 정리는 느려져요.창고 하나, 일꾼 한 명으로는 정리 속도가 주문 속도를 못 따라가요.
빅데이터 플랫폼은 자료를 여러 창고에 나눠 담고, 일꾼 여럿이 나눠서 정리해요.한 창고가 꽉 차도 다른 창고에 담으면 돼요.
나눠 담기자료를 창고 하나에 다 넣지 않아요
나눠서 정리일꾼 여럿이 동시에 정리해요
밤에 몰아서(배치)모아둔 자료를 한꺼번에 정리해요
원본 그대로(데이터레이크)자료를 일단 그대로 쌓아둬요
쓰임새에 맞춰 '언제 정리할지'와 '어떻게 쌓을지'를 따로 골라요.결과가 바로 필요하면 스트리밍, 좀 늦어도 되는 대량 정리면 배치를 골라요.
창고를 늘린다고 정리가 저절로 빨라지진 않아요.자료를 정리 안 하고 쌓아두기만 하면 나중엔 아무것도 못 찾는 '늪'이 돼요.
한 줄로
빅데이터 플랫폼은 쏟아지는 자료를 여러 창고(분산 저장)에 나눠 담고, 여럿이 동시에(분산 처리) 정리하는 구조예요.
빅데이터 플랫폼은 대용량·고속·다양한 형태의 데이터를 분산 저장(HDFS 등)하고 분산 처리(Hadoop MapReduce, Spark 등)하는 구조예요. 처리 방식은 정해진 시간마다 모아 처리하는 배치 처리와, 들어오는 즉시 처리하는 스트리밍 처리로 나뉘고, 저장은 원본을 그대로 보관하는 데이터레이크와 정제된 데이터를 구조화해 보관하는 데이터웨어하우스를 함께 두는 구성이 흔해요.
어른들은 이렇게 불러요
- 빅데이터 플랫폼
Big Data Platform - 전국 창고 네트워크. 자료를 여러 창고에 나눠 담고, 일꾼 여럿이 나눠서 정리해요.
- 분산 저장
Distributed Storage - 창고를 여러 곳에 나누는 것. 한 창고가 꽉 차도 다른 창고에 담을 수 있어요.
- 분산 처리
Distributed Processing - 일꾼을 여럿 두고 동시에 정리. Hadoop·Spark 같은 도구가 분산 처리를 해요.
- 배치 처리
Batch Processing - 밤에 몰아서 정리하기. 결과가 좀 늦어도 되는 대량 작업에 유리해요.
- 스트리밍 처리
Stream Processing - 들어오자마자 바로 정리하기. 결과가 바로 필요할 때 유리해요.
- 데이터레이크
Data Lake - 원본 그대로 쌓아두는 큰 창고. 정리가 안 되면 '늪'이 될 수 있어요.
- 데이터웨어하우스
Data Warehouse - 정리된 서가. 분석하기 좋게 구조화돼 있어요.
- 고가용성
High Availability - 창고 하나가 무너져도 버티는 대비. 이 분야 대신 SRE 분야에서 다뤄요. → 예비 발전기가 넘겨받는 이야기
다음 이야기
정답 없이도 관계로 확인하기 →