다섯 살도 알 수 있게 · SRE
카오스 엔지니어링이 뭐예요?
카오스 엔지니어링을 예비 발전기가 진짜 되는지 몰래 확인해 보는 이야기로 풀어봤어요.
우리 공원, 예비 발전기 진짜 되나요?아무도 확신 못해요 — 한 번도 안 꺼봤으니까요.
안 써본 안전장치는 진짜 비상에 안 될 수도 있어요.먼지만 쌓인 채, 마지막으로 켜본 날도 기억이 안 나요.
평소에 몰래 기구 하나를 꺼봐요 — 예비가 바로 이어받으면 성공이에요.진짜 손님이 있는 시간에, 작게 해봐요.
일부러 작게 고장을 내봐요딱 하나만요
진짜 운영 중에 해봐요테스트 공원 말고요
작게 시작해서 점점 크게조금씩 늘려가요
터지면 바로 멈출 준비되돌릴 수 있게요
정비사가 몰래 하나를 꺼보고, 예비가 넘겨받는지 계기판으로 확인해요.전력이 뚝 떨어졌다가, 예비가 들어오면 다시 올라가요.
아무 준비 없이 무작정 하면 진짜 사고가 나요.작게, 되돌릴 수 있게, 미리 알리고 해야 해요.
한 줄로
카오스 엔지니어링 = 예비 장치가 진짜 되는지 평소에 작게, 일부러 꺼봐서 확인하는 일.
Chaos Engineering. 시스템에 일부러 장애를 주입해 설계한 대로 버티는지 확인하는 방법이에요. 가설을 세우고(이 정도는 버틸 거다), 블라스트 반경을 작게 제한하고, 실제 운영 환경에서 점진적으로 범위를 넓혀요. 정기적으로 하면 게임 데이가 돼요.
어른들은 이렇게 불러요
- 카오스 엔지니어링
Chaos Engineering - 예비 장치가 되는지 몰래 확인하는 일. 일부러, 작게, 미리 준비해서 해요.
- 장애 주입
Fault injection - 일부러 기구 하나를 꺼보는 것. 카오스 엔지니어링이 하는 바로 그 행동이에요.
- 사전 준비된 실험
A planned experiment - 무작정이 아니라 미리 짜둔 실험. 언제, 무엇을, 얼마나 끌지 미리 정해요.
- 가설 검증
Hypothesis testing - '이 정도는 버틸 거다'를 확인하는 일. 틀렸다면 그게 바로 수확이에요.
- 블라스트 반경 제한
Limiting the blast radius - 작게 시작해서 점점 키우는 것. 한 번에 공원 전체를 꺼보지 않아요.
- 게임 데이와의 관계
Relation to game days - 미리 날짜 잡고 다 같이 하는 연습. 정기적으로 하면 게임 데이가 돼요. → 가짜 화재 훈련일
- 장애 조치
Failover - 예비가 넘겨받는 바로 그 동작. 카오스 엔지니어링은 이게 진짜 되는지 확인하는 거예요.
- 복원력 검증
Resilience verification - '버틸 거다'가 아니라 '버텼다'로 바꾸는 일. 말로만 하는 약속과 달라요. → 쉬지 않는 공원을 돌보는 사람들
다음 이야기
가짜 화재 훈련일 →