다섯 살도 알 수 있게 · AI 보안
AI 사고 대응이 뭐예요?
AI 사고 대응을, 뭔가 터지면 손 뻗는 비상벨과 그 다음 순서 이야기로 풀어봤어요.
AI가 관련된 사고가 터졌어요 — 오남용, 오작동, 유출일 수 있어요.이상한 요리가 이미 손님에게 나간 다음이에요.
기계는 고장나면 요란한데, 이 주방장은 조용히, 자신 있게 틀려요.그래서 사고가 난 줄도 모르고 한참 지나버려요.
AI 사고 대응 = 비상벨이 울리면 따르는 절차예요.탈옥 성공, 유출, 오작동 — 어떤 사고든 같은 벨로 시작해요.
비슷한 요리부터 멈춰요더 나가기 전에 막아요
어떤 사고인지 구분해요탈옥·유출·오작동 중 뭔지
손님에게도 알려요숨기지 않아요
끝나면 장부에 남겨요다음에 쓸 재료가 돼요
감지 → 멈춤 → 분류 → 알림 → 기록, 순서가 있어요.이 순서가 다음 사고를 더 빨리 잡아요.
고쳐줘도 왜 틀렸는지는 몰라요 — 지휘 체계는 같지만 사고 종류는 AI 전용이에요.평소에 적어둔 장부가 분류를 훨씬 빠르게 해줘요.
한 줄로
AI 사고 대응 = AI가 관련된 사고(탈옥·유출·오작동)가 터지면, 비상벨을 울려 멈추고·분류하고·알리고·기록하는 순서를 따르는 일.
AI 사고 대응은 LLM·에이전트가 관련된 사고(탈옥 성공, 민감정보 유출, 도구 오남용, 환각으로 인한 피해 등)에 대응하는 절차예요. 일반 인시던트 커맨드 구조(지휘·조치·소통 분리)는 그대로 쓰지만, 사고의 '종류'를 AI 보안 특유의 범주로 미리 분류해 둬야 하고, 평소 쌓아둔 감사 로그가 분류와 원인 파악을 크게 빠르게 해줘요.
어른들은 이렇게 불러요
- AI 사고 대응
AI incident response - 비상벨이 울리면 따르는 절차. AI가 관련된 사고에만 쓰는, 전용 절차예요.
- 탈옥
Jailbreak - 규칙을 깨고 나쁜 말을 하게 만드는 것. 가장 자주 벨을 울리는 사고 종류예요. → 다 받아주는 주방
- 데이터 유출
Data leak - 비밀 레시피가 밖으로 새어나가는 것. AI 프라이버시 쪽에서 더 다뤄요. → AI 프라이버시가 뭐예요?
- 지휘 체계
Incident command - 누가 지휘봉을 들지 미리 정해두는 것. 일반 사고 대응의 지휘 체계를 그대로 써요. → 지휘봉을 든 사람
- 사후 분석
Postmortem - 사고 끝나고 탓하지 않고 쓰는 기록. AI 사고도 똑같이, 탓하지 않고 기록해요. → 탓하지 않고 모여 쓰는 기록
- 런북
Runbook - 이런 사고엔 이렇게 하라고 미리 적어둔 매뉴얼. 사고 종류별로 미리 써 둬요. → 미리 적어둔 매뉴얼
- 가드레일
Guardrail - 맛보기 검수대 — 평소엔 막아주는 울타리. 이게 뚫렸을 때 사고가 터져요. → 가드레일이 뭐예요?
- 감사 로그
Audit log - 매일매일 적어두는 주문 기록. 사고가 나기 전부터 쌓여 있던 게 제일 큰 도움이 돼요. → 주문 기록 장부
다음 이야기
매일 적는 주문 기록 장부 →