다섯 살도 알 수 있게 · AI 보안
RAG 포이즈닝이 뭐예요?
RAG 포이즈닝을, 주방장이 그때그때 꺼내 보는 참고 카드함에 누군가 가짜 카드를 끼워 넣는 이야기로 풀어봤어요.
이 카드함은 누구나 카드를 더할 수 있어요.보통 카드도, 몰래 끼운 가짜 카드도 똑같이 섞여 있어요.
주방장은 카드 속 글자만 믿어요 — 누가 썼는지는 몰라요.사람이라면 출처를 의심하지만, 이 주방장은 그러지 않아요.
RAG 포이즈닝은 참고 카드함에 가짜 카드를 끼워 넣는 것이에요.카드함 속 카드 한 장이 답을 바꿔버려요.
출처부터 확인하기카드만 보고 바로 믿지 않아요
쓰기 권한 제한하기카드함 문을 아무에게나 열어주지 않아요
여러 카드 비교하기한 장만 보고 답하지 않아요
카드함 자주 정리하기오래된·수상한 카드를 걸러내요
카드 한 장이 가짜면, 답도 가짜가 돼요.질문 → 카드 검색 → 그대로 이어붙이기 → 틀린 답, 네 걸음이에요.
한 장만 빼면 고쳐지지만, 열려 있으면 또 생겨요.재료창고와 달리, 이 카드함은 빨리 고치는 대신 계속 지켜봐야 해요.
한 줄로
RAG 포이즈닝 = 참고 카드함에 가짜 카드를 끼워 넣어, 주방장이 그 카드 그대로 요리하게 만드는 것.
RAG 포이즈닝(RAG Poisoning)은 RAG(검색 증강 생성)가 참고하는 외부 자료 — 문서, 검색 결과, 벡터DB 속 조각 — 에 가짜 정보를 심어 모델이 틀리거나 위험한 답을 하게 만드는 공격이에요. 모델을 다시 학습시킬 필요 없이 '그때그때 찾아보는 자료'만 더럽히면 되기 때문에 비교적 쉽고, 자료가 공개되어 있을수록 더 위험해요.
어른들은 이렇게 불러요
- RAG 포이즈닝
RAG Poisoning - 참고 카드함에 가짜 카드를 끼우는 일. 이 세계관 전체 소개도 있어요. → 다 받아주는 주방
- RAG
RAG - 답하기 전에 자료를 찾아보는 것. AI 세계의 기본 개념이에요. → 사서가 찾아온 페이지
- 벡터 DB
Vector DB - 카드를 딱지 순서로 정리해 둔 곳. 카드함이 실제로 어떻게 정리되는지 봐요. → 딱지로 정리한 서가
- 간접 프롬프트 인젝션
Indirect Prompt Injection - 재료 포장지에 몰래 적힌 명령. 이웃 공격이에요 — 쪽지가 아니라 외부 자료에 숨어 있어요. → 재료 포장지에 적힌 몰래 쪽지
- 데이터 포이즈닝
Data Poisoning - 재료창고(학습 데이터) 자체에 수상한 재료를 섞는 일. 재료창고는 한 번 들어오면 오래 남지만, 이 카드함은 그때그때 꺼내 쓰는 자료라 성격이 달라요. → 수상한 재료 자루
- 공급망 공격
Supply Chain Attack - 들어오는 재료나 도구에 미리 손을 대는 일. 보안 세계의 일반 개념이에요. → 목수의 연장통에 숨어 들어온 벌레
- 최소 권한
Least Privilege - 딱 필요한 만큼만 권한을 주는 것. 카드함에 누가 쓸 수 있는지도 이 원칙이에요. → 딱 필요한 열쇠만
- 레드팀
Red Team - 일부러 가짜 카드를 끼워보며 미리 찾아내는 사람들. 보안 세계의 일반 개념이에요. → 진짜 도둑인 척하는 팀
다음 이야기
숨겨진 암호 주문어 →