다섯 살도 알 수 있게 · AI 보안
간접 프롬프트 인젝션이 뭐예요?
간접 프롬프트 인젝션을, 손님이 아니라 재료 포장지에 몰래 적힌 명령을 주방장이 읽는 이야기로 풀어봤어요.
손님은 평범하게 부탁했어요 — 쪽지는 재료 포장지 쪽에 있었어요.손님이 쪽지를 쓴 게 아니에요. 포장지는 창고에 미리 놓여 있었어요.
주방장은 포장지에 적힌 걸 전부 손님 부탁처럼 읽어요.손님은 그냥 '포장지대로' 라고만 했어요. 포장지 안의 모든 글자가 명령이 될 수 있어요.
간접 인젝션은 모델이 나중에 읽는 외부 자료에 숨긴 명령이에요.손님이 적은 게 아니라, 손님이 가리킨 자료 안에 미리 숨어 있어요.
창고 선반에재료 포장지 안에 숨어요
검색 결과·웹페이지에주방장이 찾아보러 간 자료 안에
심부름 결과에견습생이 가져온 문서 안에도
손님과 연결 고리가 없어요손님은 자료를 가리키기만 했어요
직접 인젝션은 통로가 하나지만, 간접 인젝션은 두 번 거쳐요.손님→자료, 자료→주방장. 공격자는 손님에게 말을 걸 필요도 없어요.
직접 인젝션과 간접 인젝션, 숨는 곳만 다를 뿐이에요.검색 결과나 문서를 읽어 오는 심부름이 많아질수록, 숨을 자리도 늘어나요.
한 줄로
간접 프롬프트 인젝션 = 손님이 아니라, 주방장이 나중에 읽으러 가는 외부 자료(포장지·검색 결과·문서)에 몰래 숨긴 명령.
Indirect Prompt Injection. LLM 이나 에이전트가 검색 결과, 웹페이지, 문서처럼 외부에서 가져오는 콘텐츠를 읽을 때, 그 콘텐츠 안에 공격자가 심어 둔 지시문이 실행되는 공격이에요. 사용자는 공격 문구를 본 적도, 적은 적도 없어서 직접 인젝션보다 눈치채기 어려워요.
어른들은 이렇게 불러요
- 간접 프롬프트 인젝션
Indirect Prompt Injection - 재료 포장지 속에 숨은 쪽지. 손님이 쓴 게 아니라, 자료 안에 미리 숨어 있어요.
- 직접 인젝션
Direct Injection - 주문서에 바로 끼우는 쪽지. 이웃 용어예요, 숨는 곳이 달라요. → 주문서 뒤에 몰래 끼운 쪽지
- RAG(검색 보강)
RAG (retrieval) - 찾아온 자료를 그대로 재료 삼는 것. AI 세계의 기본 개념이에요. → RAG가 뭐예요?
- 도구/심부름 결과
Tool or Errand Results - 견습생이 가져온 문서 안에도 숨을 수 있어요. 자율 에이전트일수록 가져오는 자료가 많아져요.
- 공급망
Supply Chain - 미리 선반에 놓인 포장지. 재료가 창고에 들어오는 순간부터 노려질 수 있어요.
- 출처 신뢰 경계
Trust Boundary - '손님 말' 과 '포장지 글자' 는 같은 신뢰로 두면 안 돼요. 포장지 글자는 재료 설명일 뿐, 명령이 되어선 안 돼요.
- 가드레일(출력·행동 제한)
Guardrail (action limits) - 자료를 읽고 나서도 심부름 전엔 한 번 더 검사. 읽은 자료가 시킨 일이라도, 심부름 전엔 허락을 다시 물어요.
- 프롬프트 인젝션(분야 개요)
Prompt Injection (overview) - 이 주방의 첫 번째 약점. 전체 그림은 여기서부터예요. → 다 받아주는 주방
다음 이야기
주방장을 구슬려 규칙을 깨게 하기 →