다섯 살도 알 수 있게 · AI 보안
프롬프트 인젝션이 뭐예요?
프롬프트 인젝션을, 주문서 글자 자체에 나쁜 명령을 몰래 섞어 적는 이야기로 풀어봤어요.
주문서 한 장에, 보통 주문과 몰래 끼운 명령이 같이 적혀 있어요.주방장은 종이 한 장에 적힌 걸 전부 손님 말로 믿어요.
주방장에겐 모든 줄이 똑같은 글자로 보여요.사람 주방장은 말투가 바뀌면 눈치채지만, 이 주방장은 그런 표시를 읽을 수 없어요.
프롬프트 인젝션은 주문서 글자 자체에 몰래 섞어 넣은 명령이에요.주문서를 통째로 읽으면 그 안에 섞인 명령도 같이 읽혀요.
그냥 덧붙이기'그리고 ~해줘' 한 줄 추가
다른 역할인 척'이제부터 다른 주방장이야'
규칙 지우기 지시'지금까지 규칙은 잊어버려'
암호처럼 꾸미기거꾸로 쓰거나 다른 말 섞기
직접 인젝션은 손님이 직접 주문서에 명령을 끼워요 — 통로가 하나예요.손님에서 주문서로, 주문서에서 주방장으로. 중간에 다른 자료를 거치지 않아요.
한 줄이 레시피북까지 열 수 있어요 — 그리고 이건 간접 인젝션과 다른 지점이에요.여기서는 손님이 주문서에 직접 끼워요. 다음 페이지는 모델이 나중에 읽는 외부 자료에 숨는 경우예요.
한 줄로
프롬프트 인젝션 = 주문서 글자 자체에 몰래 섞어 넣은 나쁜 명령. 주방장은 종이 한 장에 적힌 걸 전부 믿고 읽어서, 손님 말과 명령을 구분하지 못해요.
Prompt Injection. LLM 에 들어가는 입력(프롬프트) 안에 공격자가 심어 넣은 지시문이 모델의 원래 지시를 덮어쓰거나 무시하게 만드는 공격이에요. 사용자가 보낸 텍스트 자체에 직접 심는 경우(direct)를 말하며, 모델이 나중에 읽는 외부 콘텐츠에 심는 간접(indirect) 인젝션과 구분돼요.
어른들은 이렇게 불러요
- 프롬프트 인젝션
Prompt Injection - 주문서 글자 자체에 숨긴 명령. 주방장이 주문서를 통째로 읽으면 명령도 같이 읽혀요.
- 직접 인젝션
Direct Injection - 손님이 직접 주문서에 끼우는 것. 통로가 하나예요 — 손님에서 주방장으로 곧장 가요.
- 지시 덮어쓰기
Instruction Override - '지금까지 규칙은 잊어버려' 같은 재지시. 원래 규칙을 지우고 새 규칙을 심으려는 시도예요.
- 가드레일(입력 필터)
Guardrail (input filter) - 주문서가 주방장에게 가기 전 검사대. AI 세계에서 더 자세히 봐요. → 가드레일이 뭐예요?
- 도구 호출 악용
Tool-call Abuse - 끼워 넣은 명령이 심부름까지 시키는 것. 칼서랍에서 도구를 꺼내 쓰는 일이에요. → 도구 호출이 뭐예요?
- 일반 인젝션(SQL·XSS)
Injection (SQL, XSS) - 다른 가게의 쪽지 수법. 보안 마을에도 비슷한 수법이 있어요. → 쪽지에 숨긴 명령
- 간접 프롬프트 인젝션
Indirect Prompt Injection - 포장지 속에 숨은 쪽지. 다음 페이지에서 자세히 풀어요. → 재료 포장지에 적힌 몰래 쪽지
- AI 보안
AI Security - 이 주방 전체를 지키는 일. 이 분야의 첫 페이지예요. → 다 받아주는 주방
다음 이야기
재료 포장지에 적힌 몰래 쪽지 →