정렬이 뭐예요?
정렬(얼라인먼트)을 학교를 갓 나온 앵무새가 사람이 원하는 대로 — 도움 되게, 정직하게, 해롭지 않게 — 답하도록 시키는 예절 교육 이야기로 풀어봤어요.
학교를 갓 나온 앵무새는 나쁜 질문에도 술술 답하고, 부탁에는 딴소리를 해요.말은 정말 잘 이어요. 그런데 '무엇을 해야 하고 무엇을 하면 안 되는지'는 몰라요.
책엔 온갖 말이 다 있고, 학교는 '다음 콩'만 가르쳤어요.책 읽는 학교는 좋은 말도 나쁜 말도 똑같이 이어 붙이게 가르쳤어요. 어떤 답이 좋은 답인지는 누가 따로 알려 줘야 해요.
정렬은 앵무새가 사람이 원하는 대로 답하도록 하는 예절 교육이에요.도움 되게, 정직하게, 해롭지 않게. 좋은 답엔 간식을 주고, 규칙을 두루마리에 적어 두고 그걸로도 채점해요. 짧은 특훈과 방법은 비슷한데, 가르치는 건 지식이 아니라 태도예요.
사람이 고른 걸 채점표가 배우고, 채점표가 앵무새를 가르쳐요. 수만 번요.사람이 모든 답을 하나하나 볼 순 없어요. 그래서 '간식 주는 법'을 배운 채점표를 만들고, 그 채점표가 앵무새를 대신 가르쳐요. 규칙 두루마리로 채점하면 사람 손이 더 적게 들어요.
예절은 겉을 고치는 거예요. 새는 곳엔 울타리를, 조심은 알맞게.돌려 말하면 새는 부분이 남아요 — 그래서 울타리가 따로 필요해요. 반대로 너무 조심하면 사과도 못 깎는 쓸모없는 앵무새가 돼요. 알맞은지는 시험관이 재요.
정렬 = 학교를 나온 앵무새가 사람이 원하는 대로(도움 되게·정직하게·해롭지 않게) 답하도록 하는 예절 교육. 두 답 중 좋은 쪽에 간식을 주고, 규칙 두루마리로도 채점해요. 겉을 고치는 거라 울타리가 따로 필요하고, 너무 조심하면 쓸모없어져요.
Alignment. 사전 학습된 모델이 사람의 의도와 가치에 맞게 행동하도록 조정하는 단계예요. 대표 방법은 RLHF: 사람이 두 답 중 선호를 표시한 데이터로 보상 모델을 학습하고, 그 보상을 최대화하도록 정책(모델)을 강화학습해요. 헌법적 AI 는 글로 적은 원칙으로 모델 스스로 채점하게 해요. 부작용으로 과잉 거절이 있고, 탈옥에는 별도의 가드레일과 평가가 필요해요.
어른들은 이렇게 불러요
- 정렬
Alignment - 앵무새 예절 교육. 도움 되게, 정직하게, 해롭지 않게 답하도록 태도를 가르쳐요.
- RLHF
RLHF - 좋은 답에 간식 주기. 사람이 고른 쪽에 간식을 주면서 앵무새 눈금을 그쪽으로 돌려요.
- 보상 모델
Reward model - 간식 주는 법을 배운 채점표. 사람이 모든 답을 볼 수 없으니, 채점표가 사람 대신 간식을 줘요.
- 선호 데이터
Preference data - 두 답 중 더 좋은 쪽 표시. A 보다 B — 이런 표시 수만 개로 채점표를 가르쳐요.
- 헌법적 AI
Constitutional AI - 규칙 두루마리로 채점. 규칙을 글로 적어 두고 앵무새가 그 규칙으로 답을 스스로 고쳐요.
- 과잉 거절
Over-refusal - 사과도 못 깎는 앵무새. 너무 조심하게 가르치면 멀쩡한 부탁도 거절해요.
- 가드레일
Guardrail - 울타리. 예절은 겉을 고치는 거라 새는 곳은 울타리로 막아요. → 울타리
- 파인튜닝
Fine-tuning - 짧은 특훈. 방법은 비슷하지만 특훈은 지식·말투, 예절 교육은 태도예요. → 짧은 특훈