다섯 살도 알 수 있게 · AI이론
강화학습이 뭐예요?
강화학습을, 미리 정답표 없이 행동마다 돌아오는 점수(보상)만으로 요령을 스스로 찾아가는 신입 조작원 이야기로 풀어봤어요.
신입 조작원에게 정답표가 없어요.훈련 교사가 미리 보여준 예제 없이 조작원 혼자 판단해야 해요.
조작원은 일단 작물을 분류함에 던져보고, 보너스와 벌점으로 배워요.맞으면 점수를 얻고, 틀리면 깎여요 — 그 점수로 조작원이 점점 요령을 익혀요.
강화학습은 정답표 없이 보상/벌점만으로 좋은 행동을 스스로 찾는 거예요.시간이 지날수록 조작원의 행동이 점수를 더 많이 쌓는 쪽으로 바뀌어요.
시행착오일단 해보고 결과를 봐요
보상 신호맞으면 점수, 틀리면 벌점
탐험과 활용의 균형새로운 것도 가끔 시도해요
누적 보상 최대화한 번이 아니라 전체 점수를 봐요
지도학습과 강화학습은 배우는 방식이 달라요.지도학습은 정답 예제를, 강화학습은 보상/벌점을 보고 배워요.
보상을 잘못 설계하면 조작원에게 엉뚱한 요령만 늘어요.강화학습은 어떤 보상을 주는가에 결과가 크게 좌우돼요.
한 줄로
강화학습 = 정답 예제 없이, 행동마다 돌아오는 보상/벌점만 보고 누적 점수를 최대화하는 쪽으로 스스로 행동을 바꿔가는 학습 방식.
강화학습(Reinforcement Learning)은 에이전트가 환경의 상태(state)를 보고 행동(action)을 선택하면, 환경이 보상(reward)과 다음 상태를 돌려주는 구조예요. 에이전트는 이 상호작용을 반복하며 누적 보상을 최대화하는 정책(policy)을 학습해요. 지도학습과 달리 정답 레이블이 없고, 탐험(exploration)과 활용(exploitation)의 균형, 보상 설계(reward shaping)가 핵심 난제예요. LLM 정렬에 쓰이는 RLHF도 이 틀 위에서, 사람의 선호를 보상으로 바꿔 모델을 강화학습시키는 방법이에요.
어른들은 이렇게 불러요
- 상태(State)
State - 지금 컨베이어 벨트 위의 상황. 조작원이 행동을 고를 때 보는 정보예요.
- 행동(Action)
Action - 어느 분류함에 던질지 고르는 것. 상태를 보고 조작원이 고르는 선택이에요.
- 보상(Reward)
Reward - 맞으면 +점수, 틀리면 -점수. 행동이 좋았는지 나빴는지 알려주는 유일한 신호예요.
- 정책(Policy)
Policy - 조작원이 몸에 익힌 요령 전체. 상태마다 어떤 행동을 할지 정하는 규칙이에요.
- 탐험 vs 활용
Exploration vs Exploitation - 새 분류함을 시도할지, 늘 하던 대로 할지. 둘의 균형이 깨지면 학습이 멈추거나 헤매요.
- RLHF
RLHF - 사람이 고른 쪽에 점수를 주는 특수한 강화학습. AI 분야에서 다루는 정렬 방법이에요. → 자세히 보기
- 시계열분석(AR/MA)
Time-Series Analysis (AR/MA) - 지난 며칠 값으로 내일을 가늠하는 검수반장. 시계열분석도 데이터로 배우지만, 행동이 아니라 예측을 배워요. → 자세히 보기
- AI 신뢰성
AI Trustworthiness - 정확도만으론 못 받는 품질인증 등급판. 보상을 잘못 설계한 결과도 신뢰성 점검에서 걸러요. → 자세히 보기
다음 이야기
조를 돌아가며 시험지로 쓰는 검수반장 →