AI/AITech 3기
[이미지 분류] 7강 Training & Inference 1
- Training(학습)단계에 대한 강의 정리입니다. 학습 프로세스 Loss - Optimizer - Metric Optimizer Loss는 Loss를 발생시키는 일만 한다. Loss값을 업데이트하는 주체는 Optimizer이다. LR Scheduler 고정된 크기만큼의 lr로 계속 학습한다면 올바른 학습을 하기 어렵거나 많은 시간이 소요될 수 있다. 이때 lr을 동적으로 조절하도록 돕는 LR 스케줄러를 사용할 수 있다. 3가지 스케줄러를 소개해보려한다. 1. StepLR 가장 다루기 쉬운 스케줄러로, 직접 설정한 특정 step마다 lr이 감소한다. scheduler = torch.optim.lr_Scheduler.StepLR(optimizer, step_size=2, gamma=0.1) 2. Cos..
2022. 2. 22. 21:29