[PyTorch] 러닝 레이트 스케쥴러(Learning Rate Scheduler) ReducedLROnPlateau 함수

 

 파이토치는 learning late scheduler로 ReduceLROnPlateau 함수를 제공합니다.

 

 ReduceLROnPlatea 함수는 val_loss가 향상되지 않고 정체되어 있으면 learning late를 factor배로 감소시킵니다.

 

# define a learning rate schedule
from torch.optim.lr_scheduler import ReduceLROnPlateau
lr_scheduler = ReduceLROnPlateau(opt, mode='min', factor=0.5, patience=20, verbose=1)

# try it out
for i in range(100):
    lr_scheduler.step(1)

 

 

 patience를 20으로 설정했기 때문에, 20 Epoch동안 val_loss가 향상되지 않으면 학습률을 factor만큼 감소시킵니다.