MindSpore如何动态调整学习率
1、在优化算法部分,learning_rate可以指定为一个动态学习率,mindspore提供了两种方式定义动态学习率。分别是nn.dynamic_lr模块和nn.learning_rate_schedule模块。
2、dynamic_lr会按照自己指定的total_step和算法创建一个长度为total_step的list,训练过程中,优化器会根据当前step去list中取对应的学习率值。
3、使用方法如下:from mindspore.nn import learning_rate_schedule as lr_schedulesnet = Net()learning_rate=lr_schedules.PolynomialDecayLR(start_lr,end_learning_rate,decay_steps,power)optim=Momentum(params=net.trainable_params(),learning_rate=learning_rate,momentum=0.9)