使用Keras进行分布式培训

图书馆（tensorflow）图书馆（keras）图书馆（tfdatasets）#用于加载MNIST数据集图书馆（tfds）图书馆（purrr）图书馆（胶水）

如果你还没有这样做:# tfds:: install_tfds ()mnist<-tfds_load（“mnist”）信息<-总结（mnist）

策略<-特遣部队＄分发＄MirroredStrategy（）策略＄num_replicas_in_sync

num_train_examples<-as.integer（信息＄分裂[[2］］＄统计数据＄numExamples）num_test_examples<-as.integer（信息＄分裂[[1］］＄统计数据＄numExamples）BUFFER_SIZE<-10000BATCH_SIZE_PER_REPLICA<-64BATCH_SIZE<-BATCH_SIZE_PER_REPLICA＊策略＄num_replicas_in_sync

train_dataset<-mnist＄火车% > %dataset_map（函数（记录）｛记录＄图像<-特遣部队＄投（记录＄图像，特遣部队＄float32）/255记录｝）% > %dataset_cache（）% > %dataset_shuffle（BUFFER_SIZE）% > %dataset_batch（BATCH_SIZE）% > %dataset_map（unname）test_dataset<-mnist＄测验% > %dataset_map（函数（记录）｛记录＄图像<-特遣部队＄投（记录＄图像，特遣部队＄float32）/255记录｝）% > %dataset_batch（BATCH_SIZE）% > %dataset_map（unname）

与（策略＄范围（），｛模型<-keras_model_sequential（）% > %layer_conv_2d（过滤器＝32, kernel_size＝3.,激活＝“relu”, input_shape＝c（28，28，1））% > %layer_max_pooling_2d（）% > %layer_flatten（）% > %layer_dense（单位＝64,激活＝“relu”）% > %layer_dense（单位＝10,激活＝“softmax”）模型% > %编译（损失＝“sparse_categorical_crossentropy”,优化器＝“亚当”、指标＝“准确性”）｝）

定义检查点目录来存储检查点checkpoint_dir<-”。/ training_checkpoints '#检查点文件名checkpoint_prefix<-file.path（checkpoint_dir，“ckpt_{时代}”）

#衰减学习率函数。#你可以定义任何你需要的衰减函数。衰变<-函数（时代，lr）｛如果（时代<3.）1 e - 3其他的如果（时代> =3.& &时代<7）1的军医其他的1 e-5｝

#回调函数，用于在每个历元结束时打印LR。PrintLR<-R6：：R6Class（“PrintLR”,继承＝KerasCallback、公共＝列表（损失＝零, on_epoch_end＝函数（时代，日志＝列表（））｛特遣部队＄打印（胶水（'\n epoch {epoch}的学习率为{as.numeric(model$optimizer$lr)}\n'））｝））print_lr<-PrintLR＄新（）

回调<-列表（callback_tensorboard（log_dir＝“/ tmp /日志”），callback_model_checkpoint（filepath＝checkpoint_prefix, save_weights_only＝真正的），callback_learning_rate_scheduler（衰变），print_lr）

模型% > %适合（train_dataset,时代＝12,回调＝回调）

list.files（checkpoint_dir）

模型% > %load_model_weights_tf（特遣部队＄火车＄latest_checkpoint（checkpoint_dir））模型% > %评估（test_dataset）

tensorboard（log_dir＝“/ tmp /日志”）