TensorFlow数据集API的R接口

图书馆(tfdatasets)#创建解析示例文件记录的规范iris_spec < -csv_record_spec（“iris.csv”）#读取数据集数据集< -text_line_dataset（“iris.csv”，record_spec =iris_spec)#浏览一下数据集str(数据集)

#显式提供列名和类型iris_spec < -csv_record_spec（名称=c（“SepalLength”，“SepalWidth”，“PetalLength”，“PetalWidth”，“物种”)，类型=c（“替身”，“替身”，“替身”，“替身”，“整数”)，跳过=1）#读取数据集数据集< -text_line_dataset（“iris.csv”，record_spec =iris_spec)

mtcars_spec < -csv_record_spec（“mtcars.csv”，类型=“dididddiiii”）

创建一个数据集，从两个文件中读取所有的示例，并进行提取#图片和标签功能。文件名< -c（“/ var /数据/ file1.tfrecord”，“/ var /数据/ file2.tfrecord”）数据集< -tfrecord_dataset(文件名)% > %dataset_map（函数(example_proto) {< -特点列表（形象=特遣部队＄FixedLenFeature（形状(),特遣部队＄字符串),标签=特遣部队＄FixedLenFeature（形状(),特遣部队＄int32)）特遣部队＄parse_single_example(example_proto特性)}）

文件名< -c（“/ var /数据/ file1.tfrecord”，“/ var /数据/ file2.tfrecord”）数据集< -tfrecord_dataset(文件名,num_parallel_reads =4）

数据集< -数据集% > %dataset_map（函数(记录){记录＄物种< -特遣部队＄one_hot(记录＄物种,3 l)记录}）

数据集< -csv_dataset（“mtcars.csv”）% > %dataset_filter（函数(记录){记录＄英里/加仑> =20.}）数据集< -csv_dataset（“mtcars.csv”）% > %dataset_filter（函数(记录){记录＄英里/加仑> =20.＆记录＄共青团> =6 l}）

mtcars_dataset < -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_prepare（x =c(disp mpg),y =摘要iris_dataset < -text_line_dataset（“iris.csv”，record_spec =iris_spec)% > %dataset_prepare（x =-物种,y =物种)

mtcars_dataset < -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_prepare摘要～英里/加仑+disp)

mtcars_dataset < -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_prepare摘要～英里/加仑+disp,batch_size =16）

数据集< -数据集% > %dataset_shuffle（1000）% > %dataset_repeat（10）% > %dataset_batch（128）% > %

数据集< -数据集% > %dataset_shuffle_and_repeat（buffer_size =1000，数=10）% > %dataset_batch（128）

数据集< -数据集% > %dataset_map_and_batch（batch_size =128，函数(记录){记录＄物种< -特遣部队＄one_hot(记录＄物种,3 l)记录}）% > %dataset_prefetch（1）

数据集< -数据集% > %dataset_map_and_batch（batch_size =128，函数(记录){记录＄物种< -特遣部队＄one_hot(记录＄物种,3 l)记录}）% > %dataset_prefetch_to_device（“/ gpu: 0”）

数据集< -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_filter（函数(记录){记录＄英里/加仑> =20.＆记录＄共青团> =6 l}）% > %dataset_shuffle_and_repeat（buffer_size =1000，数=10）% > %dataset_prepare摘要～英里/加仑+disp,batch_size =128）% > %dataset_prefetch（1）

图书馆(keras)install_keras()

模型% > %适合（x_train y_train,时代=30.，batch_size =128）

图书馆(keras)图书馆(tfdatasets)batch_size =128steps_per_epoch =500读取并预处理数据集mnist_dataset < -函数(文件名){数据集< -tfrecord_dataset(文件名)% > %dataset_map（函数(example_proto) {#解析记录< -特点特遣部队＄parse_single_example（example_proto,特点=列表（image_raw =特遣部队＄FixedLenFeature（形状(),特遣部队＄字符串),标签=特遣部队＄FixedLenFeature（形状(),特遣部队＄int64)））#预处理图像图片< -特遣部队＄decode_raw(功能＄image_raw,特遣部队＄uint8)图片< -特遣部队＄投(图片,特遣部队＄float32)/255#转换标签为one-hot标签< -特遣部队＄one_hot(特遣部队＄投(功能＄标签,特遣部队＄int32), 10 l)#返回列表(图片,标签)}）% > %dataset_repeat()% > %dataset_shuffle（1000）% > %dataset_batch(batch_sizedrop_remainder =真正的）% > %dataset_prefetch（1）｝模型< -keras_model_sequential()% > %layer_dense（单位=256，激活=“relu”，input_shape =c（784）)% > %layer_dropout（率=0.4）% > %layer_dense（单位=128，激活=“relu”）% > %layer_dropout（率=0.3）% > %layer_dense（单位=10，激活=“softmax”）模型% > %编译（损失=“categorical_crossentropy”，优化器=optimizer_rmsprop(),指标=c（“准确性”））< -历史模型% > %适合（mnist_dataset（“mnist / train.tfrecords”)，steps_per_epoch =steps_per_epoch,时代=20.，validation_data =mnist_dataset（“mnist / validation.tfrecords”)，validation_steps =steps_per_epoch）分数< -模型% > %评估（mnist_dataset（“mnist / test.tfrecords”)，步骤=steps_per_epoch）打印(分数)

数据集< -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_prepare摘要～英里/加仑+disp)% > %dataset_shuffle（20.）% > %dataset_batch（5）iter < -make_iterator_one_shot(数据集)next_batch < -iterator_get_next(iter)next_batch

捐< -特遣部队＄会话()捐＄运行(next_batch)

图书馆(tfdatasets)捐< -特遣部队＄会话()mtcars_spec < -csv_record_spec（“mtcars.csv”）数据集< -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_shuffle（5000）% > %dataset_repeat()#无限重复dataset_prepare（x =c(disp mpg),y =摘要% > %dataset_batch（128）% > %iter < -make_iterator_one_shot(数据集)next_batch < -iterator_get_next(iter)步骤< -200为(我在1:步骤){#使用next_batch进行训练等。#(注意你需要实际使用next_batch，例如通过传递它给一个#函数消耗一个张量或通过显式运行它#提前到下一批)｝

图书馆(tfdatasets)捐< -特遣部队＄会话()mtcars_spec < -csv_record_spec（“mtcars.csv”）数据集< -text_line_dataset（“mtcars.csv”，record_spec =mtcars_spec)% > %dataset_prepare（x =c(disp mpg),y =摘要% > %dataset_batch（128）% > %dataset_repeat（10）iter < -make_iterator_one_shot(数据集)next_batch < -iterator_get_next(iter)tryCatch({而（真正的) {批< -捐＄运行(next_batch)str(批处理)｝}，错误=out_of_range_handler)

until_out_of_range({批< -捐＄运行(next_batch)str(批处理)}）

iter < -make_iterator_one_shot(数据集)until_out_of_range({批< -iterator_get_next(iter)str(批处理)}）

#训练脚本的命令行标志(shard信息通过训练传递执行脚本的监控器旗帜< -旗帜（flag_integer（“num_shards”，1)，flag_integer（“shard_index”，1））#转发分片信息到read_files数据集< -read_file（“数据/ * . csv”text_line_dataset,record_spec =mtcars_spec,parallel_files =4，parallel_interleave =16，num_shards =旗帜＄num_shards,shard_index =旗帜＄shard_index)% > %dataset_shuffle_and_repeat（buffer_size =1000，数=3.）% > %dataset_batch（128）% > %dataset_prefetch（1）