tfrecord數據到可用數據集的轉換
在上一篇文章中實現了tfrecord格式數據的讀取
http://www.lxweimin.com/p/88d09196bf07
但是讀取的內容還不能直接被網絡訓練函數使用，因而需要對讀到的數據進行簡單處理
reader = tf.data.TFRecordDataset(record_path) # 打開一個TFrecord
讀取數據后，圖像數據進行解碼和數據類型轉化來適應網絡計算的要求，最后將所得列表轉化為tensor適配fit函數要求的格式，實現如下
def read_dataset(record_path):
reader = tf.data.TFRecordDataset(record_path) # 打開一個TFrecord
#reader = reader.shuffle (buffer_size = 1000) # 在緩沖區中隨機打亂數據
reader = reader.map (_parse_function) # 解析數據
#for row in reader.take(1): #獲取指定數量的數據集
labels = []
imgs = []
for row in reader: #遍歷數據集
label = tf.cast(row['label'],dtype=tf.float32)
label = label - 1
#此處應當注意tf.int8和tf.uint8的區別，使用錯誤將造成正常讀入的圖片解碼結果與tfrecord解碼結果不一致
img = tf.io.decode_raw(row['img_raw'],out_type=tf.uint8)
img = tf.cast(img,dtype=tf.float32)
labels.append(label)
imgs.append(img)
np.random.seed(1024)
np.random.shuffle(labels)
np.random.seed(1024)
np.random.shuffle(imgs)
np.random.seed(1024)
labels = tf.convert_to_tensor(labels)
imgs = tf.convert_to_tensor(imgs)
return labels,imgs
應當注意tf.int8和tf.uint8的區別，使用錯誤將造成正常讀入的圖片解碼結果與tfrecord解碼結果不一致
訓練過程與訓練模型保存
該部分的內容與
http://www.lxweimin.com/p/94cf2a32bbf0
中的差異并不大，這里直接貼出完整實現
import tensorflow as tf
import os
import numpy as np
#定義待解析數據集特征
feature_description = {
'label': tf.io.FixedLenFeature([] , tf.int64, default_value=-1), # 默認值自己定義
'img_raw' : tf.io.FixedLenFeature([], tf.string)
}
# 映射函數，用于解析一條example
def _parse_function (exam_proto):
return tf.io.parse_single_example (exam_proto, feature_description)
#讀取返回數據集
def read_dataset(record_path):
reader = tf.data.TFRecordDataset(record_path) # 打開一個TFrecord
#reader = reader.shuffle (buffer_size = 1000) # 在緩沖區中隨機打亂數據
reader = reader.map (_parse_function) # 解析數據
#for row in reader.take(1): #獲取指定數量的數據集
labels = []
imgs = []
for row in reader: #遍歷數據集
label = tf.cast(row['label'],dtype=tf.float32)
label = label - 1
img = tf.io.decode_raw(row['img_raw'],out_type=tf.uint8)
img = tf.cast(img,dtype=tf.float32)
labels.append(label)
imgs.append(img)
np.random.seed(1024)
np.random.shuffle(labels)
np.random.seed(1024)
np.random.shuffle(imgs)
np.random.seed(1024)
labels = tf.convert_to_tensor(labels)
imgs = tf.convert_to_tensor(imgs)
return labels,imgs
if __name__ == '__main__':
labels,imgs = read_dataset('./armor_train.tfrecords')
#網絡搭建
model = tf.keras.models.Sequential([
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(500,activation='relu',kernel_regularizer=tf.keras.regularizers.l2()),
tf.keras.layers.Dense(128,activation='relu',kernel_regularizer=tf.keras.regularizers.l2()),
tf.keras.layers.Dense(50,activation='relu',kernel_regularizer=tf.keras.regularizers.l2()),
tf.keras.layers.Dense(8,activation='softmax',kernel_regularizer=tf.keras.regularizers.l2())
])
#訓練參數設置
model.compile(
optimizer=tf.keras.optimizers.Adam(),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
metrics=['sparse_categorical_accuracy']
)
#模型持久化設置
ckpt_path = "./checkpoint/armor_id.ckpt"
if(os.path.exists(ckpt_path + ".index")): #生成ckpt的同時會生成index文件,可通過該文件是否存在判斷是否有預訓練模型生成
print("--load modle--")
model.load_weights(ckpt_path)
cp_callback = tf.keras.callbacks.ModelCheckpoint(
filepath = ckpt_path,
save_weights_only=True, #只保留模型參數
save_best_only=True #只保留最優模型
)
#訓練
history = model.fit(imgs,labels,batch_size=32,epochs=50,validation_split=0.2,validation_freq=1,callbacks=[cp_callback])
#網絡結構和參數顯示
model.summary()
結果分析
訓練100輪結果如下
curacy: 0.9874 - val_loss: 0.3584 - val_sparse_categorical_accuracy: 0.9764
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
flatten (Flatten) multiple 0
_________________________________________________________________
dense (Dense) multiple 6144500
_________________________________________________________________
dense_1 (Dense) multiple 64128
_________________________________________________________________
dense_2 (Dense) multiple 6450
_________________________________________________________________
dense_3 (Dense) multiple 408
=================================================================
Total params: 6,215,486
Trainable params: 6,215,486
Non-trainable params: 0
_________________________________________________________________
后面還需要對網絡的結構進行進一步的更改。不過可以確定的是訓練流程已經跑通。
