這篇文章介紹自定義一個估算器（分類器）Estimator的完整流程。
請先參照鳶尾花iris案例并完成練習。

自定義Custom Estimator和預制Pre-made Estimator

在上面iris的案例中我們使用了tensorflow里面自帶的深度神經網絡分類器tf.estimator.DNNClassifie。這些tensorflow自帶的estimator稱為預制估算器Pre-made Estimator（預創建的Estimator）。

classifier = tf.estimator.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[10, 10],
    n_classes=3,
    model_dir=models_path,
    config=ckpt_config) #

Tensorflow允許我們自己創建更加靈活的Custom Estimator。自定義Estimator是tf.estimator.Estimator()方法生成，能夠像預制Estimator一樣使用。

結構概覽

從表面看，我們的Estimator應該具有DNNClassifier一樣的功能

• 創建的時候接收一些參數，如feature_columns、hidden_units、n_classes等
• 具有train()、evaluate()、predict()三個方法用來訓練、評價、預測

如上所說，我們使用 tf.estimator.Estimator()方法來生成自定義Estimator，它的語法格式是

tf.estimator.Estimator(
    model_fn, #模型函數
    model_dir=None, #存儲目錄
    config=None, #設置參數對象
    params=None, #超參數，將傳遞給model_fn使用
    warm_start_from=None #熱啟動目錄路徑
)

模型函數model_fn是唯一沒有默認值的參數，它也是自定義Estimator最關鍵的部分，包含了最核心的算法。model_fn需要一個能夠進行運算的函數，它的樣子應該長成這樣

my_model(
  features, #輸入的特征數據
  labels, #輸入的標簽數據
  mode, #train、evaluate或predict
  params #超參數，對應上面Estimator傳來的參數
)

神經網絡層Layers

model_fn應該怎么運作？下圖展示了iris案例的情況

從這個圖中我沒看到的結構：

• 輸入層Input Layer，數據從這里進入
• 隱藏層Hidden Layer，2個，每層包含多個節點，數據流經這里，被推測規律
• 輸出層Output Layer，將推測的結果整理顯示出來

我們并不需要手工實現隱藏層的算法和工作原理，Tensorflow已經為我們設計好。我們需要的只是創建這些神經網絡層，并確保它們按照正常的順序連接起來，至于其中如何推算演繹的魔法就完全交給tensorflow就可以了。

mode_fn需要完成的就是創建和組織這些神經層。

編寫model_fn

對應我們創建Estimator時候的參數

classifier = tf.estimator.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[10, 10],
    n_classes=3,
    model_dir=models_path,
    config=ckpt_config) 

這些參數都會被Estimator打包放在params超參數中，傳遞給model_fn，所以我們用下面的代碼在model_fn內創建網絡層

import tensorflow as tf

#自定義模型函數
def my_model_fn(features,labels,mode,params):
    #輸入層,feature_columns對應Classifier(feature_columns=...)
    net = tf.feature_column.input_layer(features, params['feature_columns'])
    
    #隱藏層,hidden_units對應Classifier(unit=[10,10])，2個各含10節點的隱藏層
    for units in params['hidden_units']:
        net = tf.layers.dense(net, units=units, activation=tf.nn.relu)
    
    #輸出層，n_classes對應3種鳶尾花
    logits = tf.layers.dense(net, params['n_classes'], activation=None)

輸入層Input Layer

在上面代碼中，我們使用這行代碼創建輸入層

    net = tf.feature_column.input_layer(features, params['feature_columns'])

如下圖所示，Input Layer把輸入的數據features填充到特征列params['feature_column']里面,稍后它會被繼續傳遞到隱藏層hidden layer：

輸入層Input Layer

隱藏層Hidden Layer

我們使用循環為hidden_unit列表([10,10])創建了2個隱藏圖層，每個圖層的神經元節點unit都等于10.

    for units in params['hidden_units']:
        net = tf.layers.dense(net, units=units, activation=tf.nn.relu)

我們注意到上面的輸入層叫做net(暫時叫net0），for循環里的隱藏層也叫net（暫叫net1）而且參數里還有net(net2),示意代碼如下

#僅供示意
net0 = tf.feature_column.input_layer...
for units ...
        net1 = tf.layers.dense(net2, ...)

實際運行到隱藏層第一層（for循環第一次）的時候，我們創建隱藏層net1，并把net0作為參數輸入到net1的,也就是隱藏第一層中關聯了輸入層：

input_net0=...#創建輸入層
hidden_net1=tf.layers.dense(input_net0,...) #創建隱藏層1

然后for第二次循環的時候我們又關聯了第一個隱藏層hidden_net1：

hidden_net2=tf.layers.dense(hidden_net1,...) #創建隱藏層2

這樣逐層傳遞就形成了鏈條，數據沿著鏈條進行流動Flow和處理

intputLayer - hiddenLayer1 - hiddenLayer2 - ...

隱藏層Hidden layer

輸出層Output Layer

我們使用了這行代碼創建輸出層,請注意net！

    logits = tf.layers.dense(net, params['n_classes'], activation=None)

仍然是鏈條的延續！
但是activation這里改為了None，不再激活后續的部分，所以輸出層就是鏈條的終點。

輸出層Output Layer

請注意這里的[-1.3,2.6,-0.9]表示了某朵花的測量數據分別屬于三種分類的可能性，但是這里的數字很奇怪，甚至還有負數...稍后我們會對它們進行轉化。

訓練train、評價evaluate和預測predict

前面我們知道，自定義的估算分類器必須能夠用來執行my_classifier.train()、my_classifier.evaluate()、my_classifier.predict()三個方法。

但實際上，它們都是model_fn這一個函數的分身！

上面出現的model_fn語法：

my_model(
  features, #輸入的特征數據
  labels, #輸入的標簽數據
  mode, #train、evaluate或predict
  params #超參數，對應上面Estimator傳來的參數
)

注意第三個參數mode，如果它等于"TRAIN"我們就執行訓練：

#示意代碼
my_model(..,..,"TRAIN",...)

如果是“EVAL”就執行評價，“PREDICT”就執行預測。

我們修改my_model代碼來實現這三個功能:

def my_model_fn(features,labels,mode,params):
    #輸入層,feature_columns對應Classifier(feature_columns=...)
    net = tf.feature_column.input_layer(features, params['feature_columns'])
    
    #隱藏層,hidden_units對應Classifier(unit=[10,10])，2個各含10節點的隱藏層
    for units in params['hidden_units']:
        net = tf.layers.dense(net, units=units, activation=tf.nn.relu)
    
    #輸出層，n_classes對應3種鳶尾花
    logits = tf.layers.dense(net, params['n_classes'], activation=None)
   
    #預測
    predicted_classes = tf.argmax(logits, 1) #預測的結果中最大值即種類
    if mode == tf.estimator.ModeKeys.PREDICT:
        predictions = {
            'class_ids': predicted_classes[:, tf.newaxis], #拼成列表[[3],[2]]格式
            'probabilities': tf.nn.softmax(logits), #把[-1.3,2.6,-0.9]規則化到0~1范圍,表示可能性
            'logits': logits,#[-1.3,2.6,-0.9]
        }
        return tf.estimator.EstimatorSpec(mode, predictions=predictions)
     
     
    #損失函數
    loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)
    
    #訓練
    if mode == tf.estimator.ModeKeys.TRAIN:
        optimizer = tf.train.AdagradOptimizer(learning_rate=0.1) #用它優化損失函數，達到損失最少精度最高
        train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step())  #執行優化！
        return tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op)      
    
    #評價
    accuracy = tf.metrics.accuracy(labels=labels,
                                   predictions=predicted_classes,
                                   name='acc_op') #計算精度
    metrics = {'accuracy': accuracy} #返回格式
    tf.summary.scalar('accuracy', accuracy[1]) #僅為了后面圖表統計使用
    if mode == tf.estimator.ModeKeys.EVAL:
        return tf.estimator.EstimatorSpec(mode, loss=loss, eval_metric_ops=metrics) 

如上面所示，請將預測Predict需要放在最先編寫，否則可以引發后續錯誤。

下面我們分別詳解三個方法的代碼

預測Predict

因為預測最后我們需要返回花的種類label，還希望知道這個預測有多精確，所以在預測部分的代碼里面，首先取到三種花可能性最大的一個predicted_classes即[-1.3,2.6,-0.9]中的2.6；然后把它轉成列表格式[[2.6]];同時把logit得到的[-1.3,2.6,-0.9]轉化為表示0～1可能性的小數[0.01926995 0.95198274 0.02874739]

predicted_classes = tf.argmax(logits, 1) #預測的結果中最大值即種類
    if mode == tf.estimator.ModeKeys.PREDICT:
        predictions = {
            'class_ids': predicted_classes[:, tf.newaxis], #拼成列表[[3],[2]]格式
            'probabilities': tf.nn.softmax(logits), #把[-1.3,2.6,-0.9]規則化到0~1范圍,表示可能性
            'logits': logits,#[-1.3,2.6,-0.9]
        }
        return tf.estimator.EstimatorSpec(mode, predictions=predictions)

注意最后一句，我們返回return的是一個EstimatorSpec對象，下面的訓練predict和評價evaluate也都返回EstimatorSpec形式的對象，但是參數不同，請留意。

我們可以使用以下代碼在單獨文件測試tf.newaxis和tf.nn.softmax對數據轉化的作用

import tensorflow as tf

a=tf.constant([2.6],name='a')
b=a[:,tf.newaxis]

a2=tf.constant([-1.3,2.6,-0.9],name='a')
b2= tf.nn.softmax(a2)

with tf.Session() as session:   
    session.run(tf.global_variables_initializer())
    session.run(tf.tables_initializer())
    print(session.run(b))
    print(session.run(b2))

輸出

[[2.6]]
[0.01926995 0.95198274 0.02874739]

損失函數Loss

損失函數是Tensorflow中神經網絡的重要概念，簡單說，它能夠計算出我們模型的偏差程度，結果越大，我們的模型就偏差越大、離正確也遠、也越不準確、越糟糕。

為了降低損失，我們可以使用更多更好的數據，還可以設計更好的優化方法，來優化改進模型，讓損失變為最小。

訓練神經網絡模型的目標就是把偏差損失降為最小，機器學習就是一批一批數據反復分析計算反復嘗試，不斷的利用優化方法，想盡辦法把Loss的值降到最小的過程。

優化方法設計的越好好，損失也就越少，精度也就越高。

    loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)

這里我們使用了tensorflow提供的稀疏柔性最大交叉熵sparse_softmax_cross_entropy來計算損失程度，它對于分類問題很有效，DNNClassifier也使用了這個方法。

訓練Train

我們在訓練部分代碼中，創建了優化器optimizer，然后使用它嘗試將我們的損失函數loss變為最小minimize：

    if mode == tf.estimator.ModeKeys.TRAIN:
        optimizer = tf.train.AdagradOptimizer(learning_rate=0.1) #用它優化損失函數，達到損失最少精度最高
        train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step())  #執行優化！
        return tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op)      

評價Evaluate

我們使用下面的代碼來評價預測結果prediction和test數據中植物學家標記的數據是否足夠吻合:

    accuracy = tf.metrics.accuracy(labels=labels,
                                   predictions=predicted_classes,
                                   name='acc_op') #計算精度
    metrics = {'accuracy': accuracy} #返回格式
    tf.summary.scalar('accuracy', accuracy[1]) #僅為了后面圖表統計使用
    if mode == tf.estimator.ModeKeys.EVAL:
        return tf.estimator.EstimatorSpec(mode, loss=loss, eval_metric_ops=metrics) 

因為我們希望能夠評價后知道模型的精度，所以首先使用tf.metrics.accuracy方法對比植物學家的標記labels和批量預測結果predicted_classes([[-1.3,2.6,-0.9],...])，

導入數據

相關文件可以從百度云這里下載 密碼:y3id

經過上面的過程，我們創建了估算分類器的核心部分model_fn，接下來我們繼續添加以下代碼，導入數據備用。具體解釋請參照鳶尾花iris案例

import os
import pandas as pd

FUTURES = ['SepalLength', 'SepalWidth','PetalLength', 'PetalWidth', 'Species']
SPECIES = ['Setosa', 'Versicolor', 'Virginica']

dir_path = os.path.dirname(os.path.realpath(__file__))
train_path=os.path.join(dir_path,'iris_training.csv')
test_path=os.path.join(dir_path,'iris_test.csv')

train = pd.read_csv(train_path, names=FUTURES, header=0)
train_x, train_y = train, train.pop('Species')

test = pd.read_csv(test_path, names=FUTURES, header=0)
test_x, test_y = test, test.pop('Species')

創建分類器

繼續添加代碼，使用model_fn來生成自定義分類器（請注意最后幾行):

feature_columns = []
for key in train_x.keys():
    feature_columns.append(tf.feature_column.numeric_column(key=key))

#創建自定義分類器    
classifier = tf.estimator.Estimator(
        model_fn=my_model, #注意這里！
        params={
            'feature_columns': feature_columns,
            'hidden_units': [10, 10],
            'n_classes': 3,
        })

訓練模型

添加下面代碼開始訓練模型

#針對訓練的喂食函數
batch_size=100
def train_input_fn(features, labels, batch_size):
    dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))
    dataset = dataset.shuffle(1000).repeat().batch(batch_size) #每次隨機調整數據順序
    return dataset.make_one_shot_iterator().get_next()

#開始訓練
classifier.train(
    input_fn=lambda:train_input_fn(train_x, train_y, 100),
    steps=1000)

評價模型

添加下面的代碼可以對模型進行評價并打印出精度

#針對測試的喂食函數
def eval_input_fn(features, labels, batch_size):
    features=dict(features)
    inputs=(features,labels)
    dataset = tf.data.Dataset.from_tensor_slices(inputs)
    dataset = dataset.batch(batch_size)
#    return dataset
    return dataset.make_one_shot_iterator().get_next()

#評估我們訓練出來的模型質量
eval_result = classifier.evaluate(
    input_fn=lambda:eval_input_fn(test_x, test_y,batch_size))

print(eval_result)

進行預測

添加以下代碼讓用我們的模型可以進行交互預測

#支持100次循環對新數據進行分類預測
for i in range(0,100):
    print('\nPlease enter features: SepalLength,SepalWidth,PetalLength,PetalWidth')
    a,b,c,d = map(float, input().split(',')) #捕獲用戶輸入的數字
    predict_x = {
        'SepalLength': [a],
        'SepalWidth': [b],
        'PetalLength': [c],
        'PetalWidth': [d],
    }
    
    #進行預測
    predictions = classifier.predict(
        input_fn=lambda:eval_input_fn(predict_x,
                                      labels=[0,],
                                      batch_size=batch_size))    

    #預測結果是數組，盡管實際我們只有一個
    for pred_dict in predictions:
        class_id = pred_dict['class_ids'][0]
        probability = pred_dict['probabilities'][class_id]
        print(SPECIES[class_id],100 * probability)

模型的恢復與保存設置

修改創建估算分類器的代碼設置model_dir模型保存與自動恢復,并設定日志打印

tf.logging.set_verbosity(tf.logging.INFO)
models_path=os.path.join(dir_path,'mymodels/')

#創建自定義分類器
classifier = tf.estimator.Estimator(
        model_fn=my_model_fn,
        model_dir=models_path,
        params={
            'feature_columns': feature_columns,
            'hidden_units': [10, 10],
            'n_classes': 3,
        })

TensorBoard信息板

打開新的命令行工具窗口，使用下面的命令啟動信息板：

tensorboard --logdir=~/desktop/iris/mymodels

這里的~/desktop/iris/models應該和上面配置的model_dir=models_path完全一致，正常情況會輸出很多信息，并在最后顯示類似下面的提示

TensorBoard 1.6.0 at http://xxx-xxx-xxx.local:6006 (Press CTRL+C to quit)

把這段http://xxx-xxx-xxx.local:6006復制到瀏覽器窗口，或者復制http://localhost:6006/就可以打開TensorBoard信息板,這里包含了很多關于模型的性能質量等方面的圖表：

關于TensorBoard更多內容可以點右上角的問號打開Github上的項目詳細說明。

上面的代碼和相關文件可以從百度云這里下載 密碼:y3id

探索人工智能的新邊界

如果您發現文章錯誤，請不吝留言指正；
如果您覺得有用，請點喜歡；
如果您覺得很有用，感謝轉發~

END