Perform one iteration (epoch) of Neural Network training with mini-batch Stochastic Gradient Descent. The training targets are usually pdf-posteriors, prepared by ali-to-post.
Usage: nnet-train-frmshuff [options] <feature-rspecifier> <targets-rspecifier> <model-in> [<model-out>]
e.g.: nnet-train-frmshuff scp:feats.scp ark:posterior.ark nnet.init nnet.iter1
// main loop
while (!feature_reader.Done()) {
//填滿各個randomizer
for ( ; !feature_reader.Done(); feature_reader.Next()) {
// 一次循環讀一句話
// 特征放在feature_randomizer里
// targets放在targets_randomizer里
// 每一幀、每一句相關的weights放在weights_randomizer里
// 如果feature_randomizer被填滿的話，退出該for循環，進行一次訓練
// feature_randomizer的大小由相關NnetDataRandomizerOptions類的成員變量randomizer_size（默認初始化為32768）決定
// 也就是feature_randomizer中一共可以存放32768幀，存滿后就進行訓練
// 可以通過參數 --randomizer-size指定其大小
}
// 對feature_randomizer里的幀進行隨機重排
// 對target_randomizer和weights_randomizer也進行隨機重排
// 對randomizer里的數據進行訓練（使用mini-batches）
// 幾個randomizer的Next()將指向實際數據開始位置的指針移動一個minibatch的大小
for ( ; !feature_randomizer.Done(); feature_randomizer.Next(),
targets_randomizer.Next(),
weights_randomizer.Next()){
// 拿出一個minibatch大小的feature/target對
// 跑網絡的前向
nnet.Propagate(nnet_in, &nnet_out);
// 根據目標函數的類型，估計前向輸出和實際target的diff
// 支持的目標函數類型：交叉熵xent，mse和multitask
// 以xent為例：
xent.Eval(frm_weights, nnet_out, nnet_tgt, &obj_diff);
// 跑網絡的反向（如果不是cv（交叉驗證））
nnet.Backpropagate(obj_diff, NULL);
// 如果是第一個minibatch，打印網絡的相關信息
}
}
// 如果是最后一個minibatch，打印網絡的相關信息
// 將nnet寫到文件（如果不是cv）
// 打印和目標函數相關的一些信息
所有的Randmoizer都根據mask進行隨機化
/**
* Generates randomly ordered vector of indices,
*/
class RandomizerMask
/**
* Shuffles rows of a matrix according to the indices in the mask,
*/
class MatrixRandomizer
下一步學習重點：
Nnet類的幾個成員函數（nnet/nnet-nnet.h）
// 跑網絡的前向
nnet.Propagate(nnet_in, &nnet_out);
// 根據目標函數的類型，估計前向輸出和實際target的diff
// 支持的目標函數類型：交叉熵xent，mse和multitask
// 以xent為例：
xent.Eval(frm_weights, nnet_out, nnet_tgt, &obj_diff);
// 跑網絡的反向（如果不是做cv（交叉驗證））
nnet.Backpropagate(obj_diff, NULL);
