MATLAB 深度学习：⼀般深度学习MATLAB 代码解析系列（五）：⼀个简单深度学习⼯具箱原创
⾸先介绍下⼀般⽹络的建⽴模型，到在⼯具箱
DeepLearnToolbox\tests\test_example_NN.m ⽂件，这个测试函数是测试⼀般的⽹络模型，取前⼀段代码：使⽤到的是⼿写体数据库，该数据库已经集成到⼯具箱了，直接⽤就好，显⽰看⼀看该数据库的⼀部分，其⽬标就是通过训练该数据库达到识别的⽬的：
1load mnist_uint8;2train_x = double(train_x) / 255;3test_x = double(test_x) / 255;4train_y = double(train_y);5test_y = double(test_y);6 7% normalize 8[train_x, mu, sigma] = zscore(train_x);9test_x = normalize(test_x, mu, sigma);10 11%% ex1 vanilla neural net 12rand('state',0)13nn = nnsetup([784 100 10]);14opts.numepochs = 1; % Number of full sweeps through data 15opts.batchsize = 100; % Take a mean gradient step over this many samples 16[nn, L] = nntrain(nn, train_x, train_y, opts);17[er, bad] = nntest(nn, test_x, test_y);18assert(er < 0.08, 'Too big error');
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
紧接着是对该数据库数据进⾏归⼀化等等预处理。nnsetup建⽴⼀个⽹络，⾥⾯会有许多参数初始化，同时在设置下opts.numepochs = 1; 该参数个⼈感觉就是将所有数据重复试验次数，设置1就是实验⼀次。opts.batchsize = 100；该参数是将⼤量样本每随机100个作为⼀波送进去实验。再就是训练测试了。Ok来看看nnsetup：
这个函数理解起来很简单，初始化⽹络，⽹络需要什么初始化什么，⼀⼤堆初始化是适应所有的⽹络的（cnn,dbn 等等），有些⽤到了再说吧，现在你只需要知道⽹络的结构，以及与稀疏编码表⽰有关的参数： nn.nonSparsityPenalty
，nn.sparsityTarget ，这也就是上节说到的，为什么稀疏表⽰，具体怎么样不⽤管，实际使⽤的时候
只是这么⼏个参数设置，其他的交给程序吧。再有就是注意下激活函数 nn.activation_function 。，然后⽹络权值随机初始化。
这⾥再说下这个函数整体：[nn, L] = nntrain(nn, train_x, train_y, opts);
可以看到nntrain 需要的是设计的⽹络nn ，训练数据train_x ，训练对应的⽬标值train_y ，以及附加参数opts 。附加参数包括：重复训练次数opts.numepochs ，训练数据每⼀块⼤⼩opts.batchsize 等等。函数出来的就是训练好的⽹络nn，这个很重要，训练好的nn 为结构体，⾥⾯包括你所需要的所有信息，⽐如说每⼀层⽹络的权值系数，训练误差，等等都可以到，并且在nntest 也是⽤这个训练好的nn 。nntrain 的具体实现细节见上⾯那个博客的介绍吧。
nntrain
setup ⼤概就这样⼀个过程，下⾯就到了train 了，打开\NN\nntrain.m
我们跳过那些检验传⼊数据是否正确的代码，直接到关键的部分
denoising 的部分请参考论⽂：Extracting and Composing Robust Features with Denoising Autoencoders
1function nn = nnsetup(architecture)2%NNSETUP 创建前向神经⽹络3% nn = nnsetup(architecture) 返回⼀个神经⽹络结构，architecture 为结构参数4% architecture 是⼀个n x 1 向量，表⽰每⼀层神经元的个数5%⽐如architecture=[784 100 10]，表⽰输⼊层为784维输⼊，100个隐含层，10个输出层6%为什么是输⼊为784：因为每⼀个⼿写体⼤⼩为28*28的，也就是784维度7%隐含层为什么是100：随便设置的，可以随意修改，需要设计8%输出为什么是10：⼿写体有0-9这10种结果，所以为109 10 nn.size = architecture;11 nn.n = numel(nn.size);12 13 nn.activation_function = 'tanh_opt'; % 隐含层激活函数: 'sigm' (sigmoid) or 'tanh_opt' (默认 tanh).14 nn.learningRate = 2; % 学习率: typically needs to be lower when using 'sigm' activation function and non-normalized i
15 nn.momentum = 0.5; % Momentum 权值动量因⼦16 nn.scaling_learningRate = 1; % 学习率变化因⼦ (each epoch)17 nn.weightPenaltyL2 = 0; % L2 regularization 正则化18 nn.nonSparsityPenalty = 0; % ⾮稀疏惩罚19 nn.sparsityTarget = 0.05; % 稀疏⽬标值20 nn.inputZeroMaskedFraction = 0; % ⾃动编码的去噪作⽤21 nn.dropoutFraction = 0; % Dropout level (o.edu/~hinton/absps/dropout.pdf)22 nn.testing = 0; % Internal variable. nntest sets this to one.23 nn.output
= 'sigm'; % 输出激活output unit 'sigm' (=logistic), 'softmax' and 'linear'24 25 for i = 2 : nn.n 26 % weights and weight momentum 27 nn.W{i - 1} = (rand(nn.size(i), nn.size(i - 1)+1) - 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i - 1)));28 nn.vW{i - 1} = zeros(size(nn.W{i - 1}));29 30 % average activations (for use with sparsity)31 nn.p{i} = zeros(1, nn.size(i)); 32 end 33end 1
2
3
4
5
6
7
8
9
10
11
12
13
14matlab学好了有什么用
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
下⾯分析三个函数nnff,nnbp和nnapplygrads
nnff
nnff就是进⾏feedforward pass，其实⾮常简单，就是整个⽹络正向跑⼀次就可以了当然其中有dropout和sparsity的计算
具体的参见论⽂“Improving Neural Networks with Dropout“和
1. function nn = nnff(nn, x, y)
2. //NNFF performs a feedforward pass
3. // nn = nnff(nn, x, y) returns an neural network structure with updated
4. // layer activations, error and loss (nn.a, nn.e and nn.L)
5.
6. n = nn.n;
7. m = size(x, 1);
8.
9. x = [ones(m,1) x];
10. nn.a{1} = x;
11.
12. //feedforward pass
13. for i = 2 : n-1
14. //根据选择的激活函数不同进⾏正向传播计算
15. //你可以回过头去看nnsetup⾥⾯的第⼀个参数activation_function
16. //sigm就是sigmoid函数,tanh_opt就是tanh的函数，这个toolbox好像有⼀点改变
17. //tanh_opt是1.7159*tanh(2/3.*A)
18. switch nn.activation_function
19. case'sigm'
20. // Calculate the unit's outputs (including the bias term)
21. nn.a{i} = sigm(nn.a{i - 1} * nn.W{i - 1}');
22. case'tanh_opt'
23. nn.a{i} = tanh_opt(nn.a{i - 1} * nn.W{i - 1}');
24. end
25.
26. //dropout的计算部分部分 dropoutFraction 是nnsetup中可以设置的⼀个参数
27. if(nn.dropoutFraction > 0)
28. sting)
29. nn.a{i} = nn.a{i}.*(1 - nn.dropoutFraction);
30. else
31. nn.dropOutMask{i} = (rand(size(nn.a{i}))>nn.dropoutFraction);
32. nn.a{i} = nn.a{i}.*nn.dropOutMask{i};
33. end
34. end
35. //计算sparsity，nonSparsityPenalty 是对没达到sparsitytarget的参数的惩罚系数
36. //calculate running exponential activations for use with sparsity
37. SparsityPenalty>0)
38. nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);
39. end
40.
41. //Add the bias term
42. nn.a{i} = [ones(m,1) nn.a{i}];
43. end
44. switch nn.output
45. case'sigm'
46. nn.a{n} = sigm(nn.a{n - 1} * nn.W{n - 1}');
47. case'linear'
48. nn.a{n} = nn.a{n - 1} * nn.W{n - 1}';
49. case'softmax'
50. nn.a{n} = nn.a{n - 1} * nn.W{n - 1}';//这⾥的n就是循环n-1⾥时那个具体的数，代表最后⼀
层输出层（不参与循环）
51. nn.a{n} = exp(bsxfun(@minus, nn.a{n}, max(nn.a{n},[],2)));
52. //max这种表达的意思⽐较并取每⼀⾏的最⼤值，结果为列向量。
53. nn.a{n} = bsxfun(@rdivide, nn.a{n}, sum(nn.a{n}, 2));
54. // bsxfun代表⾼效运算，指两个数组间元素逐个计算的⼆值操作，@rdivide 这⾥指左
除；@minus是减法
55. end
56. //error and loss
57.
58. //计算error
59. nn.e = y - nn.a{n};
60. //计算计算loss 函数
61. switch nn.output
62. case {'sigm', 'linear'}
63. nn.L = 1/2 * sum(sum(nn.e .^ 2)) / m;
64. case'softmax'
65. nn.L = -sum(sum(y .* log(nn.a{n}))) / m;
66. end
67. end
nnbp
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论