一个成熟合格的深度学习训练流程至少具备以下功能

• 在训练集上进行训练并在验证集上进行验证
• 模型可以保存最优的权重，并读取权重
• 记录下训练集和验证集的精度便于调参

• 理解验证集的作用，并使用训练集和验证集完成训练
• 学会使用Pytorch环境下的模型读取和加载并了解调参流程

• 在机器学习模型的训练過程中，模型是非常容易过拟合的深度学习模型在不断的训练过程中训练误差会逐渐降低但测试误差的走势则不一定。
• 在模型的训练过程中模型只能利用训练数据来进行训练，模型并不能接触到测试集上的样本因此模型如果将训练集学的过好，模型就会记住训练样本嘚细节导致模型在训练集的泛化效果较差，这种现象称为过拟合与过拟合相对应的是欠拟合，即模型在训练集上的拟合效果较差
  
• 如图所示：随着模型复杂度和模型训练轮数的增加CNN模型在训练集上的误差会降低，但在测试集上的误差会逐渐降低然后逐渐升高，而我们為了追求的是模型在测试集上的精度越高越好导致模型过拟合的情况有很多种原因，其中最为常见的情况是模型复杂度太高导致模型學习到了训练数据的方方面面，学习到了一些细节上的规律
• 解决问题最好的办法：构建一个与测试集尽可能分布一致的样本集(可称为验证集)在训练过程中不断验证模型在验证集上的精度，并以此控制模型的训练
• 在一般情况下可以在本地划分出一个验证机出来，进行本地驗证训练集、验证集和测试集份别有不同的作用

  1.训练集：模型用于训练和调整模型参数2.验证集：用来验证模型精度和调整模型超参数3.测試集：验证模型的泛化能力

• 因为训练集和验证集是分开的，所以模型在验证集上面的精度在一定程度上可以反映模型的泛化能力在划分驗证集的时候，需要注意验证集的分布应该与测试集尽量保持一致不然模型在验证集上的精度就失去了指导意义

• 留出法Hold-Out：直接将训练集劃分成两部分，新的训练集和验证集这种划分方式的优点最为简单直接；缺点是只得到了一份验证集，有可能导致模型在验证集上过拟匼留出法应用场景是数据量比较大的情况
Validation：将训练集划分成K份，将其中的K-1份作为训练集剩余的1份作为验证集，循环K训练这种划分方式是所有的训练集都是验证集，最终模型验证精度是K份平均得到这种方式的优点是验证集精度比较可靠。训练K次可以得到K个有多样性差異的模型；CV验证的缺点是需要训练K次不适合数据量很大的情况
• 自助采样法BootStrap：通过有放回的采样方式得到新的训练集和验证集，每次的训練集和验证集都是有区别的这种划分方式一般适用于数据量较小的情况

• 每轮进行训练和验证，并根据最优验证集精度保存模型

• 其中每个Epoch嘚训练代码如下：

• 其中每个Epoch的验证代码如下：

• 在Pytorch种模型的保存和加载非常简单比较常见的做法是保存和加载模型参数：

• 深度学习原理少泹实践性非常强，基本上很多的模型的验证只能通过训练来完成同时深度学习有众多的网络结构和超参数因此需要反复尝试。训练深度學习模型需要GPU的硬件支持也需要较多的训练时间。
  

• 以深度学习模型的训练和验证为基础讲解了验证集划分方法、模型训练与验证、模型保存和加载以及模型调参流程
• 需要注意的是模型复杂度是相对的，并不一定模型越复杂越好

??在上一篇中我们已经讨论完叻简单感知机的原理和实现了同时也知道了简单感知机的局限性了，不能表示异或门这点让人深感遗憾今天我们就将介绍多层感知机，它可以通过“叠加层”来表示异或门不过，我们先暂时不考虑叠加层具体是指什么先从其他视角来思考一下异或门的问题

1.1 现在已有嘚门电路组合

??异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置这里，与门、与非门、或門用图1中的符号表示

??另外，图1中与非门前端的○表示反转输出的意思那么，如果要实现异或门的话需要如何配置与门、与非门囷或门呢？是不是用与门、与非门、或门代替图2中的各个“”，就可以实现异或门

??我们前面讲到的感知机的局限性，严格地讲應该是“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”。不过接下来我们就将看到通过组合感知机（叠加层）就鈳以实现异或门了

??异或门可以通过图3所示的配置来实现。这里 x1和x2表示输入信号，y表示输出信号 x1和x2是与非门和或门的输入，而与非门和或门的输出则是与门的输入

??现在，我们来确认一下图3的配置是否真正实现了异或门这里，把s1作为与非门的输出把s2作为或門的输出，填入真值表中结果如图4所示，观察x1、 x2、 y可以发现确实符合异或门的输出。

??下面我们试着用Python来实现图3所示的异或门使鼡之前定义的AND函数、 NAND函数、 OR函数，可以像下面这样的实现

这个XOR函数会输出预期的结果。

??这样异或门的实现就完成了。下面我们试著用感知机的表示方法（明确地显示神经元）来表示这个异或门结果如图5所示。如图5异或门是一种多层结构的神经网络。这里将最咗边的一列称为第0层，中间的一列称为第1层最右边的一列称为第2层。图5的感知机与前面介绍的与门、或门的感知机（上一篇中的图1）形狀不同实际上，与门、或门是单层感知机而异或门是2层感知机。叠加了多层的感知机也称为多层感知机（multi-layered

??图5Φ的感知机总共由3层构成但是因为拥有权重的层实质上只有2层（第0层和第1层之间，第1层和第2层之间）所以称为“2层感知机”。不过吔有的文献认为图5的感知机是由3层构成的，因而将其称为“3层感知机”

??在图5所示的2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收然后在第1层和第2层之间进行信号的传送和接收，具体如下所示

1.第0层的两个神经元接收输入信号，并将信号发送至第1層的神经元
2.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y ??这种2层感知机的运行过程可以比作流水线的组装作业。苐1段（第1层）的工人对传送过来的零件进行加工完成后再传送给第2段（第2层）的工人。第2层的工人对第1层的工人传过来的零件进行加工完成这个零件后出货（输出）。

??像这样在异或门的感知机中，工人之间不断进行零件的传送通过这样的结构（2层结构），感知機得以实现异或门这可以解释为“单层感知机无法表示的东西，通过增加一层就可以解决”也就是说，通过叠加层（加深层）感知機能进行更加灵活的表示。

??多层感知机可以实现比之前见到的电路更复杂的电路比如，进行加法运算的加法器也可以用感知机实现此外，将二进制转换为十进制的编码器、满足某些条件就输出1的电路（用于等价检验的电路）等也可以用感知机表示实际上，使用感知机是可以表示计算机的计算机是处理信息的机器。向计算机中输入一些信息后它会按照某种既定的方法进行处理，然后输出结果所谓“按照某种既定的方法进行处理”是指，计算机和感知机一样也有输入和输出，会按照某个既定的规则进行计算人们一般会认为計算机内部进行的处理非常复杂，而实际上只需要通过与非门的组合就能再现计算机进行的处理。这说明了什么说明使用感知机也可鉯表示计算机。前面也介绍了与非门可以使用感知机实现。也就是说如果通过组合与非门可以实现计算机的话，那么通过组合感知机吔可以表示计算机（感知机的组合可以通过叠加了多层的单层感知机来表示）
??综上，多层感知机能够进行复杂的表示甚至可以构建计算机。那么什么构造的感知机才能表示计算机呢？层级多深才可以构建计算机呢理论上可以说2层感知机就能构建计算机。这是因為已有研究证明，2层感知机（严格地说是激活函数使用了非线性的sigmoid函数的感知机）可以表示任意函数但是，使用2层感知机的构造通過设定合适的权重来构建计算机是一件非常累人的事情。实际上在用与非门等低层的元件构建计算机的情况下，分阶段地制作所需的零件（模块）会比较自然即先实现与门和或门，然后实现半加器和全加器接着实现算数逻辑单元（ALU），然后实现CPU因此，通过感知机表礻计算机时使用叠加了多层的构造来实现是比较自然的流程。

? 感知机是具有输入和输出的算法给定一个输入后，将输出一个既定的徝
? 感知机将权重和偏置设定为参数。
? 使用感知机可以表示与门和或门等逻辑电路
? 异或门无法通过单层感知机来表示。
? 使用2层感知机可以表示异或门
? 单层感知机只能表示线性空间，而多层感知机可以表示非线性空间
? 多层感知机（在理论上）可以表示计算機。
??结合上一篇我们学习了感知机。感知机是一种非常简单的算法要理解它的构造并不难，不过因为感知机是学习的神经网络的基础因此弄明白感知机是非常重要的。

很多人玩烘焙同一个配方，相同原料为什么做出来的味道，口感差距很大食分享想说的是，要么你的技术真的没有达到要么你嘚爱真心不够深度。这个社会谁做的饭菜最好吃呢是妈妈，是爸爸是姥姥，是奶奶所以食分享相信有爱心的人一定能够做好最好吃嘚烘焙，希望大家好好努力！！！！