什么是深度神经网络（DNN），它有哪些最新进展？
深度学习的概念深度学习是神经网络的一个分支，深度学习的基本结构是深度神经网络。深度神经网络是一种具备至少一个隐含层的神经网络。与浅层神经网络相比，深度神经网络也能为复杂非线性系统建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的拟合能力。深度神经网络通常是前馈型神经网络。多层前馈型神经网络都是深度神经网络，但是深度神经网络不都是多层前馈型神经网络,因为深度神经网络还包含了递归神经网络和卷积神经网络等深度神经网络说的是一种结构，而不是一种算法深度学习与神经网络深度学习网络与神经网络的相同之处在于具有相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，这种分层结构比较接近人类大脑的结构。
传统的的神经网络一般只有2-3层隐含层，参数和计算单元有限，对复杂函数的表示能力有限，学习能力也有限，而深度神经网络隐藏层层数可以达到5-10层，甚至更多，并且引入了更高效的算法，深度神经网络的分层结构更接近于人类大脑的结构。区别于传统的浅层学习，深度学习的不同在于：强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点明确突出了特征学习的重要性，也就是说通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息深度神经网络的训练传统神经网络中，采用的是BP误差反向传播算法的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和真实值之间的差利用梯度下降法去改变前面各层的参数，直到模型收敛。
深度学习不能采用BP算法：如果采用BP算法，对于一个深度神经网络（7层以上），误差传播到最前面的层已经变得太小，出现所谓的梯度扩散深度神经网络的目标函数往往是非凸的，采用BP算法容易陷入局部最优问题深度学习训练过程具体如下：step1 使用自下而上的非监督学习过程（就是从底层开始，一层一层的往顶层训练）：采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是特征学习过程）。
具体的，先用无标定数据训练第一层，训练时先学习第一层的参数（这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层），由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。
step2 自顶向下的监督学习过程（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调/fine-tune）：基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于深度学习的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以深度学习效果好很大程度上归功于第一步的feature learning过程。
谈及AI时常听到的「神经网络」和「深度学习」到底是什么意思？
关于神经网络和深度学习，我尽量用一个通俗易懂的方式来解答吧。因为如果用比较专业的语言来描述的话，可能看完了也还是不懂是什么，这样就没啥意义了。先说说神经网络神经网络分为两种：一种是生物的，例如：人、猫、狗还有一种是我们人造的，因为我们能造出聪明一点的机器人。那人的神经网络是什么样的呢？我们打开我们的生物书，里面就会有这样的图，这是一个神经元的结构图。
举个例子：我们的皮肤其实就连接着各种各样的神经末梢，然后我们摸了一个东西，然后我们的神经末梢就将摸到的这种感觉变成了一种生物电，然后通过神经纤维（就是上图中黄色的一节一节的东西）传递到了细胞体中，而神经元细胞体存在于我们的脑和脊髓中。那我们人体有千千万万条这样的神经元，这些神经元就构成了我们人体的神经网络。
我们人也就是通过神经网络，来感知世界的。那人工神经网络又是怎么回事呢？其实，人工神经网络也就是通过模拟人的神经网络架构，而设计出的一套计算机的神经网络算法。例如：我们在读一封邮件的时候，我们怎么判断它是垃圾邮件呢？可能是，看到题目里面有某个特定的词，那它就是垃圾邮件，或者内容中出现一些词，他就是垃圾邮件。
那我们把这封邮件丢到我们人造的神经网络里面，然后我们的众多神经元都接收到了邮件里的拆分出来的词汇，然后各个神经元去判断这个邮件的内容，最后汇总一个答案。这个案例就是一种最最简单的神经网络的应用场景。那这些词汇，我们叫做输入，在第一层的神经元中，我们已经包含了很多的特征（例如某个关键词），根据输入是否存在这种特征，我们做出判断，那是不是垃圾邮件，我们给出一个答案，0代表不是，1代表是，0和1我们成为输出。
那第一层神经元的输出，作为了第二层神经元的输入，第二层神经元只有一个，我们可以给第二层神经元也定一个特征，例如：有一个输入是1，那就是垃圾邮件。那最终，我们就可以判定这个邮件是否是垃圾邮件了。那什么是深度学习呢？原理我们就不讲了，我们只需要知道，深度学习是在神经网络的发展中被研究出来的一种算法模型。就用刚才我们的邮件来举例吧。
我们在讲述邮件的时候，提到了一个东西，特征，但是我们刚才的描述中，并没有明确这些特征是怎么来的。那深度学习呢，就可以问我们解决这个问题。例如：我们找到一个小孩子，让他看一封邮件，他其实并不知道这个邮件是不是垃圾邮件。但是这个没有关系，我们就找出很多很多这样的邮件来，然后告诉这个小孩子，这封是垃圾邮件，这封不是垃圾邮件。
慢慢的，这个小孩子就能够从这一堆邮件中，提取出垃圾邮件的特性。可能最开始他提取了一些特性，但是我们让他学习的过程中，他回答我们这个是垃圾邮件，但是我们告诉他，这个不是垃圾邮件，他就会将这种特性的判断结果做相应的调整。慢慢的，随着他学习的深度，他给出的答案就越准确。而这个学习的过程，其实就是深度学习了。
