深度神经网络通常是前馈型神经网络。多层前馈型神经网络都是深度神经网络，深度神经网络不都是多层前馈型神经网络,因为深度神经网络包含了递归神经网络和卷积神经网络等深度神经网络说的是一种结构，而不是一种算法深度学习与神经网络深度学习网络与神经网络的相同之处在于具有相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，这种分层结构比较接近人类大脑的结构。
神经网络是什么？
神经网络旨在通过构建多层次（输入层、隐层、输出层）的机器学习模型和海量训练数据来学习更有用的特征，能够构建复杂的人工智能模型，从而模拟人脑解决人工智能问题。2006年Hinton等人提出“深度学习”神经网络以后，人工智能在技术上经过5-8年的沉淀后获得突破性进展，自2012年以来，以“卷积神经网络（CNNs）”和“递归神经网络（RNN）”为主的深度学习模型使得复杂任务分类准确率大幅提高，相比其他算法效果和效率改善显著，从而推动了以图像处理、语音识别以及语义理解技术为核心的人工智能的的快速发展。
神经网络的目标旨在用简单的独立结构构建出复杂的数学模型。在单独的节点和节点之间是简单的线性模型，而当层数变多，节点数变多的时候，整个模型构建出了非线性的特征，具有强大的数学模型效果，通过数据学习出适合特定数据的网络参数，从而适应极为复杂的现实情况。深度学习用通俗的说法来看，就是层数较多的神经网络。最基础的神经网络模型是前馈神经网络，这是最基础的模型，其他的神经网络结构的逻辑结构和训练方式都基于这个模型。
神经网络模型可以看作是一个黑箱子，外部很多观测到的特征，这些特征按照模型要求作为输入节点，数据在这些节点中按照自己的特征输入，这个模型的目的是通过一个较为复杂的结构得到目标值。其实不用把神经网络想得有多么高深，其实中间的每个节点的连接只是最简单的线性方程。我用通俗的方式打个比方，如果我们把一个人的特征进行数学表达，然后判断他是什么性别，我们用神经网络可以这样来表示，中间的黑箱就是神经网络：这个黑箱过程是一个很复杂的结构，这些结构就是所谓的隐层节点，隐层节点相互之间连接是通过线性结构连接的，他们可以是一层也可以是多层，每一层的节点数可以是任意的，当调整好结构之后，数据就可以根据训练数据学习出特定的模型，这个模型中隐含了数据的模式，在未来遇到不曾遇到的数据之后这些数据就会通过学习到的结构得出想要解决的目标。
在这里，对输入端特征的选取和把目标问题转化成模型的输出是需要去尝试的，当可以将实际问题转化成神经网络能够处理的问题之后，隐层结构的构建也是需要经验的。神经网络最重要的几个概念就是前向反馈，反向反馈，权重更新，具体来说我可以用单层神经网络的训练过程做一个解释。我们给定了样本的输入值x,样本的输出值y,神经网络的权重w，这个单层的神经网络可以表现为如下形式：我们在神经网络中的每一个步骤都有一个权重w，那利用这组输出权重与我们的样本输出值会形成一个误差值我们现在要做的是，根据这个误差来自动调整我们的权重，并且权重变化方向是收敛结果走的，这里我们用了梯度下降方法。
这是某一个节点的梯度变化过程：尽管这是单层的训练过程，多层神经网络的过程是一个叠加，我们所谓的卷积神经网络是在维图像上用一个卷积操作做了一个节点的编码，过程也是类似的。现在所谓的深度学习就是层数很深的神经网络，近年来随着计算性能的提升，神经网络结构的发展，很多过去的人工智能任务得以用神经网络end-to-end得实现。
什么是神经网络？有可能取代人类的大脑吗？
刚好手头有一本《神经网络与深度学习》，在对神经网络的定义上作者是这么说的“神经网络，是机器学习的一个分支，学名应该叫人工神经网络，与之相对应的是生物神经网络(Biological Neural Networks，BNN)，我们将模拟生物神经网络的数学模型统称为人工神经网络模型，简称人工神经网络或神经网络”。
