作者曾经写过系列文章《神经网络与深度学习概述 》，其中在《第二章 神经网络的概念及感知机模型》，从生物和数学方面都有一定介绍。神经网络全称人工神经网络（Artificial Neural Network, ANN），与之相对应的是生物神经网络（Biological Neural Network, BNN），将模拟生物神经网络的数学模型统称为人工神经网络模型。
生物神经系统与生物神经元大量生物神经元的广泛、复杂连接，形成生物神经网络实现各种智能活动智能（intelligence）观察、学习、理解和认识的能力理解和各种适应性行为的能力智能是个体有目的的行为、合理的思维、以及有效的适应环境的综合能力，也可以说是个体认识客观事物和运用知识解决问题的能力生物神经元(neuron)是基本的信息处理单元生物神经系统生物神经元是基本的信息处理单元。
生物神经元树突(dendrites)：接收来自外接的信息细胞体(cell body)： 神经细胞主体，信息加工轴突(axon)：细胞的输出装置，将信号向外传递，与多个神经元连接突触 （synapsse)：神经元经突触向其它神经元（胞体或树突）传递信号生物神经元的基本特征神经元之间彼此连接神经元之间的连接强度决定信号传递的强弱神经元之间的连接强度可以随训练改变：学习、遗忘、疲劳神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化兴奋与抑制信号可以起兴奋作用，也可以起抑制作用一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制)每个神经元可以有一个“阈值”人工神经网络的组成与结构人工神经网络是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。
而这些处理单元我们把它称作人工神经元。人工神经网络可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。神经元及神经网络模型感知机模型感知机模型，其基础就是单个神经元模型感知机的学习是有监督的学习，学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值θ 的问题基本思想：逐步将训练集中的样本输入到网络中，根据当前输出结果和理想输出结果之间的差别来调整网络中的权重值感知机模型感知器模型无法解决“异或”（XOR）问题，即感知器模型无法解决非线性可分问题。
设激活函数f(x)为阶梯函数：阶梯函数由于单层感知器的输出为：y(x1,x2) = f(ω1×x1 ω2×x2-θ)用感知器实现简单逻辑运算的情况如下：“与”运算（x1∧x2）令ω1= ω2=1，θ=2，则 y=f(1×x1 1×x2-2)显然，当x1和x2均为1时，y的值1；而当x1和x2有一个为0时，y的值就为0。
“或”运算（x1∨x2）令ω1= ω2=1, θ =0.5，则y = f(1×x1 1×x2-0.5)显然，只要x1和x2中有一个为1，则y的值就为1；只有当x1和x2都为0时，y的值才为0。“非”运算（～X1）令ω1 =-1， ω2=0， θ=-0.5，则 y = f((-1)×x1 1×x2 0.5))显然，无论x2为何值，x1为1时，y的值都为0；x1为0时，y的值为1。
即y总等于～x1。“异或”运算（x1 XOR x2）如果“异或”（XOR）问题能用单层感知器解决，则ω1、 ω2 和θ 必须满足如下方程组：ω1 ω2-θ＜0ω1 0-θ≥00 0-θ＜00 ω2-θ≥0显然，该方程组是无解，这就说明单层感知机是无法解决异或问题。神经网络模型（多层感知机Multi-Layer Perception）在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。
什么是深度神经网络（DNN），它有哪些最新进展？
深度学习的概念深度学习是神经网络的一个分支，深度学习的基本结构是深度神经网络。深度神经网络是一种具备至少一个隐含层的神经网络。与浅层神经网络相比，深度神经网络也能为复杂非线性系统建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的拟合能力。深度神经网络通常是前馈型神经网络。多层前馈型神经网络都是深度神经网络，但是深度神经网络不都是多层前馈型神经网络,因为深度神经网络还包含了递归神经网络和卷积神经网络等深度神经网络说的是一种结构，而不是一种算法深度学习与神经网络深度学习网络与神经网络的相同之处在于具有相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，这种分层结构比较接近人类大脑的结构。
