在许多问题中，我们可以设计一些方法，让各个隐藏层所提取的特征变得可视化，但这种方法其实也不能很好地解释所有的问题，因而很多人讲神经网络视作「黑箱」。在一些特定的问题中，模型可能具有较好的可解释性，例如一个经典的案例就是卷积神经网络（CNN）逐层所提取的一些特征，如下图所示，较低层的网络提取的是图像的边缘、纹理等特征，随着层级的提高，网络逐渐提取的是更为高层级、更整体的特征。
不过这也并不是说 CNN 的可解释性就是完美的，只能说 CNN 比一般的神经网络有相对更好的可解释性，但我们仍然很难真正说清楚每一层网络，究竟有什么实际的意义。在深度学习被提出之前，当时在机器学习领域最流行也最成功的方法其实是随机森林，而随机森林中的每一棵决策树都是具有很好解释性的——深度学习抛弃了这种解释性，从模型最终的表现上来看，它也有比各种随机森林更好的表现。
人工神经网络的本质（物理或数学意义）是什么？
作者曾经写过系列文章《神经网络与深度学习概述 》，其中在《第二章 神经网络的概念及感知机模型》，从生物和数学方面都有一定介绍。神经网络全称人工神经网络（Artificial Neural Network, ANN），与之相对应的是生物神经网络（Biological Neural Network, BNN），将模拟生物神经网络的数学模型统称为人工神经网络模型。
生物神经系统与生物神经元大量生物神经元的广泛、复杂连接，形成生物神经网络实现各种智能活动智能（intelligence）观察、学习、理解和认识的能力理解和各种适应性行为的能力智能是个体有目的的行为、合理的思维、以及有效的适应环境的综合能力，也可以说是个体认识客观事物和运用知识解决问题的能力生物神经元(neuron)是基本的信息处理单元生物神经系统生物神经元是基本的信息处理单元。
生物神经元树突(dendrites)：接收来自外接的信息细胞体(cell body)： 神经细胞主体，信息加工轴突(axon)：细胞的输出装置，将信号向外传递，与多个神经元连接突触 （synapsse)：神经元经突触向其它神经元（胞体或树突）传递信号生物神经元的基本特征神经元之间彼此连接神经元之间的连接强度决定信号传递的强弱神经元之间的连接强度可以随训练改变：学习、遗忘、疲劳神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化兴奋与抑制信号可以起兴奋作用，也可以起抑制作用一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制)每个神经元可以有一个“阈值”人工神经网络的组成与结构人工神经网络是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。
而这些处理单元我们把它称作人工神经元。人工神经网络可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。神经元及神经网络模型感知机模型感知机模型，其基础就是单个神经元模型感知机的学习是有监督的学习，学习的问题归结为求权重系数W = (w1, w2, …, wn)和阈值θ 的问题基本思想：逐步将训练集中的样本输入到网络中，根据当前输出结果和理想输出结果之间的差别来调整网络中的权重值感知机模型感知器模型无法解决“异或”（XOR）问题，即感知器模型无法解决非线性可分问题。
设激活函数f(x)为阶梯函数：阶梯函数由于单层感知器的输出为：y(x1,x2) = f(ω1×x1 ω2×x2-θ)用感知器实现简单逻辑运算的情况如下：“与”运算（x1∧x2）令ω1= ω2=1，θ=2，则 y=f(1×x1 1×x2-2)显然，当x1和x2均为1时，y的值1；而当x1和x2有一个为0时，y的值就为0。
“或”运算（x1∨x2）令ω1= ω2=1, θ =0.5，则y = f(1×x1 1×x2-0.5)显然，只要x1和x2中有一个为1，则y的值就为1；只有当x1和x2都为0时，y的值才为0。“非”运算（～X1）令ω1 =-1， ω2=0， θ=-0.5，则 y = f((-1)×x1 1×x2 0.5))显然，无论x2为何值，x1为1时，y的值都为0；x1为0时，y的值为1。
即y总等于～x1。“异或”运算（x1 XOR x2）如果“异或”（XOR）问题能用单层感知器解决，则ω1、 ω2 和θ 必须满足如下方程组：ω1 ω2-θ＜0ω1 0-θ≥00 0-θ＜00 ω2-θ≥0显然，该方程组是无解，这就说明单层感知机是无法解决异或问题。神经网络模型（多层感知机Multi-Layer Perception）在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。
