神经网络是什么？
神经网络旨在通过构建多层次（输入层、隐层、输出层）的机器学习模型和海量训练数据来学习更有用的特征，能够构建复杂的人工智能模型，从而模拟人脑解决人工智能问题。2006年Hinton等人提出“深度学习”神经网络以后，人工智能在技术上经过5-8年的沉淀后获得突破性进展，自2012年以来，以“卷积神经网络（CNNs）”和“递归神经网络（RNN）”为主的深度学习模型使得复杂任务分类准确率大幅提高，相比其他算法效果和效率改善显著，从而推动了以图像处理、语音识别以及语义理解技术为核心的人工智能的的快速发展。
神经网络的目标旨在用简单的独立结构构建出复杂的数学模型。在单独的节点和节点之间是简单的线性模型，而当层数变多，节点数变多的时候，整个模型构建出了非线性的特征，具有强大的数学模型效果，通过数据学习出适合特定数据的网络参数，从而适应极为复杂的现实情况。深度学习用通俗的说法来看，就是层数较多的神经网络。最基础的神经网络模型是前馈神经网络，这是最基础的模型，其他的神经网络结构的逻辑结构和训练方式都基于这个模型。
神经网络模型可以看作是一个黑箱子，外部很多观测到的特征，这些特征按照模型要求作为输入节点，数据在这些节点中按照自己的特征输入，这个模型的目的是通过一个较为复杂的结构得到目标值。其实不用把神经网络想得有多么高深，其实中间的每个节点的连接只是最简单的线性方程。我用通俗的方式打个比方，如果我们把一个人的特征进行数学表达，然后判断他是什么性别，我们用神经网络可以这样来表示，中间的黑箱就是神经网络：这个黑箱过程是一个很复杂的结构，这些结构就是所谓的隐层节点，隐层节点相互之间连接是通过线性结构连接的，他们可以是一层也可以是多层，每一层的节点数可以是任意的，当调整好结构之后，数据就可以根据训练数据学习出特定的模型，这个模型中隐含了数据的模式，在未来遇到不曾遇到的数据之后这些数据就会通过学习到的结构得出想要解决的目标。
在这里，对输入端特征的选取和把目标问题转化成模型的输出是需要去尝试的，当可以将实际问题转化成神经网络能够处理的问题之后，隐层结构的构建也是需要经验的。神经网络最重要的几个概念就是前向反馈，反向反馈，权重更新，具体来说我可以用单层神经网络的训练过程做一个解释。我们给定了样本的输入值x,样本的输出值y,神经网络的权重w，这个单层的神经网络可以表现为如下形式：我们在神经网络中的每一个步骤都有一个权重w，那利用这组输出权重与我们的样本输出值会形成一个误差值我们现在要做的是，根据这个误差来自动调整我们的权重，并且权重变化方向是收敛结果走的，这里我们用了梯度下降方法。
这是某一个节点的梯度变化过程：尽管这是单层的训练过程，多层神经网络的过程是一个叠加，我们所谓的卷积神经网络是在维图像上用一个卷积操作做了一个节点的编码，过程也是类似的。现在所谓的深度学习就是层数很深的神经网络，近年来随着计算性能的提升，神经网络结构的发展，很多过去的人工智能任务得以用神经网络end-to-end得实现。
设计卷积神经网络时应该按什么思路进行？
抛弃具体任务来说设计网络意义不大。假设是图像方向，首先提取特征的base网络大佬们已经给我们设计好了 vgg resnet densenet senet dual path net，当然甚至于谷歌的nasnet。这方面可造新轮子的空间不大，对硬件要求有点高。 剩下的就要看具体任务需求了，根据需求来改进原来的网络可能更靠谱一些。
什么是神经网络？有可能取代人类的大脑吗？
刚好手头有一本《神经网络与深度学习》，在对神经网络的定义上作者是这么说的“神经网络，是机器学习的一个分支，学名应该叫人工神经网络，与之相对应的是生物神经网络(Biological Neural Networks，BNN)，我们将模拟生物神经网络的数学模型统称为人工神经网络模型，简称人工神经网络或神经网络”。
从这个定义看，神经网络就是模拟生物神经网络的数学模型。作者说“生物神经网络一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动”。这本书的第二章《构造神经网络》，作者介绍了怎样构造神经网络。作者从怎样先构造神经网络的基本单位——神经元说起，再到怎样构造一个神经网络。
从对设计神经元的介绍看，就是对生物神经元的模拟，有“神经元的输入部分(树突)、处理部分(细胞体)和输出部分(轴突)”。作者在回顾神经网络历史的章节中还说到了对控制论影响深远的一篇文章，按他讲话就是“控制论的思想源泉之一”——《神经活动中思想内在性的逻辑演算》。从这些都可以看到人工神经网络就是人类对生物神经网络的学习和模拟。
在书中作者提到了“人工智能的终极目标”——类脑。作者说“如果我们知道了如何模拟一个大脑，那么我们能否模拟一个更强的脑，这个大脑是不是可以链接到人类世界所有的知识库去学习，并诞生几乎无的创造力？这就是类脑的作用”。他还引用了类脑计算研究中心学术委员会主任张钹院士说的“类脑计算比曼哈顿计划更有挑战性”。从作者对类脑的介绍看，还有他说的对“第三类智能”的研究看，类脑人工智能会有一定的发展。
可是否能取代人类大脑，我觉得不可能。从现在来说，人类对大脑的探索也还只是前期阶段，不管现在说什么大脑里也存在量子纠缠，还是对大脑神经元的数量到底是八百亿还是一千亿，脑科学对大脑的研究还有特别大量的工作要做。可到底能对大脑有多少了解，能制造和人脑一样的大脑，都是未知数。不能因为人工智能有了什么突破性的进展就说人工智能可以取代大脑，从目前看，还差得远呢。
