在数据量很少的时候很容易通过函数求得不唯一的解，甚至可以找到其中某一个完全解，但随着数据量的增加以及噪点的增加函数变得无解了。我们就需要通过神经网络求得一组近似解使得所有样本经过运算后都接近实际值。举个例子：假如输入只有一个维度，相当于在屏幕上有一堆点，当一条线能靠近绝大部分的点，那么这条线逼近这堆点。
人工神经网络并不是盲目的调整权重参数，而是依据均方差的函数曲线，寻找均方差的最小值。总结人工神经网络与生物神经网络的相似之处在于可以集体地、并行的处理，而不需要描述每个单元的特定任务。在神经网络的现代软件实现中，生物学启发已经很大程度上被抛弃了，取而代之的是基于统计学和信号处理的更加实用的方法。以上个人浅见，欢迎批评指正。
人工神经网络有哪些主要分类规则，如何分类？
人工神经网络为一类似人类神经结构的并行计算模式，是“一种基于脑与神经系统研究，所启发的信息处理技术”，通常也被称为平行分布式处理模型或链接模型。其具有人脑的学习、记忆和归纳等基本特性，可以处理连续型和离散型的数据，对数据进行预测。人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。
以下讲述常见的两种分类方法:按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。1 按照网络拓朴结构分类网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。层次型结构的神经网络将神经元按功能和顺序的不同分为输出层、中间层（隐层）、输出层。输出层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换。
根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理结果。而互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的连接程度将互连型网络细分为三种情况：全互连型、局部互连型和稀疏连接型2 按照网络信息流向分类从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。
单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。反馈型网络的结构与单层全互连结构网络相同。在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。
