人工神经网络初探

2022-04-11 09:03:37 | 浏览次数：

摘要本文重点总结了人工神经网络的发展历程，并阐述了它的仿生学原理、BP算法步骤及其改进，最后分析了人工神经网络在具体领域的应用并展望了它的前景。

关键词人工神经网络；发展；应用；BP算法

中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2018）203-0066-03

1 人工神经网络发展背景分析

人工神经网络是一门人工智能领域的新兴信息系统，运用了模仿人脑结构的仿生学原理，它得天独厚的非线性信息的处理、整合的强大功能，使之在信息、医学、经济、交通、控制、心理学等领域具有极其广阔的发展前景。它的发展可概括为四个历史时期：起步时期、低迷时期、恢复时期、新发展时期。

1.1 启蒙时期：20世纪40年代—20世纪60年代

人工神经网络发展的奠基时期。

1943年，开创了人工神经网络研究的是一个神经元模型（M-P模型）。

1952年，英国生物学家 Hodgkin和Huxley建立著名的H-H方程。这一方程广泛用于描述神经膜中的非线性现象，有重大历史意义。

1960年，Widrow和Hoff提出激起许多学者兴趣Adaline网络模型，可用于自适应系统。上述成果足以表明初期人工神经网络所取得的奠基性成就。

1.2 低谷时期

正当人们受到极大的鼓舞努力追求神经网络那美好的目标但却忽视其本身的局限性时，人工智能的创始人之一Minskyh和Papert经过多年的深入研究，于1969年在《Percep2trons》一书中，明确指出当前的网络只能应用于简单的线性问题而不能有效地应用于多层网络的巨大局限。由此，美苏的科研机构纷纷撤资，从而形成了长达10年的发展低谷。可喜的是，在低谷中仍有一些科学家不忘初心，锲而不舍地追求人工神经网络的研究，使它出现了灰色时期的微馨。

先辈们持之以恒的工作精神值得我们后来者学习，杰出的成果更是为日后神经网络研究打下了极其坚固的地基。

1.3 复兴时期

1986年，美国Rumelhart和McCkekkand提出PDP网络思想，进一步被推动神经网络发展同时对BP算法进行了极具历史性的整合总结。

20世纪90年代中后期，神经网络研究在已有理论不断深化的基础上达到了一个新的高度，新的理论和方法不断出现并被投入使用。

1.4 迅速发展时期

20世纪80年代，伴随着人工神经网络在世界范围内的不断兴起、复苏，中国也逐步开始研究神经网络。

1990年2月，中国8个顶尖学会联合在北京召开“中国神经网络首届学术会议”。经过二十几年的不断发展，中国的研究取得了万众瞩目的辉煌成就。

2 理论分析

2.1 人工神经网络仿生学原理

人工神经结构网络运用了仿生学原理。大家都知道，人类的大脑是一个十分神秘的器官，可以说有无限的开发潜能。据美国著名大脑专家东尼博赞统计，如果一个人从出生开始以每秒10条信息的速度向大脑输入信息，那么到这个人将去世的时候，他的大脑所储存的信息也不到总脑容量的一半。再举一个现实中的例子：闻名遐迩的科学家阿尔伯特·爱因斯坦的大脑开发量也不超过4%。所以人工神经结构网络就是在这样一种令人惊异的人脑基础上展开研究的，经过一个世纪的研究，展现出了难以估量的潜力和诱人的前景，吸引无数专家学者“沉溺”其中，推动着它不断纵向和横向发展。

人工神经网络的仿生起点，是神经元的信号传递方式，一个神经元就是一个神经细胞，它是神经系统的基本组成单位，神经元之间通过突触连接，构成了极其复杂的神经网络系统。

初期的人工神经网络通过模仿一个简单神经元的工作过程：来自外界或其他细胞的信号通过突触传导给神经元，当细胞收到的信号总和达到一定的阈值后细胞释放神经递质，通过轴突向下一个细胞发送电信号。这个过程就蕴藏着细胞对外界信息加工的过程。

人工神经网络研究的愿景与灵感大抵如上所述。

2.2 人工神经网络的基础结构

2.2.1 McCulloch-pitts模型

由W.S. McCulloch和W.H.Pitts于1943年提出此模型。

神经元是此模型中的功能是将输入信号加权求和，当求和值超过阈值时神经元进入激活状态，输出值为1，如果不超过阈值，输出值为0，这个模型可用公式：

θj稱为阈值逻辑单元，若要使输出值为1或-1，则可用符号函数sgh（.）替代θ（.）

很显然，这个模型是高度简化的，只是反映出神经元的最简单的功能特征，但是作为一种极度的抽象形式，这一科技模型反映着神经结构网络的研究出发点，是人工神经网络的基础。

它作为一种最简单的可学习机器，只能完成线性可分数据分类问题，对于非线性问题它无能为力。但当多个基础模型交错组合形成的一般神经网络就具备了很强的非线性问题处理能力。

2.2.2 BP算法的建立及其改进

毫不夸张地说，BP神经网络模型是人工神经结构网络的左膀右臂，实际上是一个多元函数的优化问题，即以连接权系数为变量，将误差函数最小化作为目标的优化问题。

BP算法上的突破主要源于著名的Singmoid函数（S形函数）来代替初期感知器中的阈值函数来构建神经网络。如图1。

Sigmoid函数可表示为其值域为（0，1），由于处处可导，则可以看作是对阶跃函数的逼近，Sigmoid函数的构建实现了误差的逆传播，从而使得反向传播过程中根据输出节点的实际输出和理想输出的误差逐层修改权值成为可能，自主寻找并提取解决问题的求解规划，很对人工智能自学的胃口。由此，可以认为BP算法的建立是人工神经网络的一个飞跃式进步。

2.3 BP算法的基本步骤

BP算法的目标函数（误差函数）是神经网络在所有样本上期望输出与预测输出的切方误差，通过采用梯度下降法来调整各层权值求目标函数的最小化。

具体步骤如下：

1）随机赋予各权值的一定初值。

2）前向过程：当某个具体样本作用在输出端后，利用当前权值计算输出，即一个信号从输入到隐层再到输出。

3）误差逆转修正权值。计算所得到的输出与样本已知正确输出之间误差，并根据误差对节点权值的偏导数修正权值，直到把各层权值都修正一次。

选择另一样本重复上述过程。

4）训练中总的误差水平达到预先设定阈值或训练时间达到预定上限时终止学习。

BP算法的关键在于能够将误差反向传播到各隐层节点，从而对中间各层权值进行学习。

BP算法的局限性：BP算法的本质是梯度下降法，它所要的最小化目标函数非常复杂，因此算法可能陷入目标函数的局部最小点，即出现“锯齿形现象”，所以不能保证收敛到全局最优点，这同时也注定BP算法是低效的。

BP算法的优化：BP人工神经网络自适应学习算法。

优化点（一）初始权值的选取。

未改进的BP算法采用随机抽取思想，产生大量随机初始点，逐步迭代，最终选出最优解，但其具有一定的随机盲目性。我们可以采用逐步搜索法即将初值区域n等分，在这几个区域分别产生初始权值进行学习，选取误差最小的区域再进行n等分，分别学习，直到误差不能再小时终止。经检验，只要区域足够小，这种方法可避免局部行为。

优化点（二）输入层节点数目确定。

由于BP网络是解决非线性复杂问题，其因变量受多个自变量影响，我们可以先用自组织算法（应用不完全归纳法，使用线生逼近得结果）尽量全面广泛，不必经专门主观筛选地找出输入变量，再利用BP算法进行学习，二者取长补短，增强BP网络对复杂系统建模处理能力。

优化点（三）网络隐层层数与隐节点数目确定。

Lippmann和Cyberko指出只需两个隐层就可解决任何形式分类问题，而且Robert Hecht Nielson也通过研究指出：只有一个隐层的神经网络，只要有足够多的隐节点，就可以以任意精度逼近一个非线性函数。所以为了寻找合适的隐节点数要在神经网络学习过程中根据环境的要求，自适应地调整自己的结构，最终获得一个大小合适的人工神经网络模型。

3 人工神经网络前景展望及应用

经过近一个世纪的发展，人工神经网络以其与其他各门科学技术紧密结合的广泛应用性及工作时高速度和潜在的超高速的强大性能吸引了无数学者和工程人员投入其中。

3.1 应用

3.1.1 信息领域

信息的来源十分不完整，并且在一定程度上包含虚假信息，决策规则很多时候非常芜杂，十分繁复导致在处理许多问题时寸步难行。而神经网络的仿生原理使其具备结构上的两大特性—数据数理的越大规模并行性和数据存储的分布性，使人工神经网络具有模仿或代替人的思维的优良性能，从而形成与传统方法有着天壤之别的独到处理方法。

此外，即使在战争中线路遭到十分严重的破坏，由于人工神经网络具有极强的容错容差能力及自組织性，所以，它仍能维持在优化工作状态。这使得它在军事系统电子设备中大显身手，由此它被引入报警系统、自动控制制导系统和自动跟踪监测仪器系统等领域。

3.1.2 经济领域

预测社会消费品零售总额和分析商品价格的变动等问题需要考虑多种因素的不同影响并对这类问题进行综合性分析。人工神经网络中的BP神经网络模型就是一个多元函数的优化，对于这种不完整的、模糊不确定的数据有独到的处理方法，相对于传统方法来说其有无法比拟的巨大优势，从而可以大大增加了得到准确评价结果的可能性。

3.1.3 控制领域

人工神经网络以其特有固有的非线性问题处理能力，以及高度的鲁棒性等令人惊异的突出特征，使迅猛发展的控制领域如虎添翼。最优决策控制、监督控制、内模控制、预测控制等都是基本的控制结构。

3.2 前景展望

人工神经网络或许无法代替人类大脑，或许它也只是对数字计算机的补充，而非替代，但它确确实实地拓展了人们对外部环境的识知和控制处理能力，它特有的非线性适应性信息处理能力使之与各门科学技术相互交错，共同发展。

人工智能可能的发展趋势如下：

1）人工神经网络正奔跑在模拟人类认识的道路上。

2）通过光电结合的神经计算机创造出功能更强大、应用更广泛的人工神经网络，同时研究更加高效简洁的网络结构，扩大神经元芯片的作用范围。

3）实现智能机器人的自然口译、与人流畅谈话和用自然语言与计算机对话也是其发展方向之一。

4 结论