人工神经网络及其应用实例
人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的
若干基本特征，但并非其逼真的描写。
人工神经网络可概括定义为：由大量简单元件广泛互连而成的复
杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、
光学元件等模拟，仅起简单的输入输出变换 y???? (x) 的作用。下图是 3
中常用的元件类型：
线性元件： y?? 0.3x，可用线性代数法分析，但是功能有限，现在
已不太常用。
2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6
-4
-2
0
2
4
6 连续型非线性元件： y?? tanh(x)，便于解析性计算及器件模拟，是 当前研究的主要元件之一。
Page 1 of 25
2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6
-4
-2
0
2
4
6
?1, x?? 0
，便于理论分析及阈值逻辑器件 离散型非线性元件： y?????
??1, x?? 0
实现，也是当前研究的主要元件之一。
2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6
-4
-2
0
2
4
6 Page 2 of 25
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴
奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型：
兴奋型连接、抑制型连接、无连接。这样，N 个神经元（一般 N 很大）
构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神
经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简
单的人工神经网络结构图如下所示：
上图中，左侧为输入层（输入层的神经元个数由输入的维度决定）， 右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与
输出层之间即为隐层。
输入层节点上的神经元接收外部环境的输入模式，并由它传递给
相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神
经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工
神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层
用于产生神经网络的输出模式。
多层神经网络结构中有代表性的有前向网络（BP 网络）模型、
Page 3 of 25
多层侧抑制神经网络模型和带有反馈的多层神经网络模型等。本文主 要探讨前向网络模型。
多层前向神经网络不具有侧抑制和反馈的连接方式，即不具有本
层之间或指向前一层的连接弧，只有指向下一层的连接弧。代表是
BP 神经网络：输入模式由输入层进入网络，经中间各隐层的顺序变
换，最后由输出层产生一个输出模式，如下图所示：
输入层 隐层 输出层 多层前向神经网络由隐层神经元的非线性处理衍生它的能力，这 个任务的关键在于将神经元的加权输入非线性转换成一个输出的非
线性激励函数。下图给出了一个接收 n 个输入 x1, x2 , , xn 的神经元：
b
1 x1
w1 w2 wn
x2
????
y
xn
Page 4 of 25