为经偏差调整后的值，也称为神经元的局部感应区.

ui??wijxj （1-1）

j vi?ui?bi （1-2）

f(?)是激励函数，yi是神经元i的输出.

??? yi?f?wx?bj? （1-3） ??ijj?j? 激励函数f(?)可取不同的函数，但常用的基本激励函数有以下三种： （1）阀值函数（Threshold Function）

?1,若v?0 f(v)?? （1-4）

0，若v?0?该函数通常也称为阶跃函数，常用u(t)表示，如图1-3a所示.若激励函数采用阶跃

函数，则图1-2所示的人工神经元模型即为著名的MP（McCulloch-Pitts）模型.此时神经元的输出取1或0，反映了神经元的兴奋或抑制.

此外，符号函数Sgn(t)也常常作为神经元的激励函数，如图1-3b所示.

?1, Sgn(vi)???1,若vi?0若vi?0 （1-5）

u(t)10t图1-3 a 阀值函数

5

sign(t)10-1图1-3 b 阀值函数

（2）分段线性函数（Piecewise-Linear Function）

v??1?1,? f(v)??v,?1?v??1 （1-6）

??1,v??1?该函数在[-1,+1]线性区内的放大系数是一致的，如图1-4所示，这种形式的激励函

数可看作是非线性放大器的近似，以下是两种情况是分段线性函数的特殊形式：

1

0-11-1图1-4 分段线性函数

1）若在执行中保持线性区域而使其不进入饱和状态，则会产生线性组合器. 2）若线性区域的放大倍数无限大，则分段线性函数简化为阀值函数. （3）Sigmoid函数

6

Sigmoid函数也称s函数.到目前为止，它是人工神经网络中最常用的激励函数.s型函数的定义如下：

1 f(v)? （1-7）

1?exp?(av) 其中a为Sigmoid函数的斜率参数，通过改变参数a，我们会获取不同斜率的Sigmoid函数，如图1-5所示.

10.90.80.70.60.50.40.30.20.10-10-8-6-4-20246810a增大图1-5 Sigmoid函数

但斜率参数接近无穷大时，此函数转化为简单的阀值函数，但Sigmoid函数对应0

到1一个连续区域，而阀函数对应的只是0和1亮点，此外Sigmoid函数是可微的，而阀值函数是不可微的.

Sigmoid函数也可用双曲正切函数来表示，如图1-6所示.

v) （1-8） f(v)?tanh(tanh(v)10.50-0.5-1-10-8-6-4-20v246810图1-6 双曲正切函数

由式（1-8）定义的Sigmoid类型激励函数所得到的负责具有分析价值.

7

1.4 人工神经网络的分类及学习规则

前面介绍人工神经元模型，将大量的神经元进行连接可构成人工神经网络.神经网络中神经元的联结方式与用于训练网络的学习算法是紧密结合的，可以认为应用于神经网络设计中的学习算法是被结构化了的.

1.4.1 人工神经网络的分类

本文将网络结构和学习算法相结合，对人工神经网络进行分类. 1. 单层前向网络

所谓单层前向网络是指拥有的计算节点（神经元）是“单层”的，如图1-7所示.这里原节点个数的“输入层”看作一层神经元，因为该“输入层”不具有执行计算的功能.后面介绍的单层感知器属于单层前向网络.

2. 多层前向网络

多层前向网络和单层前向网络的区别在于：多层前向网络含有一个或多个的 隐含层，其中计算节点被相应地称为隐含神经元或隐含单元，如图1-8所示.

图1-8所示的多层前向网络由含有10个神经元输入层、含有4个神经元隐含层和2个神经元输出层所组成.

网络输入层中的每个源节点的激励模式（输入向量）单元组成了应用于第二层（如第一隐层）中神经元（计算节点）的输入信号，第二层输出信号成为第三层的输入，其余层类似.网络每一层的神经元只含有作为它们输入前一层的输出信号，网络输出层（终止层）神经元的输出信号组成了对网络中输入层（起始层）源节点产生的激励模式的全部响应.即信号从输入层输入，经隐含层传给输出层，由输出层得到输出信号.

图1-7 单层前向网络

8