神经网络基础.ppt

第二章第二章 神经网络基础神经网络基础2第二章第二章 神经网络基础神经网络基础2.1 生物神经元模型生物神经元模型2.2 人工神经元模型人工神经元模型2.3 网络拓扑结构类型网络拓扑结构类型2.4 人工神经网络模型人工神经网络模型2.5 神经网络的学习神经网络的学习2.6 小结小结32.1 生物神经元模型生物神经元模型n神经元是脑组织的基本单元，是神经系统结构与功神经元是脑组织的基本单元，是神经系统结构与功能的单元。据统计大脑大约包含能的单元。据统计大脑大约包含 个神经元，个神经元，每个神经元于大约每个神经元于大约 个其他的神经元相连接，个其他的神经元相连接，构成一个极为庞大而复杂的网络，即生物神经元网构成一个极为庞大而复杂的网络，即生物神经元网络。生物神经元网络中各神经元之间连接的强弱，络。生物神经元网络中各神经元之间连接的强弱，按照外部的刺激信号做自适应变化，而每个神经元按照外部的刺激信号做自适应变化，而每个神经元又随着所接受的的多个激励信号的综合结果呈现出又随着所接受的的多个激励信号的综合结果呈现出兴奋与抑制状态。大脑的学习过程就是神经元之间兴奋与抑制状态。大脑的学习过程就是神经元之间连接强度随外部刺激信息做自适应变化的过程，大连接强度随外部刺激信息做自适应变化的过程，大脑处理星系的结果有个圣经元状态的整体效果确定。脑处理星系的结果有个圣经元状态的整体效果确定。111.4 103510104n生物神经元基本结构生物神经元基本结构细胞体（细胞体（Cell body）树突树突 (Dendrite)轴突轴突 （Axon）突触突触 （Synapse）每一个神经元都通过突触每一个神经元都通过突触与其他神经元联系，突触的与其他神经元联系，突触的“连接强度连接强度”可随可随系统受到训练的强度而改变。系统受到训练的强度而改变。生物神经元结构生物神经元结构 5n生物神经元功能生物神经元功能兴奋与抑制兴奋与抑制 传入神经元的冲动经整和后使细胞膜电位升高，传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。时即为抑制状态，不产生神经冲动。学习与遗忘学习与遗忘 由于神经元结构的可塑性，突触的传递作用可由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习和遗忘的功增强与减弱，因此神经元具有学习和遗忘的功能。能。返回返回 62.2 人工神经元模型人工神经元模型n人工神经网络是在现代神经生物学研究基础上提人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反应人脑某些特性的计算结出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。某种抽象、简化和模拟。n人工神经元是对生物圣经元的一种形式化描述，人工神经元是对生物圣经元的一种形式化描述，他对生物神经元的信息处理过程进行抽象，应用他对生物神经元的信息处理过程进行抽象，应用数序语言予以描述，对生物神经元的结构与功能数序语言予以描述，对生物神经元的结构与功能进行模拟，并用模型图予以表达。进行模拟，并用模型图予以表达。71943年，年，McCulloch-Pitts(麦克洛奇皮兹麦克洛奇皮兹)根据生物根据生物神经元的动作原理提出了神经元模型，即神经元的动作原理提出了神经元模型，即M-P模型，模型，经过不断改进，形成目前广泛应用的形式神经元模型。经过不断改进，形成目前广泛应用的形式神经元模型。对于神经元的处理机制，该模型在简化的基础上提出对于神经元的处理机制，该模型在简化的基础上提出以下以下6点点假设进行描述：假设进行描述：1.每个神经元都是一个多输入单输出的信息处理单元每个神经元都是一个多输入单输出的信息处理单元2.突触分兴奋性和抑制性两种类型突触分兴奋性和抑制性两种类型3.神经元具有空间整合特性和阈值特性神经元具有空间整合特性和阈值特性4.神经元输入与输出间有固定的时滞，主要取决于突神经元输入与输出间有固定的时滞，主要取决于突触的延迟触的延迟5.忽略时间整合作用和不应期忽略时间整合作用和不应期6.神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度均为常数均为常数8n人工神经元是对生物神经元的一种模拟与简化。人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。下图显示了一种它是神经网络的基本处理单元。下图显示了一种简化的人工神经元结构。它是一个多输入、单输简化的人工神经元结构。它是一个多输入、单输出的非线性元件。出的非线性元件。人工神经元结构模型人工神经元结构模型9n人工神经元输入输出关系可描述为人工神经元输入输出关系可描述为 1nijijijiiIw xyf I其中其中xj(j=1,2,n)是从其它神经元传来的输入信号是从其它神经元传来的输入信号 wji表示从神经元表示从神经元j到神经元到神经元i的连接权值的连接权值 i 为阈值为阈值 f()称为激发函数或作用函数称为激发函数或作用函数(2-1)有时为了方便起见，常把有时为了方便起见，常把 看成是恒等于看成是恒等于1的输的输入入x0的权值，这时式的权值，这时式(2-1)的和式可写成的和式可写成1nijijjIw x0iiw 01x i10n输出激发函数输出激发函数f()又称为变换函数，它决定神经元又称为变换函数，它决定神经元(节点节点)的输出。该输出为的输出。该输出为1或或0，取决于其输入之，取决于其输入之和大于或小于内部阈值。函数一般具有非线性特和大于或小于内部阈值。函数一般具有非线性特征。下面几个图表示了几种常见的激发函数。征。下面几个图表示了几种常见的激发函数。(1)阈值函数阈值函数(见图见图(a),(b)当当yi取取0或或1时，时，f(x)为图为图(a)所示所示的阶跃函数：的阶跃函数：1,0()0,0 xf xx11当当yi取取-1或或1时，时，f(x)为图为图(b)所示的所示的sgn函数：函数：1,0sgn()()1,0 xxf xx(2)饱和型函数饱和型函数(见图见图(c)11,11(),11,xkf xkxxkkxk 12(4)双曲函数双曲函数(见图见图(d)()tanh()f xx1(),01exp()f xx (5)S型函数型函数(见图见图(e)神经元的状态与输入作用之间的关系是在神经元的状态与输入作用之间的关系是在(0,1)内内连续取值的单调可微函数，称为连续取值的单调可微函数，称为Sigmoid函数，函数，简称简称S型函数。当型函数。当 趋于无穷时，趋于无穷时，S型曲线趋于阶型曲线趋于阶跃函数，通常情况下，跃函数，通常情况下，取值为取值为1。13(6)高斯型函数高斯型函数(见图见图(f)在径向基函数构成的神经网络中，神经元的结构可在径向基函数构成的神经网络中，神经元的结构可用高斯函数描述如下：用高斯函数描述如下：22/()xf xe 返回返回 142.3 网络拓扑结构类型网络拓扑结构类型n层次型结构层次型结构n互联型结构互联型结构网络的学习算法将在今后的小节中介绍。网络的学习算法将在今后的小节中介绍。15神经网络的连接模式神经网络的连接模式n层内连接层内连接 本层内部神经元之间的连接，可用来加强层内本层内部神经元之间的连接，可用来加强层内神经元之间的竞争。神经元之间的竞争。n循环连接循环连接 指神经元到自身的连接。用于不断增强自身的指神经元到自身的连接。用于不断增强自身的激活值，使本次的输出与上次的输出相关。激活值，使本次的输出与上次的输出相关。n层间连接层间连接 指不同层之间的连接。这种连接用来实现信号指不同层之间的连接。这种连接用来实现信号传递。可以是前向的也可以是反向的。传递。可以是前向的也可以是反向的。返回返回 162.4人工神经网络模型人工神经网络模型n人工神经网络是以工程技术手段来模拟人脑神人工神经网络是以工程技术手段来模拟人脑神经网络的结构与特征的系统。经网络的结构与特征的系统。n利用人工神经元，可以构成各种不同拓扑结构利用人工神经元，可以构成各种不同拓扑结构的神经网络。的神经网络。n就神经网络的主要连接形式而言，目前已有数就神经网络的主要连接形式而言，目前已有数十种不同的神经网络模型，其中前馈网络和反馈十种不同的神经网络模型，其中前馈网络和反馈网络是两种典型的结构模型。网络是两种典型的结构模型。17(1)前馈神经网络前馈神经网络前馈神经网络，又称前向网络。如下图所示，神经前馈神经网络，又称前向网络。如下图所示，神经元分层排列，有输入层、隐层元分层排列，有输入层、隐层(亦称中间层，可有若亦称中间层，可有若干层干层)和输出层，每一层的神经元只接受前一层神经和输出层，每一层的神经元只接受前一层神经元的输入。元的输入。18目前，大部分前馈网络都是学习网络，它们目前，大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、误差网络，典型的前馈网络有感知器网络、误差反向传播反向传播(BP)网络等。网络等。19 (2)反馈型神经网络反馈型神经网络 反馈神经网络的结构如图所示。若总节点（神经元）反馈神经网络的结构如图所示。若总节点（神经元）数为数为N，则每个节点有，则每个节点有N个输入和一个输出，即所有个输入和一个输出，即所有节点都是一样的，它们之间都可相互连接。节点都是一样的，它们之间都可相互连接。20 Hopfield神经网络是反馈网络中最简单且应用神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能，如果广泛的模型，它具有联想记忆的功能，如果将将Lyapunov函数定义为寻优函数，函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。神经网络还可以用来解决快速寻优问题。返回返回 212.5 神经网络的学习神经网络的学习n人工神经网络最有吸引力的特点就是它的学习能人工神经网络最有吸引力的特点就是它的学习能力。学习方法是体现人工神经网络智能特征的主力。学习方法是体现人工神经网络智能特征的主要指标，离开了学习算法，人工神经网络就失去要指标，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。了自适应、自组织和自学习的能力。n人工神经网络的学习过程就是对它的训练过程。人工神经网络的学习过程就是对它的训练过程。所谓所谓训练训练，就是在将由样本向量构成的样本集合，就是在将由样本向量构成的样本集合输入到人工神经网路的过程中，按照一定方式去输入到人工神经网路的过程中，按照一定方式去调整神经元之间的连接权。使网络能将样本集的调整神经元之间的连接权。使网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使网络内涵以连接权矩阵的方式存储起来，从而使网络在数据输入时可以给出适当的输出。在数据输入时可以给出适当的输出。22n目前神经网络的学习方法有多种，按有无教师信目前神经网络的学习方法有多种，按有无教师信号来分类，可分为有教师学习、无教师学习和再号来分类，可分为有教师学习、无教师学习和再励学习等几大类。在有教师的学习方式中，网络励学习等几大类。在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照预先设定的规则（如竞争进入网络后，网络按照预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学等功能。再励学习是介于上述两者之间的一种学习方式。习方式