孙开盛,梁久祯,黄德双,黄晓萍

• 1:大庆石油学院计算机科学系!黑龙江安达151400

• 2:大庆石油学院计算机科学系!黑龙江安达151400

• 3:北京系统工程研究所!北京100101

• 4:大庆石油管理局生产测井研究所!黑龙江大庆163453

摘要(Abstract)：

针对前馈神经网络所使用的学习算法应具有收敛速度快、计算复杂度小、稳定性好的特点 ,利用梯度算法在网络学习初始阶段可使误差函数下降速度快 ,而牛顿法在学习后期可使收敛率提高 ,且具有二阶收敛速度 ,提出了一种梯度 -牛顿耦合学习算法 ;该方法充分发挥了两种算法各自的特长 ,能弥补牛顿法在网络学习初始阶段对学习初值的敏感性和梯度算法在学习后期的震荡现象等不足 ;给出了学习速度参数在线优化、带保护的拟牛顿法、梯度 -牛顿竞争法以及梯度 -牛顿分段等 4种确定学习参数的方案

关键词(KeyWords)：前馈神经网络;梯度-牛顿耦合学习算法;收敛性;一维搜索

Abstract:

Keywords:

基金项目(Foundation):国家自然科学基金项目! (6 970 5 0 0 1)

作者(Author):孙开盛,梁久祯,黄德双,黄晓萍

Email:

参考文献(References)：

• [1] Hecht -NielsenR .Theoryofthebackpropationneuralnetwork[J] .ProcIJCNN ,1989,1:5 93～ 5 99.

• [2 ] HebbD .Organizationofbehavior[M] .NewYork :JohnWiley&Sons ,1949.

• [3] SteinbuchK ,PiskeVAW .Learningmatricesandtheirapplications[J] .IEEETransElectronComput,196 3,EC(12 ) :846～ 96 2 .

• [4] WerbosP .NewToolsforpredictionandanalysisinthebehavioralsciences[D] .CambridgeMA :HavardUniversity ,1974.

• [5 ] RumeihartDE ,HintonGE ,WilliamsRJ .Learninginternalrepresentationsbyerrorpropagation[A] .RumeihartDEetal.ParallelDistributedPro ceeding[C] ,CambridgeMA :MITPress,1986 .

• [6 ] 席少霖 .非线性最优化方法 [M] .北京 :高等教育出版社 ,1992 .