時(shí)間：2023-03-01 16:26:58
緒論：在尋找寫作靈感嗎？愛發(fā)表網(wǎng)為您精選了8篇神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，愿這些內(nèi)容能夠啟迪您的思維，激發(fā)您的創(chuàng)作熱情，歡迎您的閱讀與分享！
關(guān)鍵詞： Matlab； 串聯(lián)BP； 多函數(shù)擬合； 自定義網(wǎng)絡(luò)
中圖分類號： TN911?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2013）22?0014?03
0 引 言
BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland提出的，它是一種誤差按反向傳播的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的非線性映射能力，能以任意精度逼近任意連續(xù)函數(shù)，因此在人工智能的許多領(lǐng)域都得到了廣泛的應(yīng)用，如函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮等領(lǐng)域[1?2]。由于目前一個神經(jīng)網(wǎng)絡(luò)只能同時(shí)對一個函數(shù)進(jìn)行擬合，針對此本文提出了一直串聯(lián)BP網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)兩個函數(shù)的擬合。
1 BP網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法
BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的拓?fù)浣Y(jié)構(gòu)。BP模型是一種多層前向網(wǎng)絡(luò)，這里采用的是三層BP神經(jīng)網(wǎng)絡(luò)模型，它由輸入層、隱層和輸出層組成，其結(jié)構(gòu)如圖1所示，分別為：
（1）輸入層節(jié)點(diǎn)，其輸出等于[xi]（[i]=1，2，…，n），將控制變量值傳輸?shù)诫[含層；
（2）隱層節(jié)點(diǎn)[j]，其輸入[hj]，輸出[oj] 分別為：
[hj=i=1nwjxi-θj=i=1n+1wjxi]
[oj=f（hj）]
（3）輸出節(jié)點(diǎn)[k]，其輸入[hk]，輸出[ok] 分別為：
[hk=j=1m+1wjkoj]
[ok=f（hk）]
式中：[k]=1，2，…，[l]；[f]為傳輸函數(shù)。
BP算法分兩步進(jìn)行，即正向傳播和反向傳播[3]。
（1）正向傳播
輸入的樣本從輸入層經(jīng)過隱單元逐層進(jìn)行處理，通過所有的隱層之后，在傳向輸出層。在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。
（2）反向傳播
反向傳播時(shí)，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小[4]。
2 BP網(wǎng)絡(luò)的串聯(lián)模型
神經(jīng)網(wǎng)絡(luò)串聯(lián)即由兩個或兩個以上的神經(jīng)網(wǎng)絡(luò)串聯(lián)所組成的新型網(wǎng)絡(luò)模型，用于串聯(lián)的各神經(jīng)網(wǎng)絡(luò)稱為子神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)串聯(lián)模型中的各子神經(jīng)網(wǎng)絡(luò)首尾相連，如圖2所示。
假設(shè)總的神經(jīng)網(wǎng)絡(luò)由k個子神經(jīng)網(wǎng)絡(luò)串聯(lián)而成，即第一個神經(jīng)網(wǎng)絡(luò)的輸出作為第二個神經(jīng)網(wǎng)絡(luò)的輸入，第二個神經(jīng)網(wǎng)絡(luò)的輸出做為第三個神經(jīng)網(wǎng)絡(luò)的輸入，以此類推下去。每一個子神經(jīng)網(wǎng)絡(luò)均由同類型的神經(jīng)網(wǎng)絡(luò)構(gòu)成，在本文中，每一個子網(wǎng)絡(luò)都采用最常用的BP神經(jīng)網(wǎng)絡(luò)，其子網(wǎng)絡(luò)的構(gòu)建都遵循現(xiàn)有的BP網(wǎng)絡(luò)的構(gòu)建形式，其基本的子網(wǎng)絡(luò)結(jié)構(gòu)采用三層模式，一個輸入層，一個隱含層和一個輸出層[5?6]。
通過Matlab神經(jīng)網(wǎng)絡(luò)工具箱的自定義的方法來實(shí)現(xiàn)兩個子BP網(wǎng)絡(luò)的串聯(lián)。
部分程序如下所示：
net=network；
net.numinputs=2；
net.numlayers=6；
net.biasConnect=[1；1；1；1；1；1]；
net.inputConnect=[1 0；0 0；0 0；0 1；0 0；0 0]；
net.layerConnect=[ 0 0 0 0 0 0；1 0 0 0 0 0 ；0 1 0 0 0 0；
0 0 1 0 0 0 ；0 0 0 1 0 0；0 0 0 0 1 0]；
net.outputConnect=[ 0 0 1 0 0 1]；
網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖3所示，其中每個子網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)為20個，傳遞函數(shù)為tansig，輸出層采用線性函數(shù)[7]。
3 實(shí)驗(yàn)測試與分析
運(yùn)用本串聯(lián)BP網(wǎng)絡(luò)在Matlab 2011的環(huán)境中同時(shí)對兩個目標(biāo)函數(shù)進(jìn)行擬合。其目標(biāo)函數(shù)為：
目標(biāo)函數(shù)1：
[y=sin x]
目標(biāo)函數(shù)2：
[y=x（1-16x2）e-x]
訓(xùn)練樣本輸入的設(shè)置：輸入樣本p={p1’，p1’}其中p1=[-1：0.05：1]，目標(biāo)向量T={t1’；t2’}，其中t1= sin（3*pi*p1），t2= p1.*（1-1/6*p1.^2）.*exp（-p1）。并加入噪聲t3=sin（3*pi*p1）+0.15*randn（size（p1））；t4=t2+0.15*randn（size（p1））；T={[t3]’；[t4]’}；對其進(jìn)行訓(xùn)練仿真[8?10]。
網(wǎng)絡(luò)的輸出y包含了兩個待擬合函數(shù)的擬合后的數(shù)據(jù)通過下面操作：
y1=cell2mat（y）；
y2=y1’；
a=y2（1：1：41）；
b=y2（42：1：82）；
得到各自的擬合數(shù)據(jù)。
仿真結(jié)果如圖4～圖6所示。
由圖4、圖5仿真擬合曲線與待擬合函數(shù)曲線的比較可以看出此串聯(lián)網(wǎng)絡(luò)在通過加噪聲的訓(xùn)練樣本訓(xùn)練后能夠很好的對兩個待擬合函數(shù)進(jìn)行擬合。由圖6知在經(jīng)過342次訓(xùn)練后其誤差達(dá)到了0.000 978?？梢?，通過此串聯(lián)BP神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地?cái)M合了待擬合函數(shù)曲線。
4 結(jié) 語
通過以上敘述可以看出本文設(shè)計(jì)的串聯(lián)神經(jīng)網(wǎng)絡(luò)能夠和好地對函數(shù)曲線進(jìn)行擬合，為同時(shí)實(shí)現(xiàn)多函數(shù)曲線的擬合提供了新的方法。
參考文獻(xiàn)
[1] 張雨濃，蔡炳煌.人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)展及過程[M].北京：電子工業(yè)出版社，2010.
[2] 蔣正金，汪曉東，端木春江.采用BP神經(jīng)網(wǎng)絡(luò)擬合光纖位移傳感器特性曲線[J].微型機(jī)與應(yīng)用，2012，31（4）：67?69.
[3] 郭軍.BP神經(jīng)網(wǎng)絡(luò)算法研究[D].武漢：華中科技大學(xué)，2005.
[4] 賈麗會，張修如.BP算法分析與改進(jìn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006，16（10）：102?107.
[5] 劉華，高大啟.RBF_LBF 串聯(lián)神經(jīng)網(wǎng)絡(luò)的分類應(yīng)用及其學(xué)習(xí)算法[J].計(jì)算機(jī)應(yīng)用，2004，24（10）：100?104.
[6] 鄧秋香.神經(jīng)網(wǎng)絡(luò)串并聯(lián)學(xué)習(xí)算法在B超圖像識別中的應(yīng)用[D].武漢：武漢理工大學(xué)，2008.
[7] 張德豐.Matlab神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京：機(jī)械工業(yè)出版社，2012.
[8] 陳小宇，喬翠蘭，汪瑞祥，等.基于BP算法神經(jīng)網(wǎng)絡(luò)的物理實(shí)驗(yàn)曲線擬合[J].物理實(shí)驗(yàn)，2002，22（9）：10?13.
[9] 李潔.BP網(wǎng)絡(luò)的算法及在Matlab上的程序仿真[J].西安航空技術(shù)高等?？茖W(xué)校學(xué)報(bào)，2009，27（1）：42?43.
【關(guān)鍵詞】PID控制;BP神經(jīng)網(wǎng)絡(luò);模糊PID控制
Abstruct：PID control are widely used in industrial process control，but the traditional PID control because of its control parameters are fixed，and it is difficult to adjust its parameters online.So this paper studies a new adaptive fuzzy PID control method，to solve problem without the ability to learn，and put forward a kind of adaptive fuzzy control method based on BP neural network in this paper.It is the effective combination of fuzzy control，neural network and PID control.Simulation results show that this fuzzy PID control method based on BP neural network has good control effect.
Keywords：PID control;BP neural network;Fuzzy PID control
1.引言
常規(guī)PID在控制領(lǐng)域被廣泛應(yīng)用，利用數(shù)學(xué)算法來整定參數(shù)。而且隨著控制系統(tǒng)的復(fù)雜，被控對象很難建立數(shù)學(xué)模型，人們開始探索新的控制方式。模糊控制不要求掌握被控對象的精確的數(shù)學(xué)模型，根據(jù)人工控制規(guī)則組織控制決策表，然后由該表決定控制量的大小。在一般的模糊系統(tǒng)設(shè)計(jì)中，規(guī)則是由經(jīng)驗(yàn)豐富的專業(yè)人員以語言的方式表達(dá)出來的。但對于某些問題即使是很有經(jīng)驗(yàn)的專業(yè)人員也很難將他們的經(jīng)驗(yàn)總結(jié)、歸納為一些比較明確而簡化的規(guī)則。在這種情況下，就可以應(yīng)用神經(jīng)網(wǎng)絡(luò)的方法，依靠BP神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能，實(shí)現(xiàn)模糊控制的神經(jīng)、模糊融合技術(shù)，并借助其并行分布的結(jié)構(gòu)來估計(jì)輸入到輸出的映射關(guān)系，直接從原始的工作數(shù)據(jù)中歸納出若干控制規(guī)則。從而為模糊系統(tǒng)建立起行之有效的決策規(guī)則。
2.PID控制器原理
2.1 PID控制的微分方程
PID控制器是一種線性控制器，它將給定值r（t）與實(shí)際輸出值c（t）的偏差的比例（p）、積分（I）、微分（D）通過線性組合構(gòu)成控制量，對控制對象進(jìn)行控制。
式中：
2.2 PID控制器各環(huán)節(jié)的作用
（1）比例環(huán)節(jié)：及時(shí)成比例地反應(yīng)控制系統(tǒng)的偏差信號e（t），偏差一旦產(chǎn)生，控制器立即產(chǎn)生控制作用以減小偏差。
（2）積分環(huán)節(jié)：積分作用會使系統(tǒng)穩(wěn)定性下降，Kd大會使系統(tǒng)不穩(wěn)定，但能消除靜態(tài)誤差。
（3）微分環(huán)節(jié)：能反應(yīng)偏差信號的變化趨勢，并能在偏差信號值變得太大之前，在系統(tǒng)中引入一個早期修正信號，從而加快系統(tǒng)的動作速度，減小調(diào)節(jié)時(shí)間。Kd偏大時(shí)，超調(diào)較大，調(diào)節(jié)時(shí)間短;Kd偏小時(shí)，超調(diào)量也較大，調(diào)節(jié)時(shí)間長;只有Kd合適時(shí)才能超調(diào)小，時(shí)間短。
3.BP神經(jīng)網(wǎng)絡(luò)與模糊控制
模糊控制是運(yùn)用語言歸納操作人員的控制策略，運(yùn)用變量和模糊集合理論形成控制算法的一種控制。如何讓機(jī)器像人一樣識別、理解模糊規(guī)則并進(jìn)行模糊邏輯推理，最終得出新的結(jié)論并實(shí)現(xiàn)自動控制是模糊控制研究的主要內(nèi)容。模糊控制器的基本結(jié)構(gòu)如圖1所示。
圖1 模糊控制結(jié)構(gòu)
人工神經(jīng)網(wǎng)絡(luò)是由大量人工神經(jīng)元經(jīng)廣泛互連二組成的，它可用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)網(wǎng)絡(luò)可以看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來的有向圖。BP網(wǎng)絡(luò)是一種利用誤差反向傳播訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，是一種有隱含層的多層前饋網(wǎng)絡(luò)，系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問題。BP學(xué)習(xí)算法的基本原理是梯度最速下降法，它的中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。也就是采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。網(wǎng)絡(luò)學(xué)習(xí)過程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的過程。其結(jié)構(gòu)如圖2所示。
圖2中隱含層第一層神經(jīng)元為7個，分別對應(yīng)7個模糊子集：NB、NM、NS、ZO、PS、PM、PB。第二層49個神經(jīng)元代表49條規(guī)則。第三層7個神經(jīng)元代表輸出的7個模糊子集。模糊控制不依靠對象的數(shù)學(xué)模型，但模糊規(guī)則的建立需要人工經(jīng)驗(yàn)。采用BP算法對工程經(jīng)驗(yàn)和專家經(jīng)驗(yàn)的模糊規(guī)則進(jìn)行訓(xùn)練，其實(shí)就是把模糊規(guī)則用神經(jīng)網(wǎng)絡(luò)來表示，即經(jīng)過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，將模糊規(guī)則以加權(quán)系數(shù)的形式表現(xiàn)出來，規(guī)則的生成就轉(zhuǎn)化為加權(quán)系數(shù)的確定和修改。
神經(jīng)網(wǎng)絡(luò)是大規(guī)模并行運(yùn)算，但由于網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練和學(xué)習(xí)需要大量的時(shí)間，所以目前還無法實(shí)現(xiàn)實(shí)時(shí)控制。在具體應(yīng)用中，我們是先離線將神經(jīng)網(wǎng)絡(luò)的各層權(quán)值和閾值訓(xùn)練出來，將其參數(shù)固定下來，然后將有系統(tǒng)檢測、計(jì)算得到的誤差變化直接代入非線性映射關(guān)系中，由計(jì)算機(jī)算出控制量，再用作被控對象。在matlab下以、、為輸出的BP網(wǎng)絡(luò)仿真訓(xùn)練如圖3、圖4、圖5所示。
4.模糊PID控制器的原理與仿真
對于某一BP神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)，其中內(nèi)部變化及被控對象的數(shù)學(xué)模型為：
利用模糊控制對PID參數(shù)實(shí)現(xiàn)在線調(diào)節(jié)，原理如圖6。
圖6 模糊PID控制原理圖
采用Z-N法和試湊法相結(jié)合，借助MATLAB的SIMULINK平臺，對被控對象進(jìn)行常規(guī)PID仿真。參數(shù)值：kp=15，ki=6，kd=0.05。如圖7。作為比較，建立模糊PID控制器的仿真模型如圖8。
圖9、圖10分別為被控對象G（s）在階躍輸入下常規(guī)PID和模糊PID仿真結(jié)果的比較。
經(jīng)過仿真發(fā)現(xiàn)，常規(guī)PID控制缺點(diǎn)是超調(diào)量大，調(diào)節(jié)時(shí)間長，動態(tài)性能差。優(yōu)點(diǎn)是控制精度高，穩(wěn)定性能好。模糊控制動態(tài)性能很好，上升速度快，基本無超調(diào)。但由于模糊化所造成的穩(wěn)態(tài)誤差，在沒有積分環(huán)節(jié)的情況下很難消除，故穩(wěn)態(tài)性能差。模糊PID繼承了二者的優(yōu)點(diǎn)，摒棄二者缺點(diǎn)，具有更全面優(yōu)良的控制性能。
5.結(jié)論
針對大滯后、慢時(shí)變、非線性的復(fù)雜系統(tǒng)，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的模糊PID控制算法，該算法不依賴被控對象的精確數(shù)學(xué)模型，可實(shí)現(xiàn)在線自調(diào)整模糊規(guī)則，從而增強(qiáng)了模糊控制器的自學(xué)習(xí)能力。通過算法的仿真研究，驗(yàn)證了算法的可行性。
參考文獻(xiàn)
[1]李華.計(jì)算機(jī)控制系統(tǒng)[M].北京：機(jī)械工業(yè)出版社，2007.
[2]高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例[M].北京：機(jī)械工業(yè)出版社，2007.
[3]蔡自興.智能控制[M].北京：電子工業(yè)出版社，2003.
[4]李國勇.智能控制及其MATLAB實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2005.
[5]張德豐.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京：機(jī)械工業(yè)出版社，2009.
[6]劉金琨.先進(jìn)PID控制及其MATLAB仿真[M].北京：電子工業(yè)出版社，2003.
[7]劉玲.三容水箱的單神經(jīng)元自適應(yīng)PID控制研究[J].信息技術(shù)，2005，3（8）：32-137.
關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò)；PID；控制系統(tǒng)；非線性
中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A文章編號：1007-9599 (2011) 20-0000-02
Design of Control System Based on FNN PID
Duan Zhengjun1,Zhao Ran1,Tian Wenxue2
(1.TISCO Stainless Steel Pipe company,Taiyuan030000,China;2. China Chemical Engineering Second Construction Corporation,Taiyuan030000,China)
Abstract:At present,many of intelligent algorithm apply to the non-linear control system,it is intelligent control systems,for example,neural network,fuzzy control.According to the neural networks and fuzzy control in this article,introduced design principles and implementation based on neural nerwork and PID algorithm.
Keywords:Fuzzy neural network;PID;Control System;Nonlinear
一、引言
模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者單獨(dú)使用時(shí)候，都會有一定的缺陷。模糊邏輯在一定的論域上面有很好的收斂性，在進(jìn)行模糊量的運(yùn)算上有優(yōu)勢；而神經(jīng)網(wǎng)絡(luò)具有強(qiáng)的自學(xué)習(xí)、自適應(yīng)、并行運(yùn)算和精確計(jì)算的能力。因此，兩者結(jié)合可以優(yōu)勢互補(bǔ)，從而很大提高綜合能力。FNN-PID是將模糊神經(jīng)網(wǎng)絡(luò)融進(jìn)PID算法中，實(shí)現(xiàn)二者結(jié)合。FNN-PID算法具有PID控制器優(yōu)點(diǎn)、模糊控制的良好收斂性和對模糊量的運(yùn)算優(yōu)勢，也有神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自適應(yīng)的特性。
二、FNN系統(tǒng)結(jié)構(gòu)
FNN具有很多種結(jié)構(gòu)和算法，對于不同的控制對象，在綜合考慮運(yùn)算速度和精度的情況下，可以使模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有所不同。本文模糊神經(jīng)網(wǎng)絡(luò)采用如圖1的結(jié)構(gòu)，兩個輸入變量是有 、 ，為誤差E與誤差變化量EC。輸出變量為Y，為PID三要素中的一個。根據(jù)專家經(jīng)驗(yàn)知識把每個輸入因子分為（NM，NS，ZO，PS，PM）五個模糊狀態(tài)記為T[ ]。
圖1.模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
第一層至第三層是實(shí)現(xiàn)模糊控制規(guī)則，第四層去除模糊化并實(shí)現(xiàn)輸出實(shí)際控制對象的值，每層的作用如下：
第一層為輸入層，該層的節(jié)點(diǎn)直接與輸入層相連，起著將輸入向量X傳送到下一層的作用，其節(jié)點(diǎn)個數(shù)等于輸入變量個數(shù)。輸入輸出關(guān)系可表示為：
， i=1，2（1）
第二層為隸屬函數(shù)層，其作用是計(jì)算輸入量屬于各語言變量值模糊集合的隸屬函數(shù)值，節(jié)點(diǎn)個數(shù) ，每個節(jié)點(diǎn)代表一個模糊集合，可表示為：
， j=1，2，3（2）
式中j―― 的模糊分割數(shù)， 、 ――高斯函數(shù)中第j個輸入對第i個結(jié)點(diǎn)的中心和寬度。
第三層為模糊規(guī)則層，每個節(jié)點(diǎn)代表一條模糊規(guī)則。采用IF-THEN模糊規(guī)則，可表示為：
：If is and is and…is THEN Yis（3）
式中，1≤n≤2，1≤i≤3： （4）
第四層為輸出層： （5）
三、FNN的學(xué)習(xí)算法及步驟
在學(xué)習(xí)方法上，我們選擇在線學(xué)習(xí)，在線學(xué)習(xí)就是針對整個訓(xùn)練集的每一個輸入和對應(yīng)的輸出要求，每學(xué)習(xí)一條規(guī)則，就進(jìn)行一次連接權(quán)的調(diào)整；這樣一輪一輪不斷的自動的調(diào)整網(wǎng)絡(luò)連接權(quán)，知道整個網(wǎng)絡(luò)達(dá)到所有的要求的響應(yīng)為止。學(xué)習(xí)目的是對產(chǎn)生樣本規(guī)律的統(tǒng)計(jì)特性進(jìn)行建模，從具體觀測推測隱含的規(guī)律，輸出結(jié)果與樣本接近。為了提高測量的精度，要求 、 和 三個參數(shù)能夠適應(yīng)環(huán)境的變化，即可實(shí)時(shí)調(diào)節(jié)高斯隸屬函數(shù)和連接第三、第四層的權(quán)重比。具體算法如下：
式（5）可以按下式表示：（6）
設(shè) ， ， ，從而得到式（6）的簡化形式為： ，由式子（6）和式子（7）得到（8）式：
（9）
（10）
定義輸出誤差為： （11），其中 ――k時(shí)刻的輸出值， ――k時(shí)刻的輸出期望值。
定義系統(tǒng)的性能指標(biāo)為：（12）
采用反方向傳播方法進(jìn)行監(jiān)督學(xué)習(xí)，使性能指標(biāo)E值最小化。根據(jù)梯度下降方法有：
以上式子分別為（13），（14），（15）。其中 為學(xué)習(xí)速度，由于采用在線學(xué)習(xí)，那么 為一個定值。根據(jù)性能指標(biāo)選取規(guī)則和專家經(jīng)驗(yàn)知識，取終止條件為E≤0.005，具體的學(xué)習(xí)步驟如下：
步驟1： 、 、 及 的初始值在[0，1]之間隨機(jī)選取， 的值為恒定值，根據(jù)經(jīng)驗(yàn)決定。
步驟2：根據(jù)式子（11），（13），（14），（15）計(jì)算得出比較理想的 ， ， 值。
步驟3：根據(jù)式子（12）計(jì)算E，若E≤0.002，迭代結(jié)束。否則，令 ， ， 為初始值并返回步驟2。
四、PID-FNN系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)
根據(jù)FNN結(jié)構(gòu)可知，輸入是誤差和誤差變化量，輸出是PID控制參數(shù)中的一個，故我們設(shè)計(jì)PID-FNN系統(tǒng)時(shí)要使用3個FNN，選擇這樣的FNN結(jié)構(gòu)是為了更加精確的得到PID所需要的修正值。當(dāng)然，這里所用的FNN是已經(jīng)結(jié)束學(xué)習(xí)過程的。PID-FNN控制系統(tǒng)的具體結(jié)構(gòu)如圖2所示。
PID-FNN系統(tǒng)具體實(shí)現(xiàn)過程如下：①根據(jù)FNN的學(xué)習(xí)算法，通過提供的樣本對FNN-Kp、FNN-Ki和FNN-Kd進(jìn)行訓(xùn)練，使其得到合適的權(quán)值，滿足性能指標(biāo)為止。②誤差和誤差變化量做歸一化處理，作為FNN-Kp、FNN-Ki和FNN-Kd的輸入。③根據(jù)式子（1）（2）（4）（5）計(jì)算FNN的各層的輸出，F(xiàn)NN-Kp、FNN-Ki和FNN-Kd最后一層的輸出就是PID控制參數(shù)Kp、Ki和Kd的修正值。④利用③中得到的修正值，對經(jīng)典PID控制器所得出的Kp、Ki和Kd的值進(jìn)行修正。⑤Kp、Ki和Kd的修正后的值傳送給控制對象，并由圖2中所示，控制結(jié)果反饋回到計(jì)算誤差處進(jìn)行誤差計(jì)算。由此跳轉(zhuǎn)到②步。
圖2.FNN-PID系統(tǒng)結(jié)構(gòu)
五、結(jié)束語
FNN融合了模糊控制和神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，本文利用這一點(diǎn)設(shè)計(jì)了PID-FNN控制系統(tǒng)并予以實(shí)現(xiàn)。文章中介紹了FNN的系統(tǒng)結(jié)構(gòu)和學(xué)習(xí)過程的算法以及步驟，然后設(shè)計(jì)了PID-FNN的系統(tǒng)結(jié)構(gòu)，并且描述了具體的實(shí)現(xiàn)過程。
本文作者創(chuàng)新點(diǎn)：模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。兩者結(jié)合可以優(yōu)勢互補(bǔ)，從而很大提高綜合能力。從而能夠更迅速、更精確的對PID參數(shù)進(jìn)行修正，已達(dá)到最佳的控制狀態(tài)。
參考文獻(xiàn)：
[1]李士勇.模糊控制,神經(jīng)控制和智能控制論[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1996
[2]曾黃麟.智能計(jì)算[M].重慶:重慶大學(xué)出版社,2004
[3]晁勤,傅成華.自動控制原理[M].重慶:重慶大學(xué)出版社,2005
[4]武嘉.輔助控制系統(tǒng)設(shè)計(jì)與仿真[M].北京:電子工業(yè)出版社,2005
關(guān)鍵詞:郵件過濾;預(yù)處理;特征選擇;神經(jīng)網(wǎng)絡(luò)集成
中圖分類號:TP393文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2010)01-171-03
The design of Spam Filtering System Based on Neural Network Ensemble
LIU Bao-ping, LI Ai-jun
(Information Management,Shanxi University of Finance & Economics,Taiyuan 030006,China)
Abstract: It is a very important function to deal with spam in the email services.On the basis of expressing the standard email corpus as the form of vector space model,and reducing the emails dimension,this paper uses neural network ensemble to construct the email classifier,then to filter the email;this method experiments on the spam corpus,it proved that the method of the spam filtering is effective.
Key words: email filtering;preprocess;feature selection;neural network ensemble
隨著Internet的普及,垃圾郵件問題日益嚴(yán)重。垃圾郵件不僅占用網(wǎng)絡(luò)帶寬,降低整個網(wǎng)絡(luò)運(yùn)行效率,給用戶時(shí)間和精力造成極大浪費(fèi),而且可能侵犯收件人隱私權(quán),成為黑客利用的工具,對現(xiàn)實(shí)社會造成危害。對電子郵件進(jìn)行過濾是有效對付垃圾郵件的主要手段。
目前,很多研究者已經(jīng)對垃圾郵件的過濾方法進(jìn)行了研究,其主要的郵件過濾方法有:1)黑白名單過濾,提供實(shí)時(shí)的黑白名單服務(wù)。其優(yōu)點(diǎn)是節(jié)省帶寬,缺點(diǎn)是對垃圾郵件識別率不高。2)基于規(guī)則的過濾方法,設(shè)置一些規(guī)則對郵件進(jìn)行評估,郵件特征符合規(guī)則則加分,分?jǐn)?shù)達(dá)到預(yù)先設(shè)定的閾值就判定為垃圾郵件。優(yōu)點(diǎn)是易理解、推廣,缺點(diǎn)是依賴于不斷地更新郵件規(guī)則。3)基于統(tǒng)計(jì)的過濾方法,是針對郵件內(nèi)容進(jìn)行過濾的一種機(jī)器學(xué)習(xí)的方法,過濾正確率高,速度快,被認(rèn)為是垃圾郵件處理技術(shù)中很受歡迎的一種方法[1]。這種基于機(jī)器學(xué)習(xí)的過濾方法已成為當(dāng)前研究的主要方向,已有的算法包括貝葉斯分類方法、神經(jīng)網(wǎng)絡(luò)方法、KNN方法、Winnow方法等。但如何進(jìn)一步提高郵件分類的準(zhǔn)確率成為新的研究目標(biāo)。
要提高郵件分類的準(zhǔn)確率,分類器設(shè)計(jì)就成為郵件過濾過程中極其重要的環(huán)節(jié)。目前基于機(jī)器學(xué)習(xí)的分類方法已有多種,其中,基于神經(jīng)網(wǎng)絡(luò)的分類器是郵件分類中比較有效的方法[2]。但是,神經(jīng)網(wǎng)絡(luò)容易限于局部極小值,造成郵件的誤分。而神經(jīng)網(wǎng)絡(luò)集成是用有限個神經(jīng)網(wǎng)絡(luò)對同一個問題進(jìn)行學(xué)習(xí),集成在某輸入示例下的輸出,由構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該示例下的輸出共同決定[3]。該方法可以顯著地提高神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力[4]。因此,采用神經(jīng)網(wǎng)絡(luò)集成的方法設(shè)計(jì)郵件分類器將會進(jìn)一步提高郵件分類的準(zhǔn)確性,本文就此方面進(jìn)行研究。
1 基于神經(jīng)網(wǎng)絡(luò)集成的垃圾郵件過濾
1.1系統(tǒng)模型
本郵件過濾系統(tǒng)(如圖1)主要是針對電子郵件內(nèi)容進(jìn)行識別、過濾。電子郵件過濾系統(tǒng)主要由郵件預(yù)處理、特征選擇、分類器設(shè)計(jì)三個環(huán)節(jié)組成。本過濾系統(tǒng)中對郵件的處理過程:首先對郵件的原始語料庫進(jìn)行預(yù)處理,把標(biāo)準(zhǔn)郵件集處理成了機(jī)器學(xué)習(xí)算法可以直接處理的向量空間模型的形式;然后利用基于信息增益(IG)的屬性選擇方法對其進(jìn)行降維處理,選取合適的維數(shù);最后利用神經(jīng)網(wǎng)絡(luò)集成算法分別進(jìn)行分類分析。
1.2 郵件預(yù)處理
為了便于郵件的過濾,對郵件數(shù)據(jù)集要進(jìn)行預(yù)處理。
1.2.1 基于向量空間模型的郵件表示
本系統(tǒng)通過對郵件的原始語料庫進(jìn)行預(yù)處理,把標(biāo)準(zhǔn)郵件集處理成了機(jī)器學(xué)習(xí)算法可以直接處理的向量空間模型的形式。具體處理步驟如下:
1) 初始情況下,先定義一個特征項(xiàng)集合,把郵件語料庫中所有出現(xiàn)的詞都作為特征項(xiàng)集合的候選特征,輸出一個特征項(xiàng)集合的字典。
2) 掃描語料庫,把語料庫中的每一封郵件都表示成維數(shù)(維數(shù)等于字典的長度)相等的向量形式,并以稀疏矩陣的形式存儲(降低內(nèi)存使用量)。
3) 移除那些在語料庫中出現(xiàn)次數(shù)不大于4次(低頻詞),以及在每篇郵件中都出現(xiàn)的候選特征。這是因?yàn)榈皖l詞在語料庫中出現(xiàn)的次數(shù)太少,對分類幾乎不起作用;在每篇郵件中都出現(xiàn)的高頻詞,不具備區(qū)分類別的能力。這一步的特征移除可以加速特征選擇過程,進(jìn)一步降低內(nèi)存需求。
4) 輸出經(jīng)步驟3)處理后的以向量空間模型表示的郵件數(shù)據(jù)集。
1.2.2 特征選擇
為了能有效地分析垃圾郵件的特征,要對郵件數(shù)據(jù)進(jìn)行降維。對于垃圾郵件常用的特征選擇方法有:文檔頻率(Document Frequency)、信息增益(Information Gain)、互信息(Mutual Information)、 ?字2統(tǒng)計(jì)量(EHI)等。其中,信息增益被認(rèn)為是最有效的屬性選擇方法之一[5]。因此,本文采用信息增益的方法對郵件數(shù)據(jù)集進(jìn)行降低維處理,取信息增益值最大的前M個詞為特征詞。將郵件數(shù)據(jù)集進(jìn)一步表示成M維的向量空間形式。信息增益表征的是特征詞t在語料庫中出現(xiàn)前后的信息熵之差,具體到分為垃圾郵件(spam)和正常郵件(ham)的二類問題,IG的公式如下:
其中,C1和C2分別代表合法郵件和垃圾郵件的類別;表示Ci類郵件在語料庫中所占的比率;P(t)和P(t)分別表示特征詞t 在語料中出現(xiàn)的概率和未出現(xiàn)的概率;表示t出現(xiàn)在Ci類中的概率;表示t未出現(xiàn)在Ci類中的概率。
1.3 分類器設(shè)計(jì)
在眾多關(guān)于郵件分類的研究中,主要以單分類器為主,對過濾垃圾郵件效率的進(jìn)一步提高又一定的局限,而集成分類器分類效果的貢獻(xiàn)是非常顯著的,因此采用集成的方法可以有效地提高垃圾郵件的過濾。
集成學(xué)習(xí)目的是利用模型之間的差異性提高學(xué)習(xí)系統(tǒng)的泛化性能。集成實(shí)現(xiàn)方法的研究主要集中在兩個方面,即如何生成集成中的各個個體以及怎樣將個體的輸出結(jié)論組合。在生成集成中個體方面,最重要的技術(shù)是Boosting[6]和Bagging[7]。Boosting和Bagging是兩種用來提高學(xué)習(xí)算法準(zhǔn)確度的方法,大量關(guān)于Boosting和Bagging的實(shí)驗(yàn)和應(yīng)用已證明了這兩種方法的有效性。結(jié)論的結(jié)合的方法有投票法,加權(quán)投票法以及樸素貝葉斯法等等,其中,投票法包括絕對多數(shù)投票法或相對多數(shù)投票法。通常,在對分類器進(jìn)行集成時(shí),大多采用相對多數(shù)投票法,即若輸出結(jié)果為某一分類的神經(jīng)網(wǎng)絡(luò)的數(shù)目最多,則判定屬于該分類。
神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已得到成功的應(yīng)用,其網(wǎng)絡(luò)模型在學(xué)習(xí)過程中容易陷入局部極小值被認(rèn)為是它的主要缺點(diǎn)之一。然而,Perrone和Cooper[8]卻認(rèn)為,這一特性對神經(jīng)網(wǎng)絡(luò)集成泛化能力的提高起到了重要作用。因此神經(jīng)網(wǎng)絡(luò)集成用于郵件過濾系統(tǒng),能夠提高過濾系統(tǒng)的性能。
1.3.1集成系統(tǒng)中個體分類器的生成
經(jīng)過實(shí)驗(yàn),系統(tǒng)選取RBF神經(jīng)網(wǎng)絡(luò)作為基分類器,個體分類器的生成則采用基于樣本選擇的Boosting和Bagging。
1) Boosting算法的步驟見表1所示。
2 )Bagging算法的主要步驟見表2所示。
1.3.2 集成系統(tǒng)中結(jié)論的合成
Bagging采用多數(shù)投票方法進(jìn)行假設(shè)的綜合,有研究表明,簡單的、不加權(quán)的投票方法是魯棒的。 Boosting對每個基分類器的分類結(jié)果根據(jù)其分類錯誤率加以權(quán)值,然后對加權(quán)后的結(jié)果投票,最常用的權(quán)值計(jì)算方法是分類正確率或其變形。
2 實(shí)驗(yàn)及結(jié)果分析
2.1 語料選擇
本文選取垃圾郵件的PU系列語料 作為實(shí)驗(yàn)數(shù)據(jù)。PU系列語料由希臘學(xué)者Androutsopoulos提供,其來源于提供者某個時(shí)段收到的真實(shí)電子郵件。該語料去掉了郵件的附件、HTML標(biāo)記等,只保留了郵件主題和正文的純文本內(nèi)容,為保護(hù)提供者的隱私,語料采用加密的形式,用不同的整數(shù)替代郵件中的每個詞干。
2.2 評價(jià)指標(biāo)
垃圾郵件過濾系統(tǒng)的性能主要通過以下幾個指標(biāo)來評價(jià):
1) 召回率(Recall):即垃圾郵件檢出率,反映了過濾系統(tǒng)對垃圾郵件的發(fā)現(xiàn)能力,召回率越高,“漏識別”的垃圾郵件就越少。
2) 正確率(Precision):即垃圾郵件檢對率,反映了過濾系統(tǒng)對垃圾郵件的判對能力,正確率越大,誤判垃圾郵件的可能性越小。
3) 精確率(Accuracy):對所有郵件做出正確判斷的概率。
4) 錯誤率(Error rate):對所有郵件做出錯誤判斷的概率。
5) F值:將召回率和正確率綜合成一個指標(biāo),是召回率和正確率的調(diào)和平均值。
此外,在垃圾郵件過濾的實(shí)際過程中,我們?nèi)菀紫氲?將合法郵件判為垃圾郵件比將垃圾郵件判為合法郵件的代價(jià)要大,本文中用混淆矩陣(Confusion Matrix)反應(yīng)此代價(jià)。
2.3 實(shí)驗(yàn)結(jié)果與分析
有研究者[9]用實(shí)驗(yàn)證明了,PU1語料、PU2語料、PUA語料效率最好的維數(shù)分別為1000維、100維、200維。據(jù)此,本文將PU1語料、PU2語料、PUA語料分別處理成了1000維、100維、200維的向量空間模型形式。然后將處理好的數(shù)據(jù)采用的RBF神經(jīng)網(wǎng)絡(luò)、AdaBoost(目前最流行的Boosting算法[10])、Bagging等分類算法對實(shí)例進(jìn)行分類,采用十折交互驗(yàn)證法(10-fold-cross-validation)作為評估方法,得到如下實(shí)驗(yàn)結(jié)果,如圖2、圖3、圖4和表3所示:
圖2PU1上的試驗(yàn)結(jié)果 圖3PU2上的試驗(yàn)結(jié)果
上述實(shí)驗(yàn)結(jié)果表明,對同一個語料庫,神經(jīng)網(wǎng)絡(luò)集成算法較RBF神經(jīng)網(wǎng)絡(luò)算法,提高了精確率和F值,而正確率在提高的同時(shí)召回率有所下降,召回率在提高的同時(shí),正確率有所下降,這是判別指標(biāo)本身的性質(zhì)。而且,從表3的混淆矩陣,可以看出AdaBoost算法和Bagging算法較RBF算法來說,將正確郵件誤分為垃圾的郵件的概率也減少了,即代價(jià)減少了。
整體來說,評價(jià)指標(biāo)值提高了,主要的原因就是神經(jīng)網(wǎng)絡(luò)集成將經(jīng)過單個訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果加以合成,采用了多數(shù)表決的方法,提高了郵件過濾的性能。實(shí)驗(yàn)結(jié)果表明神經(jīng)網(wǎng)絡(luò)集成方法對于垃圾郵件過濾的是非常有效的。
3 結(jié)論
該文重點(diǎn)研究了采用神經(jīng)網(wǎng)絡(luò)集成對垃圾郵件進(jìn)行過濾的方法,同時(shí)對郵件過濾系統(tǒng)的數(shù)據(jù)進(jìn)行了預(yù)處理,經(jīng)過實(shí)驗(yàn),與單分類器的過濾性能進(jìn)行比較,結(jié)果證明了神經(jīng)網(wǎng)絡(luò)集成方法可以進(jìn)一步提高垃圾郵件過濾的準(zhǔn)確率。今后的工作重點(diǎn)是研究郵件多標(biāo)簽分類方法。
參考文獻(xiàn):
[1] 蔣秋香.垃圾郵件過濾技術(shù)的發(fā)展與現(xiàn)狀[J].網(wǎng)絡(luò)與通訊安全,2007(09).
[2] 黃國玉,龍潤生.基于神經(jīng)網(wǎng)絡(luò)的郵件分類識別模型研究[J].南京大學(xué)學(xué)報(bào),2008(06).
[3] Sollich P,Krogh A.Learning with ensembles:How overfitting can be useful.In: Touretzky D,Mozer M,Hasselmo Meds.Advances in Neural Information Processing Systems 8,Cambridge,MA:MIT Press,1996.190-196.
[4] 周志華.神經(jīng)網(wǎng)絡(luò)集成[J].計(jì)算機(jī)學(xué)報(bào),2002(01).
[5] Y.Yang.A Comparative Study on Feature Selection in Text Categorization[C].Proceedings of the Fourteenth International Conference on Machine Learning,1997.
[6] Schapire R E.The strength of weak learnability.Machine Learning,1990,5(2):197-227.
[7] Breiman L.Bagging predictors.Machine Learning,1996,24(2):123-140.
[8] Perrone M P,Cooper L N.When networks disagree:Ensemble method for neural networks.In:Mammone R J ed.Artificial Neural Networks for Speech and Vision,New York:Chapman &Hall,1993.126-142.
關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);共軛梯度;分析器;入侵檢測
中圖分類號:TP393文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2009)25-7229-04
The Designing of Neural Network Analyzer in Intrusion Detection System
LI Yan, LI Wei-chao
(Zhengzhou Institute of Aeronautical Industry Management,Zhengzhou 450015, China)
Abstract: By analyzing and comparing with BP algorithm and CGBP algorithm, the author proposes a neural network analyzer based on CGBP algorithm. After that, the author gives a specific design proposal. The analyzer has a practical and referential value. And the analyzer has obtained good results.
Key words: BP neural network; conjugate gradient; analyzer; intrusion detection
根據(jù)通用入侵檢測框架(Common Intrusion Detection Framework, CIDF)模型,入侵檢測系統(tǒng)通常有四個組件:事件產(chǎn)生器、事件分析器、響應(yīng)單元和事件數(shù)據(jù)庫。其中事件分析器,既分析子系統(tǒng)是入侵檢測系統(tǒng)的核心部分,用于對獲取的事件信息進(jìn)行分析,從而判斷是否有入侵行為發(fā)生并檢測出具體的攻擊手段。神經(jīng)網(wǎng)絡(luò)應(yīng)用于分析器是研究入侵檢測系統(tǒng)的一個方向。
在神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中,使用最廣泛的是BP(Back-Propagation)網(wǎng)絡(luò)。它有一個不足是當(dāng)學(xué)習(xí)速度較小時(shí),其緩慢的學(xué)習(xí)速度使得網(wǎng)絡(luò)的學(xué)習(xí)失去了意義。學(xué)習(xí)速度過大又會使得誤差函數(shù)不能收斂。共軛梯度法在一定程度上克服了最速下降法迭代路徑呈鋸齒形現(xiàn)象。共軛梯度法用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)稱作共軛梯度反向傳播算法(Conjugate Gradient Back Propagation, CGBP)[1]。
1 BP神經(jīng)網(wǎng)絡(luò)
1.1 神經(jīng)元模型
任何一個神經(jīng)網(wǎng)絡(luò)都是由眾多神經(jīng)元組成的,每個神經(jīng)元是生物神經(jīng)元的模擬、抽象和簡化,神經(jīng)網(wǎng)絡(luò)的處理能力正是來源于各層神經(jīng)元之間的相互作用。每個神經(jīng)元都具備以下三個基本的功能:
1) 接受輸入。一般來說,一個神經(jīng)元不止一個輸入。如圖1所示,具有R個輸入的神經(jīng)元其輸入為p1,p2,…,pR 分別對應(yīng)權(quán)值矩陣W的元素w1,1,w1,2,…,w1,R 。wi,j表示第j個神經(jīng)元到第i個神經(jīng)元的連接強(qiáng)度,簡稱權(quán)值。另一個輸入是1乘上偏置值(或稱偏移值)b。這個偏置值如果不想在神經(jīng)網(wǎng)絡(luò)中使用,也可以忽略。
2) 輸入處理。神經(jīng)元中對輸入的處理按矩陣形式表示為:
n=Wp+b (1)
如圖1,單個神經(jīng)元的權(quán)值矩陣W只有一列元素。所有輸入的加權(quán)和與偏置值b累加形成凈輸入n。
n=w1,1p1+w1,2p2+……+w1,RpR+b(2)
3) 計(jì)算輸出。經(jīng)過輸入處理后所得到的n稱為凈輸入,把它送入傳輸函數(shù)(也稱活躍函數(shù))f,在f中產(chǎn)生神經(jīng)元的標(biāo)量輸出a:
a=f(n) 或 a=f(Wp+b)(3)
傳輸函數(shù)可以是n的線性或非線性函數(shù)?？梢杂锰囟ǖ膫鬏敽瘮?shù)滿足神經(jīng)元要解決的特定問題。常用的有線性傳輸函數(shù)、對數(shù)-S形傳輸函數(shù)等。
拿這個神經(jīng)元模型與生物神經(jīng)元相對照,權(quán)值w對應(yīng)于突觸的連接強(qiáng)度,累加器和傳輸函數(shù)代表了細(xì)胞體,神經(jīng)元輸出a相當(dāng)于軸突的信號。
1.2 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)
Paul Werboos博士于1974年在他的博士論文中第一次描述了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的一個算法―誤差逆?zhèn)鞑?Error Back-Propagation)[2]學(xué)習(xí)算法,通常簡稱BP(Back-Propagation)算法。后來人們把應(yīng)用BP算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練的前饋型網(wǎng)絡(luò)簡稱BP網(wǎng)絡(luò)。
BP網(wǎng)絡(luò)是一個多層網(wǎng)絡(luò),能夠解決單層感知機(jī)不能解決的非線性可分問題。網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成。其中隱含層可以是一層也可以是多層。上下層之間各神經(jīng)元實(shí)現(xiàn)全連接,而同一層神經(jīng)元之間無連接。圖2給出了只有一層隱含層的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。
圖2顯示了兩層BP網(wǎng)絡(luò)(也有叫做三層的,把輸入層算做一層)。在該拓?fù)浣Y(jié)構(gòu)中,有r個輸入,隱含層中有s個神經(jīng)元,輸出層有n個輸出神經(jīng)元。為了簡化,將這個網(wǎng)絡(luò)記為r-s1-s2網(wǎng)絡(luò),對應(yīng)每一層的結(jié)點(diǎn)數(shù)。各層神經(jīng)元的多少則要根據(jù)具體的應(yīng)用問題而定。
傳輸函數(shù)選擇對數(shù)-S形函數(shù),其數(shù)學(xué)表達(dá)式為:a=1/(1+e-n)。輸入在(-∞,∞)之間取值,輸出則在0到1之間。可以用來處理和逼近非線性的輸入/輸出關(guān)系。有研究表明,含有一個隱層的BP網(wǎng)絡(luò)足以完成任意的維到維的映射[3]。因此本文采用只有一個隱含層,各層神經(jīng)元是對數(shù)-S形傳輸函數(shù)的BP網(wǎng)絡(luò)。
2 BP學(xué)習(xí)算法
BP算法是在監(jiān)督學(xué)習(xí)下,適用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。算法的學(xué)習(xí)過程分兩個階段:第一階段是正向傳播過程。輸入信息由輸入層輸入經(jīng)隱含層處理,最后通過輸出層輸出網(wǎng)絡(luò)計(jì)算的結(jié)果;第二階段是誤差修正反向傳播過程。比較輸出層的實(shí)際輸出與期望輸出的誤差,若不滿足要求,按照減少誤差的方向從輸出層經(jīng)隱含層逐層修正各連接權(quán)值,直到輸入層。在網(wǎng)絡(luò)學(xué)習(xí)過程中這兩個階段是反復(fù)交替進(jìn)行的,只有在輸出的誤差滿足要求或到達(dá)限定的循環(huán)次數(shù)時(shí)才會停止。
通過正向傳播計(jì)算網(wǎng)絡(luò)輸出,把網(wǎng)絡(luò)學(xué)習(xí)時(shí)輸出層的輸出結(jié)果與客觀事實(shí)不一致的誤差,歸結(jié)為網(wǎng)絡(luò)中各層神經(jīng)元之間的連接權(quán)重或偏置值取值不當(dāng)而造成的,因此通過反向傳播過程把網(wǎng)絡(luò)輸出層神經(jīng)元的誤差逐層向輸入層逆向傳播,以“分?jǐn)偂苯o各連接的神經(jīng)元,從而算出各神經(jīng)元的的參考誤差,并據(jù)此對各神經(jīng)元之間的連接權(quán)和偏置值進(jìn)行相應(yīng)調(diào)整,使網(wǎng)絡(luò)實(shí)際輸出更接近期望輸出。BP網(wǎng)絡(luò)學(xué)習(xí)的規(guī)則實(shí)質(zhì)上是梯度最速下降法,權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變[4]。
權(quán)值變化為:
wi,j(k+1)=wi,j(k)+Δwi,j (4)
其中
η為學(xué)習(xí)速度。
偏置值變化為:
bi(k+1)=bi(k)+ Δbi(5)
其中
網(wǎng)絡(luò)誤差函數(shù):
(6)
三層BP網(wǎng)絡(luò)中各層權(quán)值及偏置值的變化如下:設(shè)輸入節(jié)點(diǎn)pj(j=1,…,r),隱藏層節(jié)點(diǎn)hi(i=1,…,s1),輸出層節(jié)點(diǎn)Ok(k=1,…,s2)。輸入節(jié)點(diǎn)到隱藏層節(jié)點(diǎn)的網(wǎng)絡(luò)權(quán)值為w1i,j,偏置值為b1i,輸出為a1i。隱節(jié)點(diǎn)到輸出節(jié)點(diǎn)的網(wǎng)絡(luò)權(quán)值為w2k,i,偏置值為b2k,期望的輸出為tk,實(shí)際的輸出為a2k。
1) 網(wǎng)絡(luò)的正向傳遞
隱含層第i個神經(jīng)元的輸出為:
(7)
輸出層第k個神經(jīng)元的輸出為:
(8)
2)誤差反向傳播(利用梯度下降法求權(quán)值變化)
輸出層的權(quán)值變化:
(9)
其中
令 δ2k=(tk-a2k) a2k (1-a2k)
所以有 Δw2k,i=η(tk-a2k) a2k (1-a2k)a1i=ηa1iδ2k (10)
輸出層的偏置值變化:
(11)
其中
令 δ2k==(tk-a2k) a2k (1-a2k)(12)
所以有 Δb2k=η(tk-a2k) a2k (1-a2k)= ηδ2k (13)
隱含層的權(quán)值變化:
(14)
其中
所以有 (15)
令 (16)
則有 Δw1i,j=ηpjδ1i (17)
隱含層的偏置值變化:
(18)
其中
所以有 (19)
令 (20)
則 Δb1i=ηδ1i (21)
由以上算法的推導(dǎo)過程可以看出,計(jì)算權(quán)值或偏置值的變化要先求出各層各個節(jié)點(diǎn)的δ值,即誤差。然后用這個誤差乘輸入得出梯度的近似值,再乘以學(xué)習(xí)速度即可。
3 共軛梯度反向傳播算法實(shí)現(xiàn)
BP算法是最小均方誤差的近似最快下降算法,從理論上講η取任意小時(shí),該方法一定會使誤差函數(shù)趨于極小(局部或全局),但是當(dāng)η過小時(shí)收斂速度很慢,使得網(wǎng)絡(luò)的學(xué)習(xí)失去意義。共軛梯度法能在一定程度上克服最速下降法迭代路徑呈鋸齒形現(xiàn)象,又能避免牛頓法求Hessian 矩陣及其逆陣時(shí)的困難,不必計(jì)算或存儲二階導(dǎo)數(shù)信息就具有二次終止性[5],因此在較大的規(guī)模問題中十分有用。
在各種優(yōu)化算法中選定不同的搜索方向和步長對算法的收斂性至關(guān)重要,BP算法選擇的搜索方向是沿梯度的負(fù)方向搜索,而CGBP算法則利用一維搜索所得到的極小點(diǎn)處的最速下降方向生成共軛方向作為搜索方向,比最速下降法在速度和效果上有很大的改進(jìn)[1]。設(shè)梯度向量為g,共軛向量為p,則第k次的共軛方向?yàn)?
(22)
其中 βk=(g(k)-g(k-1))Tg(k)/(g(k-1)Tg(k-1))(23)
權(quán)值的修正公式為: w(k+1)=w(k)+ηp(k)(24)
另外這里采用批處理算法,即梯度在整個訓(xùn)練集都應(yīng)用于網(wǎng)絡(luò)后才計(jì)算,以獲得更精確的梯度計(jì)算。CGBP算法的具體步驟如下:
1) 隨機(jī)產(chǎn)生初始權(quán)向量W,給定誤差e>0,限定迭代次數(shù)K。
2) 執(zhí)行神經(jīng)網(wǎng)絡(luò)的向前計(jì)算過程(整個訓(xùn)練集應(yīng)用網(wǎng)絡(luò))。
計(jì)算系統(tǒng)誤差,如果E
3) 用BP算法計(jì)算初始點(diǎn)梯度g(0)'(整個訓(xùn)練集應(yīng)用網(wǎng)絡(luò)),并求梯度方向的單位向量。
4) 令p(0)=-g(0),k=0,設(shè)定初始方向。
5) 確定最佳步長ηk,從W(k)出發(fā)沿p(k)進(jìn)行一維線性搜索。
E(W(k)+ηkp(k))=minE(W(k)+ηkP(k))
6) 更新權(quán)值W(k+1)=W(k)+ηkp(k)
7) 判別 k=n 否?n表示被優(yōu)化的參數(shù)數(shù)目。若等式成立說明已用完n個共軛方向,令W(0)=W(k+1),k=0,返回步驟2,否則執(zhí)行下一步。
8) 計(jì)算系統(tǒng)誤差E,如果E
9) 計(jì)算。
10) 計(jì)算新的共軛方向p(k+1)=-g(k)+βkp(k)。
11) 如果k≤K令k=k+1,返回步驟5,否則學(xué)習(xí)停止,W(k+1)作為目標(biāo)函數(shù)E最小的最優(yōu)值。
12) 存儲網(wǎng)絡(luò)參數(shù)和學(xué)習(xí)結(jié)果。
在上述過程中,一維線性搜索是算法很關(guān)鍵的步驟。確定函數(shù)在某個特定方向的極值一般包括兩步:區(qū)間定位和區(qū)間縮小。
區(qū)間定位是找某個包含局部極小點(diǎn)的初始區(qū)間。按照文獻(xiàn)[6]的方法,計(jì)算公式為:E(W0+kεp0),k=0,1,…,n。先計(jì)算某個初始點(diǎn)的性能指數(shù)E(w0),然后計(jì)算第二點(diǎn)的函數(shù)值,它距離初始點(diǎn)的距離是ε且沿初始搜索方向p0,按照點(diǎn)之間的距離依次增加一倍的方式繼續(xù)計(jì)算新點(diǎn),直到連續(xù)的兩次計(jì)算的函數(shù)值增加時(shí)結(jié)束。此時(shí)可以知道極小點(diǎn)在倒數(shù)第一次和倒數(shù)第三次計(jì)算的函數(shù)值之間。
定位了包含極小值的區(qū)間,下一步就是縮小區(qū)間直到滿足精度的極小點(diǎn)被定位。假設(shè)定位區(qū)間為[a,b]只有一個極小點(diǎn),可以通過計(jì)算a, b間的兩個內(nèi)部點(diǎn)c和d來減少區(qū)間尺寸。如果F(c)F(d),極小點(diǎn)在[c,b]區(qū)間上。本文采用黃金分割搜索算法來實(shí)現(xiàn)上述方法。
4 神經(jīng)網(wǎng)絡(luò)分析器的設(shè)計(jì)
構(gòu)造一個神經(jīng)網(wǎng)絡(luò)一般分為三步:一是收集數(shù)據(jù)和對數(shù)據(jù)預(yù)處理;二是構(gòu)造和訓(xùn)練神經(jīng)網(wǎng)絡(luò);最后是測試和修改神經(jīng)網(wǎng)絡(luò)。其中第二、第三步可能需要多次的訓(xùn)練和測試才能完成。
1) 數(shù)據(jù)收集
收集的數(shù)據(jù)是用來訓(xùn)練和測試神經(jīng)網(wǎng)絡(luò)的,它的好壞直接影響到分析器的性能。所以樣本數(shù)據(jù)要具有廣泛性、多樣性、典型性、可靠性和均衡性等特征。把樣本數(shù)據(jù)分成三組,前兩組數(shù)據(jù)分別用于訓(xùn)練和測試,當(dāng)分析器達(dá)到要求后再用第三組數(shù)據(jù)進(jìn)行檢驗(yàn)。
2) 數(shù)據(jù)預(yù)處理
從樣本數(shù)據(jù)中提取那些正確反映事物本質(zhì)且互不相關(guān)或相關(guān)性很小的特征值。然后將這些提取出的物理意義和不同量綱的特征值進(jìn)行編碼轉(zhuǎn)換,并做歸一化處理,以便作為BP 網(wǎng)絡(luò)的輸入變量使用。
3) 構(gòu)造BP神經(jīng)網(wǎng)絡(luò)
根據(jù)問題的復(fù)雜程度選擇神經(jīng)網(wǎng)絡(luò)的層數(shù)。正如本文前面介紹的,具有一個隱層的BP網(wǎng)絡(luò)足以完成任意n維到m維的映射。增加隱層,雖然可以進(jìn)一步降低誤差,提高精度,但同時(shí)也使得網(wǎng)絡(luò)復(fù)雜化,網(wǎng)絡(luò)權(quán)值訓(xùn)練時(shí)間急劇增加。建立神經(jīng)網(wǎng)絡(luò)模型應(yīng)優(yōu)先考慮單隱層結(jié)構(gòu),若進(jìn)行認(rèn)真調(diào)整后仍無法滿足要求時(shí)再考慮增加隱層。
分析器輸入層神經(jīng)元的個數(shù)等于選取的樣本特征向量的維數(shù)。隱含層中神經(jīng)元個數(shù)的確定目前還沒有一定的理論依據(jù),因而只能在試驗(yàn)過程中確定。先放入較少的節(jié)點(diǎn)數(shù),輸入樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,若不成功則增加節(jié)點(diǎn)的數(shù)目,直至節(jié)點(diǎn)數(shù)較合理為止。輸出層神經(jīng)元個數(shù)等于分析器要實(shí)現(xiàn)分類問題的分類數(shù)。傳輸函數(shù)選擇對數(shù)-S形函數(shù)。
4) 訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)
采用本文前面介紹的CGBP算法用訓(xùn)練樣本組訓(xùn)練神經(jīng)網(wǎng)絡(luò)。以文本文件的形式存儲網(wǎng)絡(luò)的各種數(shù)據(jù)。如在net_w.dat文件中存儲了神經(jīng)網(wǎng)絡(luò)各層的權(quán)值和偏置值,net_a.dat存儲了系統(tǒng)的檢測結(jié)果和相關(guān)記錄,net_p.dat存儲的是網(wǎng)絡(luò)的參數(shù),test.dat中存儲的是網(wǎng)絡(luò)訓(xùn)練樣本。
神經(jīng)網(wǎng)絡(luò)分析器流程圖見圖3。
5 結(jié)束語
本文通過對BP算法和CGBP算法的分析和比較,提出了基于CGBP算法的神經(jīng)網(wǎng)絡(luò)分析器并給出了具體設(shè)計(jì)方案。該分析器具有一定的實(shí)用和參考價(jià)值,應(yīng)用效果良好,精度高,自適應(yīng)能力更強(qiáng),學(xué)習(xí)速度快,能夠在很大程度上實(shí)現(xiàn)對未知的異常數(shù)據(jù)包的檢測。
參考文獻(xiàn):
[1] Martin T Hagan, Howard B Demuth, Mark H Beale.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M]. 機(jī)械工業(yè)出版社, 2003.
[2] 劉振凱,貴中花,蔡青.神經(jīng)網(wǎng)絡(luò)系統(tǒng)的現(xiàn)狀及發(fā)展趨勢[J]. 計(jì)算機(jī)科學(xué), 1996, 23(3): 70-72.
[3] 王景新,戴葵,宋輝等.基于神經(jīng)網(wǎng)絡(luò)的入侵檢測系統(tǒng)[J].計(jì)算機(jī)工程與科學(xué), 2003(6):28-31.
[4] 李宏剛,呂輝,李.一種BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法及其應(yīng)用[J].中國工程科學(xué),2005(5):63-65.
論文關(guān)鍵詞：內(nèi)燃機(jī) 人工神經(jīng)網(wǎng)絡(luò) 輔助方法
論文摘要：針對汽車發(fā)動機(jī)設(shè)計(jì)和性能評測當(dāng)中有關(guān)參數(shù)計(jì)算的特點(diǎn)，提出應(yīng)用人工神經(jīng)網(wǎng)絡(luò)方法進(jìn)行輔助計(jì)算，以提高數(shù)據(jù)計(jì)算的結(jié)構(gòu)化程度和處理速度。通過對具體數(shù)據(jù)的實(shí)際操作表明，應(yīng)用本方法能夠很好地表達(dá)原圖表數(shù)據(jù)關(guān)系，所得結(jié)果的精度能夠滿足計(jì)算要求。
汽車發(fā)動機(jī)的性能包括動力性、經(jīng)濟(jì)性、生態(tài)特性——排放與噪聲、可靠性及耐久性等多個方面，這些參數(shù)要通過在一定條件下的測試計(jì)算來獲得。當(dāng)發(fā)動機(jī)在非標(biāo)準(zhǔn)環(huán)境下運(yùn)轉(zhuǎn)時(shí)，其相關(guān)計(jì)算要通過參數(shù)進(jìn)行修正，比如發(fā)動機(jī)的有效功率和燃油消耗率的計(jì)算。當(dāng)發(fā)動機(jī)在非標(biāo)準(zhǔn)環(huán)境下運(yùn)轉(zhuǎn)時(shí)，其有效功率及燃油消耗率應(yīng)修正到標(biāo)準(zhǔn)環(huán)境狀況，當(dāng)然也可由標(biāo)準(zhǔn)環(huán)境狀況修正到現(xiàn)場環(huán)境狀況，其中的有效功率和燃油消耗率修正系數(shù)在GB1105..1-87中以圖表的形式給出，使用很不方便，本文應(yīng)用人工神經(jīng)網(wǎng)絡(luò)對此圖表信息進(jìn)行處理，提高了數(shù)據(jù)計(jì)算的結(jié)構(gòu)化程度和處理速度，取得了滿意的效果。
1.神經(jīng)網(wǎng)絡(luò)的識別原理
在神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，其知識是以大量神經(jīng)元的互連和各連接的權(quán)值來表示的.神經(jīng)網(wǎng)絡(luò)映射辯識方法主要通過大量的樣本進(jìn)行訓(xùn)練，經(jīng)過網(wǎng)絡(luò)內(nèi)部自適應(yīng)算法不斷調(diào)整其權(quán)值，以達(dá)到目的.狀態(tài)識別器就隱含在網(wǎng)絡(luò)中，具體就在互連形式與權(quán)值上.在網(wǎng)絡(luò)的使用過程中，對于特定的輸入模式，神經(jīng)網(wǎng)絡(luò)通過前向計(jì)算，產(chǎn)生一輸出模式，通過對輸出信號的比較和分析可以得出特定解。目前神經(jīng)網(wǎng)絡(luò)有近40多種類型，其中BP(Back Propagation，即反向傳播)網(wǎng)絡(luò)是最常用和比較重要的網(wǎng)絡(luò)之一，本文就應(yīng)用一種改進(jìn)型的BP網(wǎng)絡(luò)進(jìn)行相應(yīng)數(shù)據(jù)圖表的識別映射。
BP網(wǎng)絡(luò)由輸入結(jié)點(diǎn)、輸出層結(jié)點(diǎn)和隱層結(jié)點(diǎn)構(gòu)成，相連層用全互連結(jié)構(gòu).神經(jīng)網(wǎng)絡(luò)的工作過程主要有兩個階段：一個是學(xué)習(xí)期，通過樣本學(xué)習(xí)修改各權(quán)值，達(dá)到一穩(wěn)定狀態(tài)；一個是工作期，權(quán)值不變，計(jì)算網(wǎng)絡(luò)輸出。
B
P網(wǎng)絡(luò)的學(xué)習(xí)過程由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層單元逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的路徑返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小。
當(dāng)給定一輸入模式X=(x1，x2，….，xm)和希望輸出模式Y(jié)=(y1，y2，…..，yn)時(shí)，網(wǎng)絡(luò)的實(shí)際輸出和輸出誤差可用下列公式求出：
隱含層輸出：
式中——輸入層至隱含層，隱含層至輸出層的連接權(quán)；
——隱含層結(jié)點(diǎn)、輸出層結(jié)點(diǎn)的閥值；
m、h、n——輸入層、隱含層、輸出層結(jié)點(diǎn)數(shù)；
f—— s型函數(shù)，f(x)=(1+e-x)-1.
如果誤差太大不能滿足要求，則需要用下列公式修正各連接權(quán)和閥值
為網(wǎng)絡(luò)提供一組特定的訓(xùn)練模式，隨機(jī)產(chǎn)生初始連接權(quán)和閥值，不斷幣復(fù)上述計(jì)算過程，直到網(wǎng)絡(luò)全局誤差小于給定的極小值為止.
由于BP網(wǎng)絡(luò)的高識別能力，應(yīng)用中采用了此結(jié)構(gòu)形式.同時(shí)為提高其識別效果，加快網(wǎng)絡(luò)的訓(xùn)練速度，縮短工作周期，應(yīng)用了附加動量項(xiàng)和自適應(yīng)速率的改進(jìn)算法.
附加動量項(xiàng)法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，允許網(wǎng)絡(luò)上的微小變化特性，使網(wǎng)絡(luò)陷入局部極小值的可能性大大減少。自適應(yīng)速率是通過改變學(xué)習(xí)率，提高BP算法的有效性和收斂性，縮短訓(xùn)練時(shí)間.
2具體應(yīng)用
根據(jù)以上理論，采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)形式，動量因子取0.9，對有效功率校正系數(shù)和燃油消耗率校正系數(shù)與指示功率比和機(jī)械效率的關(guān)系同時(shí)進(jìn)行識別，采用雙輸入雙輸出的2-10-2結(jié)構(gòu)、2-15-2結(jié)構(gòu)、2-20-2結(jié)構(gòu)進(jìn)行訓(xùn)練，識別情況分別如表3-5所示。
轉(zhuǎn)貼于
從實(shí)際的應(yīng)用效果來看，2-15-2和2-20-2的逼近能力相似，2-15-2的速度快于2-20-2結(jié)構(gòu)，而2-20-2結(jié)構(gòu)的識別能力要遠(yuǎn)低于前兩種結(jié)構(gòu)，采用更少的隱層結(jié)點(diǎn)數(shù)就會使訓(xùn)練的時(shí)間過長，甚至使訓(xùn)練過程無法進(jìn)行.因此最后選擇2-15-2的BP網(wǎng)絡(luò)結(jié)構(gòu)作為最終的神經(jīng)網(wǎng)絡(luò)形式。如圖1所示為訓(xùn)練次數(shù)與誤差平方和之間的關(guān)系曲線，表4為部分網(wǎng)絡(luò)輸出與實(shí)際數(shù)值的比較.
通過以上計(jì)算分析可見，神經(jīng)網(wǎng)絡(luò)的映射輸出能力是相當(dāng)強(qiáng)的，通過合理的網(wǎng)絡(luò)結(jié)構(gòu)選擇和具體的參數(shù)應(yīng)用，完全可以滿足優(yōu)化設(shè)計(jì)的計(jì)算要求，大大縮短優(yōu)化當(dāng)中的計(jì)算迭代時(shí)間，提高計(jì)算效率。
3結(jié)論
（1）人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的數(shù)據(jù)映射能力，能夠很好地識別所給數(shù)據(jù)之間的對應(yīng)關(guān)系，映射的精度可以滿足一般設(shè)計(jì)計(jì)算要求.
（2）對于包含無規(guī)律圖表數(shù)據(jù)的有關(guān)計(jì)算問題，應(yīng)用神經(jīng)網(wǎng)絡(luò)是一個很好的加快運(yùn)算速度的解決方法.
（3）在數(shù)據(jù)的映射識別當(dāng)中，網(wǎng)絡(luò)的結(jié)構(gòu)形式和參數(shù)選擇對于問題的求解精度和速度都是致關(guān)重要的’同時(shí)應(yīng)當(dāng)注意數(shù)據(jù)的過度訓(xùn)練問題.
（4）智能算法的應(yīng)用為具體的工程計(jì)算提供了更方便、有效的手段，尋找有效的計(jì)算方法，以及多種算法的混合應(yīng)用將是擺在設(shè)計(jì)人員的一個課題.
參考文獻(xiàn)
[1]焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M]西安:西安電子科技大學(xué)出版社，1990.
[2]焦李成.神經(jīng)網(wǎng)絡(luò)的應(yīng)用與實(shí)現(xiàn)[M].西安:西安電子科技大學(xué)出版社，1993.
[3]王文成.神經(jīng)網(wǎng)絡(luò)及其在汽車工程中的應(yīng)用[M].北京:北京理工大學(xué)出版社，1998.
[4]張成寶，丁玉蘭，雷雨成.人工神經(jīng)網(wǎng)絡(luò)在汽車變速器齒輪故障診斷中的應(yīng)用[J].汽車工程，1999，21(6) 374-378.
[5]Watanahle Y， Sharp H S. Neural network learning control of automotive aotic-e suspension systems.lnternational，lournal of Vehicle Design[J]，1999，21(2/3):124一147.
[關(guān)鍵詞] 工作崗位；BP神經(jīng)網(wǎng)絡(luò)；系統(tǒng)設(shè)計(jì)
[中圖分類號] F240 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1006-5024(2007)12-0030-04
[基金項(xiàng)目]安徽省高校青年教師科研資助計(jì)劃項(xiàng)目“人工神經(jīng)網(wǎng)絡(luò)在工程評價(jià)中的應(yīng)用”(批準(zhǔn)號：2004jq143)；安徽理工大學(xué) 青年科學(xué)基金資助項(xiàng)目“基于人工神經(jīng)網(wǎng)絡(luò)的綜合評價(jià)系統(tǒng)設(shè)計(jì)”(批準(zhǔn)號：2007jg12)
[作者簡介] 汪克亮，安徽理工大學(xué)教師，碩士，研究方向?yàn)榫C合評價(jià)、決策分析；
楊 力，安徽理工大學(xué)副教授，碩士，研究方向?yàn)橄到y(tǒng)工程、復(fù)雜系統(tǒng)建模；
查甫更，安徽理工大學(xué)教師，碩士，研究方向?yàn)榄h(huán)境質(zhì)量評價(jià)。(安徽 淮南 232001)
人力資源是企業(yè)中最寶貴的資源，對企業(yè)的生存、發(fā)展和競爭力的不斷提高都起著至關(guān)重要的作用。人力資源的培育、開發(fā)與利用，不僅成為經(jīng)濟(jì)增長的決定性因素，而且直接構(gòu)成企業(yè)核心競爭力的關(guān)鍵性戰(zhàn)略資源。作為人力資源管理的一個重要組成部分，工作崗位評價(jià)是建立在工作說明書的基礎(chǔ)上，綜合運(yùn)用多種學(xué)科的理論和方法。即它是按照一定的客觀標(biāo)準(zhǔn)，從工作崗位的環(huán)境、勞動強(qiáng)度、承擔(dān)責(zé)任、所需資格條件等因素出發(fā)，對工作崗位進(jìn)行系統(tǒng)的衡量和評價(jià)，在定性的基礎(chǔ)上進(jìn)行定量測評，以量值來表現(xiàn)工作崗位特征，使得性質(zhì)相同、相近的崗位具有統(tǒng)一的評判、估價(jià)標(biāo)準(zhǔn)。這種評價(jià)方法可以比較出崗位與崗位之間的相對價(jià)值大小，從而可以將員工在企業(yè)中的作用和貢獻(xiàn)量化，為企業(yè)崗位歸級、分類等工作奠定基礎(chǔ)，為建立公平合理的薪酬制度提供客觀依據(jù)。
對工作崗位進(jìn)行評價(jià)的方法很多，傳統(tǒng)的方法有排列法、分類法、評分法、因素比較法，等等。實(shí)踐證明，這些方法都具備一定的合理性，但是還不夠完善。這是由于評價(jià)指標(biāo)的量值和權(quán)重的確定都是依據(jù)評估人員的經(jīng)驗(yàn)進(jìn)行的，主觀性強(qiáng)，缺乏客觀性，這樣就在很大程度上使得評價(jià)結(jié)果缺乏公平性、科學(xué)性，從而進(jìn)一步影響到薪酬制度的公平合理性。近年來出現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，簡稱ANN)因其廣泛的自適應(yīng)、自學(xué)習(xí)和強(qiáng)大的非線性映射能力，在多變量非線性系統(tǒng)的建模方面有著廣泛的應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Network)是目前在各領(lǐng)域中研究和應(yīng)用最廣泛的人工神經(jīng)網(wǎng)絡(luò)，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用中最精華的部分，它擅長的是處理那種規(guī)律隱含在一大堆雜亂無章數(shù)據(jù)中的映射逼近問題。由于工作崗位評價(jià)系統(tǒng)是由評價(jià)指標(biāo)、評價(jià)標(biāo)準(zhǔn)、評價(jià)技術(shù)和方法等一系列子系統(tǒng)組成的復(fù)雜非線性系統(tǒng)，作為一種處理復(fù)雜非線性系統(tǒng)問題的有效工具，本文嘗試?yán)肂P神經(jīng)網(wǎng)絡(luò)來設(shè)計(jì)工作崗位評價(jià)系統(tǒng)，為定性和定量評價(jià)工作崗位提供一條新的思路。
一、工作崗位評價(jià)指標(biāo)體系的建立
1.選擇評價(jià)指標(biāo)的原則
要對工作崗位進(jìn)行公平合理的評價(jià)，前提是要建立科學(xué)的評價(jià)指標(biāo)體系。因?yàn)楣ぷ鲘徫辉u價(jià)不僅要明確工作狀況和工作量的差異，而且要滿足企業(yè)人力資源管理基礎(chǔ)工作的需要，促進(jìn)人力資源管理工作的發(fā)展。因此，必須在決定工作崗位工作狀況和工作量的眾多因素中選擇合適的因素，進(jìn)行全面、科學(xué)的評價(jià)。對于評價(jià)指標(biāo)的選擇，應(yīng)該考慮以下三個原則：
全面性。評價(jià)指標(biāo)的全面性是進(jìn)行科學(xué)評價(jià)的基礎(chǔ)，評價(jià)指標(biāo)應(yīng)該能夠全面地反映工作崗位的工作狀況和工作量，體現(xiàn)不同崗位的工作差別，反映出崗位工作對企業(yè)的貢獻(xiàn)。
可評價(jià)性。評價(jià)指標(biāo)的可評價(jià)性主要體現(xiàn)在兩個方面：一是指在目前企業(yè)的工作實(shí)際中，運(yùn)用現(xiàn)有的技術(shù)和方法，能夠?qū)υu價(jià)指標(biāo)進(jìn)行測定或評定，作出評價(jià)；二是指對每一個評價(jià)指標(biāo)都能夠按照統(tǒng)一的評價(jià)標(biāo)準(zhǔn)作出獨(dú)立的評價(jià)，最好是能作出定量評價(jià)。
實(shí)用性。主要是指在選擇評價(jià)指標(biāo)的時(shí)候，選擇那些對企業(yè)的人力資源管理工作有用、能促進(jìn)企業(yè)人力資源管理工作發(fā)展的因素作為評價(jià)因素。這樣可以使得評價(jià)結(jié)果能夠直接應(yīng)用于企業(yè)人力資源管理實(shí)踐。
2.工作崗位評價(jià)指標(biāo)體系
工作崗位評價(jià)的內(nèi)容非常廣泛，影響因素眾多，我們經(jīng)過深入調(diào)研，密切聯(lián)系實(shí)際，依據(jù)上述的選擇原則，共建立5個一級指標(biāo)：勞動技能、勞動責(zé)任、勞動強(qiáng)度、勞動環(huán)境、社會心理因素。每個一級指標(biāo)又由若干個二級指標(biāo)組成，一共22個二級指標(biāo)，這些指標(biāo)既能全面體現(xiàn)企業(yè)崗位的工作狀況和工作量，又能應(yīng)用目前的技術(shù)和知識進(jìn)行評定和測量，使崗位的具體工作抽象化、定量化，從而產(chǎn)生可比性。建立的評價(jià)指標(biāo)體系如表1所示。
二、BP算法及其改進(jìn)
1.BP神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)是人工智能的一個重要部分，人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元。它是一個近似模擬生物神經(jīng)元的數(shù)學(xué)模型，通過與其相連的神經(jīng)元接收信息。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的連接方式，神經(jīng)網(wǎng)絡(luò)可以分為前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)三種基本類型。
BP網(wǎng)絡(luò)，又稱為誤差反向傳播網(wǎng)絡(luò)，是一種典型的前饋網(wǎng)絡(luò)。它具有三層或三層以上的階層，其各層之間各神經(jīng)元實(shí)現(xiàn)完全連接，而每層的神經(jīng)元之間無連接。BP網(wǎng)絡(luò)主要是由輸入層、隱含層、輸出層組成，各層之間實(shí)現(xiàn)完全連接。輸入信號從輸入層節(jié)點(diǎn)輸入，依次傳過各隱含層節(jié)點(diǎn)，然后傳到輸出節(jié)點(diǎn)。實(shí)踐已經(jīng)證明了三層BP網(wǎng)絡(luò)可以以任意精度逼近一個連續(xù)函數(shù)。
2.BP算法
BP網(wǎng)絡(luò)所完成的信息處理工作，從數(shù)學(xué)意義上講是利用映射訓(xùn)練樣本(x1，y1)，(x2，y2)，…(xk，yk)…，實(shí)現(xiàn)從n維歐氏空間子集到f[A]的映射。BP網(wǎng)絡(luò)的學(xué)習(xí)過程是由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入樣本從輸入層經(jīng)過隱含層處理并傳向輸出層，每一層神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)，如果在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播。此時(shí)，誤差信號從輸出層向輸入層傳播并沿途調(diào)整各層之間的連接權(quán)值以及各神經(jīng)元的偏置值，以使誤差信號不斷減小，經(jīng)過反復(fù)迭代，當(dāng)誤差小于允許值，網(wǎng)絡(luò)的訓(xùn)練結(jié)束。BP網(wǎng)絡(luò)具體的學(xué)習(xí)過程按以下步驟進(jìn)行：
(1)置各權(quán)值或閾值的初始值：Wji(0)，θj(0)為小的隨機(jī)數(shù)值。
(2)提供訓(xùn)練樣本：輸入矢量Xk，k=1，2，…，P；期望輸出dk，k=1，2，…，P；對每一個輸入樣本進(jìn)行下面(3)到(5)的迭代。
(3)計(jì)算網(wǎng)絡(luò)的實(shí)際輸出及隱含層單元的狀態(tài)：
okj=fj(∑wjiokj+θj)，其中f(x)為轉(zhuǎn)移函數(shù)，采取Sigmoid函數(shù)，即
(4)計(jì)算訓(xùn)練誤差：
δkj=okj(1-okjj)(tkj-okj) (輸出層)
δkj=okj(1-okj)∑δkmwmj(隱含層)
(5)修正權(quán)值和閾值：
wkj(t+1)=wji(t)+ηδjoki+α[wji(t)-wji(t-1)]
θj(t+1)=θj(t)+ηδj+α[θj(t)-θj(t-1)]
(6)當(dāng)k每經(jīng)歷1至P后，判斷指標(biāo)是否符合精度要求：
E≤ε； ε：精度。
(7)結(jié)束。
3.BP算法的改進(jìn)
傳統(tǒng)的BP網(wǎng)絡(luò)把一組樣本的輸入/輸出問題變?yōu)橐粋€非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降算法。BP算法在應(yīng)用中最突出的優(yōu)點(diǎn)是具有很強(qiáng)的非線性映射能力，網(wǎng)絡(luò)的隱含層數(shù)、各層的神經(jīng)元數(shù)以及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)都可以根據(jù)具體情況任意設(shè)定，對問題的識別具有很強(qiáng)的功能，對于復(fù)雜的非線性模型仿真從理論上來說可以達(dá)到任意小的程度。在實(shí)際預(yù)算中，標(biāo)準(zhǔn)BP算法存在著收斂速度慢和容易陷入局部極值兩個重要問題。為此，我們以如下兩項(xiàng)措施來改進(jìn)BP算法。
(1)學(xué)習(xí)率自適應(yīng)調(diào)整。標(biāo)準(zhǔn)BP算法收斂速度慢的一個重要原因是學(xué)習(xí)速率不當(dāng)。學(xué)習(xí)率太小，收斂太慢；學(xué)習(xí)率太大，則可能導(dǎo)致振蕩甚至發(fā)散。我們采用學(xué)習(xí)率的自適應(yīng)調(diào)整，即當(dāng)連續(xù)兩次迭代其梯度方向相同時(shí)，表明下降太慢，將步長加倍；而當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過頭，則步長減半。
(2)加動量項(xiàng)。標(biāo)準(zhǔn)BP算法在修正w(t)時(shí)，僅按照t時(shí)刻的瞬時(shí)負(fù)梯度方向進(jìn)行修正，沒有考慮以前時(shí)刻的梯度方向，從而使學(xué)習(xí)過程常常發(fā)生振蕩，收斂很慢。我們加動量項(xiàng)的目的是為了降低網(wǎng)絡(luò)對誤差曲面細(xì)節(jié)的敏感性，從而抑制網(wǎng)絡(luò)限于局部極小。
改進(jìn)后的權(quán)值修正公式為：
w(t+1)=w(t)+α(t )[(1-η)d(t)+ηd(t-1)]
α(t)=2λα(t-1)
λ=sign[d(t)d(t-1)]
式中：α(t)為學(xué)習(xí)率，為k時(shí)刻的負(fù)梯度，η為動量因子，0≤η≤1。
三、基于BP神經(jīng)網(wǎng)絡(luò)的工作崗位評價(jià)系統(tǒng)設(shè)計(jì)
1.評價(jià)指標(biāo)的標(biāo)準(zhǔn)化
由于工作崗位評價(jià)涉及到一系列的指標(biāo)，有定性指標(biāo)和定量指標(biāo)，各個評價(jià)指標(biāo)的量綱也不一樣。因?yàn)楦鶕?jù)BP網(wǎng)絡(luò)的特點(diǎn)，輸入節(jié)點(diǎn)數(shù)據(jù)的取值范圍應(yīng)該是[0，1]，所以，必須對評價(jià)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理。
(1)定量指標(biāo)
對于評價(jià)指標(biāo)ui，其中mi和Mi分別為評價(jià)指標(biāo)ui的最小值和最大值。設(shè)ri為決策者對評價(jià)指標(biāo)ui的屬性值xi的無量綱化值，且ri∈[0，1]。根據(jù)評價(jià)指標(biāo)的類型，可采用下列兩種無量綱化標(biāo)準(zhǔn)函數(shù)：
當(dāng)目標(biāo)越大評價(jià)越好時(shí)，
當(dāng)目標(biāo)越小評價(jià)越好時(shí)，
(2)定性指標(biāo)
在該評價(jià)指標(biāo)中，大部分是一些不能直接量化而只能進(jìn)行定性描述的指標(biāo)，可以采用確定指標(biāo)評價(jià)等級隸屬度的方法來實(shí)現(xiàn)其量化。其方法是：設(shè)Ui為定性評價(jià)指標(biāo)，Ui相對于評價(jià)集A=(α1，α2，…，αn)的隸屬度向量為：ri=(ri1，ri2，…，rin)。此處隸屬度向量可采用專家調(diào)查的方法，并通過集值統(tǒng)計(jì)方法來確定，或者可以通過模糊數(shù)學(xué)中確定隸屬函數(shù)的方法來確定。另外，一種最簡單的方法就是直接利用專家打分的方法來確定，評分時(shí)專家充分審核、分析每個工作崗位的影響因素，給出各個評價(jià)指標(biāo)評分值，取值范圍是[0，1]。但是，為了保證與定量指標(biāo)的可比性，可以根據(jù)上面定量指標(biāo)的處理方法，將得到的評分值進(jìn)行標(biāo)準(zhǔn)化處理后再作為神經(jīng)網(wǎng)絡(luò)的輸入。
2.系統(tǒng)結(jié)構(gòu)設(shè)計(jì)
實(shí)踐證明，具有單隱層的BP網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)。本文設(shè)計(jì)了一個三層BP網(wǎng)絡(luò)來模擬工作崗位評價(jià)系統(tǒng)的評價(jià)過程。其中，將評價(jià)指標(biāo)的標(biāo)準(zhǔn)化值作為網(wǎng)絡(luò)的輸入向量，所以，本文中輸入節(jié)點(diǎn)共有22個，輸出節(jié)點(diǎn)為1個，輸出值為工作崗位評價(jià)結(jié)果，即工作崗位相對價(jià)值的量化值。由于輸入向量和輸出向量之間不滿足線性關(guān)系，因此，選擇單極性的sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)。另外，隱含層的節(jié)點(diǎn)數(shù)也直接影響到網(wǎng)絡(luò)的性能。對于隱含層節(jié)點(diǎn)數(shù)的確定，我們可以采用經(jīng)驗(yàn)公式：Pm= Pn+r+L，其中，Pm、Pn、r分別為隱含層、輸入層、輸出層的神經(jīng)元數(shù)目，L為1-10之間的一個整數(shù)?？梢圆扇Ρ葘?shí)驗(yàn)的方式來選擇最佳隱含層節(jié)點(diǎn)的數(shù)目。采用改進(jìn)BP的算法來進(jìn)行學(xué)習(xí)，根據(jù)學(xué)習(xí)時(shí)間及次數(shù)與達(dá)到全局誤差的綜合效果來看，6個隱含層神經(jīng)元比較合適。
以技術(shù)知識要求、質(zhì)量責(zé)任等22項(xiàng)工作崗位評價(jià)指標(biāo)的標(biāo)準(zhǔn)量化值作為網(wǎng)絡(luò)輸入向量，用X=(xi，x2，…，x22)表示；隱含層節(jié)點(diǎn)用向量Y=(y1，y2，…，y6)表示；O=(o1)表示輸出向量，根據(jù)轉(zhuǎn)移函數(shù)的性質(zhì)，o1∈[0，1]，是工作崗位的綜合評價(jià)值，用S∈[0，1]來表示，分值越大，則表明該工作崗位的相對價(jià)值越高；反之，相對價(jià)值就越低。 將訓(xùn)練集的實(shí)際輸出數(shù)據(jù)轉(zhuǎn)換為[0，1]的數(shù)值，期望輸出用T=(t1)表示。 輸入層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)的權(quán)值用向量V=(v1，1，v1，2，…，v22，6)表示，隱含層節(jié)點(diǎn)到輸出層節(jié)點(diǎn)的權(quán)值用向量W=(w1，1，w2，1，…，w6，1)表示。對于隱含層有：
yj=f(∑vijxi) (j=1，2，…，6)(1)
對于輸出層有：
oj=f(∑wj1yj)(2)
這樣(1)、(2)兩式就建立了工作崗位評價(jià)系統(tǒng)。系統(tǒng)結(jié)構(gòu)圖如圖1所示：
3.網(wǎng)絡(luò)訓(xùn)練樣本的獲得
神經(jīng)網(wǎng)絡(luò)要具有評價(jià)功能，必須經(jīng)過一定數(shù)量樣本數(shù)據(jù)的訓(xùn)練。所以，獲得適當(dāng)數(shù)量的訓(xùn)練數(shù)據(jù)是進(jìn)行網(wǎng)絡(luò)訓(xùn)練的前提。選取某個企業(yè)的20個工作崗位作為實(shí)證分析的對象，即神經(jīng)網(wǎng)絡(luò)的訓(xùn)練單元。其中，將該企業(yè)的20個工作崗位的22項(xiàng)評價(jià)指標(biāo)的專家打分值作為訓(xùn)練單元的輸入數(shù)據(jù)，而以相應(yīng)工作崗位的評價(jià)值作為網(wǎng)絡(luò)的期望輸出。對于網(wǎng)絡(luò)期望輸出結(jié)果的獲得，我們可以采取常用的層次分析法(The Ana-lytic Hierarchy Process，簡稱AHP)，這種方法是由美國著名的運(yùn)籌學(xué)家T.L.Saaty于20世紀(jì)70年代提出的一種以定性與定量相結(jié)合的系統(tǒng)化、層次化決策分析方法。層次分析法的原理是把復(fù)雜的問題分解為各組成因素，將這些因素按支配關(guān)系分組，以形成有序的遞階層次結(jié)構(gòu)。通過兩兩比較判斷，確定每一層中因素的相對重要性，建立判斷矩陣，通過矩陣的最大特征值與特征向量的計(jì)算，得出該層要素對于上層準(zhǔn)則的權(quán)重。利用層次分析法，不僅可以得出每一個工作崗位評價(jià)指標(biāo)對于工作崗位相對價(jià)值的權(quán)重，而且可以將每一個評價(jià)指標(biāo)的評分值與指標(biāo)權(quán)重加權(quán)相加，得出每一個工作崗位的綜合評價(jià)值，該評價(jià)值就能作為網(wǎng)絡(luò)的期望輸出。這樣采用層次分析法，便能獲得訓(xùn)練樣本與仿真樣本。
4.網(wǎng)絡(luò)訓(xùn)練與系統(tǒng)仿真
獲得了網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù)，再對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。我們將編號為1-15崗位數(shù)據(jù)作為訓(xùn)練單元輸入BP神經(jīng)網(wǎng)絡(luò)，給定的學(xué)習(xí)精度為ε=0.0001，初始學(xué)習(xí)速率為0.05，每個訓(xùn)練樣本崗位的綜合評價(jià)值作為網(wǎng)絡(luò)期望輸出。采用Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)訓(xùn)練誤差達(dá)到了精度要求，訓(xùn)練停止。將編號為16-20的樣本崗位作為仿真樣本來檢驗(yàn)網(wǎng)絡(luò)的評價(jià)和預(yù)測精度，發(fā)現(xiàn)網(wǎng)絡(luò)的仿真結(jié)果同樣本的評價(jià)結(jié)果非常接近，如表2所示。這一點(diǎn)表明該網(wǎng)絡(luò)具有很好的泛化能力，采用BP神經(jīng)網(wǎng)絡(luò)建立工作崗位評價(jià)系統(tǒng)是完全可行的。
四、結(jié)束語
工作崗位評價(jià)是企業(yè)人力資源管理工作的重要內(nèi)容，對工作崗位進(jìn)行科學(xué)、客觀的評價(jià)，是確定公平、合理的薪酬制度的基礎(chǔ)，這一點(diǎn)對于提高員工工作積極性和保持企業(yè)活力都具有很重要的意義。本文在建立工作崗位評價(jià)指標(biāo)體系的基礎(chǔ)上，采用BP神經(jīng)網(wǎng)絡(luò)來設(shè)計(jì)企業(yè)工作崗位評價(jià)系統(tǒng)，利用BP神經(jīng)網(wǎng)絡(luò)自身強(qiáng)大的非線性映射能力和很強(qiáng)的自學(xué)習(xí)性、自適應(yīng)性和容錯性，能夠充分地挖掘出樣本評價(jià)指標(biāo)中有關(guān)規(guī)律和信息，揭示影響工作崗位相關(guān)因素的內(nèi)在作用機(jī)制，有效地克服評價(jià)過程中人為確定標(biāo)準(zhǔn)值和權(quán)重的主觀性因素的干擾，并且針對BP網(wǎng)絡(luò)收斂慢、容易陷入局部極小的缺點(diǎn)，采取了加動量項(xiàng)和學(xué)習(xí)率自適應(yīng)調(diào)整的方法進(jìn)行改進(jìn)，以彌補(bǔ)BP網(wǎng)絡(luò)的缺陷，更能夠體現(xiàn)工作崗位評價(jià)的科學(xué)性和客觀性。仿真試驗(yàn)表明，該評價(jià)系統(tǒng)取得了令人滿意的結(jié)果。在實(shí)際應(yīng)用中，為了保證系統(tǒng)評價(jià)的有效性，應(yīng)該對系統(tǒng)進(jìn)行必要的修改和調(diào)整，對系統(tǒng)的運(yùn)行狀況進(jìn)行檢查和控制，力求系統(tǒng)達(dá)到準(zhǔn)確、高效、易操作及具備良好的適應(yīng)性。只要做好以上工作，基于BP神經(jīng)網(wǎng)絡(luò)的工作崗位評價(jià)系統(tǒng)就能夠成為企業(yè)人力資源管理的有效工具。
參考文獻(xiàn)：
[1]沈世鎰.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論及其應(yīng)用[M].北京：科學(xué)出版社，1998.
[2]焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安：西安電子科技大學(xué)出版社，1993.
[3]安鴻章.工作崗位的分析技術(shù)與應(yīng)用[M].天津：南開大學(xué)出版社，2001.
[4]安鴻章.工作崗位研究原理與應(yīng)用[M].北京：中國勞動出版社，1998.
[5]李永杰，李強(qiáng).工作分析理論與應(yīng)用[M].北京：中國勞動社會保障出版社，2005.
[6]趙曼.人力資源開發(fā)與管理[M].北京：中國勞動社會保障出版社，2002.
[7]石全濤.現(xiàn)代人力資源開發(fā)與管理[M].上海：上海交通大學(xué)出版社，1999.
[8]楊力.基于BP神經(jīng)網(wǎng)絡(luò)的城市房屋租賃估價(jià)系統(tǒng)設(shè)計(jì)[J].中國管理科學(xué)，2002，(10).
[9]張新紅，鄭丕諤.基于神經(jīng)網(wǎng)絡(luò)的管理信息系統(tǒng)綜合評價(jià)方法[J].系統(tǒng)工程學(xué)報(bào)，2002，(5).
1986年，rumelhart提出了反向傳播學(xué)習(xí)算法，即bp(backpropagation)算法。反向傳播bp（back propagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一［1］。這種算法可以對網(wǎng)絡(luò)中各層的權(quán)系數(shù)進(jìn)行修正，故適用于多層網(wǎng)絡(luò)學(xué)習(xí)。bp算法是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，在自動控制中是最有用的學(xué)習(xí)算法，它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接，但是，它們的狀態(tài)影響著輸入輸出之間的關(guān)系。也就是說，改變隱層的權(quán)系數(shù)，可以改變整個多層神經(jīng)網(wǎng)絡(luò)的性能［2］。
1bp 神經(jīng)網(wǎng)絡(luò)模型
bp 神經(jīng)網(wǎng)絡(luò)模型由一個輸入層、一個輸出層以及一個或多個隱含層構(gòu)成，同一層中各神經(jīng)元之間相互獨(dú)立。輸入信號從輸入層神經(jīng)元開始依次通過各個隱含層神經(jīng)元，最后傳遞到輸出層神經(jīng)元， 圖1給出了包含一個隱含層的bp網(wǎng)絡(luò)模型結(jié)構(gòu)，隱含層神經(jīng)元個數(shù)為m。理論研究表明：具有一個輸入層，一個線性輸出層以及sigmoid 型激活函數(shù)的隱含層bp 網(wǎng)絡(luò)能夠以任意精度逼近任何連續(xù)可微函數(shù)［3］。
三層感知器中，輸入向量為x=（x1,x2…xi…xn）t，圖1中x0=-1是為隱層神經(jīng)元引入閾值而設(shè)置的，隱層輸入向量為y=（y1,y2…yj…ym,）t，圖中y0=-1是為輸出層神經(jīng)元引入閾值而設(shè)置的；輸出層輸出向量o=（o1,o2, …,ok,ol）t，期望輸出向量為d=（d1,d2, …,dk,dl）t,輸入層到隱層之間的權(quán)值矩陣用v表示，v=（v1,v2, …,vj, …vm）t，隱層到輸入層之間的權(quán)值矩陣用w表示，w=（w1,w2, …,w,k …wl）t，下面分析各層信號之間的關(guān)系［4］。
圖1三層bp網(wǎng)絡(luò)
對于輸入層：
ok=f（netk） k=1,2, …，l，netk=∑mj=0wjkyj k=1,2, …，l；
對于隱層：
yj=f（netj）j=1,2, …,m，netj=∑ni=0vijxij=1,2, …,m；
以上兩式中，激活函數(shù)都是sigmoid函數(shù)。
f（x）=11+e－x，f（x）具有連續(xù)、可導(dǎo)的特點(diǎn)且f’（x）= f（x）［1- f（x）］。
根據(jù)以上公式，我們可以推導(dǎo)出權(quán)值調(diào)整量δwjk和δvjk分別是：
δwjk=ηδokyj=η（dk-ok）ok（1-ok）yj，δvij=ηδyjxi=η（∑lk=1δokwjk）yj（1-yj）xi
2智能公交實(shí)時(shí)調(diào)度模型總體設(shè)計(jì)
公交公司的行車計(jì)劃一般在年初就制定完成，調(diào)度員根據(jù)行車計(jì)劃進(jìn)行調(diào)度，遇到節(jié)假日、雨天等突況時(shí)，就憑調(diào)度員的工作經(jīng)驗(yàn)調(diào)度。因此，可以考慮使用bp神經(jīng)網(wǎng)絡(luò)算法，在智能公交實(shí)時(shí)調(diào)度中加入誤差反向傳播算法，利用誤差反向傳播算法超強(qiáng)的學(xué)習(xí)能力和泛化能力，通過對公交海量歷史調(diào)度數(shù)據(jù)的學(xué)習(xí)，建立公交車到達(dá)目的站點(diǎn)的預(yù)測模型。通過實(shí)時(shí)gps數(shù)據(jù)，就可以預(yù)測車輛到達(dá)目的地的大概時(shí)間，為建立智能公交調(diào)度提供極大的方便。智能公交實(shí)時(shí)調(diào)度模型如圖2所示。
圖2智能公交實(shí)時(shí)調(diào)度模型
從圖2可以看出，智能公交實(shí)時(shí)調(diào)度模型分為3個主要模塊。
(1)數(shù)據(jù)處理分析模塊。智能公交實(shí)時(shí)調(diào)度模型的基礎(chǔ)模塊，數(shù)據(jù)來源于兩個部分：一是公交歷史行車數(shù)據(jù)，包括發(fā)車時(shí)間、天氣等數(shù)據(jù)；二是gps定位系統(tǒng)采集的實(shí)時(shí)數(shù)據(jù)，主要是各個時(shí)刻采集的運(yùn)行數(shù)據(jù)。該模塊根據(jù)各預(yù)測模型的需要，選擇合理的數(shù)據(jù)輸入，并對數(shù)據(jù)進(jìn)行處理。
(2)預(yù)測模型模塊。通過對現(xiàn)有數(shù)據(jù)的分析、預(yù)測，得到車輛到達(dá)調(diào)度站的運(yùn)行時(shí)間預(yù)測結(jié)果。
(3)智能實(shí)時(shí)調(diào)度模塊。輸入預(yù)測模型可以得到車輛運(yùn)行時(shí)間，根據(jù)公交歷史調(diào)度計(jì)劃以及公交客流數(shù)據(jù)，可以適當(dāng)改變當(dāng)前調(diào)度計(jì)劃，臨時(shí)下達(dá)調(diào)度指令，為建立與實(shí)際客流相結(jié)合的調(diào)度方法提供決策支持。
(4)基于bp神經(jīng)網(wǎng)絡(luò)的預(yù)測模型。公交車輛的運(yùn)行時(shí)間總的來說還是比較固定的，但是有時(shí)候會隨著道路擁擠情況、節(jié)假日、天氣情況等有所改變。由于神經(jīng)網(wǎng)絡(luò)具備以任意精度逼近連續(xù)函數(shù)功能，具有較強(qiáng)的自我學(xué)習(xí)能力和泛化能力，能夠充分體現(xiàn)輸入數(shù)據(jù)與輸出數(shù)據(jù)之間復(fù)雜的映射關(guān)系。因此，本文采用bp神經(jīng)網(wǎng)絡(luò)來預(yù)測車輛到達(dá)時(shí)間。
2.1輸入變量對公交運(yùn)行時(shí)間的影響
把公交車運(yùn)行時(shí)間分
為幾個階段，車輛到達(dá)目的地所需要的時(shí)間往往與該公交車處于的階段有著某種必然的聯(lián)系，根據(jù)車輛實(shí)時(shí)gps數(shù)據(jù)及車輛運(yùn)行過程中所處的時(shí)間，設(shè)ti為公交車實(shí)時(shí)時(shí)間，所以ti在那個階段對車輛運(yùn)行有直接影響， ti可以根據(jù)gps數(shù)據(jù)實(shí)時(shí)取得。
車輛位置：車輛在運(yùn)行過程中所處的位置對公交車到達(dá)目的站有著一定的影響，根據(jù)gps實(shí)時(shí)數(shù)據(jù)，可以計(jì)算出車輛離終點(diǎn)站有多少距離，將車輛在ti時(shí)刻距調(diào)度站的距離作為影響因素。
天氣情況：天氣的好壞對公共汽車的運(yùn)行產(chǎn)生比較大的影響，一般情況下，公交車在晴天的運(yùn)行時(shí)間要比雨天少，車速比雨天快。
星期情況：從周一到周日，不同日子有著不同的客流，所以星期情況對公交的運(yùn)行產(chǎn)生一定的影響。
節(jié)日：重大節(jié)日客流量明顯增多，車輛的運(yùn)行時(shí)間也會有所延長。
2.2變量獲取
bp神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)作為輸入、輸出樣本，因此在構(gòu)建bp神經(jīng)網(wǎng)絡(luò)前，首先要做的工作就是獲取這些數(shù)據(jù)。利用先進(jìn)的信息技術(shù)，可以獲取公交車輛運(yùn)行的gps數(shù)據(jù)，而天氣、星期情況、是否節(jié)假日這些變量則可以在大量的歷史數(shù)據(jù)中獲得。
2.3基于神經(jīng)網(wǎng)絡(luò)的車輛預(yù)測模型
預(yù)測模型將采用三層bp神經(jīng)網(wǎng)絡(luò)，即一個輸入層，一個隱層以及一個輸出層，輸入層一共有5個變量，分別是時(shí)間、車輛位置、天氣情況、星期情況以及節(jié)假日。隱含層節(jié)點(diǎn)數(shù)目一共有11個節(jié)點(diǎn)。輸出層為1個節(jié)點(diǎn)，采用有導(dǎo)師的學(xué)習(xí)方法。至此本文建立的bp網(wǎng)絡(luò)結(jié)構(gòu)為5×11×1，bp網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖3bp神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
bp神經(jīng)網(wǎng)絡(luò)的車輛運(yùn)行時(shí)間測算模型如圖4所示。
其中：t 為當(dāng)前時(shí)刻，w(t-t)，當(dāng)前時(shí)刻t之前t時(shí)刻神經(jīng)網(wǎng)絡(luò)輸入層與隱層以及隱層與輸出層之間的權(quán)值矩陣。
f(t):車輛從起始站到當(dāng)前時(shí)刻車輛的運(yùn)行時(shí)間。
f’(t):預(yù)測樣本的輸出時(shí)間。
xi(t):t時(shí)刻的第i個輸入向量，i∈［0，1］，其中xi為車輛在t時(shí)刻到達(dá)調(diào)度站的距離的輸入向量，x2為天氣情況輸入向量，x3為車輛運(yùn)行所處的星期輸入向量，x4為車輛運(yùn)行當(dāng)天是否節(jié)日的輸入向量，x5為gps采集數(shù)據(jù)的時(shí)刻向量。
圖4bp神經(jīng)網(wǎng)絡(luò)的車輛運(yùn)行時(shí)間測算模型
2.4樣本數(shù)據(jù)取值及歸一化方法
（1）gps定位數(shù)據(jù)。在車輛運(yùn)行過程中，對車載gps數(shù)據(jù)進(jìn)行采集，采集完成后通過一定的方法進(jìn)行計(jì)算，從而得出車輛離到達(dá)站的距離，設(shè)該距離為一對一使用歸一化處理，使得轉(zhuǎn)換后的數(shù)值就落在（0，1）上。
（2）天氣情況。在一段時(shí)間內(nèi)，公交車會碰到不同的天氣，不同的天氣對公交的運(yùn)行產(chǎn)生不同的影響。我們把天氣進(jìn)行分類，一共分為7種狀況，分別是大雨、小雨、雪、大霧、小霧、晴天和陰天，用不同的數(shù)字來表示這7種天氣情況。
（3）星期情況。對于不同的星期采用不同的分類方法表示，從星期一到星期日也采用不同的數(shù)字表示。
（4）節(jié)假日。節(jié)假日可以用布爾變量來表示，true是節(jié)假日，false為非節(jié)假日。
3結(jié)語
國內(nèi)大多數(shù)公交調(diào)度優(yōu)化研究都是著眼于靜態(tài)調(diào)度，而本文將研究重點(diǎn)放在了實(shí)時(shí)調(diào)度方面，在智能公交實(shí)時(shí)調(diào)度中加入bp神經(jīng)網(wǎng)絡(luò)技術(shù)，用誤差反向傳播算法超強(qiáng)的學(xué)習(xí)能力和泛化能力，通過對公交海量歷史調(diào)度數(shù)據(jù)的學(xué)習(xí)，建立公交車到達(dá)目的站點(diǎn)的預(yù)測模型。通過實(shí)時(shí)gps數(shù)據(jù)，就可以預(yù)測車輛到達(dá)目的地的大概時(shí)間，為建立智能公交調(diào)度提供極大的方便。
參考文獻(xiàn)參考文獻(xiàn)：
\[1\]李翔，朱全銀.adaboost算法改進(jìn)bp神經(jīng)網(wǎng)絡(luò)預(yù)測研究［j］.計(jì)算機(jī)工程與科學(xué)，2013（8）.
