前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文，相信會(huì)為您的寫作帶來(lái)幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文第1篇

關(guān)鍵詞 人工；神經(jīng)網(wǎng)絡(luò)；機(jī)器學(xué)習(xí)方法

中圖分類號(hào)Q1 文獻(xiàn)標(biāo)識(shí)碼A 文章編號(hào) 1674-6708（2011）40-0111-02

0 引言

機(jī)器學(xué)習(xí)方法經(jīng)常被應(yīng)用到解決醫(yī)學(xué)和生物信息學(xué)的問(wèn)題。在這個(gè)報(bào)告中我列舉了一些把機(jī)器學(xué)習(xí)方法應(yīng)用到生物信息學(xué)領(lǐng)域的實(shí)例。比如：組建多重神經(jīng)網(wǎng)絡(luò)，運(yùn)用該神經(jīng)網(wǎng)絡(luò)對(duì)4種不同形勢(shì)的腫瘤患者進(jìn)行分類。

1 介紹

人工神經(jīng)網(wǎng)絡(luò)屬于機(jī)器學(xué)習(xí)領(lǐng)域。關(guān)于人工神經(jīng)網(wǎng)絡(luò)的概念最早提出于1940年代。后來(lái)在1980年代后被推廣應(yīng)用，尤其是在醫(yī)學(xué)領(lǐng)域。

其中一個(gè)非常有用的用途是對(duì)疾病進(jìn)行分類，達(dá)到診斷的目的，或者對(duì)基因表達(dá)進(jìn)行分類。在這類神經(jīng)網(wǎng)絡(luò)里面，k點(diǎn)最近鄰居算法是最常被采用的算法。

人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是：不需要人們蛆關(guān)注神經(jīng)網(wǎng)絡(luò)里面的細(xì)節(jié)信息；人工神經(jīng)網(wǎng)絡(luò)可以很容易地被重新訓(xùn)練來(lái)應(yīng)對(duì)不同地分類數(shù)據(jù)。人工神經(jīng)網(wǎng)絡(luò)可以用來(lái)解決有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，比如：自組織特征映射（self-organized feature map）就可以用來(lái)解決無(wú)監(jiān)督學(xué)習(xí)的問(wèn)題。

它的不足之處在于：人工神經(jīng)網(wǎng)絡(luò)往往需要大量的訓(xùn)練數(shù)據(jù)，而這些訓(xùn)練數(shù)據(jù)往往不是很容易獲得。人工神經(jīng)網(wǎng)絡(luò)可以被看作是一個(gè)黑盒，它的細(xì)節(jié)隱藏在點(diǎn)點(diǎn)之間的權(quán)值里面。這些權(quán)值的意義是人類無(wú)法理解的。同時(shí)，人工神經(jīng)網(wǎng)絡(luò)需要被仔細(xì)的訓(xùn)練以避免過(guò)擬合的情況出現(xiàn)。我們常常需也要降低高維數(shù)據(jù)的維度。下面，我將分析介紹人工神經(jīng)網(wǎng)絡(luò)的具體應(yīng)用。

人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示：

X1 ,X2 ,X3是該神經(jīng)網(wǎng)絡(luò)的輸入值，w0 ,w1 ,w2 ,w3 是該神經(jīng)網(wǎng)絡(luò)的輸入結(jié)點(diǎn)到內(nèi)部節(jié)點(diǎn)的路徑權(quán)值，每個(gè)神經(jīng)元的激活函數(shù)是如上圖右側(cè)所示的函數(shù)圖像。

這個(gè)函數(shù)被稱作為sigmoid函數(shù)，表達(dá)式如下：

多重神經(jīng)網(wǎng)絡(luò)通常有3層，事實(shí)上，3層神經(jīng)網(wǎng)絡(luò)以能進(jìn)行很好的分類效果。這三個(gè)層包括輸入層，隱藏層，輸出層。在每個(gè)神經(jīng)元內(nèi)部我們可以選擇sigmoid激活函數(shù)或其他種類的激活函數(shù)。

如圖2所示：

單個(gè)神經(jīng)元僅能提供線性的分割面，所以多層神經(jīng)網(wǎng)絡(luò)可以提供非線性的分類函數(shù)（即：若干個(gè)線性分割面的復(fù)雜組合）。這并不意味著4層神經(jīng)網(wǎng)絡(luò)就一定比3層神經(jīng)網(wǎng)絡(luò)能一共更好的分類效果，因?yàn)閷訑?shù)越多，需要的訓(xùn)練集就越龐大，得到的效果也不會(huì)提高。

既然有訓(xùn)練問(wèn)題，就會(huì)涉及到訓(xùn)練算法。較為早的和著名的訓(xùn)練算法是delta 規(guī)則。它于20世紀(jì)60年代被提出。它的原理是計(jì)算理論輸出值和世紀(jì)輸出值的均方差。tp 為理論輸出值，yp為實(shí)際輸出值，表示為：

訓(xùn)練的開始階段，我們通常設(shè)定一個(gè)隨機(jī)選取值，令該值等于：

該公式里，α是學(xué)習(xí)速率，學(xué)習(xí)速率越大，學(xué)習(xí)的過(guò)程就越快，完成學(xué)習(xí)的時(shí)間短。但如果學(xué)習(xí)的速率過(guò)大，可能導(dǎo)致網(wǎng)絡(luò)的理想權(quán)值在合理結(jié)果的附近游擺而永遠(yuǎn)無(wú)法獲得理想的權(quán)值。

神經(jīng)網(wǎng)絡(luò)被訓(xùn)練好了以后，它就被用到解決目標(biāo)問(wèn)題。原始的數(shù)據(jù)集可以被分為兩部分：一部分用來(lái)訓(xùn)練，一部分用來(lái)測(cè)試。

有時(shí)候神經(jīng)網(wǎng)絡(luò)會(huì)把訓(xùn)練數(shù)據(jù)集里面的噪音點(diǎn)的特征納入自己的權(quán)值表達(dá)里，從而該神經(jīng)網(wǎng)絡(luò)無(wú)法真正體現(xiàn)該點(diǎn)集的真實(shí)特征。我們把這種情況叫做過(guò)擬合。過(guò)擬合是由于網(wǎng)絡(luò)比待估函數(shù)復(fù)雜造成的。比如一個(gè)可以同3層網(wǎng)絡(luò)解決的問(wèn)題，我們用4層網(wǎng)絡(luò)或者由更多神經(jīng)元的三層網(wǎng)絡(luò)去解決該問(wèn)題，就容易造成過(guò)擬合。為了更好的明確訓(xùn)練時(shí)所采用的神經(jīng)網(wǎng)絡(luò)的隱藏層的層數(shù)，Livingstone 和 Manalack 提出了如下計(jì)算公式：

D = m*o/w

該公式里m是訓(xùn)練樣本的數(shù)目，o是該網(wǎng)絡(luò)的輸出值，w是網(wǎng)絡(luò)權(quán)值的數(shù)目，D就是隱藏層的數(shù)目。

得到了隱藏層的數(shù)目之后，我們可以以這個(gè)數(shù)目創(chuàng)建神經(jīng)網(wǎng)絡(luò)，邊訓(xùn)練邊削減，直到我們獲得一個(gè)一半化的網(wǎng)絡(luò)。對(duì)于沒(méi)有隱藏網(wǎng)絡(luò)層或只有一個(gè)隱藏網(wǎng)絡(luò)層的神經(jīng)網(wǎng)絡(luò)，我們需要先確定它要解決的問(wèn)題是否是線性的。

適當(dāng)?shù)挠?xùn)練方案是能也可以使網(wǎng)絡(luò)的復(fù)雜性和數(shù)據(jù)的復(fù)雜性得到合適的匹配。一個(gè)合適的訓(xùn)練方案應(yīng)該是如下步驟：首先選擇一個(gè)很大的網(wǎng)絡(luò)并且把它的每個(gè)權(quán)值都設(shè)到一個(gè)很小的值上。通過(guò)訓(xùn)練，這些權(quán)值可以逐漸游擺到一個(gè)合理的值。

由于初始數(shù)據(jù)集通常要被分為訓(xùn)練集和測(cè)試集。在醫(yī)學(xué)領(lǐng)域，我們能獲得的數(shù)據(jù)集往往很小，比如某種病的病人數(shù)目不會(huì)很大。所以我門需要采用交叉驗(yàn)證的技巧來(lái)是較小的數(shù)據(jù)集在被分為訓(xùn)練集和測(cè)試集之后能較好的訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文第2篇

關(guān)鍵詞：人工智能；深度學(xué)習(xí)；教學(xué)建議

0 引言

傳統(tǒng)的人工智能課程主要包括人工智能導(dǎo)論、模式分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等。這些課程由各個(gè)院校根據(jù)專業(yè)情況不同而選擇，課程的內(nèi)容也有較大差別，但是，基本上都涉及人工神經(jīng)網(wǎng)絡(luò)的內(nèi)容。然而在人工神經(jīng)網(wǎng)絡(luò)的教學(xué)內(nèi)容上，一般只講解經(jīng)典的多層感知器和反向傳播算法，或再加入一些反饋網(wǎng)絡(luò)的內(nèi)容，這種教學(xué)內(nèi)容設(shè)計(jì)的一個(gè)不足是忽視了人工智能領(lǐng)域的最新發(fā)展——深度學(xué)習(xí)，它是近幾年人工智能領(lǐng)域最具影響力的研究主題，并在大規(guī)模語(yǔ)音識(shí)別、大規(guī)模圖像檢索等領(lǐng)域取得突破。

北京郵電大學(xué)計(jì)算機(jī)學(xué)院開設(shè)人工智能科學(xué)與技術(shù)的本科專業(yè)，筆者從事深度學(xué)習(xí)的研究工作，同時(shí)承擔(dān)了本科生和研究生人工智能類課程的教學(xué)工作，因此產(chǎn)生了將深度學(xué)習(xí)內(nèi)容引人人工智能類課程的想法。本文先介紹深度學(xué)習(xí)的背景，說(shuō)明深度學(xué)習(xí)在人工智能發(fā)展中的地位，之后分析了將深度學(xué)習(xí)基本內(nèi)容引入人工智能類課程的必要性和可行性，最后給出了一些實(shí)施建議供探討。

1 深度學(xué)習(xí)背景

2006年，加拿大多倫多大學(xué)的GeoffreyHinton教授與Salakhutdinov博士在美國(guó)《科學(xué)》雜志發(fā)表了題為“Reducing the Dimensionality ofDatawith Neural Networks”的論文，該文提出一種學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的方法，并將這種具有多層結(jié)構(gòu)的學(xué)習(xí)方法命名為深度學(xué)習(xí)（Deep Learning），而這成為深度學(xué)習(xí)研究的一個(gè)導(dǎo)火索，從此深度學(xué)習(xí)的研究與應(yīng)用蓬勃發(fā)展起來(lái)。

深度學(xué)習(xí)在語(yǔ)音識(shí)別與生成、計(jì)算機(jī)視覺(jué)等應(yīng)用領(lǐng)域取得了突出進(jìn)展。近幾年的國(guó)際機(jī)器學(xué)會(huì)（International Conference on MachineLearning，ICML）、神經(jīng)信息處理大會(huì)（AnnualConference On Neural Information Processing Systems，NIPS）、計(jì)算機(jī)視覺(jué)大會(huì)（InternationalConference on Computer Vision，ICCV）、

聲學(xué)語(yǔ)音與信號(hào)處理大會(huì)（International ConferenceOn Acoustics，Speech，and Signal Processing，ICASSP）、計(jì)算語(yǔ)言學(xué)大會(huì)（Annual Meeting of the Association for Computational Linguistics.ACL）、計(jì)算機(jī)視覺(jué)與模式識(shí)別（InternationalConference on Computer Vision and P atternRecognition，CVPR）等都有不少相關(guān)的研究論文、會(huì)議教程和小組研討會(huì)（Workshop）。美國(guó)國(guó)防高級(jí)研究計(jì)劃（DARPA）也提出了關(guān)于深層學(xué)習(xí)的研究項(xiàng)目。此外，2013年6月《程序員雜志》的封面故事，采訪了周志華、李航、朱軍3位國(guó)內(nèi)的機(jī)器學(xué)習(xí)專家對(duì)于深度學(xué)習(xí)的看法，他們一致肯定了深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域的貢獻(xiàn)。

工業(yè)界對(duì)深度學(xué)習(xí)也寄予了很高期望。2012年6月，《紐約時(shí)報(bào)》報(bào)道了斯坦福大學(xué)計(jì)算機(jī)科學(xué)家AndrewNg和谷歌公司的系統(tǒng)專家JeffDean共同研究深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型在語(yǔ)音識(shí)別和圖像識(shí)別等領(lǐng)域獲得的巨大成功。2012年11月，微軟公司在天津公開演示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng)，其關(guān)鍵技術(shù)也是深度學(xué)習(xí)。2013年1月，百度公司首席執(zhí)行官李彥宏先生宣布建立深度學(xué)習(xí)研究院（Institute of Deep Learning）。2013年3月，谷歌公司收購(gòu)了由深度學(xué)習(xí)創(chuàng)始人Geoffrey Hinton創(chuàng)立的公司。

從學(xué)術(shù)界與工業(yè)界的研究態(tài)勢(shì)看，深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)與模式識(shí)別，乃至人工智能領(lǐng)域的研究熱點(diǎn)。正是在這樣一個(gè)背景下，人工神經(jīng)網(wǎng)絡(luò)重新回到人們的視野。此前人工神經(jīng)網(wǎng)絡(luò)的發(fā)展大致可以分為兩個(gè)時(shí)期，1943年，McCulloch和Pitts提出了最早的人工神經(jīng)元，這種神經(jīng)元具有學(xué)習(xí)能力，這是人工神經(jīng)網(wǎng)絡(luò)的發(fā)端，也可以被認(rèn)為是人工智能的發(fā)端（當(dāng)時(shí)還沒(méi)有人工智能這個(gè)術(shù)語(yǔ)）。1949年，Hebb提出了Hebbian學(xué)習(xí)算法。1957年，Rosenblatt提出了感知器的神經(jīng)網(wǎng)絡(luò)模型。1969年，Minsky和Papert分析了這種感知器神經(jīng)網(wǎng)絡(luò)模型的局限性。然而，很多研究者認(rèn)為，感知器的這種局限性對(duì)于所有的神經(jīng)網(wǎng)絡(luò)模型都適用，這使人工神經(jīng)網(wǎng)絡(luò)的研究很快暗淡下來(lái)。1980年代中期，諾貝爾獎(jiǎng)得主John Hopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，這種Recurrent神經(jīng)網(wǎng)絡(luò)具有的動(dòng)態(tài)性有可能用于解決復(fù)雜的問(wèn)題。同時(shí)，多層前向神經(jīng)網(wǎng)絡(luò)的后傳算法也被重新發(fā)現(xiàn)，這兩個(gè)工作使人工神經(jīng)網(wǎng)絡(luò)得到重生。這時(shí)，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)成為人工智能的一個(gè)重要組成部分。但是，在隨后的研究中，人們發(fā)現(xiàn)，當(dāng)學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)包含更多的隱藏層時(shí)，后傳算法并不能學(xué)到有效的網(wǎng)絡(luò)權(quán)值，這使得神經(jīng)網(wǎng)絡(luò)的研究再次陷入低潮。此次以深層神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)重新回到研究的舞臺(tái)，其中一個(gè)重要因素是Hinton提出的逐層預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法治愈了多層神經(jīng)網(wǎng)絡(luò)的一個(gè)致命傷。

2 必要性與可行性

深度學(xué)習(xí)的發(fā)展使得從事教學(xué)一線的教師也無(wú)法忽視這個(gè)頗具影響力的研究主題。為此，我們提出將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中，將它作為課題教學(xué)的一部分。

2.1 必要性

將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中的必要性主要包括如下4點(diǎn)。

1）深度學(xué)習(xí)是人工智能的前沿。

2006年以來(lái)，深度學(xué)習(xí)的研究席卷了整個(gè)人工智能，從機(jī)器學(xué)習(xí)、機(jī)器視覺(jué)、語(yǔ)音識(shí)別到語(yǔ)言處理，都不斷涌現(xiàn)出新的研究工作和突破性進(jìn)展。深度學(xué)習(xí)不僅在機(jī)器學(xué)習(xí)領(lǐng)域成為研究熱點(diǎn)，同時(shí)在多個(gè)應(yīng)用領(lǐng)域也成為有力工具，而且，在工業(yè)界的系統(tǒng)應(yīng)用中，深度學(xué)習(xí)成為其中的關(guān)鍵解決技術(shù)。

2）深度學(xué)習(xí)是人工智能的突破。

深度學(xué)習(xí)的發(fā)端是神經(jīng)網(wǎng)絡(luò)。關(guān)于神經(jīng)網(wǎng)絡(luò)的論述，在人工智能類常見(jiàn)教科書中還停留在多層神經(jīng)網(wǎng)絡(luò)，即神經(jīng)網(wǎng)絡(luò)的第二階段，它們大部分描述多層結(jié)構(gòu)無(wú)法訓(xùn)練的現(xiàn)象。但是，從深度學(xué)習(xí)的角度看，深層神經(jīng)網(wǎng)絡(luò)不僅可學(xué)習(xí)，而且有必要，這與第二代神經(jīng)網(wǎng)絡(luò)的觀點(diǎn)是完全不同的。深度學(xué)習(xí)突破了原有人工神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)，超越了人工智能神經(jīng)網(wǎng)絡(luò)教科書中的原有內(nèi)容，因此，有必要將多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可學(xué)習(xí)性告知學(xué)生，從新的視角糾正原有的觀點(diǎn)。

3）深度學(xué)習(xí)是人工智能的延伸。

深度學(xué)習(xí)不僅提供了一種可以在深層神經(jīng)結(jié)構(gòu)下訓(xùn)練網(wǎng)絡(luò)的方法，也包含了不少新的內(nèi)容，是人工智能的新發(fā)展，為人工智能補(bǔ)充了新的內(nèi)容。到目前為止，深度學(xué)習(xí)至少包括：從生物神經(jīng)網(wǎng)絡(luò)與人類認(rèn)知的角度認(rèn)識(shí)深層神經(jīng)網(wǎng)絡(luò)的必要性；如何構(gòu)建和學(xué)習(xí)深層學(xué)習(xí)網(wǎng)絡(luò)；如何將深層結(jié)構(gòu)用于解決視覺(jué)、語(yǔ)音、語(yǔ)言的應(yīng)用問(wèn)題；如何看待深度學(xué)習(xí)與原有的機(jī)器學(xué)習(xí)方法，如流形學(xué)習(xí)、概率圖模型、能量模型的直接關(guān)系；深度學(xué)習(xí)與其他學(xué)科的關(guān)系等。

4）深度學(xué)習(xí)是學(xué)生的潛在興趣點(diǎn)。

大學(xué)生對(duì)知識(shí)有著強(qiáng)烈的好奇心，加之當(dāng)前信息技術(shù)的發(fā)達(dá)，部分對(duì)智能感興趣的學(xué)生可以從其他途徑了解到這個(gè)學(xué)科發(fā)展的前沿。因此，順勢(shì)而為，將深度學(xué)習(xí)這個(gè)主題做具體講解，滿足學(xué)生的好奇心，培養(yǎng)他們對(duì)學(xué)科前沿與發(fā)展的認(rèn)識(shí)，是十分必要的。對(duì)高年級(jí)的學(xué)生而言，了解深度學(xué)習(xí)的基本知識(shí)，是他們?nèi)嬲J(rèn)識(shí)人工智能與發(fā)展前沿的一個(gè)途徑，而對(duì)于研究生，較多地了解和掌握深度學(xué)習(xí)的基本知識(shí)有助于他們研究工作的開展。

基于以上幾點(diǎn)，筆者認(rèn)為，將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中非常有必要。深度學(xué)習(xí)作為人工智能的前沿，既是對(duì)人工智能原有理論和技術(shù)的一個(gè)突破和補(bǔ)充。

2.2 可行性

將深度學(xué)習(xí)引入到人工智能類課程中的可行性主要包括如下3點(diǎn)。

1）深度學(xué)習(xí)與現(xiàn)有人工智能聯(lián)系密切。

深度學(xué)習(xí)并不像突兀的山峰拔地而起。而是深深植根于原有的人工智能理論與技術(shù)。深度學(xué)習(xí)是以神經(jīng)網(wǎng)絡(luò)為出發(fā)點(diǎn)，這正是深度學(xué)習(xí)教與學(xué)的切入點(diǎn)。比如，可以通過(guò)對(duì)多層感知器隱藏層的增加和后傳算法的失效來(lái)講解深度學(xué)習(xí)是如何解決這個(gè)問(wèn)題的。再者，深度學(xué)習(xí)的一個(gè)核心構(gòu)建“受限波爾茲曼機(jī)（Restricted Boltzmann Machine）”，可以被認(rèn)為是一種能量模型，而這種模型與Hopfield網(wǎng)絡(luò)都可以從物理學(xué)的能量模型角度分析，RBM可以認(rèn)為是Hopfield網(wǎng)絡(luò)的隨機(jī)擴(kuò)展?？傊疃葘W(xué)習(xí)與現(xiàn)有人工智能的聯(lián)系，使學(xué)習(xí)深度學(xué)習(xí)變得容易。

2）深度學(xué)習(xí)的基本內(nèi)容并不深。

深度學(xué)習(xí)有個(gè)很好的名字，這個(gè)名字恰當(dāng)?shù)孛枋隽颂囟ǖ膶W(xué)習(xí)結(jié)構(gòu)。比如，深度學(xué)習(xí)的核心部件受限于波爾茲曼機(jī)RBM，其結(jié)構(gòu)非常簡(jiǎn)單。從神經(jīng)網(wǎng)絡(luò)的角度，受限波爾茲曼機(jī)是一種隨機(jī)的雙向連接神經(jīng)網(wǎng)絡(luò)，信號(hào)可以從可見(jiàn)層傳遞到隱藏層，也可以從隱藏層傳遞到可見(jiàn)層。網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)是具有特定結(jié)構(gòu)的神經(jīng)元，其中的神經(jīng)元具有典型的包含自身偏置的Logistic函數(shù)的隨機(jī)單元，能夠依Logistic函數(shù)計(jì)算得到的概率輸出0狀態(tài)或1狀態(tài)。概括地說(shuō)，深度學(xué)習(xí)的基本內(nèi)容在高年級(jí)階段較易掌握。

3）深度學(xué)習(xí)的資料容易獲得。

當(dāng)前的信息資訊非常發(fā)達(dá)，有相當(dāng)多的資料可以通過(guò)互聯(lián)網(wǎng)等多種途徑獲得，這使學(xué)習(xí)深度學(xué)習(xí)成為可能。近期，中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦了多個(gè)技術(shù)講座均涉及深度學(xué)習(xí)的部分；深度學(xué)習(xí)的創(chuàng)始人Hinton教授的主頁(yè)也有很多資料；Coursera網(wǎng)站有免費(fèi)的Hinton教授的神經(jīng)網(wǎng)絡(luò)課程；斯坦福大學(xué)的Ng教授提供了很多的在線教程；蒙特利爾大學(xué)Bengio教授發(fā)表的題為“Learning Deep Architectures for AI”的論文也是這領(lǐng)域的優(yōu)質(zhì)資料。

3 實(shí)施建議

在具體的教學(xué)過(guò)程中，筆者建議適當(dāng)安排深度學(xué)習(xí)的最基本內(nèi)容，內(nèi)容不宜過(guò)多，也不宜占用過(guò)多的學(xué)時(shí)，可以根據(jù)教學(xué)對(duì)象的不同進(jìn)行調(diào)整。比如，本科生的高年級(jí)專業(yè)課可以安排1學(xué)時(shí)的教學(xué)量，介紹層次訓(xùn)練的基本算法；也可以在高年級(jí)前沿講座中安排2學(xué)時(shí)，內(nèi)容覆蓋面盡可能廣泛。在研究生的教學(xué)中，可以根據(jù)教學(xué)的課程主題安排內(nèi)容與學(xué)時(shí)。比如，神經(jīng)網(wǎng)絡(luò)主題的課程可以安排4-6學(xué)時(shí)的教學(xué)內(nèi)容，包括波爾茲曼機(jī)及學(xué)習(xí)算法、深層信念網(wǎng)絡(luò)與學(xué)習(xí)算法、深層波爾茲曼機(jī)與學(xué)習(xí)算法卷、積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器等。結(jié)合應(yīng)用，課程還可以包含MNIST數(shù)字識(shí)別的應(yīng)用、人臉識(shí)別的應(yīng)用、圖像檢索的應(yīng)用、語(yǔ)音識(shí)別中的應(yīng)用等。另外，深度學(xué)習(xí)是一個(gè)實(shí)踐性很強(qiáng)的研究，隨機(jī)性：大規(guī)模（意味著數(shù)據(jù)不宜可視化，程序運(yùn)行時(shí)間長(zhǎng)）等多種因素混合，使深度學(xué)習(xí)在學(xué)習(xí)中不容易理解。為此，可以在條件允許的前提下，增加小規(guī)模的實(shí)驗(yàn)，輔助理解。最后，課件可以通過(guò)對(duì)優(yōu)質(zhì)資料做修改得到。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文第3篇

關(guān)鍵詞：決策支持系統(tǒng)；專家系統(tǒng)；集成學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)集成

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)27-2045-02

The Construction of the IDSS Based on the Neural Network Ensemble

WANG Jian-min, LI Tie-jun, DONG Yun-qiang

(PLA University of Science and Technology, Nanjing 210007, China)

Abstract: It is difficult to solve the problem, which is gaps between classical Decision Support System (DDS) and practical decision-making problems, especially the complexes. Ensemble Learning is a hot topic in Machine Learning studies. The improvement of generalization performance of individuals comes primarily from the diversity caused by re-sampling the training set. Neural Network Ensemble (NNE) can significantly improve the generalization ability of learning systems through training a finite number of neural networks and combining their result. The paper introduces the DSS and NNE, and studies the application of NNE on constructing IDSS knowledge base.

Key words: DSS; expert system; ensemble learning; NNE

1 引言

決策支持系統(tǒng)（Decision Support System，簡(jiǎn)稱DSS）的概念在20世紀(jì)初由Keen P G和Morton M S等人提出，1980年Sprague R H 提出了基于數(shù)據(jù)庫(kù)和模型庫(kù)的DSS結(jié)構(gòu)，目前各個(gè)DSS框架結(jié)構(gòu)，概括起來(lái)分為基于X庫(kù)和基于知識(shí)的DSS的框架結(jié)構(gòu)兩大類，前者以各種庫(kù)及其管理系統(tǒng)作為DSS的核心，后者以問(wèn)題處理單元作為系統(tǒng)的主要部分。隨著研究的深入，人們發(fā)現(xiàn)傳統(tǒng)的手段難以在決策中取得理想的結(jié)果，于是將AI中知識(shí)表示與知識(shí)處理的思想引入到了DSS中，產(chǎn)生了智能決策支持系統(tǒng)（Intelligent Decision Support Systems，簡(jiǎn)稱IDSS）。目前在研究的各類DSS大都與計(jì)算機(jī)技術(shù)緊密關(guān)聯(lián)，對(duì)計(jì)算機(jī)依賴程度過(guò)高，從而產(chǎn)生了很多局限，且不能解決或者有效提供對(duì)于復(fù)雜巨問(wèn)題的決策支持[1]。

機(jī)器學(xué)習(xí)是人工智能研究的重要方向，已在DSS中扮演起越來(lái)越重要的角色，若將兩者有機(jī)地結(jié)合起來(lái)，改進(jìn)問(wèn)題處理系統(tǒng)，增設(shè)學(xué)習(xí)系統(tǒng)，就成為一種基于學(xué)習(xí)的DSS體系結(jié)構(gòu)，簡(jiǎn)稱ML-IDSS [2]。對(duì)神經(jīng)網(wǎng)絡(luò)算法運(yùn)用集成學(xué)習(xí)（Ensemble Learning ）的思想，即為神經(jīng)網(wǎng)絡(luò)集成(Neural Network Ensemble)方法，它通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進(jìn)行合成，可顯著地提高神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力。該方法易于使用且效果明顯，是一種非常有效的工程化神經(jīng)計(jì)算方法 [3]。

2 決策支持系統(tǒng)（Decision Support System）

一般認(rèn)為決策支持系統(tǒng)是“決策”（D）、“支持”（S）、“系統(tǒng)”（S）三者匯集成的一體，即通過(guò)不斷發(fā)展的計(jì)算機(jī)建立系統(tǒng)的技術(shù)（System），逐漸擴(kuò)展支持能力（Support），達(dá)到更好的輔助決策（Decision）[4]。

傳統(tǒng)DSS通過(guò)模型來(lái)操縱數(shù)據(jù)，實(shí)際上支持的僅僅是決策過(guò)程中結(jié)構(gòu)化和具有明確過(guò)程性的部分，人們更希望解決半結(jié)構(gòu)化和非結(jié)構(gòu)化的決策問(wèn)題。即傳統(tǒng)DSS的局限性表現(xiàn)在：系統(tǒng)在決策支持中的作用是被動(dòng)的，不能根據(jù)決策環(huán)境的變化提供主動(dòng)支持（主動(dòng)的DSS或者協(xié)同的DSS），對(duì)決策中普遍存在的非結(jié)構(gòu)化問(wèn)題無(wú)法提供支持，以定量數(shù)學(xué)模型為基礎(chǔ)，對(duì)決策中常見(jiàn)的定性問(wèn)題、模糊問(wèn)題和不確定性問(wèn)題缺乏相應(yīng)的支持手段。

AI技術(shù)應(yīng)用于DSS中后，有效地增強(qiáng)了DSS的效能，提高了輔助決策和支持決策的能力，極大地豐富了DSS的信息存取和信息處理手段，同時(shí)也使DSS在軍事、政府、工程規(guī)劃、制造等領(lǐng)域受到越來(lái)越多的青睞，現(xiàn)有的DSS除了在定量分析支持上有提升外，對(duì)于決策中的半結(jié)構(gòu)化和非結(jié)構(gòu)化的問(wèn)題也提供了一定的定性分析支持，但是集成了專家系統(tǒng)的DSS，定性知識(shí)處理能力依然較弱，且基于專家系統(tǒng)的智能決策系統(tǒng)適用范圍狹窄，依然無(wú)法完成全部的定性分析支持，更無(wú)法處理復(fù)雜問(wèn)題的決策支持 [1]。

3 神經(jīng)網(wǎng)絡(luò)集成(Neural Network Ensemble)

3.1 機(jī)器學(xué)習(xí)（Machine Learning）

機(jī)器學(xué)習(xí)是一門新興的邊緣學(xué)科，其突出的自學(xué)習(xí)能力讓人們看到了它在DSS中應(yīng)用的前景?，F(xiàn)有的DSS定性知識(shí)處理能力弱，沒(méi)有自學(xué)習(xí)適應(yīng)能力，而這正是機(jī)器學(xué)習(xí)應(yīng)用于DSS中的突出優(yōu)點(diǎn)。神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中具有強(qiáng)大生命力的算法之一。

3.2 神經(jīng)網(wǎng)絡(luò)集成（NNE）

神經(jīng)網(wǎng)絡(luò)算法已經(jīng)成功應(yīng)用在諸多領(lǐng)域，但由于缺乏嚴(yán)密理論體系指導(dǎo)，其應(yīng)用效果完全取決于使用者的經(jīng)驗(yàn)。神經(jīng)網(wǎng)絡(luò)集成一般是幾個(gè)神經(jīng)網(wǎng)絡(luò)的線性組合，它具有比單個(gè)神經(jīng)網(wǎng)絡(luò)更好的泛化能力。

3.2.1 問(wèn)題的提出：強(qiáng)學(xué)習(xí)器與弱學(xué)習(xí)器

在PAC學(xué)習(xí)模型中，存在強(qiáng)學(xué)習(xí)與弱學(xué)習(xí)之分，且兩者存在等價(jià)性問(wèn)題。若存在的一個(gè)多項(xiàng)式級(jí)學(xué)習(xí)算法在辨別一組概念的過(guò)程中，辨別正確率很高，那么它是強(qiáng)可學(xué)習(xí)的；如果學(xué)習(xí)算法辨別一組概念的正確率僅比隨機(jī)猜測(cè)略好，那么它是弱可學(xué)習(xí)的，并且弱、強(qiáng)學(xué)習(xí)算法之間存在等價(jià)性問(wèn)題，即可以將弱學(xué)習(xí)算法提升成強(qiáng)學(xué)習(xí)算法。等價(jià)性問(wèn)題是神經(jīng)網(wǎng)絡(luò)集成思想的出發(fā)點(diǎn)。1990年，Schapire針對(duì)此問(wèn)題給出了構(gòu)造性證明并提出集成方法和相應(yīng)的Boosting算法。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文第4篇

關(guān)鍵詞： 電力負(fù)荷；Elman網(wǎng)絡(luò)；BP網(wǎng)絡(luò)；預(yù)測(cè)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）16-3871-04

電力系統(tǒng)時(shí)序負(fù)荷的準(zhǔn)確預(yù)測(cè)是實(shí)現(xiàn)現(xiàn)代控制的前提之一，也是電力系統(tǒng)規(guī)劃和運(yùn)行研究的重要內(nèi)容。負(fù)荷預(yù)測(cè)是從已知的用電需求出發(fā)，考慮政治、經(jīng)濟(jì)、氣候等相關(guān)因素，對(duì)未來(lái)的用電需求作出的預(yù)測(cè)[1]。電力系統(tǒng)負(fù)荷預(yù)測(cè)也是電力生產(chǎn)部門的重要工作之一，通過(guò)準(zhǔn)確的負(fù)荷預(yù)測(cè)，可以經(jīng)濟(jì)合理地安排機(jī)組啟停，減少旋轉(zhuǎn)備用容量，合理安排檢修計(jì)劃，降低發(fā)電成本，提高經(jīng)濟(jì)效益。此外，它也是電力市場(chǎng)中電價(jià)制定的基礎(chǔ)。

負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)控制、運(yùn)行和計(jì)劃都有著重要意義。電力系統(tǒng)負(fù)荷變化一方面受許多不確定因素的影響，負(fù)荷變化會(huì)存在隨機(jī)波動(dòng)，另一方面又具有周期性，這也使得負(fù)荷預(yù)測(cè)曲線具有相似性。同時(shí)，由于受天氣、節(jié)假日等特殊情況的影響，又使負(fù)荷變化出現(xiàn)異常。由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性映射特性，它常用于負(fù)荷預(yù)測(cè)。

近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)越來(lái)越引起控制理論工作者的極大興趣。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)能夠?qū)W習(xí)，能夠總結(jié)歸納的系統(tǒng)，也就是說(shuō)它能夠通過(guò)已知數(shù)據(jù)的實(shí)驗(yàn)運(yùn)用來(lái)學(xué)習(xí)和歸納總結(jié)。人工神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)局部情況的對(duì)照比較（而這些比較是基于不同情況下的自動(dòng)學(xué)習(xí)和要實(shí)際解決問(wèn)題的復(fù)雜性所決定的），它能夠推理產(chǎn)生一個(gè)可以自動(dòng)識(shí)別的系統(tǒng)。與之不同的基于符號(hào)系統(tǒng)下的學(xué)習(xí)方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎(chǔ)上，也就是說(shuō)它們之所以能夠推理，基礎(chǔ)是需要有一個(gè)推理演算法則的集合。神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于它具有模擬多變量而不需要對(duì)輸入變量做復(fù)雜的相關(guān)假定的能力，具有良好的自適應(yīng)和自學(xué)習(xí)能力，能夠充分逼近復(fù)雜的非線性關(guān)系，但關(guān)鍵是要建立合理的數(shù)學(xué)模型。

本文利用Elman神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性和較強(qiáng)的非線性映射能力進(jìn)行負(fù)荷預(yù)測(cè)。采用自適應(yīng)學(xué)習(xí)速率動(dòng)量梯度下降反向傳播算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，可以克服傳統(tǒng)BP算法收斂速度慢和局部極小等缺陷。

1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與算法

1.1Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Elman網(wǎng)絡(luò)通常是一個(gè)兩層網(wǎng)絡(luò)，其隱含層神經(jīng)元到輸入層神經(jīng)元之間還存在一個(gè)反饋連接通道，這種反饋連接在神經(jīng)網(wǎng)絡(luò)術(shù)語(yǔ)中稱為回歸（recurrent）連接。這種回歸連接使得Elman網(wǎng)絡(luò)具有檢測(cè)和產(chǎn)生時(shí)變模式的能力。

2 數(shù)據(jù)的預(yù)處理

2.1數(shù)據(jù)的選取

有效地選取輸入變量是決定神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度的關(guān)鍵所在。電力系統(tǒng)負(fù)荷的波動(dòng)往往受各種突變因素的影響，而這些因素包含的信息往往具有很大的不確定性。出于篇幅考慮，對(duì)預(yù)報(bào)模型簡(jiǎn)單化，輸入變量的選取僅來(lái)自于某年歐洲競(jìng)賽中電力負(fù)荷的歷史數(shù)據(jù)。

2.2結(jié)構(gòu)分析

2.3輸入和輸出參數(shù)的標(biāo)準(zhǔn)化

3 仿真分析

神經(jīng)網(wǎng)絡(luò)中單個(gè)神經(jīng)元具有簡(jiǎn)單的能夠反映非線性本質(zhì)特征的能力，這些基本的單元經(jīng)過(guò)自組織復(fù)合，使神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。通過(guò)學(xué)習(xí)，從樣本中抽取并存儲(chǔ)其內(nèi)在規(guī)律，從而可以對(duì)序列的變化進(jìn)行預(yù)測(cè)。使用神經(jīng)網(wǎng)絡(luò)方法可以避免復(fù)雜的常規(guī)建模過(guò)程，而且神經(jīng)網(wǎng)絡(luò)模型有良好的自適應(yīng)和自學(xué)習(xí)能力、較強(qiáng)的抗干擾能力，易于給出工程上容易實(shí)現(xiàn)的算法。在進(jìn)行神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)時(shí)，首先是要確定輸入、輸出節(jié)點(diǎn)。

在訓(xùn)練和預(yù)測(cè)的過(guò)程中，在MATLAB語(yǔ)言環(huán)境下，使用其特有的神經(jīng)網(wǎng)絡(luò)工具箱，對(duì)改進(jìn)的BP算法建立負(fù)荷預(yù)測(cè)模型，實(shí)現(xiàn)短期負(fù)荷預(yù)測(cè)。對(duì)比兩種網(wǎng)絡(luò)預(yù)測(cè)圖像和數(shù)據(jù)，可以清楚地看出，Elman網(wǎng)絡(luò)的訓(xùn)練速度及預(yù)測(cè)精度都有較大的改善。比較圖4、圖5及預(yù)測(cè)技術(shù)指標(biāo)可以看到，訓(xùn)練Elman網(wǎng)絡(luò)時(shí)間短，平均預(yù)測(cè)精度高，最大預(yù)測(cè)精度也優(yōu)于BP網(wǎng)絡(luò)。

對(duì)于電力預(yù)測(cè)來(lái)說(shuō)，只考慮歷史數(shù)據(jù)是不夠的，還受許多隨機(jī)因素的影響，由于工作日和節(jié)假日的負(fù)荷不同，還要考慮時(shí)間特征值[8]。為避免預(yù)測(cè)時(shí)出現(xiàn)較大的誤差，可以通過(guò)適當(dāng)增加樣本容量。

4 結(jié)論

到目前為止，電力系統(tǒng)的負(fù)荷預(yù)測(cè)一直都是一個(gè)難點(diǎn)，這主要是因?yàn)殡娏ο到y(tǒng)結(jié)構(gòu)越來(lái)越復(fù)雜。該文采用Elman網(wǎng)絡(luò)建立短期負(fù)荷的預(yù)測(cè)模型，克服了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的一些缺陷。通過(guò)仿真計(jì)算，證明了Elman神經(jīng)網(wǎng)絡(luò)具有動(dòng)態(tài)特性好、網(wǎng)絡(luò)訓(xùn)練速度快、精度高等特點(diǎn)，同時(shí)表明該方法是可行且有效的，并且在電網(wǎng)電力負(fù)荷預(yù)測(cè)領(lǐng)域具有廣闊的應(yīng)用前景。

參考文獻(xiàn)：

[1] 汪峰，于爾鏗，周京陽(yáng).能量管理系統(tǒng)（EMS） [J]. 電力系統(tǒng)自動(dòng)化，1997，21（4）：66-69.

[2] 芮執(zhí)元，任麗娜，馮瑞成.基于Elman神經(jīng)網(wǎng)絡(luò)的甘肅電網(wǎng)負(fù)荷預(yù)測(cè)模型[J].現(xiàn)代電力，2007，24（2）：26-29.

[3] 夏昌浩，向?qū)W軍，何勝雄. 基于MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的電力系統(tǒng)負(fù)荷預(yù)報(bào)[J]. 武漢水利電力大學(xué)學(xué)報(bào)，2000，22（4）：303-307.

[4] 孫洪波，秦翼鴻，徐國(guó)禹. 用于短期電力負(fù)荷預(yù)報(bào)的人工神經(jīng)網(wǎng)絡(luò)方法[J]. 重慶大學(xué)學(xué)報(bào)，1995（7）：42-47.

[5] 陳玉彬.礦井雙風(fēng)機(jī)自動(dòng)的簡(jiǎn)易實(shí)現(xiàn)[J].礦山機(jī)械， 2009（18）：84.

[6] 王關(guān)平. 基于人工神經(jīng)網(wǎng)絡(luò)的無(wú)刷直流電動(dòng)機(jī)控制研究[D]. 蘭州理工大學(xué)，2007.

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文第5篇

作者已經(jīng)采用BP網(wǎng)絡(luò)建立了機(jī)器人視覺(jué)系統(tǒng)的映射模型，并作了初步的研究和實(shí)驗(yàn)。結(jié)果發(fā)現(xiàn)，采用神經(jīng)網(wǎng)絡(luò)建立機(jī)器人視覺(jué)映射模型是一種有效的建模方法。但采用BP網(wǎng)絡(luò)建立模型存在網(wǎng)絡(luò)規(guī)模大、訓(xùn)練時(shí)間長(zhǎng)、容易陷入局部最小解、定位精度較低等缺點(diǎn)。本文采用CMAC神經(jīng)網(wǎng)絡(luò)建立了機(jī)器人視覺(jué)系統(tǒng)的映射模型，取得了十分令人滿意的效果。

1 CMAC神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

小腦模型關(guān)節(jié)控制器神經(jīng)網(wǎng)絡(luò)(Cerebellar Model Articulation Controller Neural Network，即CMAC神經(jīng)網(wǎng)絡(luò))是Albus根據(jù)小腦的生物模型提出的一種人工神經(jīng)網(wǎng)絡(luò)。它學(xué)習(xí)速度快，具有局域泛化能力，能夠克服BP網(wǎng)絡(luò)容易陷入局部最小點(diǎn)的問(wèn)題，且硬件易于實(shí)現(xiàn)。目前，CMAC神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于機(jī)器人控制、非線性函數(shù)映射、模式識(shí)別以及自適應(yīng)控制等領(lǐng)域。

1.1 CMAC的基本結(jié)構(gòu)和原理

CMAC神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)原理圖如圖1所示。它本質(zhì)上可看作是一種用于表示復(fù)雜非線性函數(shù)的查表結(jié)構(gòu)。

圖1中，S為n維輸入矢量空間；A為聯(lián)想記憶空間；Y是輸出響應(yīng)矢量。輸入空間S中的每一矢量S(…，Si，…，Sj，…)被量化后送人存鍺區(qū)A，每個(gè)輸入變量Si激活存儲(chǔ)區(qū)A中C個(gè)連續(xù)存儲(chǔ)單元。網(wǎng)絡(luò)輸出yi為這C個(gè)對(duì)應(yīng)單元中值(即權(quán)wi)的累加結(jié)果，對(duì)某一輸入樣本，總可通過(guò)調(diào)整權(quán)值達(dá)到期望輸出值。由圖1可以看出，每一輸入樣本對(duì)應(yīng)于存儲(chǔ)區(qū)A中的C個(gè)單元，當(dāng)各樣本分散存儲(chǔ)在A中時(shí)，在S中比較靠近的那些樣本就會(huì)在A中出現(xiàn)交疊現(xiàn)象，其輸出值也比較相近，即這C個(gè)單元遵循"輸入相鄰，輸出相近"的原則，這種現(xiàn)象被稱為CMAC神經(jīng)網(wǎng)絡(luò)的局部泛化特性，C為泛化參數(shù)：C越大，對(duì)樣本的映射關(guān)系影響越大，泛化能力越好。

CMAC網(wǎng)絡(luò)的學(xué)習(xí)采用誤差糾正算法，計(jì)算量少斂速度快。其權(quán)值修正公式及輸出可表示如下：

式中，η為學(xué)習(xí)步長(zhǎng)，yd為期望輸出，mi為輸入變量S激活存儲(chǔ)單元的首地址。修正方法可以采用每個(gè)樣本修正一次的增量學(xué)習(xí)方法，也可以采用所有樣本都輸入一輪后再修正的批量學(xué)習(xí)方法。

1.2 多維CMAC網(wǎng)絡(luò)的計(jì)算方法

由上述CMAC模型的算法可知，應(yīng)用傳統(tǒng)的多維CMAC概念映射算法會(huì)因輸入維數(shù)的增大而使存儲(chǔ)空間劇烈增大，從而使網(wǎng)絡(luò)計(jì)算量增大，收斂速度變慢。這里采用一種新的多維CMAC網(wǎng)絡(luò)的處理方法--疊加處理法。即把輸入空間為n維的多維CMAC網(wǎng)絡(luò)看作是由n個(gè)一維CMAC網(wǎng)絡(luò)疊加而成，其輸出為n個(gè)一維子網(wǎng)絡(luò)的輸出的疊加。\par

當(dāng)輸入空間的維數(shù)n=1時(shí)，對(duì)于每一個(gè)輸入變量，都激活C個(gè)連續(xù)存儲(chǔ)單元，即有C個(gè)對(duì)應(yīng)單元的權(quán)值輸出非零。它的激勵(lì)情況如表l所示。

表1 激活單元地址分布

sia1a2a3a4a5a6a7a8a9a1001111000000101111000002001111000030001111000400001111005000001111060000001111經(jīng)歸納，輸入變量Si激活存儲(chǔ)單元的首地址mi的計(jì)算方法如下：

mi=Si(C-Δ)+1    (4)

其中，Si為輸入量的量化值；C為泛化參數(shù)；為相鄰輸入激活存儲(chǔ)單元的重疊單元數(shù)大小。若輸入矢量有q個(gè)量化級(jí)，則存儲(chǔ)區(qū)A需要q(C-)+C個(gè)存儲(chǔ)單元。．

當(dāng)輸入空間的維數(shù)n>1時(shí)；設(shè)輸入空間為n維矢量Si=(Si1，Si2，…，Sin)，對(duì)于每個(gè)分量Sij，都可以看作圖1所示結(jié)構(gòu)模型的一維輸入量。由式(3)可得其對(duì)應(yīng)的輸出為：

其中，mj為Sij所激活存儲(chǔ)單元的首地址。整個(gè)CMAC網(wǎng)絡(luò)可看作由n個(gè)如圖1所示的子網(wǎng)絡(luò)組成，S對(duì)應(yīng)的輸出yi可看作n個(gè)子網(wǎng)絡(luò)輸出yij（j=1，2，…，n）的疊加。

若每個(gè)輸入分量有q個(gè)量化級(jí)，每個(gè)子網(wǎng)絡(luò)中兩相鄰樣本有個(gè)單元重疊，采用上述疊加方法共需存儲(chǔ)單元n×[q(C－)+C]。而對(duì)于傳統(tǒng)的多維概念映射算法來(lái)說(shuō)，n維輸入空間中可能的輸入狀態(tài)為qn個(gè)。對(duì)于一些實(shí)際系統(tǒng)，qn往往遠(yuǎn)遠(yuǎn)大于n×[q（C－）+C]。例如8維輸入，量化級(jí)為200個(gè)等級(jí)，泛化參數(shù)C取為40，相鄰輸入激活存儲(chǔ)單元的重疊單元數(shù)大小為35，則用疊加處理法需要11200個(gè)存儲(chǔ)單元，而用傳統(tǒng)的概念映射算法需要2008個(gè)存儲(chǔ)單元。對(duì)于傳統(tǒng)的概念映射算法所帶來(lái)的要求存儲(chǔ)空間過(guò)大的問(wèn)題，最常用的方法是把A當(dāng)作一個(gè)虛擬存儲(chǔ)區(qū)，通過(guò)散射編碼映射到一個(gè)小得多的物理空間單元Ap中，從而減少存儲(chǔ)空間。但是這種地址壓縮技術(shù)隨機(jī)性很強(qiáng)，會(huì)帶來(lái)沖撞問(wèn)題且不可避免。然而，對(duì)多維CMAC網(wǎng)絡(luò)采用疊加處理法，不但可以大大減少占用的存儲(chǔ)單元數(shù)，而且還可以避免地址壓縮帶來(lái)的沖撞現(xiàn)象，大大提高網(wǎng)絡(luò)的映度和學(xué)習(xí)速度。

圖2

2 實(shí)驗(yàn)及仿真結(jié)果

實(shí)驗(yàn)是在山東大學(xué)現(xiàn)代物流實(shí)驗(yàn)中心進(jìn)行的。該機(jī)器人手眼系統(tǒng)由用于抓取物體的SK6機(jī)械手和用于視覺(jué)定位的Panasonic WV-CP410／G彩色攝像頭組成。攝像頭采集的圖像是二維的，而機(jī)械手運(yùn)動(dòng)到某一位置需要六自由度坐標(biāo)。因此必須把二維圖像坐標(biāo)轉(zhuǎn)換成機(jī)器人運(yùn)動(dòng)空間的六維坐標(biāo)，才能控制機(jī)器人運(yùn)動(dòng)到指定的空間位置，這就是機(jī)器人手眼系統(tǒng)位置控制問(wèn)題。本文采用CMAC神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了這一坐標(biāo)變換，并對(duì)其結(jié)果與BP網(wǎng)絡(luò)進(jìn)行了比較。