前言：想要寫(xiě)出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)的正則化方法范文，相信會(huì)為您的寫(xiě)作帶來(lái)幫助，發(fā)現(xiàn)更多的寫(xiě)作思路和靈感。

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第1篇

關(guān)鍵詞：BP網(wǎng)絡(luò) 結(jié)構(gòu)損傷檢測(cè) 損傷信號(hào)指標(biāo)1 引言

基于BP網(wǎng)絡(luò)的高層框架結(jié)構(gòu)損傷檢測(cè)是近年來(lái)的一個(gè)熱門(mén)研究課題，它是隨著科技的進(jìn)步、經(jīng)濟(jì)的發(fā)展和人們認(rèn)識(shí)的提高而發(fā)展起來(lái)的。傳統(tǒng)的建筑結(jié)構(gòu)可靠性是通過(guò)結(jié)構(gòu)設(shè)計(jì)來(lái)保障的，但實(shí)際上，結(jié)構(gòu)設(shè)計(jì)很難完全保障建筑結(jié)構(gòu)在使用階段的可靠性。這是因?yàn)樵谑褂秒A段建筑結(jié)構(gòu)除承受設(shè)計(jì)荷載的作用外，隨著使用時(shí)間的增加，不可避免地發(fā)生老化或者受到各種突發(fā)性的外界因素（如爆炸、地震、撞擊、火災(zāi)等）的影響而引起結(jié)構(gòu)的損傷，這些損傷隨時(shí)間積累，達(dá)到一定程度就會(huì)影響結(jié)構(gòu)的安全性、適用性和耐久性，甚至發(fā)生突發(fā)性的失效，嚴(yán)重威脅著人類(lèi)的生命財(cái)產(chǎn)安全。例如，1994年美國(guó)的加州大地震，1995年的日本神戶(hù)大地震和1999年的臺(tái)灣大地震都使無(wú)數(shù)的房屋損壞和倒塌，造成人民生命財(cái)產(chǎn)的巨大損失。建筑結(jié)構(gòu)損傷的及時(shí)檢測(cè)和修復(fù)對(duì)于減少人民的生命財(cái)產(chǎn)損失具有極其重要的作用。同時(shí)，盡早發(fā)現(xiàn)結(jié)構(gòu)損傷，可以從很大程度上降低維護(hù)維修費(fèi)用。因此，應(yīng)建立合理的檢測(cè)系統(tǒng)以便及時(shí)探測(cè)到建筑結(jié)構(gòu)損傷出現(xiàn)的位置和程度，及時(shí)采取有效措施消除隱患，確保人民的生命財(cái)產(chǎn)安全。

人工神經(jīng)網(wǎng)絡(luò)廣泛涉及土木工程的各個(gè)領(lǐng)域，在結(jié)構(gòu)損傷檢測(cè)中發(fā)揮著巨大作用。但神經(jīng)網(wǎng)絡(luò)應(yīng)用在不同結(jié)構(gòu)的理論還不成熟，因此為了將神經(jīng)網(wǎng)絡(luò)更好地應(yīng)用于結(jié)構(gòu)損傷檢測(cè)中，本文把振動(dòng)分析方法與人工神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，解決高層對(duì)稱(chēng)框架結(jié)構(gòu)的損傷檢測(cè)問(wèn)題。

2 基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測(cè)法

在對(duì)高層建筑這樣復(fù)雜的大型結(jié)構(gòu)體系進(jìn)行損傷檢測(cè)時(shí)，如果僅僅作為一個(gè)力學(xué)反問(wèn)題來(lái)考慮，將導(dǎo)致條件的復(fù)雜性和解的不唯一性。行之有效的方法是盡量避免直接解力學(xué)反問(wèn)題，基于此本文提出了基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測(cè)法，即損傷的發(fā)生、類(lèi)型、位置和程度分開(kāi)檢測(cè)。

第一步：損傷的發(fā)生

在這一步，神經(jīng)網(wǎng)絡(luò)就像一個(gè)報(bào)警系統(tǒng)而不是損傷的檢測(cè)系統(tǒng)。當(dāng)結(jié)構(gòu)發(fā)生損傷時(shí)，神經(jīng)網(wǎng)絡(luò)就會(huì)發(fā)出警報(bào)。而且不需要結(jié)構(gòu)的模態(tài)信息就可以構(gòu)建、訓(xùn)練和測(cè)試神經(jīng)網(wǎng)絡(luò)。

在目前的研究中，通過(guò)測(cè)量系統(tǒng)獲得的未損結(jié)構(gòu)的模態(tài)參數(shù)，即未損結(jié)構(gòu)的前N階固有頻率 作為輸入輸出向量來(lái)訓(xùn)練網(wǎng)絡(luò)，而不需要其它的結(jié)構(gòu)模態(tài)。但是，未損結(jié)構(gòu)的固有頻率需要多次測(cè)量，而且全部用于網(wǎng)絡(luò)的訓(xùn)練，這些數(shù)據(jù)可以通過(guò)結(jié)構(gòu)的長(zhǎng)期在線(xiàn)監(jiān)測(cè)系統(tǒng)獲得。

第二步：損傷類(lèi)型

建筑結(jié)構(gòu)損傷檢測(cè)有多種類(lèi)型，如構(gòu)件寬度變小、構(gòu)件高度變小和構(gòu)件材料的彈性模量變小。前兩種類(lèi)型可以看作是構(gòu)件有效工作面積的減小，這三種類(lèi)型都可以看作是構(gòu)件剛度變小。在該階段神經(jīng)網(wǎng)絡(luò)被用作分類(lèi)器，獲得的基于模態(tài)的損傷結(jié)構(gòu)模態(tài)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

第三步：損傷位置

對(duì)于一些損傷的位置分布，需要建立一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)精確地確定損傷的具置。在這個(gè)網(wǎng)絡(luò)中，第 個(gè)節(jié)點(diǎn)的輸出值為1或0，它表示該節(jié)點(diǎn)是否發(fā)生損傷。由于僅僅使用固有頻率無(wú)法檢測(cè)對(duì)稱(chēng)位置發(fā)生的同程度損傷，就選擇由損傷信號(hào)指標(biāo)和其它一些參數(shù)所組成的組合損傷向量。這個(gè)輸入向量需要滿(mǎn)足兩個(gè)條件：（a）輸入向量的多數(shù)參數(shù)與損傷程度無(wú)關(guān)，只與損傷位置有關(guān)；（b）輸入向量的模態(tài)參數(shù)都能夠從固有頻率和第一階模態(tài)的少數(shù)幾個(gè)模態(tài)矢量值算出。因?yàn)樵谶@一步的目標(biāo)是確定損傷的位置，所以訓(xùn)練時(shí)只需要在所有可能的損傷位置的一種損傷程度的損傷樣本，這樣就大大地減少了訓(xùn)練樣本的數(shù)量。

第四步：損傷程度

一般的基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷檢測(cè)方法，損傷位置和損傷程度通過(guò)一步損傷檢測(cè)法就可以同時(shí)檢測(cè)出來(lái)。但是當(dāng)存在大量的可能損傷位置時(shí)，一步損傷檢測(cè)法需要太多的損傷樣本，因?yàn)榫W(wǎng)絡(luò)在損傷程度的檢測(cè)時(shí)需要在不同的損傷水平下對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本文提出的結(jié)構(gòu)損傷四步檢測(cè)法就成功解決了這一問(wèn)題，整個(gè)過(guò)程使用同樣的神經(jīng)網(wǎng)絡(luò)模型。在上一步已經(jīng)檢測(cè)出損傷的位置，我們只需要在這些損傷的位置上增加一些不同程度的損傷樣本，重新學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)即可。

3 神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的選擇

研究表明神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的選擇及其表達(dá)形式會(huì)直接影響結(jié)構(gòu)損傷檢測(cè)的結(jié)果。下面分別介紹三種輸入?yún)?shù)：僅與損傷位置有關(guān)的輸入?yún)?shù)，僅與損傷程度有關(guān)的輸入?yún)?shù)及與損傷位置和程度都有關(guān)的輸入?yún)?shù)。

3.1 僅與損傷位置有關(guān)的輸入?yún)?shù)

在已有的結(jié)構(gòu)損傷檢測(cè)方法中，首先要用神經(jīng)網(wǎng)絡(luò)檢測(cè)損傷的位置，然后再檢測(cè)損傷的程度。因此必須合理地選擇一個(gè)僅與損傷位置有關(guān)的網(wǎng)絡(luò)輸入?yún)?shù)。

Cawley和Adams [1]證明了兩階頻率的變化率僅僅與損傷位置有關(guān)而與損傷程度無(wú)關(guān)。Minski [2]證明了正則化的頻率變化率也是一個(gè)只與損傷位置有關(guān)的輸入?yún)?shù)。其中頻率的變化率 可以表示為：

正則化的頻率變化率 可以表示為：

上面方程中： 和 分別為第i階固有頻率變化比和第i階正則化的頻率變化率，m為實(shí)測(cè)固有頻率的階數(shù)，fui和fdi分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的模態(tài)頻率。

Lam [3]等人提出了一個(gè)損傷信號(hào)指標(biāo)并且證明了這種指標(biāo)只與損傷位置有關(guān)而與損傷程度無(wú)關(guān)。這種損傷信號(hào)指標(biāo)被定義為模態(tài)振型的變化率與固有頻率的變化比，用公式表示為：

而正則化的損傷信號(hào)指標(biāo)可表示為：

上面方程中：fui和fdi的意義同公式（2）；{Φui}和{Φdi}分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的第i階模態(tài)矢量值；DSIi（k）和NDSIi（k）分別為第i階模態(tài)的損傷信號(hào)指標(biāo)和第i階模態(tài)的正則化的損傷信號(hào)指標(biāo)， n為實(shí)測(cè)模態(tài)的階數(shù)；為了方便，一般取n=1、k為實(shí)測(cè)模態(tài)矢量的位置。

上面涉及的模態(tài)的選擇取決于兩個(gè)因素：模態(tài)數(shù)據(jù)測(cè)量的準(zhǔn)確性和該模態(tài)對(duì)于損傷的敏感性。某一模態(tài)對(duì)于損傷的敏感性事先并不知道。但是通常認(rèn)為一階模態(tài)所測(cè)量的固有頻率最準(zhǔn)確。所以采用一階模態(tài)所對(duì)應(yīng)的模態(tài)矢量值。然而，如果一階固有頻率的變化太小，就要選擇其它振型的模態(tài)矢量值。因?yàn)橐浑A固有頻率的變化太小，將出現(xiàn)一個(gè)很小的分母，而導(dǎo)致計(jì)算的損傷信號(hào)指標(biāo)不收斂。在計(jì)算固有頻率變化之前，必須保證這兩套方法所測(cè)量的模態(tài)矢量值具有同樣的標(biāo)準(zhǔn)化形式。當(dāng)然，計(jì)算神經(jīng)網(wǎng)絡(luò)的輸入向量，不需要完整的模態(tài)數(shù)據(jù)，只需要選擇幾個(gè)點(diǎn)的模態(tài)分量就足夠了，這樣就克服了僅僅用頻率的缺陷。

3.2 僅與損傷程度有關(guān)的輸入?yún)?shù)

姜紹飛[4]給出了僅與損傷程度有關(guān)的輸入?yún)?shù)：

上式中NFSRi為第i階固有頻率平方的變化比，fui和fdi分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的模態(tài)頻率。

3.3 與損傷位置和程度都有關(guān)的輸入?yún)?shù)

頻率的變化率FFCi是與損傷位置和損傷程度都有關(guān)的參數(shù)。

4 神經(jīng)網(wǎng)絡(luò)輸入向量的選擇

基于以上輸入?yún)?shù)的分析，神經(jīng)網(wǎng)絡(luò)的輸入向量可以設(shè)計(jì)成組合損傷向量。損傷位置和損傷程度可以用不同的網(wǎng)絡(luò)結(jié)構(gòu)分別檢測(cè)?？紤]到本文主要解決的是對(duì)稱(chēng)結(jié)構(gòu)損傷檢測(cè)問(wèn)題，所以在輸入向量中一定要包含能夠檢測(cè)對(duì)稱(chēng)位置損傷的損傷信號(hào)指標(biāo)。因此，我們可以把損傷信號(hào)指標(biāo)分別與僅與損傷位置有關(guān)、僅與損傷程度有關(guān)及與損傷位置和程度均有關(guān)的輸入?yún)?shù)相組合，形成新的能夠檢測(cè)對(duì)稱(chēng)損傷的組合損傷向量。本文給出以下幾種常用的組合損傷向量。

4.1 檢測(cè)損傷位置的組合損傷向量

上述組合損傷向量具有以下性質(zhì)：（a）該輸入向量的參數(shù)只與損傷的位置有關(guān)，而與損傷程度無(wú)關(guān)；（b）這些輸入?yún)?shù)可以通過(guò)少數(shù)幾個(gè)模態(tài)矢量值，即使是只能獲得第一階的模態(tài)矢量值，也是可以的。如果m （n≤m）階固有頻率和n階模態(tài)矢量值在K個(gè)測(cè)量的自由度 （K=1，2，…，k）可以通過(guò)試驗(yàn)獲得的話(huà)，那么網(wǎng)絡(luò)的輸入節(jié)點(diǎn)的數(shù)目為（m +nK），網(wǎng)絡(luò)的輸出向量為：

這里， q為所有可能發(fā)生的損傷數(shù)目；Li∈[0，1]，如果Li為零則表示在i點(diǎn)沒(méi)有損傷，否則，就表示在i點(diǎn)有損傷發(fā)生。

4.2 檢測(cè)損傷程度的組合損傷向量

上述組合損傷向量是把損傷信號(hào)指標(biāo)和僅與損傷程度有關(guān)的輸入?yún)?shù)組合得到的。網(wǎng)絡(luò)的輸入節(jié)點(diǎn)的數(shù)目為（2m +nK）。網(wǎng)絡(luò)的輸出向量為：

發(fā)生在i點(diǎn)的損傷的程度。

4.3檢測(cè)損傷位置和程度的組合損傷向量

上述組合損傷向量是把損傷信號(hào)指標(biāo)和與損傷位置和損傷程度均有關(guān)的輸入?yún)?shù)組合得到的。對(duì)該組合損傷向量來(lái)說(shuō)，網(wǎng)絡(luò)的輸入節(jié)點(diǎn)的數(shù)目為（2m +nK）。網(wǎng)絡(luò)的輸出向量為：

這里， 發(fā)生在i點(diǎn)的損傷的程度。

若損傷位置和損傷程度都采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，輸入向量采用（10）式，而輸出向量采用下面的公式：

這里， 的意義與公式（7）相同，而E則表示在損傷位置的損傷程度。但是這樣求得的損傷程度只是一個(gè)粗略的估計(jì)，要想知道更準(zhǔn)確的損傷程度，就要重新學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)。

5 結(jié)束語(yǔ)

本文提出了框架結(jié)構(gòu)損傷檢測(cè)的新方法―基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測(cè)法。

由于本文只是針對(duì)對(duì)稱(chēng)框架做了部分工作，對(duì)于剪力墻、板等構(gòu)件可以等效為若干桿件組成的桿件模型進(jìn)行損傷檢測(cè)，但是其效果如何還有待于試驗(yàn)驗(yàn)證。同時(shí)也有必要加強(qiáng)輸入?yún)?shù)的研究并積極尋求精度和敏感性更好的新的神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)。

參考文獻(xiàn)

[1] P. Cawley and R.D. Adams， The location of deficits in structures from measurements of natural frequencies， Journal of Strain Analysis 14 （1979） 49-57.

[2] P.C. Kaminski， The approximate location of damage through the analysis of natural frequencies with artificial neural networks， Journal of Process Mechanical Engineering 209 （1995） 117-123.

[3] H.F. Lam， J.M. Ko and C.W. Wong， Localization of damaged structural connections based on experiental modal and sensitivity analysis， Journal of Sound and Vibration 210 （1998） 91-115.

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第2篇

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類(lèi)號(hào)：TP393

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡(jiǎn)稱(chēng)前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實(shí)基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進(jìn)而構(gòu)成了復(fù)雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹(shù)突、軸突和細(xì)胞體組成。一個(gè)神經(jīng)元有一個(gè)細(xì)胞體和軸突，但是卻有很多樹(shù)突。樹(shù)突是神經(jīng)元的輸入端，用于接受信息，并向細(xì)胞體財(cái)團(tuán)對(duì)信息。而細(xì)胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘?hào)進(jìn)行處理。軸突相當(dāng)于信息輸出端口，負(fù)責(zé)向下一個(gè)神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復(fù)雜問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識(shí)，并存儲(chǔ)信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號(hào)進(jìn)行非線(xiàn)性轉(zhuǎn)換之后，將信號(hào)傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見(jiàn)的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機(jī)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，能夠根據(jù)樣本信息進(jìn)行非現(xiàn)象映射，解回歸問(wèn)題的高度非現(xiàn)象問(wèn)題。并且，支撐向量機(jī)在解決非線(xiàn)性、局部極小點(diǎn)方問(wèn)題上有很大的優(yōu)勢(shì)。LS-SVM也叫最小二乘支撐向量機(jī)，是支撐向量機(jī)的一種，遵循支撐向量機(jī)算法的結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，能夠?qū)⒅蜗蛄繖C(jī)算法中的不等式約束改為等式約束，進(jìn)而將二次問(wèn)題轉(zhuǎn)換為線(xiàn)性方程問(wèn)題，大大降低了計(jì)算的復(fù)雜性。并且，LS-SVM在運(yùn)算速度上遠(yuǎn)遠(yuǎn)高于支持向量機(jī)。但是，LS-SVM也存在一定的缺點(diǎn)，在計(jì)算的過(guò)程中，LS-SVM的忽視了全局最優(yōu)，只能實(shí)現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴(yán)重的樣本時(shí)，會(huì)將所有的干擾信息都擬合到模型系統(tǒng)中，導(dǎo)致模型的魯棒性降低。另外，LS-SVM的在線(xiàn)建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進(jìn)。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢(shì)，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)生活中的應(yīng)用，而且對(duì)人們生活的自動(dòng)化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對(duì)LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運(yùn)用信息技術(shù)深化最小二乘支撐向量機(jī)研究，不斷提高LS-SVM回歸模型的魯棒性，改進(jìn)LS-SVM的特征提取方法和在線(xiàn)建模算法，完善計(jì)算機(jī)學(xué)習(xí)方法，提升計(jì)算機(jī)的運(yùn)算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運(yùn)用IS-SVM方法，建立評(píng)估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點(diǎn)：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓(xùn)練適合SVM，樣本大情況的訓(xùn)練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻(xiàn)使用SVM和PCA建立跨層的評(píng)估QOE，實(shí)驗(yàn)結(jié)果表明主觀MOS評(píng)分和此評(píng)價(jià)結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進(jìn)一步拔高，LS-SVM，比SVM運(yùn)行快，精確度高。srcl3_hrcl_525.yuv實(shí)驗(yàn)素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時(shí)域復(fù)雜度的模型如下，視頻的時(shí)域復(fù)雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過(guò)大量的實(shí)驗(yàn)和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實(shí)驗(yàn)的具體情況確定的。計(jì)算σ的值如下所示：當(dāng)量化參數(shù)為31時(shí)，σ=19998720.1，當(dāng)量化參數(shù)為10時(shí)，σ=6451200.03，當(dāng)量化參數(shù)為5時(shí)，σ=3225600.02，當(dāng)量化參數(shù)為62時(shí)，σ=39997440.2，當(dāng)量化參數(shù)為100時(shí)，σ=64512000.3，當(dāng)量化參數(shù)為200時(shí)，σ=129024001，當(dāng)量化參數(shù)為255時(shí)，σ=164505601。

對(duì)于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無(wú)參評(píng)估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時(shí)域復(fù)雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個(gè)gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類(lèi)型，一種是elassfieation用于分類(lèi)的，一種是function estimation用于函數(shù)回歸的。

4.機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)中有神經(jīng)網(wǎng)絡(luò)。機(jī)器學(xué)習(xí)是人工智能研究的核心問(wèn)題之一，也是當(dāng)前人工智能研究的一個(gè)熱門(mén)方向。

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第3篇

【關(guān)鍵詞】股指期貨；股指期貨預(yù)測(cè)；人工神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)

k提出了支持向量機(jī)（Support Vector Machine簡(jiǎn)稱(chēng)SVM）的概念。它以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，是一種建立在VC維和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上的一種新的機(jī)器學(xué)習(xí)方法。以其完善的理論基礎(chǔ)、學(xué)習(xí)性能和預(yù)測(cè)性能得到了廣泛的關(guān)注和應(yīng)用。

1.支持向量機(jī)介紹

支持向量機(jī)（SVM）是近幾年來(lái)一種新的學(xué)習(xí)方法，與一般神經(jīng)網(wǎng)絡(luò)相比，支持向量機(jī)算法將轉(zhuǎn)化為一個(gè)二次型尋優(yōu)問(wèn)題，從理論上講得到的是全局最優(yōu)點(diǎn)，可以解決在神經(jīng)網(wǎng)絡(luò)中無(wú)法避免的局部極小值所出現(xiàn)的問(wèn)題。支持向量機(jī)的拓?fù)浣Y(jié)構(gòu)由支持向量決定，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)需要經(jīng)驗(yàn)試湊的方法，而且SVM的最優(yōu)求解基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化思想，因此具有比其他非線(xiàn)性函數(shù)逼近方法具有更強(qiáng)的泛化能力。

2.原理分析

給定一個(gè)數(shù)據(jù)集作為訓(xùn)練樣本，其中是輸入變量，是期望值，是數(shù)據(jù)點(diǎn)的總數(shù)。通過(guò)訓(xùn)練學(xué)習(xí)尋求一模式使得樣本集不但滿(mǎn)足，而且對(duì)于樣本以外的通過(guò)能找出對(duì)應(yīng)的。估計(jì)函數(shù)為式中：是從輸入空間到高維特征空間的非線(xiàn)性映射，為偏置量。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理函數(shù)估計(jì)問(wèn)題就是尋找使下面風(fēng)險(xiǎn)函數(shù)最小：

=

式中：反映了回歸函數(shù)的泛化能力，是正則化部分；為懲罰因子；是經(jīng)驗(yàn)風(fēng)險(xiǎn)（即樣本損失函數(shù)的累積）。

常用的樣本損失函數(shù)有二次函數(shù)、Huber函數(shù)、Laplace函數(shù)和不敏感函數(shù)等，由于不敏感函數(shù)能夠忽略范圍內(nèi)的回歸誤差所以樣本損失常由不敏感函數(shù)來(lái)度量引進(jìn)不靈敏損失函數(shù)，可得到回歸支持向量機(jī)模型：

常用的核函數(shù)是徑向基函

式中為核參數(shù)。

3.影響期貨合約價(jià)格因素的分析

在考慮對(duì)支持向量機(jī)模型進(jìn)行訓(xùn)練之前，首先要考慮輸入因素和輸出因素的選取。對(duì)于影響股指期貨合約價(jià)格的變動(dòng)，從宏觀經(jīng)濟(jì)條件方面考慮，主要受以下幾個(gè)因素的影響：宏觀經(jīng)濟(jì)運(yùn)行狀況、宏觀經(jīng)濟(jì)政策變化、與標(biāo)的指數(shù)成份股相關(guān)的各種信息、國(guó)際金融市場(chǎng)走勢(shì)、股指期貨合約到期日、投資者心理的變化等。如果從數(shù)據(jù)指標(biāo)方面來(lái)看，主要是滬深300股指期貨合約的每日基本數(shù)據(jù)信息，包括：（1）最高價(jià)數(shù)據(jù)；（2）最低價(jià)數(shù)據(jù)；（3）開(kāi)盤(pán)價(jià)數(shù)據(jù)；（4）收盤(pán)價(jià)數(shù)據(jù)；（5）總持倉(cāng)量數(shù)據(jù)；（6）期貨合約成交金額總量；（7）平均價(jià)格。本文希望得到的是用訓(xùn)練模型預(yù)測(cè)期貨合約第二天的收盤(pán)價(jià)。在支持向量機(jī)訓(xùn)練學(xué)習(xí)中，如果訓(xùn)練樣本容量過(guò)小，將不利于預(yù)測(cè)精度的控制，就很有可能造成泛化性較差的狀況出現(xiàn)。因而本文采用模擬仿真交易歷史數(shù)據(jù)中一年的滬深3OO股指期貨第一季月IFSC3合約相關(guān)數(shù)據(jù)，數(shù)據(jù)區(qū)間為2008年12月11日至2009年12月18日，共238個(gè)交易數(shù)據(jù)。

4.數(shù)據(jù)的預(yù)處理與誤差分析

由于獲取的樣本數(shù)據(jù)的單位不同，如成交金額的單位是萬(wàn)元，開(kāi)盤(pán)價(jià)的單位是點(diǎn)，持倉(cāng)總數(shù)的單位是手，這三者的數(shù)據(jù)屬性都是不同的，為了將從滬深3OO指數(shù)期貨市場(chǎng)獲得的數(shù)據(jù)轉(zhuǎn)化為讓模型接受的輸入形式，本文對(duì)選取的數(shù)據(jù)進(jìn)行預(yù)處理，采用對(duì)同類(lèi)別組的數(shù)據(jù)歸一化的方法，其過(guò)程是用同組類(lèi)別的每一個(gè)值分別減去該組中的最小值，再除以該組最大值與最小值之差，使之歸一化。例如設(shè)同組數(shù)據(jù)為。

則歸一化函數(shù)為：

其中：

5.結(jié)論分析

通過(guò)不斷訓(xùn)練，最后我們得到了高精度的支持向量機(jī)模型。最后我們對(duì)以上思路進(jìn)行Matlab編程，利用Matlab7.0軟件對(duì)樣本數(shù)據(jù)進(jìn)行實(shí)證研究。將訓(xùn)練樣本數(shù)據(jù)的6個(gè)變量輸入到我們訓(xùn)練好的模型中，會(huì)得到一個(gè)預(yù)測(cè)值，將第二天的期貨收盤(pán)價(jià)格預(yù)測(cè)值對(duì)比真實(shí)的第二天的期貨結(jié)算價(jià)格，可以觀察其問(wèn)的誤差大小。其結(jié)果如圖3所示。

通過(guò)訓(xùn)練得到支持向量機(jī)的預(yù)測(cè)模型，對(duì)通過(guò)2009年11月19日的開(kāi)盤(pán)價(jià)，最高價(jià)，最低價(jià)，平均價(jià)，成交量，持倉(cāng)量，收盤(pán)價(jià)對(duì)11月20日的收盤(pán)價(jià)進(jìn)行預(yù)測(cè)，通過(guò)分析得到3969.6，而真實(shí)值為3999，相對(duì)誤差僅僅為0.74%。

參考文獻(xiàn)

[1]胡瑩.基于支持向量機(jī)的證券投資風(fēng)險(xiǎn)管理研究[D].西安電子科技大學(xué),2010,1.

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第4篇

過(guò)去10年，人們對(duì)機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，你都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日?qǐng)?bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類(lèi)型的模型中表示這些信息。我們使用這個(gè)模型來(lái)推斷還沒(méi)有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)(node)，基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)進(jìn)行的。然而，為了得到好的結(jié)果需要大量時(shí)間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀(jì)初，計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，計(jì)算技術(shù)出現(xiàn)了“寒武紀(jì)大爆發(fā)”。在這個(gè)10年的爆炸式的計(jì)算增長(zhǎng)中，深度學(xué)習(xí)成為這個(gè)領(lǐng)域的重要的競(jìng)爭(zhēng)者，贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。直到2017年，這種興趣也還沒(méi)有冷卻下來(lái)；今天，我們看到一說(shuō)機(jī)器學(xué)習(xí)，就不得不提深度學(xué)習(xí)。

作者本人也注冊(cè)了Udacity的“Deep Learning”課程，這門(mén)課很好地介紹了深度學(xué)習(xí)的動(dòng)機(jī)，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計(jì)。在課程項(xiàng)目中，我使用并開(kāi)發(fā)了用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語(yǔ)言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長(zhǎng)短期記憶的字符級(jí)文本生成。

本文中，作者總結(jié)了10個(gè)強(qiáng)大的深度學(xué)習(xí)方法，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問(wèn)題的。首先，下面這張圖直觀地說(shuō)明了人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，機(jī)器學(xué)習(xí)又是人工智能的一個(gè)子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開(kāi)來(lái)的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復(fù)雜的連接層的方法用于訓(xùn)練網(wǎng)絡(luò)的計(jì)算機(jī)能力的“寒武紀(jì)大爆炸”自動(dòng)特征提取

這里說(shuō)的“更多的神經(jīng)元”時(shí)，是指神經(jīng)元的數(shù)量在逐年增加，以表達(dá)更復(fù)雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無(wú)監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)。基本上，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，通過(guò)共享的權(quán)重在空間中擴(kuò)展。CNN設(shè)計(jì)用于通過(guò)內(nèi)部的卷積來(lái)識(shí)別圖像，它可以看到圖像中待識(shí)別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計(jì)用于識(shí)別序列，例如語(yǔ)音信號(hào)或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個(gè)層級(jí)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，輸入必須以一種樹(shù)的方式進(jìn)行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計(jì)算函數(shù)偏導(dǎo)數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當(dāng)使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問(wèn)題時(shí)，你需要在每次迭代中計(jì)算函數(shù)梯度。

對(duì)于神經(jīng)網(wǎng)絡(luò)，目標(biāo)函數(shù)具有組合的形式。如何計(jì)算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈?zhǔn)椒▌t(基本微積分)來(lái)計(jì)算導(dǎo)數(shù)。(ii)利用有限差分進(jìn)行近似微分。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過(guò)，有限差分通常用于在調(diào)試時(shí)驗(yàn)證back-prop實(shí)現(xiàn)。

2.隨機(jī)梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達(dá)最終目的地之前，河流不會(huì)完全停下來(lái)(這是山腳的最低點(diǎn)，那么這就是我們想要的理想情況。)在機(jī)器學(xué)習(xí)中，相當(dāng)從初始點(diǎn)(山頂)開(kāi)始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個(gè)坑，這可能迫使河流陷入困境。在機(jī)器學(xué)習(xí)術(shù)語(yǔ)中，這些坑被稱(chēng)為局部極小值，這是不可取的。有很多方法可以解決這個(gè)問(wèn)題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語(yǔ)來(lái)說(shuō)是函數(shù)的性質(zhì))。但是，當(dāng)你有一種特殊的地形時(shí)(形狀像一個(gè)碗，用ML的術(shù)語(yǔ)來(lái)說(shuō)，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對(duì)ML的優(yōu)化來(lái)說(shuō)總是好事，取決于函數(shù)的初始值，你可能會(huì)以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學(xué)習(xí)速率或步長(zhǎng))，你可能以不同的方式到達(dá)最終目的地。這兩個(gè)標(biāo)準(zhǔn)都會(huì)影響到你是否陷入坑里(局部極小值)。

3.學(xué)習(xí)率衰減

根據(jù)隨機(jī)梯度下降的優(yōu)化過(guò)程調(diào)整學(xué)習(xí)率(learning rate)可以提高性能并減少訓(xùn)練時(shí)間。有時(shí)這被稱(chēng)為學(xué)習(xí)率退火(learning rate annealing)或自適應(yīng)學(xué)習(xí)率(adaptive learning rates)。訓(xùn)練過(guò)程中最簡(jiǎn)單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時(shí)間的推移而降低學(xué)習(xí)度。在訓(xùn)練過(guò)程開(kāi)始時(shí)使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對(duì)權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率。在特定的時(shí)間點(diǎn)較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過(guò)擬合在這樣的網(wǎng)絡(luò)中是一個(gè)嚴(yán)重的問(wèn)題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測(cè)試時(shí)將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)合起來(lái)變得困難。Dropout是解決這個(gè)問(wèn)題的一種方法。

Dropout的關(guān)鍵想法是在訓(xùn)練過(guò)程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過(guò)度適應(yīng)。在訓(xùn)練過(guò)程中，從一個(gè)指數(shù)級(jí)的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測(cè)試時(shí)，通過(guò)簡(jiǎn)單地使用一個(gè)具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測(cè)效果。這顯著減少了過(guò)擬合，相比其他正則化方法有了很大改進(jìn)。研究表明，在視覺(jué)、語(yǔ)音識(shí)別、文檔分類(lèi)和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個(gè)基于樣本的離散化過(guò)程。目標(biāo)是對(duì)輸入表示(圖像，隱藏層輸出矩陣等)進(jìn)行下采樣，降低其維度，并允許對(duì)包含在分區(qū)域中的特征進(jìn)行假設(shè)。

這在一定程度上是為了通過(guò)提供一種抽象的表示形式來(lái)幫助過(guò)擬合。同時(shí)，它通過(guò)減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計(jì)算成本。最大池化是通過(guò)將一個(gè)最大過(guò)濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來(lái)完成的。

6.批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)。

權(quán)重問(wèn)題：無(wú)論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)。考慮一個(gè)小批量(mini batch)，在最初時(shí)，在所需的特征激活方面將會(huì)有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個(gè)微小的擾動(dòng)，就會(huì)導(dǎo)致后面層巨大的變化。在反向傳播過(guò)程中，這些現(xiàn)象會(huì)導(dǎo)致對(duì)梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時(shí)間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(biāo)(通過(guò)歸一化)流動(dòng)。

學(xué)習(xí)率問(wèn)題：一般來(lái)說(shuō)，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過(guò)批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來(lái)加速學(xué)習(xí)過(guò)程。

7.長(zhǎng)短時(shí)記憶

LSTM網(wǎng)絡(luò)在以下三個(gè)方面與RNN的神經(jīng)元不同：

能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；能夠決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步長(zhǎng)。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來(lái)決定所有這些。所以，你看下面的圖表：

當(dāng)前時(shí)間標(biāo)記處的輸入信號(hào)x(t)決定所有上述3點(diǎn)。輸入門(mén)從點(diǎn)1接收決策，遺忘門(mén)從點(diǎn)2接收決策，輸出門(mén)在點(diǎn)3接收決策，單獨(dú)的輸入能夠完成所有這三個(gè)決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來(lái)處理突然的上下文/場(chǎng)景切換。

8. Skip-gram

詞嵌入模型的目標(biāo)是為每個(gè)詞匯項(xiàng)學(xué)習(xí)一個(gè)高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語(yǔ)義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語(yǔ)嵌入模型)的主要思想是：如果兩個(gè)詞匯項(xiàng)(vocabulary term)共享的上下文相似，那么這兩個(gè)詞匯項(xiàng)就相似。

換句話(huà)說(shuō)，假設(shè)你有一個(gè)句子，比如“貓是哺乳動(dòng)物”。如果你用“狗”去替換“貓”，這個(gè)句子仍然是一個(gè)有意義的句子。因此在這個(gè)例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動(dòng)物”)。

基于上述假設(shè)，你可以考慮一個(gè)上下文窗口(context window，一個(gè)包含k個(gè)連續(xù)項(xiàng)的窗口)，然后你跳過(guò)其中一個(gè)單詞，試著去學(xué)習(xí)一個(gè)能夠得到除跳過(guò)項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)跳過(guò)的項(xiàng)是什么。如果兩個(gè)詞在一個(gè)大語(yǔ)料庫(kù)中反復(fù)共享相似的語(yǔ)境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語(yǔ)言處理問(wèn)題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為一個(gè)數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測(cè)特定單詞。

我們通過(guò)在一個(gè)龐大的語(yǔ)料庫(kù)中抽取大量的句子來(lái)做到這一點(diǎn)，每當(dāng)我們看到一個(gè)單詞時(shí)，我們就會(huì)提取它周?chē)膯卧~。然后，我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)位于這個(gè)上下文中心的單詞。

當(dāng)我們有成千上萬(wàn)的這樣的上下文單詞和中心詞以后，我們就有了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對(duì)大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類(lèi)似語(yǔ)境中的單詞得到的是相似的向量。

10.遷移學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第5篇

關(guān)鍵詞:最小二乘支持向量機(jī);模糊核聚類(lèi);集成學(xué)習(xí);短期負(fù)荷預(yù)測(cè)

中圖分類(lèi)號(hào): TP273

文獻(xiàn)標(biāo)志碼:A

Support vector machine ensemble model based on KFCM and its application

ZHANG Na1,2,ZHANG Yongping1

1.College of Computer,China University of Mining and Technology,Xuzhou Jiangsu 221116,China;

2.College of Computer,Suqian Higher Normal School,Suqian Jiangsu 223800,China

)

Abstract: To further enhance the regression prediction accuracy of support vector machine, a Least Squares Support Vector Machine (LSSVM) ensemble model based on Kernel Fuzzy CMeans clustering (KFCM) was proposed. The KFCM algorithm was used to classify LSSVMs trained independently by its output on validate samples, the generalization errors of LSSVMs in each category to the validate set were calculated of the LSSVM whose error was minimum would be selected as the representative of its category, and then the final prediction was obtained by simple average of the predictions of the component LSSVM. The experiments in shortterm load forecasting show the proposed approach has higher accuracy.

Key words: Least Squares Support Vector Machine (LSSVM);Kernel Fuzzy CMeans clustering (KFCM);ensemble learning;shortterm load forecasting

0 引言

支持向量機(jī)( Support Vector Machine, SVM) [1]以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ), 采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則和VC維理論, 根據(jù)有限數(shù)據(jù)信息在模型的復(fù)雜度和學(xué)習(xí)能力之間尋找最佳折中, 從而獲得最好的推廣能力, 能夠較好地解決小樣本、非線(xiàn)性、高維數(shù)和局部極小點(diǎn)等問(wèn)題。最小二乘支持向量機(jī)[2] (Least Squares Support Vector Machine, LSSVM)對(duì)傳統(tǒng)支持向量機(jī)進(jìn)行改進(jìn),提高了求解問(wèn)題的速度和收斂精度。但在實(shí)際應(yīng)用中,最小二乘支持向量機(jī)的訓(xùn)練和泛化性能受到正則化參數(shù)Е錨Ш禿絲磯泉Е要取值的影響。集成學(xué)習(xí)可以通過(guò)簡(jiǎn)單地訓(xùn)練多個(gè)學(xué)習(xí)機(jī)(如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等)并將其結(jié)果進(jìn)行結(jié)合,從而有效地提高學(xué)習(xí)系統(tǒng)的泛化能力[3]?，F(xiàn)有理論研究表明[4-5],對(duì)集成的個(gè)體進(jìn)行必要的選擇能夠有效地降低神經(jīng)網(wǎng)絡(luò)集成的泛化誤差。為了更好地解決SVM的模型選擇問(wèn)題,本文提出了一種模糊核聚類(lèi)最小二乘支持向量機(jī)集成模型,并將其應(yīng)用于短期電力負(fù)荷預(yù)測(cè)中。實(shí)驗(yàn)結(jié)果表明,該方法可以有效地提高短期電力負(fù)荷預(yù)測(cè)的精確度,具有更好的泛化性能。

1 最小二乘支持向量機(jī)的原理

LSSVM[2,6]是對(duì)SVM的一種改進(jìn),它將傳統(tǒng)SVM中的不等式約束改為等式約束,且將誤差平方和損失函數(shù)作為訓(xùn)練集的經(jīng)驗(yàn)損失,這樣就把解二次規(guī)劃問(wèn)題轉(zhuǎn)化為求解線(xiàn)性方程組問(wèn)題,從而提高了求解問(wèn)題的速度和收斂精度。

設(shè)給定訓(xùn)練樣本集{xk,yk}(k=1,…,N),xkRn,ykR,利用非線(xiàn)性映射φ(•)將輸入空間映射為高維特征空間,再進(jìn)行最優(yōu)線(xiàn)性回歸,對(duì)未知函數(shù)進(jìn)行回歸估計(jì)可表達(dá)為:

y(x)=wTφ(x)+b (1)

式中權(quán)向量wRn,偏置量bR。這樣構(gòu)造的函數(shù)y(x)可使得對(duì)于樣本集之外的輸入x,也能精確地估計(jì)出相應(yīng)的輸出y。LSSVM定義優(yōu)化問(wèn)題為:

И┆minw,b,e J(w,e)=wTw/2+γ∑Nk=1e2k/2; γ>0 (2)

s.t.yk=wTφ(xk)+b+ek,k=1,2,…,Nお

式中:в嘔目標(biāo)函數(shù)J的第1、2項(xiàng)分別控制模型的復(fù)雜度和誤差的范圍;γ為正則化參數(shù)(處罰因子);ek為不敏感損失函數(shù)的松弛因子。

引入Lagrange函數(shù)L求解式(2)的優(yōu)化問(wèn)題,即:オ

L(w,b,e,a)=J(w,e)-∑Nk=1ak[wTφ(xk)+b+ek-yk] (3)

式中ak為L(zhǎng)agrange乘子。根據(jù)KKT最優(yōu)條件,可得到此優(yōu)化問(wèn)題的解析解為:

ba=01Tお1TΩ+γ-1I-10y (4)

其中,y=[y1, y2,…, yN]T;1=[1,…,1]┆T;a=[a1, a2,…, aN]T;I為N×N的單位矩陣;Ω為方陣,其第k列l(wèi)行的元素為Ωkl =φ(xk)Tφ(xl) = K(xk, xl),K(•,•)為核函數(shù),它為滿(mǎn)足Mercer條件的任意對(duì)稱(chēng)函數(shù)。這樣,不需要知道非線(xiàn)性變換的具體形式,就可用核函數(shù)來(lái)實(shí)現(xiàn)算法的線(xiàn)性化。本文采用高斯徑向基函數(shù)(Radical Basis Function,RBF)為核函數(shù),其表達(dá)式為:

K(xk,xl)=exp(-|xk-xl|2/(2σ2)) (5)

式中Е要為核寬度,反映了邊界封閉包含的半徑。

式(4)的線(xiàn)性系統(tǒng)可用最小二乘算法求解出b和a,再由式(3)進(jìn)一步求出w,Т傭得到訓(xùn)練數(shù)據(jù)集的非線(xiàn)性逼近為:

y(x)=∑Nk=1akK(x,xk)+b (6)

從式(6)可知,SVM回歸可用3層的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)表示,其中輸入層、б層和輸出層的節(jié)點(diǎn)數(shù)分別為n、N和1,而輸入層與隱層之間、隱層與輸出層之間的連接權(quán)值分別為1和ak。

在實(shí)際應(yīng)用中,最小二乘支持向量機(jī)的訓(xùn)練和泛化性能受到正則化參數(shù)Е錨Ш禿絲磯泉Е要取值的影響,迫切需要一種切實(shí)可行的方法來(lái)進(jìn)一步提高LSSVM預(yù)測(cè)的精確度和穩(wěn)定性。

┑1期 拍鵲:模糊核聚類(lèi)支持向量機(jī)集成模型及應(yīng)用

┆撲慊應(yīng)用 ┑30卷

2 基于KFCM的LSSVM集成

2.1 模糊核聚類(lèi)算法(KFCM)

KFCM算法的基本思想是利用非線(xiàn)性映射Е(*)把輸入模式向量空間變換到一個(gè)高維特征空間,然后在該特征空間采用模糊c均值算法,Ф員浠緩蟮奶卣饗蛄喀(xi)進(jìn)行模糊聚類(lèi)分析[7-8]。它能夠突出不同類(lèi)別樣本特征的差異,使得原來(lái)線(xiàn)性不可分的樣本點(diǎn)在核空間中變得線(xiàn)性可分,從而實(shí)現(xiàn)更為準(zhǔn)確的聚類(lèi)。オ

假設(shè)輸入空間的樣本X={x1, x2,…, xn},X Rp,通過(guò)一個(gè)非線(xiàn)性映射Е:χFЫ輸入空間Е直浠恢糧呶特征空間F,c為預(yù)定的類(lèi)別數(shù)目,vi (i=1,2,…,c)為第i個(gè)聚類(lèi)的中心,uik(i=1,2,…,c; k=1,2,…,n)是第k個(gè)樣本對(duì)第i類(lèi)的隸屬度函數(shù),且0≤uik≤1Ъ藹0

Jm(U,v)=∑ci=1∑nk=1umikΦ(xk)-Φ(vi)2 (7)

式中,U={uik},v={v1, v2,…, vc},m>1為加權(quán)指數(shù),其約束為:オ

Аci=1uik=1; k=1,2,…,n (8)

Фㄒ搴撕數(shù)K(x, y),滿(mǎn)足K(x, y)=Φ(x)TΦ(y),KFCM聚類(lèi)的準(zhǔn)則是求目標(biāo)函數(shù)的極小值。根據(jù)Lagrange乘子尋優(yōu)法,式(7)所示目標(biāo)函數(shù)的最小值可由式(9)、(10)求得:

uik=(1/(K(xk,xk)+K(vi,vi)-2K(xk,vi)))1m-1∑cj=1(1/(K(xk,xk)+K(vj,vj)-2K(xk,vj)))1m-1 (9)

vi=∑nk=1umikK(xk,vi)xk∑nk=1umikK(xk,vi)(10)

綜上所述,KFCM算法的步驟如下:

步驟1 設(shè)定聚類(lèi)數(shù)目c和參數(shù)m;

步驟2 С跏薊各個(gè)聚類(lèi)中心vi;

步驟3 重復(fù)下面的運(yùn)算,直到各個(gè)樣本的隸屬度值穩(wěn)定:1)用當(dāng)前的聚類(lèi)中心根據(jù)式(9)更新隸屬度;2)用當(dāng)前的聚類(lèi)中心和隸屬度根據(jù)式(10)更新各個(gè)聚類(lèi)中心。本文中選擇高斯徑向基核函數(shù)。

2.2 LSSVM模糊核聚類(lèi)集成

選擇性集成的方法能夠取得比用全部個(gè)體集成更好的泛化性能[4],本文采用模糊核聚類(lèi)集成[9]的方法來(lái)解決集成中個(gè)體LSSVM的選取問(wèn)題。

首先用KFCM算法對(duì)相互獨(dú)立訓(xùn)練出的mЦLSSVM個(gè)體進(jìn)行分類(lèi),然后計(jì)算所有類(lèi)別中每個(gè)個(gè)體LSSVM在獨(dú)立驗(yàn)證集上的泛化誤差,最后分別選取每個(gè)類(lèi)別中平均泛化誤差最小的LSSVM個(gè)體作為這一類(lèi)的代表進(jìn)行簡(jiǎn)均法集成。具體實(shí)現(xiàn)步驟如下:

步驟1 Ыm個(gè)LSSVM個(gè)體對(duì)每個(gè)獨(dú)立驗(yàn)證樣本的輸出按照相同的順序以列向量的形式存放到輸出矩陣O中;

步驟2 а窬劾嗍目c并設(shè)定加權(quán)指數(shù)m,ФLSSVM的輸出矩陣O進(jìn)行模糊核聚類(lèi)分析并可以得到隸屬度矩陣U;オ

步驟3 Ц據(jù)隸屬度矩陣U,Э傻妹扛LSSVM對(duì)所有c個(gè)類(lèi)別的隸屬度的最大值,然后將相應(yīng)的LSSVM歸入具有隸屬度最大值的類(lèi)別;

步驟4 計(jì)算每一類(lèi)中的所有LSSVM個(gè)體在驗(yàn)證集上的平均泛化誤差,將每一類(lèi)中平均泛化誤差最小的LSSVM個(gè)體選擇出來(lái);

步驟5 給定閾值Е,г諉扛隼啾鷸械淖羆迅鎏LSSVM中選擇平均泛化誤差小于Е霜У母鎏騫鉤勺鈧盞募成個(gè)體;

步驟6 將最終選擇出的個(gè)體LSSVM對(duì)測(cè)試樣本的輸出經(jīng)簡(jiǎn)均法得到集成的最終輸出。

該方法既能夠保證最終集成中的個(gè)體LSSVM具有較高的精確度,而且也同時(shí)保證了個(gè)體之間具有較大的差異度,相關(guān)的理論研究表明[4, 9],這種集成方法可以進(jìn)一步地提高集成學(xué)習(xí)的泛化能力。

3 短期負(fù)荷預(yù)測(cè)實(shí)例分析

短期負(fù)荷預(yù)測(cè)對(duì)制定發(fā)電調(diào)度計(jì)劃、確定燃料供應(yīng)計(jì)劃及合理安排機(jī)組檢修計(jì)劃等均有重要指導(dǎo)作用,其預(yù)測(cè)的精確性極大地影響著供電部門(mén)的經(jīng)濟(jì)效益。本文采用我國(guó)南方某電網(wǎng)2006年7月5日到8月10日的整點(diǎn)有功負(fù)荷值,在負(fù)荷預(yù)測(cè)日的前一天中,每隔2小時(shí)對(duì)電力負(fù)荷進(jìn)行一次測(cè)量,這樣一來(lái),一天共測(cè)得12組負(fù)荷數(shù)據(jù)。由于負(fù)荷值曲線(xiàn)相鄰的點(diǎn)之間不會(huì)發(fā)生突變,因此后一時(shí)刻的值必然和前一時(shí)刻的值有關(guān),除非出現(xiàn)重大事故等特殊情況。所以這里將前一天的實(shí)時(shí)負(fù)荷數(shù)據(jù)作為L(zhǎng)SSVM的樣本數(shù)據(jù)。此外,由于電力負(fù)荷還與環(huán)境因素有關(guān),因此,還需要通過(guò)天氣預(yù)報(bào)等手段獲得預(yù)測(cè)日的最高氣溫、最低氣溫和天氣特征值,其中0表示晴天,0.5表示陰天和1表示雨天。這里將電力負(fù)荷預(yù)測(cè)日當(dāng)天的氣象特征數(shù)據(jù)也作為L(zhǎng)SSVM的輸入變量。因此,輸入變量就是一個(gè)15維的向量。目標(biāo)向量就是預(yù)測(cè)日當(dāng)天的12個(gè)負(fù)荷值,這樣輸出變量就是一個(gè)12維的向量。獲得輸入和輸出變量后,要對(duì)其進(jìn)行歸一化處理,將數(shù)據(jù)處理為區(qū)間為[0, 1]的數(shù)據(jù),歸一化方法有很多種形式,本文采取如下方法:

=x-x┆minx┆max-x┆min(11)

LSSVM中的正則化參數(shù)Е錨Х直鶉100、300、500、700和900,而核寬度Е要Х直鶉0.25、0.5、0.75和1,這樣組合起來(lái)就有20個(gè)參數(shù)不同的LSSVM進(jìn)行學(xué)習(xí)。然后用7月5日到8月3日共30天的負(fù)荷及天氣數(shù)據(jù)對(duì)這20個(gè)LSSVM進(jìn)行訓(xùn)練;再用訓(xùn)練好的LSSVM對(duì)8月4日到8月9日這6天的負(fù)荷數(shù)據(jù)進(jìn)行驗(yàn)證,并根據(jù)輸出的預(yù)測(cè)結(jié)果對(duì)LSSVM進(jìn)行聚類(lèi)分析,在KFCM算法中,Ь劾嗍目c取5,參數(shù)m取為2,算法停止的條件為相鄰迭代步數(shù)間的隸屬度值的差的絕對(duì)值小于0.001,初始聚類(lèi)中心取為0到1間的隨機(jī)數(shù),其中核函數(shù)選用高斯核函數(shù),并取Е要=32;最后,將最佳的5個(gè)LSSVM對(duì)8月10日的預(yù)測(cè)輸出經(jīng)簡(jiǎn)均法得到集成的最終輸出。運(yùn)行結(jié)果如圖1所示?？梢钥闯?本文方法取得了很好的預(yù)測(cè)效果,最終的預(yù)測(cè)均方誤差為7.651B7e-004,而KFCM算法中所選擇的5個(gè)最佳LSSVM的預(yù)測(cè)均方誤差分別為7.690B6e-004、7.717B3e-004、7.689B5e-004、7.705B1e-004和7.662B2e-004。圖2所示為預(yù)測(cè)誤差曲線(xiàn)。

圖片

圖1 實(shí)際負(fù)荷和LSSVM集成預(yù)測(cè)負(fù)荷

圖片

圖2 LSSVM集成預(yù)測(cè)誤差曲線(xiàn)

將LSSVM的參數(shù)采用隨機(jī)選取的方法,即正則化參數(shù)Е錨У娜≈搗段為[0, 1B000],核寬度Е要У娜≈搗段為[0, 1],在上述范圍內(nèi)隨機(jī)選取20個(gè)LSSVM進(jìn)行訓(xùn)練,仍然采用本文方法進(jìn)行預(yù)測(cè),多組實(shí)驗(yàn)結(jié)果表明,其最終的預(yù)測(cè)均方誤差也不超過(guò)7.85e-004。表1所示為幾種方法進(jìn)行比較的結(jié)果。

表格(有表名)

表1 三種方法平均預(yù)測(cè)誤差的比較