分布式存儲(chǔ)和數(shù)字集群移動(dòng)通信系統(tǒng)
前言：本站為你精心整理了分布式存儲(chǔ)和數(shù)字集群移動(dòng)通信系統(tǒng)范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。
分布式存儲(chǔ)系統(tǒng)簡單來說就是指將網(wǎng)絡(luò)中許多物理上獨(dú)立的存儲(chǔ)設(shè)備，通過某種映射關(guān)系使之反映為邏輯上統(tǒng)一的存儲(chǔ)空間進(jìn)行使用。它可以很好的解決海量數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)并發(fā)的問題，所以這里將其引入集群通信系統(tǒng)中。
1．1網(wǎng)絡(luò)設(shè)計(jì)
首先將數(shù)據(jù)服務(wù)器與交換控制中心在邏輯上分離開，改變?cè)械臄?shù)據(jù)存儲(chǔ)方式。各級(jí)交換控制中心不再配備私有的數(shù)據(jù)服務(wù)器，樹形的業(yè)務(wù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)不變，故除數(shù)據(jù)存儲(chǔ)查詢以外的其他業(yè)務(wù)將不受影響。然后將所有的數(shù)據(jù)服務(wù)器組成一個(gè)分布式存儲(chǔ)系統(tǒng)，它對(duì)用戶虛擬成一個(gè)統(tǒng)一的存儲(chǔ)設(shè)備，系統(tǒng)中所有的存儲(chǔ)與查詢操作都將對(duì)這個(gè)虛擬存儲(chǔ)設(shè)備進(jìn)行。設(shè)計(jì)中所有的存儲(chǔ)節(jié)點(diǎn)地位相同，沒有使用負(fù)責(zé)資源定位的中心服務(wù)器。這種結(jié)構(gòu)就稱為結(jié)構(gòu)化P2P網(wǎng)絡(luò)，使用DHT(分布式哈希表)的方式進(jìn)行資源定位，具體算法將在下一節(jié)介紹。同樣以圖1中G節(jié)點(diǎn)查詢D節(jié)點(diǎn)數(shù)據(jù)為例，因?yàn)樗械臄?shù)據(jù)都存儲(chǔ)在結(jié)構(gòu)化P2P網(wǎng)絡(luò)構(gòu)成的分布式存儲(chǔ)系統(tǒng)中，所有只要知道需要查詢的數(shù)據(jù)特征就可以直接從節(jié)點(diǎn)G連接到存儲(chǔ)網(wǎng)絡(luò)中，再根據(jù)資源定位的算法找到該數(shù)據(jù)在P2P網(wǎng)絡(luò)中的存儲(chǔ)位置，從而獲取數(shù)據(jù)。這樣就帶來幾個(gè)好處:
(1)數(shù)據(jù)存儲(chǔ)擺脫了層級(jí)化的結(jié)構(gòu)，使得在查詢或讀取某個(gè)數(shù)據(jù)時(shí)不必要通過該數(shù)據(jù)所屬交換控制中心，數(shù)據(jù)傳輸時(shí)也不必要通過高層級(jí)節(jié)點(diǎn)進(jìn)行轉(zhuǎn)發(fā)，這大大緩解了高層級(jí)節(jié)點(diǎn)的壓力，解決了負(fù)載不均帶來的訪問熱點(diǎn)問題，同時(shí)也使得可靠性大大提高了;
(2)使用分布式存儲(chǔ)方式還大大提高了數(shù)據(jù)的容災(zāi)能力。只要設(shè)計(jì)一個(gè)合理的數(shù)據(jù)備份恢復(fù)機(jī)制，即使個(gè)別存儲(chǔ)節(jié)點(diǎn)無法接入網(wǎng)絡(luò)，也絲毫不會(huì)影響系統(tǒng)的業(yè)務(wù)進(jìn)行。
1．2算法實(shí)現(xiàn)
分布式存儲(chǔ)的核心問題就是資源定位問題，這里準(zhǔn)備使用一種經(jīng)典的Chord算法來實(shí)現(xiàn)其功能。
1．2．1Chord算法原理
文獻(xiàn)4中提出了Chord算法，它是由MIT于2001年提出的分布式查找算法。數(shù)據(jù)對(duì)象的存取原則為:將所有節(jié)點(diǎn)的nodeID(節(jié)點(diǎn)屬性信息經(jīng)過散列函數(shù)得到的hash值)從小到大(取模2m，m為hash值的位數(shù))按順時(shí)針方向排列在一個(gè)Chord環(huán)上。dataID(數(shù)據(jù)對(duì)象屬性信息經(jīng)過散列函數(shù)得到的hash值)為k的數(shù)據(jù)對(duì)象就存儲(chǔ)在nodeID為k或者Chord環(huán)上k之后最近的一個(gè)節(jié)點(diǎn)上，這個(gè)節(jié)點(diǎn)稱為k的后繼節(jié)點(diǎn)，用successor(k)表示。如圖3所示，這是一個(gè)m=4的Chord環(huán)，ID的值域范圍為［0，16］。環(huán)上分布有6個(gè)節(jié)點(diǎn)，分別為N1、N3、N6、N9、N11、N13。假如要存儲(chǔ)一個(gè)數(shù)據(jù)對(duì)象K，K的dataID=12，先找nodeID=12的節(jié)點(diǎn)，如果沒有就找它后邊最近的節(jié)點(diǎn)，這里后繼節(jié)點(diǎn)是N13，所以數(shù)據(jù)就保存在N13上。
1．2．2Chord的路由
有了上述的后繼關(guān)系后，所有的資源分布與定位問題都得以解決，但這樣一個(gè)一個(gè)節(jié)點(diǎn)的找過去效率無疑是無法保證的。故此Chord中就引入了擴(kuò)展查詢算法。高級(jí)的交換控制中心(進(jìn)行業(yè)務(wù)控制、終端管理、數(shù)據(jù)交換等工作)，根據(jù)隸屬關(guān)系逐級(jí)向下有多級(jí)交換控制中心，每個(gè)交換控制中心配有一個(gè)私有數(shù)據(jù)服務(wù)器用于存儲(chǔ)所屬的各類數(shù)據(jù)。每一個(gè)交換控制中心負(fù)責(zé)維護(hù)存有它所有子節(jié)點(diǎn)路由的路由表，查找某節(jié)點(diǎn)時(shí)需逐級(jí)查找。例如G節(jié)點(diǎn)需要D節(jié)點(diǎn)上的數(shù)據(jù)，就需要先向D節(jié)點(diǎn)發(fā)送請(qǐng)求，經(jīng)過路由為G－C－A－B－D，隨后D節(jié)點(diǎn)在自己的數(shù)據(jù)服務(wù)器上找到數(shù)據(jù)，再原路發(fā)回節(jié)點(diǎn)G。由上例可見，越高層級(jí)的節(jié)點(diǎn)所要承受的壓力越大。在傳統(tǒng)的集群通信系統(tǒng)中因?yàn)闆]有大數(shù)據(jù)量的業(yè)務(wù)，所以這種數(shù)據(jù)查詢與傳輸?shù)姆绞讲⒉粫?huì)對(duì)系統(tǒng)性能有較大的影響。但是在引入了新業(yè)務(wù)后，這種數(shù)據(jù)存儲(chǔ)方式就會(huì)產(chǎn)生很多的問題:(1)負(fù)載不均衡，高層級(jí)節(jié)點(diǎn)壓力過大。首先高層級(jí)節(jié)點(diǎn)上的數(shù)據(jù)被查詢和存儲(chǔ)的概率遠(yuǎn)大于低層級(jí)節(jié)點(diǎn)，高層級(jí)節(jié)點(diǎn)被訪問的概率就很高。其次，處于不同分支的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸時(shí)都要經(jīng)過高層每個(gè)節(jié)點(diǎn)負(fù)責(zé)維護(hù)一張路由表，通常稱為指針表(fingertable)。如果ID長度是m個(gè)bit，那么指針表中就最多含有m個(gè)表項(xiàng)。節(jié)點(diǎn)n的指針表的第i項(xiàng)是Chord環(huán)上ID等于或者大于n+2i－1的第一個(gè)節(jié)點(diǎn)(取模2m)。如圖2所示，節(jié)點(diǎn)N3的指針表，(3+20)mod24=4之后的第一個(gè)節(jié)點(diǎn)為N6，所以第一個(gè)表項(xiàng)的指針是N6。同理第二個(gè)表項(xiàng)的指針也是N6，第三個(gè)表項(xiàng)的指針是N9，最后一個(gè)表項(xiàng)的指針是N11。擴(kuò)展查詢的過程如圖3所示，假設(shè)從N3節(jié)點(diǎn)發(fā)起查詢，查詢數(shù)據(jù)對(duì)象K的dataID=12，就可以根據(jù)N3上的指針表找到N11節(jié)點(diǎn)，再根據(jù)N11節(jié)點(diǎn)的指針表找到數(shù)據(jù)對(duì)象K的存儲(chǔ)位置節(jié)點(diǎn)N13，這樣就完成一次查詢過程。
2實(shí)驗(yàn)結(jié)果及分析
本文使用OMNeT++進(jìn)行仿真，選取了傳統(tǒng)集群通信系統(tǒng)(DTMCS)與使用chord算法的結(jié)構(gòu)化P2P網(wǎng)絡(luò)改進(jìn)后的系統(tǒng)進(jìn)行比較，節(jié)點(diǎn)數(shù)設(shè)為781個(gè)(根據(jù)傳統(tǒng)集群通信系統(tǒng)實(shí)際組網(wǎng)情況采用深度為5的樹形結(jié)構(gòu)，除第5層節(jié)點(diǎn)外，所有節(jié)點(diǎn)的子節(jié)點(diǎn)數(shù)均為5)，隨機(jī)選擇請(qǐng)求發(fā)起節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)，發(fā)起查詢請(qǐng)求并接受目標(biāo)節(jié)點(diǎn)返回的數(shù)據(jù)信息(設(shè)返回?cái)?shù)據(jù)包長為2k字節(jié))。以在同一時(shí)段網(wǎng)絡(luò)中發(fā)起的查詢數(shù)作為變量，平均查詢時(shí)延作為性能評(píng)估參數(shù)，對(duì)兩種存儲(chǔ)查詢系統(tǒng)的性能進(jìn)行評(píng)估。平均查詢時(shí)延delay計(jì)算公式如下:delay=∑ni=1(receive_time－send_time)/n(1)式中，send_time為發(fā)送查詢請(qǐng)求時(shí)間;receive_time為查詢節(jié)點(diǎn)接收到返回?cái)?shù)據(jù)的時(shí)間;n為同一時(shí)刻發(fā)起請(qǐng)求的數(shù)量;delay的單位為ms。使用chord算法的結(jié)構(gòu)化P2P系統(tǒng)的平均查詢時(shí)延受查詢數(shù)量變化的影響并不大，隨著查詢請(qǐng)求數(shù)量增加緩慢變化;而傳統(tǒng)的集群通信系統(tǒng)在查詢請(qǐng)求較少時(shí)表現(xiàn)尚可，一旦請(qǐng)求數(shù)量較大時(shí)性能與可靠性將急速下降，甚至網(wǎng)絡(luò)癱瘓出現(xiàn)大量丟包的情況。通過比較可以看出，改進(jìn)后的存儲(chǔ)查詢系統(tǒng)在性能上有了很大的改進(jìn)，可以很好的解決負(fù)載不均和可靠性低的問題。
3結(jié)束語
本文針對(duì)傳統(tǒng)的數(shù)字集群移動(dòng)通信系統(tǒng)存儲(chǔ)查詢功能在應(yīng)對(duì)大數(shù)據(jù)量時(shí)的不足，提出了使用分布式存儲(chǔ)系統(tǒng)的改進(jìn)方案，并對(duì)該方案的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和具體實(shí)現(xiàn)算法進(jìn)行了詳細(xì)的介紹，最后通過仿真表明了該方案在大量數(shù)據(jù)并發(fā)的情況下具有更好的性能。但是該方案仍然有許多不足之處，比如在仿真中發(fā)現(xiàn)節(jié)點(diǎn)數(shù)量超過5000時(shí)，平均路由跳數(shù)會(huì)比原方案更多，并持續(xù)增加。不過根據(jù)數(shù)字集群移動(dòng)通信系統(tǒng)的組網(wǎng)特點(diǎn)，不會(huì)出現(xiàn)節(jié)點(diǎn)數(shù)量過大的情況，所以這個(gè)問題可以暫時(shí)忽略。另外還有一些需要完善之處，例如查詢權(quán)限機(jī)制、即時(shí)數(shù)據(jù)同步以及通過分布式存儲(chǔ)實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)容災(zāi)功能等部分還需要進(jìn)一步設(shè)計(jì)。
作者：蔣軼林郭淑琴單位：浙江工業(yè)大學(xué)信息工程學(xué)院
