前言：本站為你精心整理了交通管理大數(shù)據(jù)研判分析范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

1、研判平臺總體架構(gòu)公安交通管理研判分析

平臺總體架構(gòu)包括數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)應(yīng)用及數(shù)據(jù)管理5部分。

1.1數(shù)據(jù)源

數(shù)據(jù)源是指由公安交通管理綜合平臺、交通指揮平臺及機動車緝查布控平臺等公安交通管理信息系統(tǒng)采集匯總的交通管理大數(shù)據(jù)。

1.2數(shù)據(jù)倉

庫數(shù)據(jù)倉庫是為各級交通管理決策制定過程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合，是在整合多個交通管理數(shù)據(jù)源的基礎(chǔ)上形成的單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。數(shù)據(jù)倉庫包括明細(xì)層和輕度匯總層兩個層面。其中，明細(xì)層基于數(shù)據(jù)源、采用鏡像復(fù)制和增量同步技術(shù)建立；輕度匯總層在明細(xì)層基礎(chǔ)上，參照研判分析實際需求，對數(shù)據(jù)進行抽取、轉(zhuǎn)換、清洗后建立。

1.3數(shù)據(jù)集市

數(shù)據(jù)集市是根據(jù)不同專業(yè)用戶群體在分析、內(nèi)容、表現(xiàn)及易用性等方面的特殊需求，從數(shù)據(jù)倉庫歷史數(shù)據(jù)中抽取的一個針對性數(shù)據(jù)子集，用以滿足特定部門、團隊、客戶或應(yīng)用程序分析和報告需求。

1.4數(shù)據(jù)應(yīng)用

在數(shù)據(jù)倉庫或數(shù)據(jù)集市基礎(chǔ)上，采用聚類、關(guān)聯(lián)分析、時序分析、分類、值預(yù)測等挖掘技術(shù)，有效提取交通管理大數(shù)據(jù)中固有的、以前未知的潛在有效信息，并進行多維度、個性化集成、查詢和展現(xiàn)。

1.5數(shù)據(jù)管理

對數(shù)據(jù)處理流程、數(shù)據(jù)質(zhì)量檢查及元數(shù)據(jù)進行有效管理，確保數(shù)據(jù)研判分析工作順利開展。

2、數(shù)據(jù)流向及處理來源

豐富、內(nèi)容完整、及時準(zhǔn)確的信息資源是有效開展分析研判的必要基礎(chǔ)。因此，分析研判系統(tǒng)建設(shè)的首要任務(wù)是收集匯總信息應(yīng)用所需的各類來源數(shù)據(jù)，通過數(shù)據(jù)整合處理形成分析研判分析數(shù)據(jù)庫。

2.1數(shù)據(jù)流向

公安內(nèi)部綜合應(yīng)用平臺所采集形成、開展信息工作所需的業(yè)務(wù)信息，包括各級公安機關(guān)交通管理部門采集形成的數(shù)據(jù)，如駕駛?cè)斯芾?、機動車登記、違法處理、事故處理、交警隊信息平臺、危險化學(xué)品運輸管理等業(yè)務(wù)信息和異常業(yè)務(wù)預(yù)警信息。緝查布控系統(tǒng)產(chǎn)生車輛通行信息及主干公路監(jiān)控數(shù)據(jù)在部級平臺中直接獲?。粴庀笮畔⒌瓤缧袠I(yè)數(shù)據(jù)通過互聯(lián)網(wǎng)服務(wù)接口獲取，并通過邊界接入平臺或人工方式轉(zhuǎn)入公安網(wǎng)。

（1）綜合應(yīng)用平臺、主干公路監(jiān)控數(shù)據(jù)通過數(shù)據(jù)采集器按分類寫入數(shù)據(jù)倉庫與分布式文件系統(tǒng)。

（2）氣象信息通過程序調(diào)用數(shù)據(jù)訪問接口寫入數(shù)據(jù)倉庫。

（3）分布式文件系統(tǒng)通過批處理的形式，將數(shù)據(jù)清洗轉(zhuǎn)換后寫入數(shù)據(jù)倉庫。

（4）數(shù)據(jù)倉庫采用實時復(fù)制技術(shù)，按方案將數(shù)據(jù)復(fù)制至內(nèi)存數(shù)據(jù)庫。

（5）內(nèi)存數(shù)據(jù)庫為COGNOS、SPSS分析平臺提供分析數(shù)據(jù)來源。

（6）內(nèi)存數(shù)據(jù)庫、分布式文件系統(tǒng)同時為數(shù)據(jù)檢索分析平臺提供數(shù)據(jù)。

2.2數(shù)據(jù)整合處理流程

數(shù)據(jù)整合處理時以ETL工具為核心，包括數(shù)據(jù)抽取、過濾清洗、轉(zhuǎn)換、整合加工等功能的數(shù)據(jù)提取處理工具，主要用于按照預(yù)先設(shè)計的數(shù)據(jù)抽取整合處理方案，執(zhí)行從各種數(shù)據(jù)來源上提取新鮮數(shù)據(jù)、比對數(shù)據(jù)進行清洗、轉(zhuǎn)換、傳輸、整合加工，并裝載數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫、記錄問題數(shù)據(jù)、記錄處理日志等一系列數(shù)據(jù)加工處理工作過程。數(shù)據(jù)整合處理過程應(yīng)具有較好的可監(jiān)控、可維護能力，可支持處理任務(wù)的安排調(diào)度管理，并可接受信息資源管理應(yīng)用的運行監(jiān)測。業(yè)務(wù)信息綜合分析研判系統(tǒng)建設(shè)中，數(shù)據(jù)整合處理主要用于將各種來源數(shù)據(jù)經(jīng)抽取整合處理進入信息綜合數(shù)據(jù)庫群，并可用于根據(jù)專題應(yīng)用建設(shè)需求，將分析數(shù)據(jù)庫中已有的相關(guān)數(shù)據(jù)進行抽取整合處理，形成數(shù)據(jù)集市數(shù)據(jù)。數(shù)據(jù)整合處理所執(zhí)行的數(shù)據(jù)抽取整合處理方案應(yīng)根據(jù)應(yīng)用的需求，利用信息資源管理應(yīng)用上的信息資源注冊信息、標(biāo)準(zhǔn)信息、結(jié)合相關(guān)數(shù)據(jù)的特點及有關(guān)信息化標(biāo)準(zhǔn)規(guī)范進行定制設(shè)計。分析數(shù)據(jù)庫建設(shè)中用于實現(xiàn)數(shù)據(jù)抽取整合工作的工具主要需要負(fù)責(zé)從源業(yè)務(wù)數(shù)據(jù)庫提取新鮮數(shù)據(jù)、對數(shù)據(jù)進行清洗、轉(zhuǎn)換、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、問題數(shù)據(jù)記錄、轉(zhuǎn)換日志記錄，錯誤處理與異常日志記錄等工作。

（1）數(shù)據(jù)抽取和標(biāo)準(zhǔn)代碼庫創(chuàng)建：產(chǎn)生的數(shù)據(jù)是轉(zhuǎn)儲數(shù)據(jù)和標(biāo)準(zhǔn)代碼庫。

（2）數(shù)據(jù)清洗：對轉(zhuǎn)儲的業(yè)務(wù)數(shù)據(jù)，根據(jù)定義的數(shù)據(jù)清洗規(guī)則進行清洗。產(chǎn)生的數(shù)據(jù)是問題數(shù)據(jù)庫。

（3）數(shù)據(jù)轉(zhuǎn)換：定義好數(shù)據(jù)轉(zhuǎn)換的規(guī)則，對經(jīng)過第一步清洗的數(shù)據(jù)，進行轉(zhuǎn)換。產(chǎn)生的數(shù)據(jù)是經(jīng)過轉(zhuǎn)換的數(shù)據(jù)。

（4）數(shù)據(jù)集成：對轉(zhuǎn)換完成的數(shù)據(jù)去查找關(guān)聯(lián)，同時把數(shù)據(jù)按照要素和層次進行組織。

（5）數(shù)據(jù)裝載：把完成前面步驟的數(shù)據(jù)裝載到分析數(shù)據(jù)庫中。

（6）數(shù)據(jù)校驗：對完成整合的綜合數(shù)據(jù)通過校驗器定義好校驗規(guī)則進行數(shù)據(jù)校驗，找出第二批的問題數(shù)據(jù)，使得數(shù)據(jù)的質(zhì)量進一步提高。

3、關(guān)鍵技術(shù)研判平臺

總體功能包括數(shù)據(jù)處理、數(shù)據(jù)管理、統(tǒng)計研判、挖掘研判、多維度展現(xiàn)、應(yīng)用管理、安全管理等功能，其中數(shù)據(jù)處理、數(shù)據(jù)管理、多維度展現(xiàn)作為基礎(chǔ)性工作顯得尤為重要，這關(guān)系到平臺建設(shè)的可行性及可用性。

3.1數(shù)據(jù)處理包括數(shù)據(jù)鏡像復(fù)制、數(shù)據(jù)抽取/清洗/加載、數(shù)據(jù)建模等功能。

（1）數(shù)據(jù)鏡像復(fù)制

通過全庫鏡像及增量數(shù)據(jù)同步，將各數(shù)據(jù)源數(shù)據(jù)加載至數(shù)據(jù)倉庫明細(xì)層。

（2）據(jù)抽取/清洗/轉(zhuǎn)換/加載

將分布、異構(gòu)的多個交通管理數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

（3）數(shù)據(jù)建模

數(shù)據(jù)挖掘建模是指為特定的交通管理數(shù)據(jù)挖掘目的，做出一些重要簡化和假設(shè)，運用適當(dāng)?shù)臄?shù)據(jù)挖掘工具獲得模型，然后利用該模型來解釋特定現(xiàn)象的現(xiàn)實形態(tài)，并預(yù)測對象的未來狀況，提供處理對象的優(yōu)化決策和控制。數(shù)據(jù)挖掘的過程是一個不斷探索數(shù)據(jù)特征、建立和檢驗?zāi)Ｐ停眠m合的模型來解決實際問題的連續(xù)過程。建模是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)，數(shù)據(jù)挖掘中具體使用哪一種算法建模，取決于數(shù)據(jù)集市的特征和需要實現(xiàn)的目標(biāo)，在應(yīng)用中，往往是對多種建模方法的比較和綜合。

3.2數(shù)據(jù)管理包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)處理流程管理、元數(shù)據(jù)管理。

（1）數(shù)據(jù)質(zhì)量管理

通過探查數(shù)據(jù)內(nèi)容、結(jié)構(gòu)和異常，建立數(shù)據(jù)質(zhì)量度量并明確目標(biāo)，設(shè)計和實施數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則、檢查異常并完善規(guī)則等，消除數(shù)據(jù)中存在的重復(fù)屬性、錯誤的值、錯誤的數(shù)據(jù)依賴、錯誤的計算、錯誤的范圍、缺少數(shù)據(jù)、缺乏引用完整性、稀少的實體解釋、多種數(shù)據(jù)源中缺乏數(shù)據(jù)對應(yīng)、主鍵重復(fù)、源數(shù)據(jù)和目標(biāo)缺乏同步、沒有理由的關(guān)聯(lián)、違反規(guī)則、不標(biāo)準(zhǔn)的格式等質(zhì)量問題，切實提高數(shù)據(jù)真實性、完備性、自洽性。

（2）數(shù)據(jù)處理流程管理

數(shù)據(jù)處理對數(shù)據(jù)（包括數(shù)值的和非數(shù)值的）進行分析和加工的技術(shù)過程。數(shù)據(jù)處理包括數(shù)據(jù)采集、存儲、檢索、加工、變換和傳輸?shù)冗^程。數(shù)據(jù)處理流程管理是指對數(shù)據(jù)處理過程進行規(guī)范化和科學(xué)化管理，確保數(shù)據(jù)處理工作高效性。

（3）元數(shù)據(jù)管理

采用集中管理方式，對技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)進行管理。技術(shù)元數(shù)據(jù)主要用來描述數(shù)據(jù)實體和數(shù)據(jù)處理過程中的技術(shù)細(xì)節(jié)和處理規(guī)則。如表結(jié)構(gòu)、ETL映射關(guān)系等，技術(shù)元數(shù)據(jù)使用人員包括技術(shù)人員。業(yè)務(wù)元數(shù)據(jù)主要是對數(shù)據(jù)實體和數(shù)據(jù)處理的業(yè)務(wù)化描述，包括業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語、統(tǒng)計口徑、信息分類等。如KPI定義和報表統(tǒng)計規(guī)則等，業(yè)務(wù)元數(shù)據(jù)使用人員包括業(yè)務(wù)人員、決策領(lǐng)導(dǎo)等。

3.3多維度展現(xiàn)包括即席查詢、專業(yè)報表、多維分析、事件處理和門戶整合等。

（1）即席查詢

提供自助式即席查詢功能，用戶可以基于業(yè)務(wù)邏輯、按照個性化需要通過鼠標(biāo)拖拽的方式查詢自己關(guān)心的內(nèi)容，設(shè)置查詢條件，設(shè)置過濾，定義格式，套用模版，提高個性化信息查詢速度。

（2）專業(yè)報表

提供專業(yè)報表功能。報表支持多頁設(shè)計，支持多查詢，每個查詢支持多數(shù)據(jù)源。報表的制作、、共享、權(quán)限控制等采用純?yōu)g覽器方式。用戶只需要在瀏覽器中通過簡單的鼠標(biāo)拖拽、屬性設(shè)置等操作就能進行各種報表的制作，如列表、交叉表、圖表、儀表盤報表、KPI報表、復(fù)雜嵌套表頭的非平衡報表等。

（3）多維分析

提供多維立方體和關(guān)系型數(shù)據(jù)庫多維分析功能（MOLAP和ROLAP）。用戶在Web界面中通過簡單的鼠標(biāo)拖拽等操作，就可以進行各種OLAP分析，如上鉆、下鉆、切片、旋轉(zhuǎn)、切塊等，同時支持用戶進行混合粒度的分析，支持用戶自定義子集，支持混合維度的分析，支持多維立方體之間的相互鉆取，多維立方體和關(guān)系型數(shù)據(jù)庫之間的鉆取，能夠使用用戶從宏觀到微觀的決策思路和過程。

（4）事件處理

提供系統(tǒng)自動監(jiān)控和管理管理功能，并通過門戶新聞等方式通知和提醒用戶，能夠自動啟動業(yè)務(wù)處理，觸發(fā)各種任務(wù)的執(zhí)行，如報表執(zhí)行、新聞、數(shù)據(jù)庫刷新、系統(tǒng)備份等。

（5）門戶整合

提供將后臺分散的應(yīng)用和信息在用戶界面上的整合功能，使用戶得到統(tǒng)一的入口。同時用戶可以方便地進行個性化定制，形成自己的門戶界面。

4、結(jié)論

研判分析平臺通過整理綜合應(yīng)用平臺的相關(guān)數(shù)據(jù)和技術(shù)，為緝查布控及交通指揮等信息的接入提供兼容支持，進一步發(fā)揮信息在公安交通管理工作中的作用，提高了公安機關(guān)交通管理部門的數(shù)據(jù)分析能力和效率，降低了數(shù)據(jù)分析員的工作強度，節(jié)省了警力，為各級管理部門的科學(xué)決策提供理論依據(jù)和數(shù)據(jù)支持，具有廣闊的應(yīng)用前景。

作者：劉偉祥 崔林山 單位：公安部交通管理科學(xué)研究所