視頻大數(shù)據技術在智慧城市中的應用

　　現(xiàn)代社會的信息量正以飛快的速度增長，這些信息里又積累著大量的數(shù)據。預計到2025年，每年產生的數(shù)據信息將會有超過1/3的內容駐留在云平臺中或借助云平臺處理。我們需要對這些數(shù)據進行分析和處理，以獲取更多有價值的信息。在未來的“智慧城市”中，會有越來越大的結構化以及非結構化的數(shù)據。那么我們如何高效地存儲和管理這些數(shù)據，如何分析這些數(shù)據呢?答案是，我們需要強有力的大數(shù)據處理系統(tǒng)進行支撐。

　　作為目前最火熱的詞匯之一，大數(shù)據在各個領域都已有了較為成熟的應用。在視頻監(jiān)控領域，大數(shù)據時代正悄悄來臨。在城市安全、交通管理中將部署大量的視頻監(jiān)控設備，這些視頻監(jiān)控設備將產生大量的視頻及其相關的數(shù)據，如交通卡口數(shù)據達到十億條甚至更大級別，人臉庫數(shù)據量達到千萬條甚至更大級別。針對如此大級別的數(shù)據量，當前系統(tǒng)會逐漸暴露出數(shù)據檢索速度越來越慢;數(shù)據統(tǒng)計、分析效率越來越低等問題，這些問題都需要一個成熟的技術來解決。

　　隨著“智慧城市”中城市安全、智慧交通等的迅速發(fā)展，城市中非結構化的數(shù)據量越來越大。視頻大數(shù)據技術側重幫助各類客戶從日趨海量的非結構化視頻數(shù)據中快速發(fā)掘高價值的信息，協(xié)助客戶提升其決策的效率和精準度。因此，視頻大數(shù)據的處理好壞成了客戶關注的焦點，視頻大數(shù)據的處理技術也成了廠家能力的體現(xiàn)。針對“智慧城市”建設中大量視頻數(shù)據的快速檢索、統(tǒng)計分析的需求，海康威視等視頻領域的領軍企業(yè)已有了成熟的視頻大數(shù)據的解決方案，目前已應用多個“智慧城市”的建設中。

　　一、視頻大數(shù)據平臺技術

　　針對結構化或半結構化數(shù)據的數(shù)據量特別大的場景，大數(shù)據平臺作為應用平臺的支撐平臺，提供海量數(shù)據的高效處理能力。通過大數(shù)據平臺，應用能夠對這些數(shù)據進行高效地存儲、檢索(秒級)、分析和統(tǒng)計，切實地提高效率，提升用戶體驗度。

　　視頻大數(shù)據平臺一般以分布式集群的方式進行建設，集群能夠對數(shù)據處理進行負載均衡，同時，集群能夠方便地進行擴展，能夠通過增加集群節(jié)點來提升平臺整體性能。數(shù)據存儲需要考慮以下幾個方面：一、哪些數(shù)據需要保存到視頻大數(shù)據平臺;二、如果對原有系統(tǒng)進行改造，原有系統(tǒng)中已存在的那些數(shù)據該如何處理;三、如何保證數(shù)據的可靠性。視頻大數(shù)據平臺采用分布式計算，同時結合內存加速、負載均衡、本地處理，提供高效的數(shù)據計算能力。

　　視頻大數(shù)據處理系統(tǒng)，在應對視頻大數(shù)據處理中的存儲問題，采用了分布式存儲方式，提高了讀寫速度，并擴大了存儲容量;在應對視頻大數(shù)據處理中的計算問題，采用分布式計算系統(tǒng)，提高了數(shù)據分析和挖掘能力。視頻大數(shù)據處理系統(tǒng)總體架構如下圖所示，包括資源層、平臺層、應用層三個層次。

　　視頻大數(shù)據處理系統(tǒng)總體架構

　　資源層：包括IT基礎資源、數(shù)據資源、視頻資源等。能夠產生、存儲、處理海量數(shù)據的資源如過車數(shù)據、人臉數(shù)據、案事件數(shù)據等。

　　平臺層：即視頻大數(shù)據平臺，包括數(shù)據存儲、數(shù)據處理、數(shù)據遷移、集群管理等功能，同時為上層應用提供接口。視頻大數(shù)據平臺地位類似于數(shù)據庫，但是它比數(shù)據庫的處理能力要強大很多，可以對海量數(shù)據進行處理。

　　應用層：基于視頻大數(shù)據平臺提供的高效數(shù)據處理服務，行業(yè)應用平臺(公安、交通、司法、能源、教育等)能夠為用戶提供海量數(shù)據的高效存儲、檢索、分析和統(tǒng)計等功能。

　　二、視頻大數(shù)據技術在智慧交通中的應用

　　在智慧交通的道路交通應用中，卡口過車數(shù)據呈爆炸式增長。對于一個城市，每個卡口每天會經過成千上萬輛車，假設一個城市有1000個卡口，每個卡口每天平均過車記錄數(shù)為10000次，需要對一年內的數(shù)據進行處理，則過車記錄總數(shù)為36.5億。當卡口過車數(shù)據規(guī)模達到十億級別甚至更大后，當前系統(tǒng)的運行速度越來越慢，過車信息檢索、研判和分析的耗時越來越長，用戶體驗越來越差。使用傳統(tǒng)的關系型數(shù)據庫解決方案會使效率大大降低，或者在保證效率的情況下，會使軟件、硬件投入成本大大增加，如采用小型機等。針對此類場景，可采用大數(shù)據技術，數(shù)據量特別大的過車數(shù)據由視頻大數(shù)據平臺來處理，視頻大數(shù)據平臺可提供足夠大的內存和本地存儲，同時，采用分布式計算，各節(jié)點并行進行計算，極大地提高數(shù)據處理的能力。視頻大數(shù)據平臺具有系統(tǒng)可靠、數(shù)據安全、數(shù)據處理能力高效、投入成本低、擴展能力強等特點。

　　交通卡口大數(shù)據應用設計如下圖所示：

　　交通卡口大數(shù)據應用示意圖

　　交通卡口大數(shù)據應用的不同之處在于后端子系統(tǒng)的設計。傳統(tǒng)方案中，只有一個智慧交通平臺;而大數(shù)據方案中，智慧交通平臺之下多了一個視頻大數(shù)據平臺，海量的過車數(shù)據存儲于視頻大數(shù)據平臺中，大數(shù)據平臺為上層平臺提供海量數(shù)據的高效處理服務。以10億條數(shù)據為例，在檢索、研判和統(tǒng)計分析等應用中傳統(tǒng)方案檢索時間是分鐘級，采用大數(shù)據技術檢索時間可以達到秒級?；谝曨l大數(shù)據平臺，智慧交通平臺實現(xiàn)了高效的檢索、分析、統(tǒng)計等功能，能夠為用戶提供更好的服務。以下是目前可實現(xiàn)應用功能主要功能：

　　快速檢索

　　能夠根據精確條件/模糊條件快速查詢出過車數(shù)據記錄。大數(shù)據方案可以從數(shù)十億條數(shù)據中快速篩選出目標過車記錄，提高交通管理部門的執(zhí)勤效率。

　　研判分析

　　研判分析包括頻度研判、特定時間段車輛研判、初次入城、行車軌跡、跟車研判等應用。大數(shù)據方案可以迅速及時的發(fā)現(xiàn)事件信息，提高交通管理部門的快速響應能力。

　　統(tǒng)計分析

　　統(tǒng)計分析包括車流量統(tǒng)計、車流量對比、車輛違法統(tǒng)計、特定時段車流量、行車軌跡統(tǒng)計等應用。大數(shù)據方案可以實現(xiàn)更大范圍的交通流量數(shù)據統(tǒng)計，可以更加全面完整的反應一個城市的交通狀況，為交通管理部門決策提供數(shù)據支撐。

　　三、視頻大數(shù)據技術在智慧安全中的應用

　　在智慧安全的案件偵緝等應用中，經常需要進行人員信息的查詢，人員信息庫中的一個重要組成部分是人臉庫，人臉庫包括人員的基本信息、頭像圖片以及根據頭像建模而得的人臉特征向量。其中案件偵緝中一個重要的應用是人臉檢索，即從視頻圖像中提取人帶人臉的特征向量跟人臉庫中的數(shù)據進行比對，查詢出來此人的基本信息。當人臉庫數(shù)量達到1000萬級別甚至更大后，目前人臉檢索方式會出現(xiàn)瓶頸。因為在人臉的檢索過程中需要檢索整個人臉庫，需要將整個人臉庫導入到內存中以提高檢索效率，對服務器內存要求高，而當前大多人臉檢索方案不支持集群架構，只能增加單服務器的內存以滿足需求，容易出現(xiàn)瓶頸。針對此類場景，可采用人臉檢索的大數(shù)據解決方案，人臉庫保存于視頻大數(shù)據平臺中，視頻大數(shù)據平臺采用集群架構，并且可平滑擴展，可以提供足夠大的內存，同時，采用分布式計算，各節(jié)點并行進行計算，極大地提高數(shù)據處理的能力。

　　人臉檢索大數(shù)據應用設計如下圖所示：

　　人臉檢索大數(shù)據方案示意圖

　　人臉檢索大數(shù)據應用的不同之處在于后端子系統(tǒng)中加入了視頻大數(shù)據平臺。智慧安全應用平臺為用戶提供人臉檢索功能;視頻大數(shù)據平臺存儲人臉庫數(shù)據，進行高效的人臉分析比對，為應用平臺提供人臉檢索服務。以1000萬條數(shù)據為例。如果傳統(tǒng)的方式數(shù)據庫需要管理員進行手動的分庫分表操作，隨著數(shù)據的增長維護工作量會越來越大，同時也很難保證系統(tǒng)的正常運行;采用視頻大數(shù)據技術可以輕松的做到系統(tǒng)的橫向擴展，保證系統(tǒng)高效的運行?；谝曨l大數(shù)據平臺，智慧安全應用平臺能夠為用戶提供快速的人臉檢索功能。

　　四、總結展望

　　視頻大數(shù)據技術能夠解決當前系統(tǒng)處理海量視頻及相關數(shù)據能力不足的問題，幫助客戶從海量的視頻數(shù)據中快速挖掘高價值的信息，協(xié)助客戶提升其決策的效率和精準度?？梢灶A見在未來的“智慧城市”建設中，視頻的數(shù)據量會爆炸性增長，對海量視頻數(shù)據處理系統(tǒng)的要求會越來越高，對視頻數(shù)據挖掘的能力要求越來越強，視頻大數(shù)據平臺將引入越來越多的機器學習、圖算法等尖端技術來提高整個系統(tǒng)的智能化水平。