業(yè)務(wù)交流

行業(yè)熱點

國際交流

數(shù)據(jù)倉庫、數(shù)據(jù)湖...智慧水務(wù)如何玩轉(zhuǎn)大數(shù)據(jù)?
發(fā)布日期:

導 讀
  大數(shù)據(jù)技術(shù)日益成熟,在各行業(yè)發(fā)揮了巨大的作用,與水務(wù)行業(yè)的深度融合亦是智慧水務(wù)創(chuàng)新發(fā)展的趨勢。智慧水務(wù)大數(shù)據(jù)分析標準以大數(shù)據(jù)構(gòu)建和分析標準為主要內(nèi)容進行研究,提出智慧水務(wù)大數(shù)據(jù)三層架構(gòu),初步構(gòu)建分析標準體系,為水務(wù)企業(yè)智慧水務(wù)大數(shù)據(jù)建設(shè)和分析應(yīng)用提供參考資料。
  0 引言
  隨著智慧水務(wù)的發(fā)展和水務(wù)數(shù)據(jù)的指數(shù)級別增長,水務(wù)企業(yè)面臨著嚴峻的數(shù)據(jù)管理問題。將大數(shù)據(jù)技術(shù)及其應(yīng)用分析引入到水務(wù)行業(yè),更好地挖掘和使用這些數(shù)據(jù),將會釋放出更多的隱藏價值。智慧水務(wù)大數(shù)據(jù)分析通過集成和優(yōu)化多個業(yè)務(wù)部門的協(xié)同應(yīng)用,對水務(wù)企業(yè)整體的綜合績效和關(guān)鍵事件進行分析和統(tǒng)一管理,從信息集成平臺接受并處理來自多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù),連續(xù)不斷地監(jiān)控重大事件、預測趨勢并做出相應(yīng)的輸出,對生產(chǎn)運行進行量化考核,從而實現(xiàn)決策的科學化,體現(xiàn)智慧水務(wù)建設(shè)對水務(wù)企業(yè)運營數(shù)據(jù)的深層次挖掘和應(yīng)用。
  智慧水務(wù)大數(shù)據(jù)平臺能夠提高信息系統(tǒng)交互速度和質(zhì)量,及時、準確、全面地掌握企業(yè)的整體狀況。但是如何應(yīng)用大數(shù)據(jù)技術(shù),如何構(gòu)建大數(shù)據(jù)架構(gòu),如何進行大數(shù)據(jù)分析還缺乏指導規(guī)范,需要建設(shè)相關(guān)的平臺構(gòu)建標準和分析指標體系。因此,研究智慧水務(wù)大數(shù)據(jù)構(gòu)建和分析標準能夠有力推動智慧水務(wù)建設(shè)和發(fā)展,能夠更好地幫助水務(wù)企業(yè)開展具有針對性的分析、研究工作,有效地制定相關(guān)發(fā)展措施和建立相關(guān)考核體系,幫助水務(wù)企業(yè)制定科學的發(fā)展戰(zhàn)略。
  1 智慧水務(wù)大數(shù)據(jù)建設(shè)目標
  1.1 實現(xiàn)水務(wù)全要素信息采集和存儲
  數(shù)據(jù)采集、存儲、整合是智慧水務(wù)大數(shù)據(jù)分析的前提和基礎(chǔ)。運用大數(shù)據(jù)技術(shù),幫助水務(wù)企業(yè)實現(xiàn)從原水到水廠、從管網(wǎng)到用戶等環(huán)節(jié)全方位、全要素的信息采集,消除信息孤島實現(xiàn)系統(tǒng)的互聯(lián)互通,實現(xiàn)海量數(shù)據(jù)的傳輸與存儲。構(gòu)建智慧水務(wù)數(shù)據(jù)倉庫和數(shù)據(jù)湖,實現(xiàn)數(shù)據(jù)資源標準化、數(shù)據(jù)來源唯一化和信息流程簡潔化,對數(shù)據(jù)進行集中管理,實現(xiàn)大數(shù)據(jù)整合應(yīng)用。
  1.2 打造水務(wù)大數(shù)據(jù)資源標準和規(guī)范
  智慧水務(wù)大數(shù)據(jù)的分析應(yīng)用,數(shù)據(jù)資源的標準化建設(shè)是重中之重,參考現(xiàn)有大數(shù)據(jù)的國家標準和行業(yè)規(guī)范,結(jié)合智慧水務(wù)對大數(shù)據(jù)標準化需求,提出了大數(shù)據(jù)標準體系框架(見圖1),具體的標準規(guī)范由水務(wù)企業(yè)按需梳理和建設(shè)。
  2023-11-02T07:33:59.png
  

圖1 智慧水務(wù)大數(shù)據(jù)標準體系

  智慧水務(wù)大數(shù)據(jù)標準體系由7個類別的標準組成,分別為基礎(chǔ)標準、數(shù)據(jù)標準、技術(shù)標準、平臺標準、應(yīng)用標準、安全標準和管理標準。
  基礎(chǔ)標準:為整個標準體系提供包括總則、術(shù)語、參考架構(gòu)和通用要求等基礎(chǔ)性標準。
  數(shù)據(jù)標準:為數(shù)據(jù)資源相關(guān)要素進行規(guī)范,包括數(shù)據(jù)資源規(guī)范和編碼分類標準。
  技術(shù)標準:為大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用進行規(guī)范,包括描述評估、處理分析和互操作等技術(shù)應(yīng)用標準。
  平臺標準:為大數(shù)據(jù)平臺應(yīng)用、工具產(chǎn)品進行規(guī)范,指導建設(shè)數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖等涉及技術(shù)、功能和接口要求,包括數(shù)據(jù)平臺和工具平臺等標準。
  應(yīng)用標準:為大數(shù)據(jù)在水務(wù)行業(yè)所能提供的應(yīng)用和服務(wù)制定的標準,包括數(shù)據(jù)交換共享、數(shù)據(jù)訪問和數(shù)據(jù)應(yīng)用等要求。
  安全標準:為保障大數(shù)據(jù)安全進行規(guī)范,包括通用安全和行業(yè)安全等要求。
  管理標準:為大數(shù)據(jù)管理制定的支撐體系,貫穿于大數(shù)據(jù)整個生命周期,包括數(shù)據(jù)運維、數(shù)據(jù)治理和數(shù)據(jù)評估等要求。
  1.3 構(gòu)建水務(wù)大數(shù)據(jù)分析平臺和體系
  利用大數(shù)據(jù)技術(shù),構(gòu)建水務(wù)大數(shù)據(jù)分析平臺并對水務(wù)運行管理狀態(tài)進行梳理,建立一套可量化、標準化的分析指標體系,對城市水務(wù)情況進行全面統(tǒng)計與深度分析,為數(shù)據(jù)消費者提供大數(shù)據(jù)服務(wù)。利用知識圖譜和深度學習技術(shù),建立各個業(yè)務(wù)條線的分析算法模型,挖掘水務(wù)行業(yè)海量數(shù)據(jù)中的潛在價值,提升水務(wù)企業(yè)科學決策能力。
  2 智慧水務(wù)大數(shù)據(jù)構(gòu)建標準
  智慧水務(wù)大數(shù)據(jù)構(gòu)建首先是明確業(yè)務(wù)場景和應(yīng)用需求,從而決定數(shù)據(jù)源和數(shù)據(jù)采集的范圍,并按照數(shù)據(jù)資源的標準和規(guī)范進行數(shù)據(jù)整合;其次是確定大數(shù)據(jù)平臺要具備的基本的功能,以此選擇大數(shù)據(jù)處理工具和技術(shù)框架,并設(shè)計大數(shù)據(jù)中心的數(shù)據(jù)處理流程;最后是構(gòu)建頂層的數(shù)據(jù)決策平臺,選擇數(shù)據(jù)挖掘工具并建立大數(shù)據(jù)分析模型,提供各類大數(shù)據(jù)分析應(yīng)用。
  因此,智慧水務(wù)大數(shù)據(jù)構(gòu)建可分為數(shù)據(jù)整合、數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用三大步驟,對應(yīng)的技術(shù)架構(gòu)自下而上分為三個部分(見圖2),分別是數(shù)據(jù)層、大數(shù)據(jù)中心和數(shù)據(jù)決策層。
  2023-11-02T07:34:27.png
  
圖2 智慧水務(wù)大數(shù)據(jù)三層架構(gòu)

 ?。?)數(shù)據(jù)層。針對不同業(yè)務(wù)和應(yīng)用系統(tǒng)進行分析,制定數(shù)據(jù)采集范圍與目標,收集各系統(tǒng)產(chǎn)生的全要素信息,將各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行整合,為智慧水務(wù)大數(shù)據(jù)的分析提供支撐。水務(wù)系統(tǒng)的數(shù)據(jù)通過數(shù)據(jù)層匯至大數(shù)據(jù)中心需經(jīng)歷數(shù)據(jù)抽取、過濾、清洗、轉(zhuǎn)換和裝載等數(shù)據(jù)準備過程。
  數(shù)據(jù)抽取:通過系統(tǒng)接口和ETL工具進行數(shù)據(jù)集成,從智慧水務(wù)體系各應(yīng)用系統(tǒng)中抽取大數(shù)據(jù)中心需要的數(shù)據(jù)。
  數(shù)據(jù)過濾:按照相應(yīng)規(guī)范和需求進行數(shù)據(jù)篩選,快速高效地過濾出有價值的信息。
  數(shù)據(jù)清洗:為保持數(shù)據(jù)一致性,需對數(shù)據(jù)無效值、缺失值、重復數(shù)據(jù)進行處理和加工。
  數(shù)據(jù)轉(zhuǎn)換:將數(shù)據(jù)按照業(yè)務(wù)需求,轉(zhuǎn)換成大數(shù)據(jù)中心要求的形式。
  數(shù)據(jù)裝載:將經(jīng)過清洗和轉(zhuǎn)換之后的數(shù)據(jù)加載到大數(shù)據(jù)中心。
  (2)大數(shù)據(jù)中心。智慧水務(wù)大數(shù)據(jù)中心匯聚了水務(wù)系統(tǒng)全要素信息數(shù)據(jù),按照數(shù)據(jù)資源集合形式可分為兩類:一類是數(shù)據(jù)倉庫和數(shù)據(jù)集市,主要存儲大數(shù)據(jù)技術(shù)治理后結(jié)構(gòu)化的數(shù)據(jù),數(shù)據(jù)倉庫主要包括主數(shù)據(jù)、元數(shù)據(jù)、參考數(shù)據(jù)和一般數(shù)據(jù),數(shù)據(jù)集市是針對特定業(yè)務(wù)和場景需求進一步構(gòu)造的數(shù)據(jù)倉庫子集,大數(shù)據(jù)中心中會有多個智慧水務(wù)業(yè)務(wù)條線的數(shù)據(jù)集市;另一類是數(shù)據(jù)湖,能夠存儲結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù),相較于數(shù)據(jù)倉庫存儲了更多的原始數(shù)據(jù),數(shù)據(jù)不需要進行清理和轉(zhuǎn)換,能夠隨時取用信息進行大數(shù)據(jù)分析,具有廣泛數(shù)據(jù)發(fā)現(xiàn)和多維交叉分析優(yōu)勢。廣義上數(shù)據(jù)湖可以包含數(shù)據(jù)倉庫,但在大數(shù)據(jù)中心架構(gòu)中,兩者是互補互促的大數(shù)據(jù)應(yīng)用格局。
  (3)數(shù)據(jù)決策層。智慧水務(wù)大數(shù)據(jù)分析常用方法有可視化分析、預測性分析、數(shù)據(jù)挖掘算法和語義引擎等,通過可視化數(shù)據(jù)分析平臺來直觀展示海量數(shù)據(jù)關(guān)聯(lián),通過建立水務(wù)專業(yè)知識模型來預測未來狀態(tài)和風險,通過信息集成來提供決策參考信息,通過為已有數(shù)據(jù)添加語義來獲取非結(jié)構(gòu)化數(shù)據(jù)的信息價值,最終為水務(wù)企業(yè)提供預警預測、風險識別、主動決策和綜合治理等分析應(yīng)用和數(shù)據(jù)服務(wù)。
  3 智慧水務(wù)大數(shù)據(jù)分析標準
  2020年 1月,中國城鎮(zhèn)供水排水協(xié)會發(fā)布的《中國城鎮(zhèn)水務(wù) 2035年行業(yè)發(fā)展規(guī)劃》中指出“要明確智慧水務(wù)的概念、內(nèi)涵及指標體系”,本文以供水行業(yè)為例,結(jié)合國內(nèi)供水行業(yè)的特點和大數(shù)據(jù)應(yīng)用場景因素,將供水行業(yè)大數(shù)據(jù)分析指標分為生產(chǎn)、經(jīng)營、管理和服務(wù)型四類,以構(gòu)建供水大數(shù)據(jù)分析的標準體系(見圖3)。
  2023-11-02T07:34:47.png
  
圖3 供水大數(shù)據(jù)分析指標體系

 ?。?)生產(chǎn)型指標。城市供水生產(chǎn)的可靠性、持續(xù)性和高效運行關(guān)乎城市供水安全,從水源、水廠、管網(wǎng)、管網(wǎng)中途泵站、小區(qū)二次供水再到用戶,生產(chǎn)鏈條環(huán)節(jié)上的大數(shù)據(jù)分析指標,反映了供水企業(yè)生產(chǎn)效率的高低、管理計劃執(zhí)行等情況,有助于發(fā)現(xiàn)問題并采取改進措施(見表1)。
  
表1 生產(chǎn)型指標

  2023-11-02T07:35:00.png
 ?。?)經(jīng)營型指標。供水企業(yè)需要了解其經(jīng)營管理、管理效率和經(jīng)濟效益情況,制定供水管理、水表管理、抄表管理、收費管理方面等經(jīng)營維度的大數(shù)據(jù)分析指標,能夠幫助管理部門找出存在不足的和重點提高的地方,從而提升供水企業(yè)的經(jīng)營管理水平和經(jīng)濟效益(見表2)。
  
表2 經(jīng)營型指標

  2023-11-02T07:35:08.png
  (3)管理型指標。在剖析供水企業(yè)管理需求和綜合提升的基礎(chǔ)上,重點從綜合調(diào)度、工程管理和安全管控三方面提煉大數(shù)據(jù)分析指標,打破各業(yè)務(wù)部門獨立管理的數(shù)據(jù)流程壁壘,構(gòu)建供水企業(yè)統(tǒng)一監(jiān)管、全程管控的數(shù)據(jù)應(yīng)用機制,進一步提升運營管理能力,降低運營管理成本(見表3)。
 
 表3 管理型指標

  2023-11-02T07:35:21.png
 ?。?)服務(wù)型指標。供水企業(yè)服務(wù)以供水用戶為核心,提供客戶服務(wù)和供水保障服務(wù),其大數(shù)據(jù)分析指標一方面可以為業(yè)務(wù)決策提供精準數(shù)據(jù)支撐,提升日常工作效率,另一方面經(jīng)過深加工的高價值數(shù)據(jù)能為社會提供更多服務(wù),進而實現(xiàn)大量沉淀數(shù)據(jù)的增值應(yīng)用(見表4)。
  
表4 服務(wù)型指標

 2023-11-02T07:35:30.png 
  4 展望
  智慧水務(wù)大數(shù)據(jù)分析標準研究貫徹了國家大數(shù)據(jù)發(fā)展戰(zhàn)略,能夠幫助水務(wù)企業(yè)進一步推進數(shù)據(jù)資源整合共享,促進智慧水務(wù)大數(shù)據(jù)發(fā)展與創(chuàng)新應(yīng)用。本文討論了智慧水務(wù)大數(shù)據(jù)分析的初步構(gòu)建標準和指標體系,兼顧了數(shù)據(jù)倉庫和數(shù)據(jù)湖并存的情況,為智慧水務(wù)大數(shù)據(jù)融合創(chuàng)新建立了一定的基礎(chǔ)。
  未來智慧水務(wù)大數(shù)據(jù)分析應(yīng)用需要緊密結(jié)合水務(wù)行業(yè)的研究熱點,通過大數(shù)據(jù)技術(shù)解決實際問題,如生產(chǎn)運行節(jié)能降耗、產(chǎn)銷差漏損管控、客戶主動服務(wù)等,水務(wù)企業(yè)還需進一步推進數(shù)據(jù)整合和利用,創(chuàng)新大數(shù)據(jù)應(yīng)用,提升大數(shù)據(jù)價值,持續(xù)提高基于大數(shù)據(jù)分析的管理能力和服務(wù)水平。
  微信對原文有修改。原文標題:智慧水務(wù)大數(shù)據(jù)分析標準研究和展望;作者:謝晉、蔣懷德、張曄明、羅賢偉;作者單位:上海市政工程設(shè)計研究總院(集團)有限公司??窃凇督o水排水》2021年增刊S1期。