數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖...智慧水務(wù)如何玩轉(zhuǎn)大數(shù)據(jù)？
大數(shù)據(jù)技術(shù)日益成熟，在各行業(yè)發(fā)揮了巨大的作用，與水務(wù)行業(yè)的深度融合亦是智慧水務(wù)創(chuàng)新發(fā)展的趨勢(shì)。智慧水務(wù)大數(shù)據(jù)分析標(biāo)準(zhǔn)以大數(shù)據(jù)構(gòu)建和分析標(biāo)準(zhǔn)為主要內(nèi)容進(jìn)行研究，提出智慧水務(wù)大數(shù)據(jù)三層架構(gòu)，初步構(gòu)建分析標(biāo)準(zhǔn)體系，為水務(wù)企業(yè)智慧水務(wù)大數(shù)據(jù)建設(shè)和分析應(yīng)用提供參考資料。
0 引言
隨著智慧水務(wù)的發(fā)展和水務(wù)數(shù)據(jù)的指數(shù)級(jí)別增長(zhǎng)，水務(wù)企業(yè)面臨著嚴(yán)峻的數(shù)據(jù)管理問(wèn)題。將大數(shù)據(jù)技術(shù)及其應(yīng)用分析引入到水務(wù)行業(yè)，更好地挖掘和使用這些數(shù)據(jù)，將會(huì)釋放出更多的隱藏價(jià)值。智慧水務(wù)大數(shù)據(jù)分析通過(guò)集成和優(yōu)化多個(gè)業(yè)務(wù)部門(mén)的協(xié)同應(yīng)用，對(duì)水務(wù)企業(yè)整體的綜合績(jī)效和關(guān)鍵事件進(jìn)行分析和統(tǒng)一管理，從信息集成平臺(tái)接受并處理來(lái)自多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，連續(xù)不斷地監(jiān)控重大事件、預(yù)測(cè)趨勢(shì)并做出相應(yīng)的輸出，對(duì)生產(chǎn)運(yùn)行進(jìn)行量化考核，從而實(shí)現(xiàn)決策的科學(xué)化，體現(xiàn)智慧水務(wù)建設(shè)對(duì)水務(wù)企業(yè)運(yùn)營(yíng)數(shù)據(jù)的深層次挖掘和應(yīng)用。
智慧水務(wù)大數(shù)據(jù)平臺(tái)能夠提高信息系統(tǒng)交互速度和質(zhì)量，及時(shí)、準(zhǔn)確、全面地掌握企業(yè)的整體狀況。但是如何應(yīng)用大數(shù)據(jù)技術(shù)，如何構(gòu)建大數(shù)據(jù)架構(gòu)，如何進(jìn)行大數(shù)據(jù)分析還缺乏指導(dǎo)規(guī)范，需要建設(shè)相關(guān)的平臺(tái)構(gòu)建標(biāo)準(zhǔn)和分析指標(biāo)體系。因此，研究智慧水務(wù)大數(shù)據(jù)構(gòu)建和分析標(biāo)準(zhǔn)能夠有力推動(dòng)智慧水務(wù)建設(shè)和發(fā)展，能夠更好地幫助水務(wù)企業(yè)開(kāi)展具有針對(duì)性的分析、研究工作，有效地制定相關(guān)發(fā)展措施和建立相關(guān)考核體系，幫助水務(wù)企業(yè)制定科學(xué)的發(fā)展戰(zhàn)略。
1 智慧水務(wù)大數(shù)據(jù)建設(shè)目標(biāo)
1.1 實(shí)現(xiàn)水務(wù)全要素信息采集和存儲(chǔ)
數(shù)據(jù)采集、存儲(chǔ)、整合是智慧水務(wù)大數(shù)據(jù)分析的前提和基礎(chǔ)。運(yùn)用大數(shù)據(jù)技術(shù)，幫助水務(wù)企業(yè)實(shí)現(xiàn)從原水到水廠、從管網(wǎng)到用戶等環(huán)節(jié)全方位、全要素的信息采集，消除信息孤島實(shí)現(xiàn)系統(tǒng)的互聯(lián)互通，實(shí)現(xiàn)海量數(shù)據(jù)的傳輸與存儲(chǔ)。構(gòu)建智慧水務(wù)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖，實(shí)現(xiàn)數(shù)據(jù)資源標(biāo)準(zhǔn)化、數(shù)據(jù)來(lái)源唯一化和信息流程簡(jiǎn)潔化，對(duì)數(shù)據(jù)進(jìn)行集中管理，實(shí)現(xiàn)大數(shù)據(jù)整合應(yīng)用。
1.2 打造水務(wù)大數(shù)據(jù)資源標(biāo)準(zhǔn)和規(guī)范
智慧水務(wù)大數(shù)據(jù)的分析應(yīng)用，數(shù)據(jù)資源的標(biāo)準(zhǔn)化建設(shè)是重中之重，參考現(xiàn)有大數(shù)據(jù)的國(guó)家標(biāo)準(zhǔn)和行業(yè)規(guī)范，結(jié)合智慧水務(wù)對(duì)大數(shù)據(jù)標(biāo)準(zhǔn)化需求，提出了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架（見(jiàn)圖1），具體的標(biāo)準(zhǔn)規(guī)范由水務(wù)企業(yè)按需梳理和建設(shè)。
圖1 智慧水務(wù)大數(shù)據(jù)標(biāo)準(zhǔn)體系
智慧水務(wù)大數(shù)據(jù)標(biāo)準(zhǔn)體系由7個(gè)類(lèi)別的標(biāo)準(zhǔn)組成，分別為基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、平臺(tái)標(biāo)準(zhǔn)、應(yīng)用標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)和管理標(biāo)準(zhǔn)。基礎(chǔ)標(biāo)準(zhǔn)：為整個(gè)標(biāo)準(zhǔn)體系提供包括總則、術(shù)語(yǔ)、參考架構(gòu)和通用要求等基礎(chǔ)性標(biāo)準(zhǔn)。
數(shù)據(jù)標(biāo)準(zhǔn)：為數(shù)據(jù)資源相關(guān)要素進(jìn)行規(guī)范，包括數(shù)據(jù)資源規(guī)范和編碼分類(lèi)標(biāo)準(zhǔn)。
技術(shù)標(biāo)準(zhǔn)：為大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用進(jìn)行規(guī)范，包括描述評(píng)估、處理分析和互操作等技術(shù)應(yīng)用標(biāo)準(zhǔn)。
平臺(tái)標(biāo)準(zhǔn)：為大數(shù)據(jù)平臺(tái)應(yīng)用、工具產(chǎn)品進(jìn)行規(guī)范，指導(dǎo)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖等涉及技術(shù)、功能和接口要求，包括數(shù)據(jù)平臺(tái)和工具平臺(tái)等標(biāo)準(zhǔn)。
應(yīng)用標(biāo)準(zhǔn)：為大數(shù)據(jù)在水務(wù)行業(yè)所能提供的應(yīng)用和服務(wù)制定的標(biāo)準(zhǔn)，包括數(shù)據(jù)交換共享、數(shù)據(jù)訪問(wèn)和數(shù)據(jù)應(yīng)用等要求。
安全標(biāo)準(zhǔn)：為保障大數(shù)據(jù)安全進(jìn)行規(guī)范，包括通用安全和行業(yè)安全等要求。
管理標(biāo)準(zhǔn)：為大數(shù)據(jù)管理制定的支撐體系，貫穿于大數(shù)據(jù)整個(gè)生命周期，包括數(shù)據(jù)運(yùn)維、數(shù)據(jù)治理和數(shù)據(jù)評(píng)估等要求。
1.3 構(gòu)建水務(wù)大數(shù)據(jù)分析平臺(tái)和體系
利用大數(shù)據(jù)技術(shù)，構(gòu)建水務(wù)大數(shù)據(jù)分析平臺(tái)并對(duì)水務(wù)運(yùn)行管理狀態(tài)進(jìn)行梳理，建立一套可量化、標(biāo)準(zhǔn)化的分析指標(biāo)體系，對(duì)城市水務(wù)情況進(jìn)行全面統(tǒng)計(jì)與深度分析，為數(shù)據(jù)消費(fèi)者提供大數(shù)據(jù)服務(wù)。利用知識(shí)圖譜和深度學(xué)習(xí)技術(shù)，建立各個(gè)業(yè)務(wù)條線的分析算法模型，挖掘水務(wù)行業(yè)海量數(shù)據(jù)中的潛在價(jià)值，提升水務(wù)企業(yè)科學(xué)決策能力。
2 智慧水務(wù)大數(shù)據(jù)構(gòu)建標(biāo)準(zhǔn)
智慧水務(wù)大數(shù)據(jù)構(gòu)建首先是明確業(yè)務(wù)場(chǎng)景和應(yīng)用需求，從而決定數(shù)據(jù)源和數(shù)據(jù)采集的范圍，并按照數(shù)據(jù)資源的標(biāo)準(zhǔn)和規(guī)范進(jìn)行數(shù)據(jù)整合；其次是確定大數(shù)據(jù)平臺(tái)要具備的基本的功能，以此選擇大數(shù)據(jù)處理工具和技術(shù)框架，并設(shè)計(jì)大數(shù)據(jù)中心的數(shù)據(jù)處理流程；最后是構(gòu)建頂層的數(shù)據(jù)決策平臺(tái)，選擇數(shù)據(jù)挖掘工具并建立大數(shù)據(jù)分析模型，提供各類(lèi)大數(shù)據(jù)分析應(yīng)用。
因此，智慧水務(wù)大數(shù)據(jù)構(gòu)建可分為數(shù)據(jù)整合、數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用三大步驟，對(duì)應(yīng)的技術(shù)架構(gòu)自下而上分為三個(gè)部分（見(jiàn)圖2），分別是數(shù)據(jù)層、大數(shù)據(jù)中心和數(shù)據(jù)決策層。
圖2 智慧水務(wù)大數(shù)據(jù)三層架構(gòu)
（1）數(shù)據(jù)層。針對(duì)不同業(yè)務(wù)和應(yīng)用系統(tǒng)進(jìn)行分析，制定數(shù)據(jù)采集范圍與目標(biāo)，收集各系統(tǒng)產(chǎn)生的全要素信息，將各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合，為智慧水務(wù)大數(shù)據(jù)的分析提供支撐。水務(wù)系統(tǒng)的數(shù)據(jù)通過(guò)數(shù)據(jù)層匯至大數(shù)據(jù)中心需經(jīng)歷數(shù)據(jù)抽取、過(guò)濾、清洗、轉(zhuǎn)換和裝載等數(shù)據(jù)準(zhǔn)備過(guò)程。數(shù)據(jù)抽?。和ㄟ^(guò)系統(tǒng)接口和ETL工具進(jìn)行數(shù)據(jù)集成，從智慧水務(wù)體系各應(yīng)用系統(tǒng)中抽取大數(shù)據(jù)中心需要的數(shù)據(jù)。
數(shù)據(jù)過(guò)濾：按照相應(yīng)規(guī)范和需求進(jìn)行數(shù)據(jù)篩選，快速高效地過(guò)濾出有價(jià)值的信息。
數(shù)據(jù)清洗：為保持?jǐn)?shù)據(jù)一致性，需對(duì)數(shù)據(jù)無(wú)效值、缺失值、重復(fù)數(shù)據(jù)進(jìn)行處理和加工。
數(shù)據(jù)轉(zhuǎn)換：將數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成大數(shù)據(jù)中心要求的形式。
數(shù)據(jù)裝載：將經(jīng)過(guò)清洗和轉(zhuǎn)換之后的數(shù)據(jù)加載到大數(shù)據(jù)中心。
?。?）大數(shù)據(jù)中心。智慧水務(wù)大數(shù)據(jù)中心匯聚了水務(wù)系統(tǒng)全要素信息數(shù)據(jù)，按照數(shù)據(jù)資源集合形式可分為兩類(lèi)：一類(lèi)是數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市，主要存儲(chǔ)大數(shù)據(jù)技術(shù)治理后結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)主要包括主數(shù)據(jù)、元數(shù)據(jù)、參考數(shù)據(jù)和一般數(shù)據(jù)，數(shù)據(jù)集市是針對(duì)特定業(yè)務(wù)和場(chǎng)景需求進(jìn)一步構(gòu)造的數(shù)據(jù)倉(cāng)庫(kù)子集，大數(shù)據(jù)中心中會(huì)有多個(gè)智慧水務(wù)業(yè)務(wù)條線的數(shù)據(jù)集市；另一類(lèi)是數(shù)據(jù)湖，能夠存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，相較于數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)了更多的原始數(shù)據(jù)，數(shù)據(jù)不需要進(jìn)行清理和轉(zhuǎn)換，能夠隨時(shí)取用信息進(jìn)行大數(shù)據(jù)分析，具有廣泛數(shù)據(jù)發(fā)現(xiàn)和多維交叉分析優(yōu)勢(shì)。廣義上數(shù)據(jù)湖可以包含數(shù)據(jù)倉(cāng)庫(kù)，但在大數(shù)據(jù)中心架構(gòu)中，兩者是互補(bǔ)互促的大數(shù)據(jù)應(yīng)用格局。
（3）數(shù)據(jù)決策層。智慧水務(wù)大數(shù)據(jù)分析常用方法有可視化分析、預(yù)測(cè)性分析、數(shù)據(jù)挖掘算法和語(yǔ)義引擎等，通過(guò)可視化數(shù)據(jù)分析平臺(tái)來(lái)直觀展示海量數(shù)據(jù)關(guān)聯(lián)，通過(guò)建立水務(wù)專(zhuān)業(yè)知識(shí)模型來(lái)預(yù)測(cè)未來(lái)狀態(tài)和風(fēng)險(xiǎn)，通過(guò)信息集成來(lái)提供決策參考信息，通過(guò)為已有數(shù)據(jù)添加語(yǔ)義來(lái)獲取非結(jié)構(gòu)化數(shù)據(jù)的信息價(jià)值，最終為水務(wù)企業(yè)提供預(yù)警預(yù)測(cè)、風(fēng)險(xiǎn)識(shí)別、主動(dòng)決策和綜合治理等分析應(yīng)用和數(shù)據(jù)服務(wù)。
3 智慧水務(wù)大數(shù)據(jù)分析標(biāo)準(zhǔn)
2020年 1月，中國(guó)城鎮(zhèn)供水排水協(xié)會(huì)發(fā)布的《中國(guó)城鎮(zhèn)水務(wù) 2035年行業(yè)發(fā)展規(guī)劃》中指出“要明確智慧水務(wù)的概念、內(nèi)涵及指標(biāo)體系”，本文以供水行業(yè)為例，結(jié)合國(guó)內(nèi)供水行業(yè)的特點(diǎn)和大數(shù)據(jù)應(yīng)用場(chǎng)景因素，將供水行業(yè)大數(shù)據(jù)分析指標(biāo)分為生產(chǎn)、經(jīng)營(yíng)、管理和服務(wù)型四類(lèi)，以構(gòu)建供水大數(shù)據(jù)分析的標(biāo)準(zhǔn)體系（見(jiàn)圖3）。
圖3 供水大數(shù)據(jù)分析指標(biāo)體系
?。?）生產(chǎn)型指標(biāo)。城市供水生產(chǎn)的可靠性、持續(xù)性和高效運(yùn)行關(guān)乎城市供水安全，從水源、水廠、管網(wǎng)、管網(wǎng)中途泵站、小區(qū)二次供水再到用戶，生產(chǎn)鏈條環(huán)節(jié)上的大數(shù)據(jù)分析指標(biāo)，反映了供水企業(yè)生產(chǎn)效率的高低、管理計(jì)劃執(zhí)行等情況，有助于發(fā)現(xiàn)問(wèn)題并采取改進(jìn)措施（見(jiàn)表1）。
表1 生產(chǎn)型指標(biāo)
表2 經(jīng)營(yíng)型指標(biāo)
表3 管理型指標(biāo)
表4 服務(wù)型指標(biāo)
智慧水務(wù)大數(shù)據(jù)分析標(biāo)準(zhǔn)研究貫徹了國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略，能夠幫助水務(wù)企業(yè)進(jìn)一步推進(jìn)數(shù)據(jù)資源整合共享，促進(jìn)智慧水務(wù)大數(shù)據(jù)發(fā)展與創(chuàng)新應(yīng)用。本文討論了智慧水務(wù)大數(shù)據(jù)分析的初步構(gòu)建標(biāo)準(zhǔn)和指標(biāo)體系，兼顧了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖并存的情況，為智慧水務(wù)大數(shù)據(jù)融合創(chuàng)新建立了一定的基礎(chǔ)。
未來(lái)智慧水務(wù)大數(shù)據(jù)分析應(yīng)用需要緊密結(jié)合水務(wù)行業(yè)的研究熱點(diǎn)，通過(guò)大數(shù)據(jù)技術(shù)解決實(shí)際問(wèn)題，如生產(chǎn)運(yùn)行節(jié)能降耗、產(chǎn)銷(xiāo)差漏損管控、客戶主動(dòng)服務(wù)等，水務(wù)企業(yè)還需進(jìn)一步推進(jìn)數(shù)據(jù)整合和利用，創(chuàng)新大數(shù)據(jù)應(yīng)用，提升大數(shù)據(jù)價(jià)值，持續(xù)提高基于大數(shù)據(jù)分析的管理能力和服務(wù)水平。
微信對(duì)原文有修改。原文標(biāo)題：智慧水務(wù)大數(shù)據(jù)分析標(biāo)準(zhǔn)研究和展望；作者：謝晉、蔣懷德、張曄明、羅賢偉；作者單位：上海市政工程設(shè)計(jì)研究總院（集團(tuán)）有限公司。刊登在《給水排水》2021年增刊S1期。
來(lái)源： 給水排水