DQZHAN技術訊：大數據分析技術在采集運維業務中的應用研究
摘要： 近年來，隨著用電信息采集系統的大力推廣，用電信息采集規模日漸龐大，數據深化應用不斷加強，對系統的運行維護工作也隨之擴大，迫切的運維需求與落后的運維能力不匹配等問題逐漸凸顯出來。 文章提出運用大數據多維分析技術，從異常工單智能化派發、異常工單智能處理和采集運維多維度質量評價 3 方面入手，對整體采集運維工作進行優化，從而提升整體運維效率和質量，提高管理水平。
關鍵詞： 采集運維; 大數據; 多維度; 智能化
0引言
用電信息采集系統建設已經接近尾聲，目前累計接入智能電能表 4.2 億只、采集終端 1 263.84 萬臺，覆蓋用戶 3.86 億戶 [1]，因此，如何保證采集系統中各項業務的順利開展，將是今后要解決的主要問題。 采集運維業務中主要存在如下問題。
1)缺乏故障處理優先級，運維效率低下。 各省電力公司平均每天產生 10 000 條異常工單，遠遠超過目前配備運維人員的工作能力。 大部分公司沒有制定合理的消缺機制，無法依據故障的緊急程度和重要等級開展運維業務 [2]。
2)故障種類復雜多樣，故障分析定位困難。 用電信息采集系統涉及的運維對象有： 智能電能表、采集終端、采集主站、本地通信信道和遠程通信信道 [3]。
目前統計的異常現象共七大類59 種， 故障原因98 種。 故障分析定位非常困難，普通的運維人員通常不具備定位故障原因并確定消缺方案的技術能力。
3)缺少有效的考核評價體系。 目前采集運維工作大多采用“故障查詢 – 線下派工” 的模式，缺少運維結果和故障信息的反饋環節。 采集設備、計量設備、現場運維工作質量等方面均缺乏相關的考核評價體系，無法進一步提高運維工作質量 [4]。
為了解決以上問題，本文從采集運維業務中工單智能派發、智能分析處理和多維度質量評價 3 個角度介紹了大數據分析技術在采集運維業務中的應用。
1采集運維大數據系統模型
1.1大數據分析關鍵技術
大數據在采集系統中的應用包括數據采集、數據清理、數據存儲、數據分析、數據處理、數據解讀和數據應用 6 個環節 [5]，本文針對數據分析環節中，引入關系型聯機分析處理機制和多維分析技術進而優化整個系統進行論述。
1) 關 系 型 聯 機 分 析 處 理(Relational Online Analytical Processing， ROLAP)。 關系型聯機分析處理是聯機分析處理(OLAP)的一種形式。 這種技術基于關系型數據庫，以關系型結構進行多維數據的表示和存儲，對存儲在關系數據庫(而非多維數據庫)中的數據作動態多維分析。 使用關系數據庫管理 系 統(Relational Database Management System，RDBMS)存儲數據，數據文件大小受 RDBMS 限制;數據裝載速度快; 存儲空間耗費小; 維度數沒有限制;可以通過 SQL 對數據進行處理 [6]。
2)多維聯機分析處理(Multidimensional OnLine Analytical Processing， MOLAP)。 多維聯機分析處理是 OLAP 的另一種形式，基于專門的多維分析數據存儲結構。 MOLAP 使用專有多維結構存儲
數據，數據文件大小可能受到操作系統平臺文件大小限制，難以達到 TB 級; 規劃存儲時需要對數據量進行預測算，否則可能導致數據爆炸; 數據裝載速度慢; 維數有限，無法支持維的動態變化; 缺乏數據模型和數據訪問的標準; 分析查詢響應速度高于其他傳統 OLAP 技術，支持高性能的輔助決策計算 [7]。
1.2大數據運維業務架構
該業務架構收集采集、營銷和運維數據，通過數 據 抽 取 轉 換 加 載(Extraction-TransformationLoading， ETL)層對數據進行分類適配，向數據存儲層提供數據，數據存儲層對數據進行分類存儲后向數據分析層提供所需數據。 數據分析層對數據進行優化、數據檢索，為應用層的異常工單智能派發、異常工單智能處理及采集運維多維度質量評價提供數據支撐。 大數據運維業務架構示意如圖 1 所示。
數據源主要實現從采集主站、營銷系統和采集運維閉環系統獲取所需數據，如用戶檔案、采集成功 率和異常工單等數據。
數據ETL層的主要功能是使用ETL工具對數據源數據進行抽取、清洗、轉換，并向數據存儲層裝載。
數據存儲層采取混合型的大數據存儲和處理架構，實現對多源異構電力大數據的多樣性存儲和處理功能。 混合存儲可適應分布式文件系統、列式數據庫、內存數據庫等多種數據存儲和管理形式，以滿足不同應用的需求; 處理架構分別面向離線分析、實時計算、計算密集型數據分析等場景，采用分布式批處理、內存計算、高性能計算等技術實現 [8]。
數據分析層實現應用系統的基礎功能，如分析模型管理、批量計算、實時查詢等功能。 在數據分析層和數據處理層之間采用支持高并發、低時延事務操作的分布式內存數據緩存技術，以降低業務應用操作與數據處理層之間的耦合性，提高應用服務響應效率 [9]。
應用層構建異常工單智能化派發、異常工單智能處理和采集運維多維度質量評價 3 項業務，實現采集運維閉環管理的業務功能。 采用模塊化軟件設計方法實現 3 個模塊功能的即插即用，并在充分考慮模塊之間的信息聯絡及功能聯合的基礎上，遵循規范的接口，實現模塊之間的功能融合，從而實現 3個業務模塊之間既可獨立運行，又可協作互補。
2大數據運維優化方案
2.1異常工單智能化派發應用
目前，異常工單主要由采集運維人員人工派發，本文在研究了大量文獻 [10-12] 后發現： 人工派發工單
的問題在于不能充分對現場情況的緊急程度有合理的判斷，并且在異常工單大量產生時，對于工單的消
缺沒有合理的先后順序，從而導致須緊急處理的故障不能在*短時間內修復，導致更大的經濟損失。
本章提出對大量運維數據和系統歷史數據進行多維度分析，甄別各類異常的嚴重程度，輸出采集運維效用值模型，用于判斷異常處理的先后次序，逐步提升異常工單處理的完成率和工作成效的可控性，從而進一步提高采集系統設備可用率和數據完整性。
2.1.1 基于多維分析的采集運維效用值模型
對于單個表計效用值來說，主要有： 離下一抄表日天數、異常持續時間和月平均用電量 3 方面影響。
總體工單效用是該工單所包含的故障電表效益和的累加，即“故障電能表數量” 產生的影響。 將這些因素綜合考慮得出具體公式。
2.1.2 采集運維效用值模型應用
依據 2016 年 1 月 1 日至 5 月 31 日某省 24 907 294 戶低壓用戶每日采集成功率、抄表數據和 2016 年 3 月 1 日至 5 月 31 日采集異常運維數據，對共計 1 417 869 條數據、42 536 070 個數據項進行分析 [13]，數據項包括所屬地區、管理單位、供電單位、臺區編號、采集點編號、各類異常處理時限、應采電能表總數、采集成功率、各類采集模式下集中器掛接表計分布數量、臺區月電量、居民 / 非居用戶日平均電量等。
1)月平均用電量分析。 在對系統數據的分析過程中發現，如果僅使用電量作為效用值的單位，*后計算出的數值比較大，因此在整體模型中引入“標準月用電量” 作為*后數值單位。 標準用電戶電量是在抽取大部分用戶的實際用電情況基礎上統計出各類用戶的月平均用電量，然后依據用戶*多類型的用電戶的平均電量為標準用電戶電量。 以居民用戶和非居民單相表用戶月用電量為標準戶電量分界點：≤ 200 kWh 為 1 戶標準戶，大于 200 kWh 且小于等于 1 000 kWh 為 2 戶標準戶， >1 000 kWh 為 3 戶標準戶。
2)異常持續時間分析。 系統基于每個電表的故障異常每持續**就會造成**電量監控損失，其電量監控損失按照累加方式進行計算。 對 2016 年5 月 10 000 戶居民和非居民的日用電量進行分析，其情況如下： 隨機挑選 10 000 戶居民用電情況，計算日用電量標準偏差，并從小到大排列，得出曲線圖(見圖 2)。
根據曲線拐點，其電量標準偏差值為17，小于17 的用戶數占總數的 92%。 隨機挑選 10 000 戶非居民用電情況，計算日用電量標準偏差，并從小到大排列，得出曲線圖(見圖 3)。
根據曲線拐點，其電量標準偏差值為147，小于147 的用戶數占總數的 88.75%。
由以上圖可知，90% 左右的用戶日均電量波動小，故本文暫時以 1 個月內的日平均電量作為故障
天數造成的單日損失監控電量。 為了能夠更準確的預估指定用戶當前月的用電量，參考該用戶上一年 同月份用電量、上一個月用電量和前 3 日用電量，它們之間的比例是 5:2:3。 電量標準偏差值如公式 6 ;綜合考慮后異常持續時間的效用值如公式4 和5。
3)距離下一抄表日天數分析。 距離下一抄表日越近，該用戶損失監控電量的概率越大，故障維修緊急度越高，當距離抄表時間遠時，該因數影響趨于零。 這里將系統中所有故障電表的故障處理時長作為距離下一抄表日因數影響的閾值。 距離天數超過閾值的，該因數影響為 0，距離天數在閾值內越小，其監控電量的缺省值越大。 故障時長統計截止于2016 年 6 月 1 日，統計持續 N 天無抄電能表數據的電能表數分布情況(見圖 4)
從圖中可以看出持續 2~8 天的故障電表用戶占總故障用戶數的 59.06%，持續 9~21 天無抄電能表數據的用戶占總故障用戶數的 30.72%，持續 22 天及以上占比 10.22%，。
由于抄表應用目前在采集系統應用率*高，持續 2~8 天無抄電能表數據的用戶占總故障用戶數的 59.06%，故從離抄表天數 8 天作為開始計算抄表日影響的閾值，離抄表日 8 天效用值為 1，離抄表日7 天效用值為 2，以此類推，離抄表日 1 天效用值為8。 則緊急程度 s(xi) 的數學模型如公式 3。
4)故障電能表數量效用值分析。 對該省采集系統內 5 個月產生的全部采集異常的電能表數及處理時長統計分析后發現，在運維時輸出效用值需要考慮掛載故障電能表數，否則不能達到運維效用的*大化。 但系統通過分析各個處理工單下所有故障電表的效用值總和來判斷其優先級，效用值高的工單優先處理。 總體效用值 (Y) 模型見公式 1。
2.2異常工單智能化分析處理
原來的采集運維工作由于缺乏系統大數據的支撐，在研究了大量文獻和現場調研后發現，運維人員僅通過對所屬地區的熟悉程度進行相對低效率的運維工作，缺乏對已發生故障的預分析能力，這導致運維人員僅能對現場故障類型進行逐個排查。 借鑒了前人研究 [14] 并引入對歷史異常工單大數據分析技術后，運維人員可通過系統的異常預分析功能更快地判斷現場故障原因，從而提高現場運維效率。
本章通過對歷史工單進行多維度、大批量數據分析，歸納數據規律，發現各維度下異常工單發生大概率的異常原因，并綜合考慮各維度下相同異常原因發生概率，輸出單個異常原因概率比值，對比各個異常原因比值的大小，從而對未來發生類似故障現象起到預分析作用，提升運維效率。
2.2.1 基于多維度分析異常原因概率比值
2.2.2 異常原因概率比值應用
通過對某個運維地區 1 個月 1 712 個歷史異常工單的故障設備類型”、生產廠家和“國網招標批次3 個維度的分類篩選，運用單個異常原因概率比值概念對該地區新產生集中器與主站無通信故障進行故障原因分析。
1)基于設備類型異常分析。 該地區與集中器和主站無通信時有關的歷史工單共有 761 條。 集中器發生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為32.82%、28.21% 和 12.82%，且該地區集中器 GPRS模塊故障偏多。
2)基于設備生產廠家異常分析。 該故障集中器為“某廠家” 生產設備，與其有關的工單共有 350 條。
發生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為51.43%、13.71% 和 16.00%，且該廠家集中器 GPRS模塊故障偏多。
3)基于國網招標批次異常分析。 該故障集中
器為“某批次招標” 供貨設備，與之有關的工單共有 243 條。“某批次招標” 集中器發生無通信故障時很大部分都是由集中器 GPRS 模塊故障、主機故障、軟件故障造成，占比分別為 37.14%、14.29% 和17.14%，且該招標批次集中器 GPRS 模塊故障偏多。
運用異常原因概率比值公式計算后可得： 集中器 GPRS 模塊故障率 =(32.87%+51.43%+37.14%)/3=40.48%; 主機故障率 =(28.21%+13.71%+14.29%)/3=18.74%;
軟件故障率 =(12.82%+16.00%+17.14%)/3=15.32%。
由以上可知該集中器與主站無通信異常工單很可能是由于 GPRS 模塊故障導致，可指導現場運維人員優先排查是否為集中器 GPRS 模塊故障。
2.3采集運維多維度質量評價
目前采集運維工作使用大數據技術，對終端、電能表和運維服務質量評價沒有有力的數據支撐。 借鑒了前人研究 [15] 并引入大數據后，可在采集數據、營銷數據、運維數據之間建立橋梁，實現采集運維多維度質量評價。
本章通過對某市級供電單位 217 萬用戶在 2016 年第 2 季度采集運維工單數據、采集成功率、采集抄表數據、工單歸檔數據等數據的分析梳理，建立采集終端、電能表、運維服務的質量評價指標計算規則，驗證采集運維多維度質量評價的可行性。
2.3.1 采集終端產品質量評價
根據采集運維情況對各終端廠商的終端質量進行量化分析，利用各終端廠商的運行終端數、確認終端問題數、異常終端占比、更換終端數、終端時鐘異常數等數據，建立采集終端產品質量分析評價指標計算規則如下。
1)終端故障更換率： 終端故障更換率 = 周期內更換終端的數量 ÷ 周期內在運行的采集終端數量 ×100%。
2)終端時鐘偏差超標占比： 終端時鐘偏差超標占比 = 周期內終端時鐘偏差超過 5 min 的終端數量 ÷ 周期內在運行的采集終端數量 ×100%。
3)各廠家終端故障率： 終端故障率 = 周期內終端發生故障的次數 ÷ 周期內在運行的采集終端數量 ×100%。
2.3.2 電能表產品質量評價
根據采集運維情況對各電表廠商的產品質量進行量化分析，利用各電表廠商的運行電表數、確認電表問題數、異常電表占比、更換電表數、電表時鐘異常數等數據，開展各電表廠商的產品質量分析，建立電能表產品質量分析評價指標計算規則：
故障更換率 = 周期內更換電能表的數量 ÷ 周期內在運行的電能表數量 ×100%。
2.3.3 采集運維工作質量評價
根據采集運維情況對各運維人員的工作質量和工作效率進行綜合評價，利用異常處理數量、異常處理率、異常處理時長等數據，對采集運維工作進行評價，建立分析評價指標計算規則。
1)異常工單派發率： 異常工單派發率 = 統計日期內派發工單數 ÷ 當期應派發的工單總數 ×100%。
2)異常工單反饋率： 異常工單反饋率 = 反饋工單數 ÷ 當期應反饋的工單總數 ×100%。
3)采集故障處理及時率： 采集故障處理及時率 =已處理并恢復的采集故障數 ÷ 當期應處理的采集故障電表總數 ×100%。
3結語
通過引入大數據技術，對采集數據進行深入挖掘、分析與梳理，實現采集運維異常工單的智能化派發、分析處理和運維多維度質量評價，能夠使運維工作由粗放式向集約化、精益化轉變，進而提高運維工作效率和質量。
用電信息采集的運維管理是一項龐大而復雜的工作，本文提出的對異常工單智能化派發、異常工單智能處理和采集運維多維度質量評價只是對其中的一部分業務進行了優化應用，后續還將對采集異常智能化甄別、異常工單智能處理及異常工單智能化派發進行更深入的實踐與研究，*終為滿足國網營銷部的“全覆蓋、全采集、全費控” 目標要求提供強有力的技術保障。
