智能配电网大数据应用技术与前景分析
发布日期：2016-03-17 来源：《上海设备管理》
点击数：36444
一、引言
当前，全球范围内诸如商业、电力、石油，以及生物等数据密集型行业都致力于挖掘其数据当中的价值以提高自身的整体水平与行业竞争力。聚焦于电力领域，通过对智能电网内部和外部获得的大数据进行系统性和战略性的管理，可以为电网运行提供更为丰富的反馈环节，有助于修正和加强电网规划与运行。
在智能电网时代，反映电网运行及发展进程的细粒度大数据的收集已成为可能，而将这些数据进行实时有效处理有助于新见解的揭示，其分析结果可能带来大量创新应用并提升决策进程。通过有效分析来自各种智能表计的大数据，可以帮助决策部门更好地获得电力用户的分类特征和行为特性以及价格敏感度等信息。张素香等在《基于云计算的居民用电行为分析模型研究》中提出了基于云计算平台和并行k-means聚类算法的居民用电行为分析模型，利用该模型对智能小区的居民用电行为展开研究，有助于了解用户的个性化和差异化服务需求。澳大利亚研究人员利用智能电表抓捕过电压及低电压事件，通过数据分析技术对环境温度、事件发生时刻与持续时间、电压幅值和分布式发电装置状态量等数据之间的关系进行探究，揭示了住宅光伏发电装置和气温变化等诸多因素对配电网低压供电点的影响。美国学者基于电力数据、土地使用数据以及人口统计数据等，利用数据可视化技术发布了洛杉矶市街区层级的交互式用电量地图，直观显示出不同建筑在各个季节的能耗，使得能源投资与能源使用效率以及公共服务决策等变得更为透明。事实上，在传统的电力系统量测体系之外，一些并非直接在电力系统内部获取却在决策中发挥重要作用的大规模数据集，如气象数据、地理信息系统（geographic information system，GIS）数据，以及电力市场数据等，将发挥日益重要的作用。
虽然国内外对大数据及其在智能配电网中应用的研究已经起步，但尚缺少系统深入的研究成果和清晰的理论框架与实际应用指导。本文将对应用于智能配电网的大数据相关基础理论及关键技术进行梳理，提出面向智能配电网的大数据相关理论应用框架，并对大数据在智能配电网中的应用前景和应用路线进行分析，以期为大数据在智能配电网中的应用提供参考。
二、智能配电网大数据
（一）智能配电网大数据现状
随着智能配电网信息化、自动化、互动化水平的提高以及与物联网的相互渗透与融合，电力企业量测体系内部积累了大量数据，如用户用电数据、调度运行数据、GIS数据、设备检测和监测数据以及故障抢修数据等。在量测体系之外，电力企业还积累了大量运营数据，如客户服务数据、企业管理数据以及电力市场数据等。除却电力企业内部数据，还有许多潜在的外部数据源，如互联网、移动设备的GPS，以及公共服务部门数据库等所能提供的大数据可供挖掘与利用。
根据数据来源的不同，可以将智能配电网大数据分为电力企业量测数据、电力企业运营数据以及电力企业外部数据3类，如图1所示。这3类数据彼此作用，共同服务于智能配电网的运行与发展，如人口的大规模迁徙影响用户用电量，用户用电情况变化会影响电网建设规模与运行方式，而用户用电数据和电网建设数据等可以为电力企业制订合理的营销策略以及公共服务部门更新区域能源发展规划提供参考。
目前对于智能配电网数据的利用还主要集中在电力企业量测数据方面，对于3类数据彼此影响的研究还较少，即便是对于电力企业量测数据，其中蕴含的价值也还远未得到系统、深入的开发与应用。今后分布式电源的大量引入以及电动汽车的快速发展，必将会为智能配电网的大数据资源池注入更多的数据流，智能配电网大数据中潜藏的价值也将随着研究与利用的深入不断涌现。
（二）智能配电网大数据的特征
来源广泛、关系复杂、粒度精细、结构多样、生成快速，都可以称为智能配电网大数据的一次特征，而伴随一次特征而来的是体量巨大、信息丰富以及处理困难等二次特征。智能配电网大数据可能来自配电设备、智能电表，乃至电动汽车的GPS，不同用电行业、不同种类、不同个体的数据源具有差异化甚至是繁杂的数据产生方式。量测及通信技术的发展与应用使得大规模用电信息的采集与传输间隔可以达到分钟级别，更加精细的数据为用户个性化用电特征的研究提供了基础。随着现代电力企业服务质量的提升，包含大量视频、语音、图像、文本等非结构化或半结构化类型的数据，如视频监控数据、客户服务系统语音数据、GIS数据、网页交互数据等开始大规模持续涌入，日益庞大并复杂化的数据集合令传统的数据处理技术开始难以应对，因此有必要寻求契合智能配电网数据特征的大数据应用技术。
（三）智能配电网大数据关系网及价值链
1、大数据关系网
从各种复杂系统中得到的大数据直接反映的往往是一个个孤立的数据集和分散的链接，但将这些反映相互关系的链接整合起来就是一张网络，数据的共性和网络的整体特征隐藏在数据网络中，而大数据往往是以复杂关联的数据网络这样一种独特形式存在的，因此要理解大数据的作用就要对大数据后面的网络进行深入分析，大数据面临的科学问题本质上可能就是网络科学问题，一些网络参数和性质也许能刻画大数据背后网络的共性。
智能配电网中的部分数据以及这些数据之间可能的联系如图2所示，其中包含了来自电力企业、用户以及社会的诸多数据，这些不同数据之间彼此关联、交织成网，以一种现阶段看来无比混杂并且难以准确描述的方式支撑和推动着配电网的运行与发展。以配电网规划为例，电网规划以用电预测和城镇规划等数据为基础，而经济发展数据可以借由用电预测数据和城镇规划数据2条途径作用于电网规划数据，与此同时，由于电网问题造成停电的客户投诉等也可能会对电网规划产生重要影响。
2、数据价值链
如果将智能配电网大数据及其关系网视为一个复杂系统，并以原始一次数据作为系统输入，以用电预测数据和电网规划数据等二次数据作为中间变量或输出结果，则该系统可用式（1）进行描述。
式中：D1，D2，D3…表示不同的一次数据集，如经济发展数据、气象数据等；R1，R2，R3…表示作用于数据集上的关系，其输出为二次数据集，如用电预测数据等；P表示目标数据集。
显然，目标数据集具有直接应用价值，而各一次数据集是目标数据集的价值来源，但是由于式（1）中存在关系的多重嵌套以及数据的相互耦合，且关系和数据集本身又存在着诸多的随机性及模糊性因素，这使得隐藏于一次数据集与目标数据集之间的隐性数据价值链并不明晰，各阶段输出结果的有效性亦无法保证。而通过将数据和关系进行解耦及梳理，变隐藏的、间接的关联为显性的、相对直接的关联，形成如式（2）所示的连接一次输入与目标输出的数据驱动型显性数据价值链，将有助于简化整个智能配电网业务的数据流程，提高输出结果的准确性和适应性。
式中：Ci为从一次数据集到目标数据集的显性数据价值链；Ri,1，Ri,2，…Ri,m，为作用于一次数据集Di上的多重关系。
三、面向智能配电网的大数据应用技术与理论框架
（一）智能配电网中大数据的关键应用技术及方法
1、大数据存储及处理技术
从大数据存储与处理之间相互关系的角度出发，主要的存储及处理技术分为流处理和批处理2种。流处理的一种典型应用是流计算技术，它适用于配电网中对实时性要求较高的业务，如多源异构数据在线评估、电源与负荷联合调度以及设备在线监测等。批处理的核心思想在于将问题分而治之，把计算推到数据而不是把数据推到计算，这种处理技术适合配电网规划等对实时性要求不高但数据量庞大繁杂的业务。
针对智能配电网测量点多、运行方式变化快、部分数据时效性和关联性强等特点，有必要对大数据存储系统自优化与数据压缩技术、基于多维索引的快速检索技术、分布式流处理系统异构节点高效协同通信技术，以及测量数据关联分析与清洗修正技术等进行研究。此外，由于智能配电网是一个不断发展的系统工程，把来自方方面面的数据在逻辑上集中起来进行管控难以有效保证其可行性、可靠性与可扩展性，而融合了分布式文件系统、分布式数据处理系统以及分布式数据库等的云计算，可以作为大数据存储和处理的基础平台与技术支撑，为大数据在智能配电网中的应用服务。
2、大数据解析技术
大数据解析包含对数据的分析与解读。大数据分析是通过研究巨量的多种类型数据，发现其中隐藏的模式、未知的相互关系以及其它有用信息的过程。对智能配电网大数据进行系统性管理并视其中每个数据集为一个子系统，则在各个子系统相互交流的过程中，有可能产生超出由原各子系统数据简单相加得到的某些新的信息，即包含数据交流与融合的数据系统与数据集合相比有了质的提升和新的飞跃。为了使大数据分析结果对应用更为契合，在分析的同时有必要对大数据进行解读。大数据解读是对大数据本身及其分析过程进行深层次剖析以及多维度展示，并将大数据分析结果还原为具体行业问题的过程。由于在解读的过程中伴随着对数据本身的分析，因此大数据解读也可以看作是一种特殊的大数据分析方法。目前有3种大数据解析技术可以应用于智能配电网中。
（1）领域普适知识挖掘
领域普适知识挖掘通过“大数据驱动的分析与挖掘→大数据呈现普适现象→预测、验证和评估”以及“系统抽象建模→理论分析和假设提出→仿真模拟和受控实验→涌现或发现普适现象”这2种范式的相互匹配与启发，螺旋式渐进地探索大数据层面的普适规律和系统内部的工作机理，不同于传统数据挖掘方法得到知识的临时性和易变性，其应用优势在于富有洞察性、可重复性和可预测性。
在智能配电网规划与运行过程中，存在一些普适性较强的经验或规律，但是由于某些原因，它们尚未或难以上升到理论层面以直观的形式展示在人们面前。而利用领域普适知识挖掘技术对智能配电网大数据进行挖掘，获取隐藏于习惯或经验中的普适知识，可以帮助配电网规划及运行人员提高对整个配电系统的感知程度。
（2）过程挖掘
过程挖掘旨在建立处理模型和事件数据之间的联系，并将事件数据转化成有价值的见解。一方面，传统的业务流程管理和工作流管理主要是模型驱动的，很少考虑到事件数据；另一方面，面向数据的分析技术（如数据挖掘、机器学习与商务智能等）通常聚焦于简单的分类、聚类、回归或规则学习问题，没有考虑到端对端的业务模型，而通过过程挖掘技术可以帮助将事件数据和端对端的业务处理联系到一起。
在某个系统或群体中，随着大量相关事件被记录，反映系统发展趋势或人群行为特征的“期望线”的确定变得更为可行，由此可以在事件数据中挖掘出模式化的行为或轨迹，进而将其升华为规范化模型。如图3所示，对于事件数据中偏离模式化轨迹的行为，需要结合规范化模型对其出现原因进行分析，并通过引导或修正模型等方式将偏离行为重新纳入到模式化轨迹中；当现实或预期行为出现异常时，通过与规范化模型进行一致性检测，可以为针对异常行为的决策提供依据。在智能配电网中，过程挖掘技术在引导用户错峰用电、为用户制订更为合理的节能方案、用户异常用电行为检测，以及提升电网企业管理水平等方面可以发挥重要作用。
（3）数据可视化
数据可视化技术的基本思想是将数据库中每个数据项作为单个图元表示并以此构成数据图像，从不同的维度观察数据，从而对数据进行更深入的观察和分析。从时间、空间以及逻辑等维度将数据进行集中管理与宏观展现，可以得到一种简易的多维数据立方体视图，如图4所示。该视图在时间、空间与逻辑的交叉节点上嵌入了层次化的数据列表，从而可以帮助数据持有者实现对数据的精准把握与精细化分析。
通过将数据可视化技术与其它数据解析技术相配合，可为智能配电网提供如下服务：
1）给出完整配电网数据集的全貌，展示动态高维数据的发展趋势并对数据资产进行价值评估，对数据进行降维并基于各数据项彼此之间的相关性有选择地向业务部门或用户提供有价值的信息。
2）把用户的相关兴趣点放大并过滤掉不必要的信息，选择用户更为关注的浮动电价、不同居民用户电能消费特征、用户能耗等级以及楼栋能源效率等内容进行细节化展示。
3）对配电网中不断发展的具有不确定性的变化点进行态势预估与宏观展现，如空间负荷增长趋势预测、网架扩展态势展现以及极端天气应急响应的可视化等。总之，数据可视化既是一种数据分析工具，又是一种结果展示方法，能够最为直观地体现智能配电网大数据的应用方式与应用价值。
3、数据驱动的决策方法
根据大数据作用程度的不同，可以将数据驱动的决策方法分为3类。第1类是基于大数据分析的决策，即在传统模型或方法的基础上，利用更为精准或更多的数据分析结果做出决策；第2类是数据驱动的无模型决策，指不显含或隐含决策系统的数学模型，但不排除利用基于数据的模型，针对大规模重复进行或具有较强规律性的行为做出决策；第3类是以数据驱动为主而以模型为辅的决策，这种决策方式的特点是不抛弃但也不全盘采用原来的模型，而是借助于数据与模型的相互匹配与启发，以渐进方式做出决策。
以电网规划为例，如果采用第1类决策方式，则大数据可以为电网规划带来粒度更小、更为精确的空间负荷预测数据、城镇发展数据以及分布式电源接入数据等，在此基础上采用现有的规划模型以及优化算法可以给出更优的电网规划方案；如果抛弃传统的电网规划模型，直接利用捕获到的大数据进行数据建模，通过数据分析来实现由数据到数据的电网规划，则可称之为数据驱动的无模型电网规划，但这种方法的可行性有待验证；如果在对大数据进行解析的过程中同步对现有的网架优化模型进行修正与提升，使得二者互相匹配，则可能得到适应性更强的电网规划方案。
（二）大数据应用的“飞机型”理论框架
为将大数据更好地应用于智能配电网中，本文在整合发展各种大数据理论基础上，提出面向智能配电网的“飞机型”大数据理论框架，如图5所示。
在大数据的分析利用过程中，数据科学提供方法论指导，大数据平台为其提供技术支撑，二者组成大数据理论框架的两翼。大数据挖掘、关系网与价值链，以及数据驱动的决策居于大数据的实际分析与产出环节，共同组成大数据理论框架的主干。
数据科学是推动大数据发展的重要力量，它有2个主要内涵：一是研究数据本身的各种类型、状态、属性及变化形式和变化规律；二是为科学研究提供一种数据方法，以揭示自然界和人类行为现象的规律。从数据科学的角度，可以利用随机矩阵理论对大数据进行建模，或将大数据等效为一个复杂系统并运用复杂系统理论对其展开研究，以发现其中隐藏的规律并指导大数据应用。
融合了流计算和云计算等多种技术的大数据平台作为支撑大数据发展的另一个重要动力来源，其研究重点在于推动数据存储及处理技术的进步，并为大数据应用提供更为高效和完善的分析处理工具。若将各种大数据应用比作一辆辆“汽车”，则支撑这些汽车运行的高速公路就是大数据平台。
在数据分析阶段，大数据挖掘技术负责从大规模的数据流或数据集合中挖掘出数据间的隐藏关系与价值链条，并相应地绘制出较为精确的数据关系强度网络及价值分布图。关系网和价值链处于理论框架的核心地位。智能配电网中的大数据往往直接表现为一个个孤立的数据集和数据集之间分散的链接，只有将这些反映相互关系的链接整合起来才能得到一个充满着数据流、能量流以及价值流的关系网络。数据驱动的决策是应用结果产出阶段。大数据关系网与价值链的分析结果可以为数据驱动的决策提供依据。根据大数据作用程度的不同，数据驱动的决策分为3类，分别对应 “飞机型”理论框架中起调节作用的3个尾翼，这代表大数据理论是以实际应用为导向。
总体而言，流计算和云计算等数据处理技术为大数据挖掘提供平台及技术支持，复杂系统理论和随机矩阵理论等为其提供理论指导。在整个过程中，信息共享不仅是每个阶段顺利进行的保证，同样是智能配电网大数据处理的目的]。智能配电网大数据不仅指数据本身，更涵盖相应的理论与技术体系，它与大数据处理技术以及数据科学等互不统属，而是体现于“飞机型”理论框架的各模块之中。
四、大数据在智能配电网中的应用前景
大数据在智能配电网中具有广阔的应用前景。本文侧重于从用电预测与协同调度、智能配电网网架发展趋势分析与优化规划，以及智能用电与网络降损这几个方面进行分析。
（一）用电预测与协同调度
精准的用电预测结果对于智能配电网的规划和运行具有积极意义。通过对用户的用电行为特征进行分析并建立基于大数据的自适应用电预测模型，有可能得到更高精度、更细粒度的预测结果，这也有利于电源与负荷协同调度的实现。
1、用电量宏观变化趋势预测。通过分析用户用电数据与其它数据之间的因果关系和相关关系，对用电量变化趋势进行预测。如研究节假日人口迁徙轨迹及特征、雾霾等恶劣天气发生频度，以及宏观经济指标等数据与用户用电量之间的关系，并将这些抽象关系进行量化表征，最终利用基于关系的自适应用电预测模型实现对用电量宏观变化趋势的整体把握与感知。
2、局部用电量精细化预测。对于局部空间或
部分逻辑分类中不同的用户个体或用户群组，采用差异化的建模方法，建立有较强针对性的用电预测模型库，将用户用电特性进行多维度分解，对于不同用户在不同维度下采用不同模型进行精细化预测，提高用电预测的精度。
3、电源与负荷协同调度。基于分布式电源发电及用户用电预测结果，通过配电网错峰资源聚类分析和错峰影响要素关联度分析，量化评估可调度资源错峰潜力，探究不同类型电源和负荷的优化组合原则及方法，实现错峰资源的分层优化及自动分配，完成电源与负荷的协同调度。
（二）网架发展趋势分析与优化规划
在传统的配电网网架规划中，由于数据源或数据分析不足，网架优化面临许多的不确定性，理论上优化的结果往往与实际之间存在较大差异。在大数据环境下，海量、多类型、时变基础数据的引入，可以减少网架优化的不确定性。但是模型中对应边界条件以及参数的变化，可能使得优化陷入组合爆炸的泥潭，造成优化速度缓慢或求解困难，这就需要对传统的优化方法进行改进。
1、城市电网网架发展趋势分析。在时空四维空间中，智能配电网并非是静止和孤立的，相反，其发展趋势具有高度复杂的动态性和关联性，随着中国城市化进程的加速，这些特性将更为明显。结合对现有网架的态势感知，将用电预测结果、城市综合体发展趋势以及用户用电行为特征等与网架结构数据结合起来开展并行聚类与关联分析，可以获得更准确的网架扩展趋势分析的可视化结果。
2、面向用户需求的网架规划。在传统的配电网网架规划中，多以电网供电可靠性或建设及运行的经济性作为优化目标，对于用户的特定需求考虑较少。在大数据环境下，面对用户差异化的需求开展聚类分析，并以用户需求作为主要优化目标进行电网规划，有利于提高供电企业的服务水平和用户满意度。
3、数据驱动的网架优化规划。考虑分布式电源和电动汽车接入以及利用基于大数据的用电预测和用户用电特征挖掘等多方面信息，通过面向网架结构的数据聚类和关联分析，构建分层分类数据关联模型，生成基于数据关联模型的可行网架方案集，并在此基础上研究网架的快速优化算法，提高网架优化效率。
（三）智能用电与网络降损
不同用户的负荷特性、用电理念和节电策略之间存在较大差异，导致了用户用电行为模式的多样性，分布式电源以及电动汽车等新型设备的接入也将加速这种多样性的发展。了解用电行为模式的多样性有助于从用户的角度为其量身订制经济合理的用电方案。此外，电能在分配和使用过程中其损耗呈现明显的时空分布特性，可以借助智能配电网大数据分析结果获得精确感知。
1、个性化用电方案订制。通过对电价和用户用电行为模式等数据进行关联分析，获取用户对于电价等激励机制的敏感度，在同时考虑分布式电源接入及运行策略对于用户用电行为方式影响的条件下，建立包含分布式发电与用户用电峰谷分时电价在内的联合优化模型。在此模型基础上，结合用户能效水平和用电行为特征等数据为用户订制智能化用电方案，挖掘节电潜力，降低用户购电成本，提高配电网削峰填谷的能力。
2、电动出租汽车与配电网联合运行。结合电动出租汽车GPS和电池电量数据、乘客手机GPS和历史搜索数据、道路拥堵数据、配电网运行数据以及充电站分布数据等，对乘客用车行为进行预测，并为出租车制订行车路线和充放电规划等运行方案，同时有配合地开展智能配电网调度，实现出租车和配电网的信息实时共享以及电能的“线上”与“路上”联合传输。
3、计及用户用电行为模式和网架结构的网络降损。挖掘用户用电行为模式和网架结构等多种因素与配电网线损之间的关联关系，并对线路损耗的时空分布特性进行可视化展示，以精确识别高损耗线路及区域。建立网络损耗数据关联模型，用于指导用户用电、调整电网运行方式和发电侧的发电计划，从而有效降低配电网运行成本，提高配电网资产利用率。
五、大数据在智能配电网中的应用路线图
结合上述研究内容，从数据抽取与清洗、数据存储与管理、数据解析以及数据应用这4个角度出发，提出如图6所示的大数据在智能配电网中的应用路线图。
大数据应用的目标不是为了获取更多的数据，而是从数据中挖掘出更大的价值。通过开展大数据在智能配电网中的应用研究，可以实现数据资产的保值与增值，有效提升智能配电网运行水平与服务水平。
六、结语
未来的智能配电网将是数据流、能量流以及业务流的共同承载者，同时也会是电力企业为用户提供服务并开展双向交流的可视化窗口。通过对大数据理论和关键应用技术进行研究，将更多的电力企业内部及外部数据资源应用于智能配电网的规划与运行，可以为建设面向用户的数据驱动型智能配电网发挥重要作用。但在应用过程中，针对各业务的数据模型构建以及大数据挖掘的信息共享与隐私保护等问题，尚需进一步研究。
作者：赵腾、张焰 上海交通大学电气工程系 张东霞 中国电力科学研究院
