大数据并非一个确切的概念。最初，这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。这导致了新的处理技术的诞生，例如谷歌的MapReduce和开源Hadoop平台（最初源于雅虎）。这些技术使得人们可以处理的数据量大大增加。更重要的是，这些数据不再需要用传统的数据库表格来整齐地排列。
严格来说，“大数据”到目前为止，在学术界还没有一个统一的定义，大多数人比较认同的说法是，“超过典型数据库工具的硬件环境和软件工具所能获取、存储、管理和分析能力者”即被视为大数据。更为简单的说法是，“大数据”一次指的是无法以传统流程或工具所处理、分析的数据。
为什么以往的数据处理方式无法处理大数据？因为在这些数据中，除了少部分是结构化（structured）数据外，其他绝大多数都属于半结构化（semi-structured）与（unstructured）数据。
结构化数据，是指具有明确关连性定义的固定结构数据，也就是经过编码后存放在数据库应用系统内的数据。在以往的数据库应用上，“数据”必须完全以明确的预定格式被存放，通常是以表格的形式呈现。也就是说，数据库中的每一笔数据都要以事先设定好的格式，并按指定的顺序出现。以某企业的能源管理数据库来说明，该企业能源消耗计量的表格呈现形式为：
能源消耗统计表
表格中的各项数据由人工录入后存入能源管理数据库中，供相关人员进行能耗数据的分析和处理。
半结构化数据，既不同于表格型数据，又不同于纯文本型数据。例如XML或HTML格式的网页数据、电子邮件和电子文档等。虽然半结构化数据具有程序编码既定的逻辑和格式，但不容易被数据库分类存储和分析处理，尤其是内容包含有许多不必要的格式不同的数据内容。
非结构化数据是指没有固定格式、难以用统一的概念或逻辑处理分析的数据，这类数据主要包括文件、图像、音频、影像等。单以文件为例，就有纯文本文档、word文件、PDF文档等不同格式。
目前，大数据分析技术应用最成功的领域莫过于商业了，一些大型的电商公司开始利用大数据分析打造实时、个性化的服务，比如通过消费者的网络点击流，来追踪个体消费者的行为、更新其偏好、并实时模拟后续的购买倾向。这种实时性的精准营销，不仅可预测客户再次光顾的时间，同时以可以针对个人需求，促使客户购买高利润率的商品。
随着大数据技术的在各领域的兴起，一些学者开始探索如何在能源管理领域应用大数据技术。工业作为经济与社会发展的基础，正在受到大数据的深刻影响，尤其是在我国大力提倡节能减排的今天，工业企业如何通过有效手段降低企业的能源消耗，提高能源利用效率，是政府与企业需要共同关注的焦点。大数据技术为企业进行能源优化配置、能源效率水平提升、优质服务和辅助社会管理提供了坚实数据基础。可以说大数据技在工业企业的应用对节能减排、资源节约型和环境友好型社会建设意义重大。
众所周知，大数据技术是一种数据处理手段，因此要发挥大数据的作用，必须要依托相应完备的信息管理系统。尤其是将大数据技术应用到能源管理领域，则需要相关方建立相适应的能源管理系统（中心），以此来满足大数据技术实施前所必须的硬软件条件。目前，国际上对于能源管理系统（EMS）还未形成统一的定义。维基百科指出，能源管理系统（EMS）属于计算机辅助系统范畴，用来监测、控制以及优化能源的转换、使用与回收，提高能源利用效率。其中监测与控制类似于常见的 SCADA （Supervisory Control And Data Acquisition）系统，即数据采集与监视控制系统，优化功能常通过先进技术（先进控制、人工智能）实现。有时将EMS与SCADA分开表述，此时 EMS 则不包括监视与控制功能，而更多的指发电或生产蒸汽控制，能源计划与调度。
美国国家可再生能源实验室对能量系统集成（Energy Systems Integration，ESI）进行了。能量系统不但包括可再生能源、核能、化石能源等能源资源，还包括电、热能、燃料等用于转换和传递能量的不同能量形式，以及能源和各种能量形式之间、能量系统与其他系统（数据与信息网络、水系统）之间的相互作用。ESI 正是在技术、经济、法规和社会方面对能量系统和相互作用进行分析、设计和控制，最优化能量系统及和能量系统相关的相互作用，提高能量系统的稳定性与效率，减少消耗、最小化对环境的影响。ESI 更加重视各能量系统之间及各能量系统和数据、信息网络、水系统之间的交互与集成。
加拿大自然资源部能量效率办公室指出，能源管理信息系统（Energy Management Information System，EMIS）是全面能源管理（Energy Management Program，EMP）的一个重要组成部分，是紧密集成到企业系统之中的用于过程监视、控制和信息管理的软件解决方案。他为能源审计提供支持，通过监控保证效率的实现与持续，对运行效率进行分析，为各部门提供有效报告。概括的说，EMIS 是整个过程效率管理系统中的能效管理部分。
我国工业和信息化部指出，能源管理系统是采用自动化、信息化技术和集中管理模式，对企业能源系统的生产、输配和消耗环节实施集中扁平化的动态监控和数字化管理，改进和优化能源平衡，实现系统性节能降耗的管控一体化系统。
虽然各能源管理系统的定义有所差异，但实质上可将能源管理系统分为两部分，一是基于SCADA（Supervisory Control And Data Acquisition）系统的数据采集与监视控制部分，二是基于统计学、人工智能、优化算法等实现的分析与优化解决方案包。能源管理系统首先通过完善的数据采集网络获取过程的重要参数和相关能源数据，经过数据处理、转换、分析实现对过程能源的综合在线监控，然后与生产工艺相结合，通过能源系统平衡计算与能源负荷预测，提供实时动态能源平衡信息和能源使用计划，最后利用数据分析、人工智能、数学规划等技术实现能源的决策支持与优化调度。总之，能源管理系统是一个管控一体化系统，使用信息化与自动化技术，实现能源的集中监控与统一管理，最终促进能源管理水平和能源利用效率的持续提升，图1为某企业能源管理系统界面。
能源管理系统示意图
能源管理系统在国外发展较早，特别是在日本、美国、德国等发达国家。六十年代中期，这些发达国家就已经开始研究能源管理系统，日本是最早开发能源管理系统的国家，其八幡制铁所开发了第一个能源管理系统，其它的还有歌山、鹿岛钢铁厂以及德国的布得鲁斯和蒂森钢铁厂能源管理系统等等。早期的能源管理系统规模不大，功能不多，主要用来进行能源数据的采集和监控以及用能设备的控制。七十年代，DCS（Distributed Control System）分布式控制系统和能源系统工程理论开始在能源管理系统得到应用，能源管理系统功能逐渐强大，加入了能源的投入产出、生产优化等功能。之后，在计算机、自动控制、数据库等技术飞速发展的推动下，能源管理系统技术日趋完善，分析决策系统、智能预测等广泛应用于能源管理系统中，能源管理系统技术也成为了企业能源管理现代化的基本配置。近年，随着技术的成熟，出现了一些专门提供能源管理方案的专业公司，例如，Abraxas Energy Consulting 公司专门提供无线 EMS 解决方案，Energy ICT 公司提供完整软硬件解决方案，提供可选择的无线或有线数据传输方式等等。
国内的能源管理系统研究起步较晚，始于八十年代，起初主要应用于钢铁企业。目前，我国大约 15 家钢铁企业已经有自己的能源管理中心，例如宝钢、南钢、首钢、济钢等都建设有能源管理系统。我国最早的能源管理系统出现在宝钢公司，其也是一套比较成功的系统，它在一开始就采用能源集中管理的思想，辅助于大规模计算机控制技术，建立了一个以模拟仪表为主的能源管理系统。济钢的能源管理系统主要包含五大部分：接口管理、计划实绩过程管理、分析预测管理、生产调度运行管理与系统设置，此系统可以自动统计数据和生成各种报表等等，满足济钢的能源管理需求。这些能源管理系统的建设，让企业取得良好的节能效果。宝钢的能源管理系统为企业每年节约8.8 万吨标煤，约折合人民币 2530 万元。济钢利用能源管理系统的优化控制使焦炉能耗降低 1.5~3%。这些成功的应用案例有效地促进了能源管理系统在国内的发展，并开始应用于其它部分高能耗企业，例如重庆卷烟厂、北京网通公司等也逐步建设自己的能源管理系统。经过 20 多年的发展，企业能源管理系统在国内已初具规模，但是还是存在一个很大的限制：应用行业不够广，能源管理系统仍旧是主要应用在钢铁企业，其它的高能耗企业（如，轮胎企业、电子企业等等）应用不多，需要开发出具有一定通用性的能源管理系统。
由上述国内外一些能源管理系统发展现状来看，虽然能源管理系统已经在这些国家地区及大型工业企业中得到广泛推广和应用，但是仍用一定的局限性，第一，功能比较单一，现有的能源管理系统大多仅具有实时的能源消耗计量和汇总输出功能，并不具备前瞻性的数据处理分析和面向需求的能效诊断等智能化管理功能，没有将监测到的数据发挥出实际应用价值。第二，数据来源单一，目前大多数企业的能源管理系统的数据采集对象为系统边界内各个用能单位能源消耗统计，并没有将企业内部现有的一些管理信息系统，如ERP、MRP系统等，进行数据信息的整合利用，这对企业整体的生产和运营管理带来了一定的不便。第三，能源管理系统较为独立，不具备一定的通用性，这在一定程度上阻碍了能源管理系统的进一步发展。
在国外一些组织和机构开始考虑通过引入大数据技术来拓展现有能源管理系统的功能，通过扩大数据来源并升级现有能源管理系统的功能，使其采集和监测得到的能源数据的价值最大化。
南加州爱迪生电力公司（Southern California Edison,SCE ）是全美最大的电力公司之一，服务范围涵盖加州中部、南部和沿海地区，每天供电给500万甩户，其中包括30多万家企业，服务总人口近1400万人。2009年9月,在加州公共事业委员会授权下，SCE推出“Edison智慧连接”（SmartConnect）计划，预计在3年内协助500万用户改装智慧电表。用电户不仅可以运用智慧电表调整用电模式，家中有电动汽车用户还可以在车库中装没家用充电装置，依据自己的使用需求向SCE订购充电模式，如夜间充电或白天充电、以110瓦功率慢充或240瓦功率快充等。对于目标是在2050年前将个人交通设备全面更换为零排放车辆的加州来说，此项计划预计将协助用户减少1000兆瓦（约100万度电）左右的用电需求，相当于一个普通发电厂的一天的发电量，而整个加州每年也将减排36.5万吨的温室气体和排烟污染物，等于路上少了7.9万辆汽车。
未来，这项计划更将结合第三方开发新的消费应用层面，例如帮助消费者进行在线用电管理，或是建立GPS和电表之间的联系，这样用户就可以在回家前20分钟发送指令，预先打开家里的空调。对于电力公司来说，智慧电网除了可以自动区分不同的电流，并收取不同的电费，甚至还能进一步自我修复故障，图2为智慧电网示意图。以往，电力设施出现故障时，工人通常有两个选择：一是毫无头绪地搜索故障的根源所在地，二是等待使用者投诉，然后根据投诉人的位置确定大略的故障发生地。不过，无论是哪一种方法都耗时甚久，因为传统的一个电网区域就广达方圆1.3万平方千米，只要一道闪电伴随着一声雷响划过天空，一根树干应声倒地，压倒了电线，就有可能造成数十万用户停电。通过智慧电网，以前需要好几个小时才能排除的事故，现在只要10秒钟，电网就会通知总部哪些电线受到了影响，并且自动改变送电线路，恢复供电。系统还可以依据电路中断的情况通知总部事故发生的地点，以便尽快派遣维修工人前往修复。在饱受电网故障困扰的地区，缩短电力系统停运的时间可以节约数百万元的成本。
为应对电动汽车增多而开始实施的西北太平洋智慧电网示范项目（Pacific Northwest Smart Grid Demonstration Project）也是如此。原本美国政府和企业推动电动汽车就是为了节能减排，但是隶属美国能源部的邦威电力管理局（Bonneville Power Administration，BFA）却发现，傍晚通常是电力负载的高峰，因为这个时间大家下班回家开始做饭，并打开热水器或空调等多项用电设备。但人们又习惯下班后将电动车直接停进车库充电；如此一来用电量就会瞬间机高，很容易使得区域电网负载过重，可能得盖一座新的旬一来支应这项新需求。
由于盖一座新电厂本身就是一次能源消耗，这样做就完全无法达到推动电动汽车以节能减排的目的，于是他们开始思考，怎么样才能在不盖新电厂的情况下提高电网效率。BMA和巴特尔公可（Battelle）以及华盛顿大学合作研究发现，如果车主可以改在半夜的非高峰时段替电动汽车充电，就可以消化傍晚用电高峰时70%的电量负载，而且完全不用增建电厂。但是，总不能要求车主半夜起床替电动车充电吧.他们的解决办法是，针对美国5个州、6万个用户装设智慧电表。这种智能型电表借由感测、接收的用电量数据。帮助电力公司更有效地分配电力，不仅可以在用电高峰期提醒用户，建议关闭某几项用电量较高的空调、千衣机等家庭电器，并依此给予电费奖励，更可以直接设定电动汽车的充电时间，鼓励用户将之设定在电费优惠的半夜时段。如此一来，BPA就不必再随着尖峰爆量而筹盖新电厂，或至少可先在电网内进行适当调度，而把新电厂的投资往后延几年。建立一座新电厂从资本投入、营运到维持，通常需要耗资6亿到10亿美元的费用，可见省下的成本非常惊人。
智慧电网示意图
联系我们请点击：
数邦客
