数据监测平台

数据监测平台（精选十篇）

数据监测平台 篇1

高温超导体(HTS)从1986年发现以来,因之能在液氮沸点温度下(77K)实现超导,就此使高温超导的工业化应用成为可能。以美国、欧洲、日本、韩国等为首的工业发达国家,更是制定了长远的发展超导技术的计划,可以说超导的发展前景呈现日新月异的景象。

中国第一组实用型超导电缆系统自2004年4月19日在云南昆明市普吉变电站投入运行以来,经受了各种运行工况的考验,供电已逾8亿千瓦时,是目前世界上输电量最多的超导电缆。2008年3月28日,同样由北京云电英纳超导电缆有限公司牵头研发的35 k V/90MVA饱和铁心型超导限流在普吉变电站实现挂网运行。其额定运行电压为35 k V,可遏制最大短路电流为41k A,并可在5 ms之内将短路电流限制到20k A以下,是目前世界上挂网运行的电压等级最高、容量最大的超导限流器。

迄今为止,云南电网普吉变电站成为世界上首个同时运行有超导电缆和超导限流器的变电站。因此,通过对普吉变电站超导电缆和超导限流器实际运行数据的收集,建立世界上首个可用于超导电力设备设计、制造、运行、维护和标准制订参考的超导电力数据监测平台,研究超导电力设备运行的经济性,包括运行损耗、维护费用及节能减排的潜力等等,对发展超导电力应用具有非常重大的现实意义。

1 超导电力设备的运行状况及监控系统情况

1.1 超导电缆

2004年4月,普吉高温超导电缆系统调试通过验收,正式并网试运行。由于变电站自身容量所限,超导电缆最高负荷达到1620A,试运行期间,电流维持在1450 A连续运行。并网试运行结束后,超导电缆系统维持在300 A至800 A之间正常运行送电。

系统运行监控的主要电气指标有:电压、电流、输电量,非电气指标有:液氮温度,压力和流量。主要运行参数范围如表1所示。

云南昆明普吉变电站的33.5 m、35 k V/2 k A超导电缆系统由超导电缆本体、终端、制冷系统、监控保护系统等四部分组成。监控保护系统实现对超导电缆系统自身的监测和控制,并且和电网继电保护系统实现协调统一的控制。

截至2010年6月,超导电缆监控保护系统记录数据基本情况见表2。

如上表所示,目前超导电缆监控系统搜集了从2004年3月份(超导电缆于2004年4月份正式并网运行)至2010年6月份约六年多的数据,监控数据基本上包括了电缆运行的各项技术指标,其中个别监控数据的采点精度达到毫秒级别(如电缆故障数据记录采点精度为1毫秒),因此每天记录电缆运行数据可达上万条,因此在数据库建设完成后,超导电缆数据量必定是惊人的。但超导电缆各监控系统在安装电缆初期并没有统一其数据形式,因此在导入数据库之前,需要对其进行相应的数据处理,从而统一其形式(皆统一为EXCEL形式),方便下一步的数据库导入及显示。

1.2 超导限流器

2008年1月,首台35k V三相饱和铁心型超导限流器(英文全称为“saturated iron core superconductor fault current limiter”,简称为“SIC-SFCL”)在云南普吉变电站并网运行。

35 k V/90 MVA三相饱和铁心型超导限流器主要由电抗系统、直流励磁系统、低温系统、监控保护等几部分构成。监控保护系统通过实时监测超导限流器低温系统的热力参数、直流励磁系统和输电电网中的电气参数,控制超导限流器正常工作。此外,监控保护系统还具有数据记录和数据分析等功能。其监控功能主要包括以下几个方面:

1)电网实时监测

实时监测输电电网中三相交流电流、电压;

2)低温系统监控

实时监测低温系统关键部件的运行状态和关键参数的运行范围,根据需要控制实现超导绕组安全预冷、长期稳定运行和安全回温。

3)直流励磁系统监控

实时监测励磁控制柜中快速开关的运行状态以及直流励磁系统电流、电压,控制快速开关的开断。

2009年7月,对35k V SIC-SFCL进行了实际电网的三相人工短路试验,这对SIC-SFCL限流性能的检验有着至关重要的意义。由于SIC-SFCL的短路容量很大,常规的试验条件很难同时达到电压等级和短路电流的要求,更无法考验SIC-SFCL与电网继保系统的动作配合。因此,为确实检验SIC-SFCL的限流工作特性,云南电网公司提供了一次珍贵的并网人工三相短路试验的机会。试验从限流能力、控制动作及设备安全性等几个方面对SIC-SFCL进行了全面的考验,验证了35 k V SIC-SFCL限流能力与设计相符,与电网继保系统的动作配合正确。经过一年半左右的安全挂网运行及实际三相短路试验的考验,验证了SIC-SF-CL长期运行的安全稳定性及良好的限流效果,这标志着超导限流器技术已经进入实用化阶段。

截至2010年6月份,超导限流器监控保护系统记录数据基本情况见表3。

如表3所示,超导限流器监控系统搜集了从2007年12月份(超导限流器于2008年1月正式并网运行)至2010年6月份近三年的数据。期间由于监控系统运行不稳定的原因对其进行了相关的技术改造,改造前后记录数据基本相同,皆详细记录了超导限流器的各项运行技术指标。和超导电缆监控数据一样的是,超导限流器的各阶段监控数据格式亦不相同,需要在导入数据库前对其数据进行统一处理(统一为EXCEL形式)。

2 超导电力设备数据库的分析与设计

2.1 超导电力设备E-R模型设计

建立数据库模型的过程包括确认需求,及使用某种方式描述将要管理的信息及信息之间的联系,然后把这些格式化的信息输入到数据库管理系统中。E-R模型以E-R图来表现,E-R图使用可视化的图形方法,即使用图形模型尽力地表达数据的意义见图1。

2.2 逻辑设计见图2

3 超导电力设备数据监测平台整体架构

超导电力设备数据监测平台在建设初期,考虑到目前电力企业已经存在很多不同的业务应用系统,为了尽量避免系统今后在超导数据方面会形成“信息孤岛”,使其可以更方便的能与其他系统进行信息集成和共享,采用了XML方式进行数据的数据交互。定义XML文档结构的同时,参考了目前通用的IEC61970标准的CIM模型,利用CIM模型中导电设备的相关定义进行XML的描述,尽量能让系统在建设完成之后方便与其他业务系统进行数据交换和数据共享,提高系统数据的利用率,从而使系统具有更好的可集成度与兼容性。系统的整体架构如图3所示。

超导电力设备数据监测平台中超导电力设备目前主要为超导电缆和超导限流器,其实时数据是从各设备底层直接取得,并且底层数据形式是以文档形式为主,必须先对采集来的数据进行转换。根据数据的文档格式来生成数据库数据,将现场实时数据转换导入数据库后,开发XML格式的数据转换接口,依据CIM模型的定义,生成符合CIM规范的XML文档数据,实现数据的规范化转换,并放到系统业务逻辑层进行数据处理,形成相应的业务数据后在页面展示层进行页面处理。

4 平台技术实现与分析

4.1 CIM模型与XML文件建立

CIM模型采用的是面向对象的技术来抽象地描述电力系统设备及关系,通过一定的对象属性和关系来表示电力系统的资源,可以应用相应的XML文档来进行CIM模型的描述,CIM模型采用UML(Unified Modeling Language统一建模语言)来描述,对象之间包括:泛化、关联、聚合三种关系,可以通过XML文件的定义来描述出对象的属性和对象之间的关系,系统中目前用到的设备对象类和关系如图4所示。

XML目前已被广泛用于数据交换,由于XML独立于任何体系结构的数据格式,独立于任何语言的数据格式,数据展现与表示是分开的(同一数据内容可以灵活地展现为不同的显示形式)。可以将超导电缆和限流器及连接关系使用XML/RDF格式进行表示。

4.2 数据访问层

系统通过SQL Server建立了与XML文档相对应的数据库,根据CIM模型进行了数据库的建表和关联,应用C#语言进行系统的开发和建设,提供对多种数据库访问的类,从而提高系统的兼容性。图5是对不同数据库的操作类。

同时,由于现场的监控软件数据采集是不同的底层应用程序,生成的数据文件格式不同、结构不同、内容不同,需要进行数据转换和适配,在作实时数据的转换接口时,定义了原始导库文件的模板,对采集来的超导监控数据进行数据适配器转换操作,使真实的监控数据通过数据适配器进入数据库中,从而提高数据底层的可操作性。

4.3 数据抽取与转换

对于本系统的应用,在数据抽取和转换中采用客户查询的方式来进行抽取,通过CIM映射文件和查询结果的对应转换,生成符合CIM模型的XML文档。这样,可以提高对于系统本身运行的效率和数据展示效果,但考虑到今后系统数据与其他应用系统的数据共享和数据互操作性,采用了Web Service的封装方式对XML数据进行封装,再通过对Web Service接口的调用,来实现系统之间数据的互通共享作用,为今后系统的改造和集成提高了有效的支持。具体结构原理如图6所示。

本系统建设过程中,采用了微软的.NET框架进行Web Service的实现,利用Web Service对数据进行了封装,用户通过http协议向运行有Web Service服务器发送Soap请求,通过代理对象(Proxy)与服务器端交互,Web Service服务器端向客户端送回XML格式的数据,实现对数据的请求服务。

4.4 业务层实现

业务层是对数据处理的逻辑定义,通过业务层对数据的处理,可以达到对数据进行具体业务的操作和应用,由于本系统中业务应用比较少,主要是用于超导电力设备运行数据的展示,业务层的类很少。业务逻辑层通过调用数据抽取层和转换层的XML文档,进行一定的解析和处理,将结果数据发送至页面层进行具体展示。

4.5 页面层实现

页面层作用是用于对数据的具体展示和描绘,将业务逻辑层传来的数据进行展示,发送到客户桌面端进行显示,在本系统中,采用了ASP.NET技术进行实现,并且应用了一定Ajax技术和报表引擎进行支撑,从而实现数据展现的各项功能。具体页面效果如图7所示。

5 待深入研究工作

系统在建设初期,已经考虑到系统今后与其他系统信息的互操作性,利用了基于CIM模型的XML数据传输方式,大大体现了系统在今后的可集成度。在下一步的深入应用中,可以考虑将系统数据通过统一的数据总线或服务总线进行数据共享,为企业业务数据应用提供有效的支撑,也可通过一定的改造,实现面向服务的系统建设,具体构架如图8所示:

6 结束语

目前世界上还未有基于超导电缆和超导限流器的数据库平台,该数据库应用平台的建立,对超导行业的发展有非常重要的实际意义。

对于信息共享要求很高的今天,单纯地完成一套单一应用系统的应用已不是目前系统建设的目标。为了能不断地加强企业内部数据的通用性和兼容性,采用通用的CIM模型实现数据XML文档化,为解决信息资源共享的问题奠定了基础,使得本系统在今后应用中有着很好的扩展性。

摘要：针对超导电力设备的数据库研究在世界上目前还未有先例,通过对国内首条超导电缆和世界上容量最大的超导限流器的研究,对运行于云南普吉变电站的这两套超导电力设备的监控数据的搜集、整理、分析,描述了其运行监测数据的展示平台建设与技术构架,提出了基于XML数据交换格式的超导电力运行监测数据的平台建设方案。

关键词：超导电缆,超导限流器,数据库,XML

参考文献

[1]侯波,叶锋,熊志全,等.我国第一组高温超导电缆的运行工况及损耗计算[J].电网技术,2006,30(14):24-29.

[2]侯波,叶锋,吴娟,等.35kV/2kA高温超导电缆系统现场安装、调试和运行缺陷分析[J].低温与超导,2006,34(4):293-298.

[3]侯波,席海霞,肖麟祥,等.普吉变电站35kV高温超导电缆系统运行状况分析[C].电机工程学会,2007年会.

[4]张永,牛潇晔,王洋,等.超导故障限流器[J].《国际电力》2005,9(2):59-62.

[5]信赢,龚伟志,高永全,等.5kV/90MVA挂网运行超导限流器结构与性能介绍[J].稀有金属材料与工程,2008(54):275-280.

[6]信赢.超导电缆技术的发展及应用前景[J].新材料产业,2004(7):49-53.

青海公建能耗监测平台汇报材料 篇2

前言

青海省共建能耗监测平台建于2012年12月，投入使用至今，已接入青海建筑职业技术学院、藏医院、儿童医院、青海大学、青海民族大学5家单位95栋楼的能耗数据。主要监测能耗类型为水、电、暖，正在开发光伏光热能等新型能源。其中儿童医院已有太阳能能源。

一、建设背景

随着我国经济的不断发展，全国各个城市大型公共建筑越来越多，据统计，我国建筑能耗占到总能耗的27%，以办公楼、商场、酒店、医院等为主的大型建筑的能耗大幅增长是建筑物能耗日益增高的主要原因，甚至造成部分城市供电严重紧缺，不得不采取各种限电手段来维持基本的城市用电。为了将有限的能源发挥出最大的效能，住房和城乡建设部、国家发改委以及地方政府都相继出台了相关建筑物节能政策，促进建筑物合理用电、节约能源。国家“十二五”节能规划目标提出：争取在“十二五”期间，实现公共建筑单位面积能耗下降10%，其中大型公共建筑能耗降低15%。为实现这一目标，现根据住房和城乡建设部、国家发改委、财政部、监察部、审计署《关于加强大型公共建筑工程建设管理的若干意见》（建质[2007]1号）、《国家机关办公建筑和大型公共建筑节能专项资金管理暂行办法》（财建[2007]558号）、《国务院关于进一步加大工作力度确保实现“十一五”节能减排目标的通知》（国办发[2010]12号）《关于切实加强政府办公和大型公共建筑节能管理工作的通知》（建科[2010]90号、青海省人民政府办公厅转发的《青海省住房和城乡建设厅〈关于青海省机关办公建筑和大型公共建筑节能监管体系建设方案〉》，《国务院办公厅关于转发发展改革委住房城乡建设部绿色建筑行动方案的通知》（国办发〔2013〕1号），政府办公和大型公共建筑能耗监测体系建设相关技术导则《建筑能源审计技术导则》、《数据采集技术导则》、《数据传输技术导则》、《计量设计安装技术导则》、《数据中心建设与维护技术导则》等文件精神，开展我省国家机关办公建筑和大型公共建筑能耗监管体系的建设工作，全面实现建筑节能约束性指标，降低国家机关办公建筑和大型公共建筑能耗而制定本实施方案。

二、能耗监测平台建设在建筑节能工作中的意义

能耗监测系统对于建筑节能工作的必要性

大型公共建筑节能的目标是在保证服务品质的基础上降低实际运行过程中的能源消耗。要实现这个目标，需要有准确详实的能源数据作为能耗分析、统计、诊断的基础。建筑节能，一切以数据为基础，这不仅是发现问题的依据也是检验节能改造效果的标准。没有对实际用能数据真实全面的掌握，就无法科学有据地找到建筑节能的工作方向，进而开展“以用能数据为导向的建筑节能”。

大型公共建筑功能复杂，用能设备系统繁多。不同用能途径对应着不同用能系统，不同的用能系统又由不同的运行管理主体负责。如果仅针对一座建筑物的总能耗进行计量，就难以掌握建筑内各用能系统的实际用能状况，也就不能真正有效地管理和指导具体的节能工作。只有根据用能系统的性质和所归属的管理运行方，对各用能子系统的用能情况进行分项计量，才能了解各用能子系统的真实能耗状况。同时，为了观察各个设备子系统的运行规律和某些典型工况下的运行效率，每周甚至每天一个能耗数据，已经无法满足后期分析及诊断的要求。更大密度的数据采集势在必行。基于上述两点原因，人工抄表加手工记录等相对原始的数据采集方式已不能满足这种多分项高密度数据采集的要求。此外，庞大的能耗数据还需要一系列的维护、储存和查阅工具来进行辅助管理。能对建筑内各用能子系统进行详细分项、分系统计量，并通过相应能耗模型对数据进行统计分析的建筑能耗信息管理系统应运而生，并将成为衡量建筑用能是否合理的“尺子”，推动建筑节能的“工具”。

1.统计能耗数据

有效的建筑能耗监测平台可以给出我国建筑物所消耗终端能耗的具体数据，定量描述我国建筑能耗的具体状况（如发展的特点、不同功能建筑能耗的特点、不同地域建筑能耗、建筑内不同终端用能特点等），是建筑节能工作的重要基础。

我国总的能耗数据统计渠道单一，目前的统计主要依靠现有的国民经济统计体系和某些行业的统计年报，这对于分散于各个部门的建筑能耗统计来说，是远远不够的。目前我国还未建成这一平台，直接后果是使建筑节能工作一直有很大的盲目性，甚至误导工作方向和重点。尽快搭建我国建筑能耗监测平台，并使其有效运行，对于建筑节能来说是一项有深远战略意义的基础性工作。动态、完整、准确地能耗统计，能更好地确定建筑节能的重点、发展变化的趋势，指导建筑节能工作的开展，为制定法律和行政管理制度，提供了依据和基础。

此外，一定范围内建立适当形式的建筑能耗数据公开和公布制度，利用网络、媒体、形成刺激和舆论机制，用实际能耗数据来督促和教育建筑物的使用者，保持“随手关灯”、下半班时关灯、关电脑、关空调等“三关”的绿色节约型生活模式，促进公众对建筑节能事业的参与。

2.提高能源管理

没有数据就没有管理。实时在线监测系统为各级政府主管部门提供了一个公平、定量衡量各建筑用能状况的“尺子”，在这些数据的基础上，可以对所管辖的建筑进行更准确更精细化的管理。各级政府主管部门可以建立一套完整规范的建筑节能运行指标体系（如国务院于2008年颁布的建筑节能运行管理条例），包括各类大型公共建筑运行能耗分项定额指标和各级用能子系统的综合能效指标。

使用能耗监测平台对各指标进行集中的动态监测和管理，时刻观察其各项用能状况的变化，并不断与指标中规定的用能标准进行比对，杜绝各种由于管理运行的疏忽造成的用能增加，同时对各相同功能的建筑进行运行分项能耗的横向比较，奖优罚劣。并对实际的用能数据实施能耗定额管理，来不断督促物业管理人员优化运行管理方法，保证系统节能运行。从而使建筑节能行政管理工作从目前粗放的定性管理模式变为科学的定量化管理模式。

3.节能降耗

通过这个平台促进了节能运行和节能管理，在不增加其他任何投资的前提下可以降低运行能耗5%-10%。通过这一平台促成建筑节能改造和节能运行后还可以产生10%-20%的节能效果。

该平台主要通过以下几方面达到节能的目地：

 找到管理漏洞或能耗漏洞：因物业使用者的节能意识和管理水平的缺失，其管理的建筑往往存在较大的能耗漏洞（如夜间空调箱风机长期不关，消防风机不正常开启等）通过观测相关用能系统的不同时段的动态指标可以找到相应的能耗漏洞。加强管理后立即获得节能收益；

 优化系统运行策略：建筑物中的各用能子系统，特别是空调系统中的各子系统之间存在一定的关联关系。因其协调匹配（如冷机调节不当，冷冻站输配系统匹配不当、新风机系统调节不当、变风量箱调控不当等问题）不当而产生的用能浪费往往是物业管理人员不易发现，较难解决的。通过挖掘各用能子系统不同时间段的能效指标，暖通节能的专业人员可以较容易的发现运行策略不力的问题，长期不断地为物业管理人员提供合理的运行调节建议，进而达到降低能耗的目地。

 发现系统中某些重点用能设备的故障：大楼中的某些大型设备发生故障时（如冷冻机、新风机、水泵故障、或者阀门堵塞、传感器故障），可能并不是无法实现其功能，或者产生某些异常的噪音及异象，而仅仅是其使用能耗急剧增加、或者与其关联的某些设备的使用能耗急剧增加，物业人员例行地维护和巡检工作往往很难发现这些问题。通过在线能耗监测，我们可以很轻易的找到这些故障设备能耗的异变，进而发现其故障，进行检修，避免了因设备故障而造成能耗增加。

 提升使用者的节能意识：美国智能电表概念的大热源于其近期得到的一个心理学研究成果表明，让每一个使用者实时地了解其能耗的使用情况，有利于促进他们的节能意识，进而通过有效的行为节能的方式（如人走“三关”，夏季调高空调设定温度等等），降低建筑物的运行能耗。 找到最佳的改造方向：同样是节能改造，同样需要那么多钱，有些方向是事半功倍，有些方向反之。拥有建筑物长期的分项能耗数据，就能够非常容易的让业主找到最合理的改造方向，估算改造潜力、节能预期及回收年限，谨慎合理地使用每一笔投资。

4.评价效果

依据《重点用能单位节能管理办法》（中华人民共和国国家经济贸易委员会令第7号）

国家经济贸易委员会会同国家统计局定期公布年综合能源消费量1万吨标准煤以上的重点用能单位名单，并定期发布年综合能源消费量1万吨标准煤以上的重点用能单位能源利用状况公报。

各省、自治区、直辖市经济贸易委员会会同同级统计部门，定期公布本行政区内年综合能源消费量5000吨标准煤以上、不足1万吨标准煤的重点用能单位名单，并报国家经济贸易委员会备案；定期发布本行政区内年综合能源消费量5000吨标准煤以上、不足1万吨标准煤的重点用能单位能源利用状况公报。

重点用能单位应遵守《中华人民共和国节约能源法》及办法的规定，按照合理用能的原则，加强节能管理，推进技术进步，提高能源利用效率，降低成本，提高效益，减少环境污染。

因为建筑节能的目标应该是实际建筑能源消耗数量的降低，因此就应该以实际的能源消耗数据作为向导，作为建筑节能工作唯一的评价标准和追求目标。

对既有大型公共建筑的节能改造不能简单地“加保温、换热泵、安装太阳能”，而是应该根据建筑能耗历史统计数据和现场必要的测试参数，发现高耗能环节，然后对节能指标从上至下进行层层分解测试或计算，直至找到节能诊断和改造的具体对象，明确问题症结所在，再实施具体的节能改造措施。

在节能改造之后，需要通过能耗监测系统的长期监测节能指标的具体变化，对节能改造的成果给予合理评价。对于各级行政主管部门，有利于其合理评价每一笔节能补贴产生多少切实的节能效果，找到并推广先进恰当的建筑节能技术。对于节能监测公司而言，可以使之成为其与业主之间核定节能量的依据，促进合同能源管理在大型公共建筑中的良性发展。

5.建立能耗审计机制

依据项目考察组对上海、浙江、山东三地已建成的能耗监测平台项目进行的实地考察、调研，可借鉴已成熟经验，建立省平台测评与第三方审核机制。

机制细则包括：

（一）查阅建筑物竣工验收资料和用能系统、设备台账资料，检查节能设计标准的执行情况；

（二）核对电、气、煤、油、市政热力等能源消耗计量记录和财务账单，评估分类与分项的总能耗、人均能耗和单位建筑面积能耗；

（三）检查用能系统、设备的运行状况，审查节能管理制度执行情况；

（四）检查前一次能源审计合理使用能源建议的落实情况；

（五）查找存在节能潜力的用能环节或者部位，提出合理使用能源的建议；

（六）审查节能计划、能源消耗定额执行情况，核实公共机构超过能源消耗定额使用能源的说明；

（七）审查能源计量器具的运行情况，检查能耗统计数据的真实性、准确性。

三、能耗监测平台的软硬件工作系统设计

能耗监测系统数据中心硬件系统包括：数据采集服务器、数据中心、数据中转站、交换机、路由器、网络安全设备以及分布在各单位的互感器、智能水电暖表和数据采集仪器。

应用软件系统包括数据采集应用服务软件、数据管理客户端及数据展示与分析软件，主要功能包括能耗监测、查询、分析、结算、公式、报警、控制等功能，并可以接入新能源系统的实时监测和分析。

能耗同步传输，数据可稳定、精确传输。以省级为数据中心，各下属建筑现场设备中转站可缓存不少于30天的能耗数据。但为减轻省级中心负载，不设立市级中心（中转站）。

四、能耗监测平台在建筑节能工作中的产业前景

节能产业发展至今，其中一个很重要的瓶颈就是对于节能量的统计无法定量。这一结果直接导致了合同能源管理无据可依、后期收费难的问题，也带来了各种节能技术无法评价，各种节能数据充斥报端的效果。

能耗监测平台带来了详实而全面的数据，利用这些数据，各种衍生产业的发展将更具有坚实的基础。从长远来看，更多更好的技术将被应用，而一些并不节能的技术将被淘汰，从而促进节能产业的良性发展。

另一方面，能耗监测平台更注重基础数据的建设，这些数据使更多的企业进入节能行业成为可能。从这些数据中，也可以衍生出更多的服务，促进节能监测向纵向发展。未来的能耗管理可能形成交互式的数据中心模式，把能耗管理从政府监管转向更广泛的民间使用，远程数据交换、远程诊断、远程能源托管等新的服务模式将不断涌现。

基于数据的从体力劳动向脑力劳动转变将成为节能行业的趋势，未来将会有更多的软性产品出现，更多的个人和企业将进入这一行业提供服务，而能耗监测平台将成为所有产品和服务的收费基础。

公共建筑能耗监测平台的建立，标志着我省在促进产业结构转型的道路上迈出了崭新的一步，在未来，将形成能耗监测、审计、测评新建建筑、改造已有建筑供能，四部一体的功能性平台，确保建筑节能的行之有效，实现控制具体标煤能耗的节能目标。

青海省公建能耗监测平台

环保监测数据如何“保真”？ 篇3

准确、有效的监测数据，是环境管理和环保考核的基础和依据。失真的监测数据则会掩盖亟需解决的环境问题，给环境管理工作造成阻碍。近段时间以来，全国各地环保数据造假事件频见报端，“数据失真”一时成为人们茶余饭后热议和调侃的话题，也成为各地政府及有关部门重点关注和急需解决的问题。

为使监测数据发挥其应有的作用，全国各地正积极探索和尝试通过制度支撑、技术创新、法治保障等措施，规避企业造假，保障数据质量。

制度支撑

实行“一票否决”的考核管理办法

“环保部门负责监管、第三方负责运营、企业负责买单。”这是我国大部分地区在线监控的运行模式。受制于这种依赖企业“自带枷锁”的监管模式，国内部分城市中运营单位与排污单位联合弄虚作假的现象时有发生。目前自动监控设施资质认定审批事项已取消，在这种“宽进”的背景下，环保部门只有通过出台考核管理办法进行“严管”，才能使运营工作规范、有序地开展。

在逐步扩大自动监控能力建设的同时，为保障污染源自动监控系统的稳定性和数据的准确性，佛山于今年8月1日制定出台了《佛山市污染源自动监控设施运营管理考核办法》（以下简称“《办法》”）。

佛山市环保局有关负责人表示：“《办法》首先是开放运营市场，只要符合条件的都可以在佛山承接自动监控设施运营业务；其次对运营单位的运营工作进行量化考核，客观评价各运营能力和运营质量。”

据了解，《办法》主要从现场端运行、监督管理、有效性审核、数据传输有效率四个方面对运营单位进行量化考核。例如，是否有运行信息公开制度；监控设备的参数设置是否符合规范；是否按规定对排污企业进行定期检查；自动监控设施故障是否及时报告及时处理；比对监测结果是否符合有关要求……

考核常规项目总分为100分，对于未能履行好职责的单位进行扣分的同时，《办法》还特设了加分项。尽管加分项上限是10分，但对鼓励和引导有关单位守信、守法有着积极的作用和意义，营造了守信激励、失信惩戒的良好氛围。根据《办法》，包括年度国控污染源数据传输有效率高于90%、举报排污单位的环境违法行为经查实的，只要履行义务均可给予加分。

评价结果则以80分和60分为界线，分运营良好、运营警示、运营严管三个等级，依次以绿牌、黄牌、红牌标识。对于运营良好单位，环保部门将优先推荐其在本地安装和运营污染源在线监控设施；对于运营警示单位，考核结果在全市予以通报，并于考核结果公布之日起半年内市内污染源在线监控设施不予以推荐，同时加大对其运营企业的现场检查频次；对于运营严管单位，考核结果在全市予以通报并报上省环保厅，且于考核结果公布之日起1年内市内污染源在线监控设施不予以推荐，加大对其运营企业的现场检查频次的同时，环保部门运维费用补贴类部分不予以发放。

《办法》还规定了实行“一票否决”的七种情形，运营单位发生修改参数、改变采样点位、干扰数据、传输虚假数据、稀释采样等情形行为的，直接评定运营严管单位（红牌标识），并依法立案查处，并全市场通报和限制其在本市安装、运营业务发展。

技术创新

运行自动监测设备动态管控系统

污染源自动监控设备属于精密仪器，一般由专业人员进行软件操控，然而为了让数据“永远达标”，即使没有第三方运营商的配合，部分企业总能想尽一切办法进行违规调试。为有效监控越来越隐蔽、技术含量越来越高的造假行为，环保部门通过不断地完善在线监测系统，以“技术创新”反制“技术造假”建立防治作弊、难以造假的监管系统。

山东省环境保护厅依托现有的污染源监控系统，采用物联网等科技手段，创新研发了自动监测设备动态管控系统（以下简称“动态管控系统”）。据山东省环境信息与监控中心污染源监控室副主任石敬华介绍，该系统可以统一信息采集、统一监控指标、统一设备标准和统一监控平台。

那么，自动监测设备动态管控系统如何防止数据造假呢？

这一系统统一了信息采集，主要通过减少环节来保证数据质量，取消了自动监测设备自带的工控机；除此之外，系统可以统一监控指标，通过筛选直接影响自动监测数据准确性的关键技术参数和影响自动监测设备运行稳定性的关键状态参数，建立与监测数据真实性、有效性的判别规则。同时，系统支持关键参数调取，同时固定监测设备关键参数，清除数据修改功能，切断造假途径。

系统能够自动保存监测设备技术参数、运行状态异常情况日志，以备环境执法人员查询。门禁抓拍系统通过感应，自动对进入监测站房的人员进行拍照和取证，并将取证信息上传至环境监控中心平台，有利于固定证据。实现了自动监测设备技术参数、运行状态和监测数据的“三同时”监控，可实时监控、反控自动监测设备测量量程、曲线截距等技术参数，查询实测数据和历史数据。

作为动态管控系统试点之一的潍坊市，在市控以上重点污染源全面安装了动态管控系统，废气企业安装率达到93%。据潍坊市环保官网有关数据显示，自2013年10月使用动态管控系统以来，全市污染源达标率由2013年1月～9月份的91.4%下降至11月份的65.2%。

从效果来看，动态管控系统有效切断了修改参数等软件造假途径，大大提高了污染源自动监测数据质量和监管效率，也推动了自动在线监测设备生产厂家不断提升设备的安全性和稳定性。通过动态管控系统可及时发现疑似问题企业，有针对性地开展现场独立调查，避免了监控巡查的盲目性。据了解，通过有效监管促使企业加大治污力度后，目前该市的在线监测数据达标率已达85%，有着明显趋好的态势。

法治保障

施行“史上最严”的新环保法

尽管在技术上完善环保在线自动监测设施，能有效地防止企业数据造假，但全国人大环资委调研室主任王凤春认为，“这种在技术上加大对监管设备的投入，并不是杜绝数据造假最好的办法。”在他看来，破解监管难题，从立法角度应该是主要方向，下一步应加大对造假企业的惩罚力度，严重造假者应当入刑。

新环保法将于明年1月1日施行，其中“按日计罚”将是一个强有力的“执法利剑”。有环保人士认为，在处罚无上限的新法下，必将无限放大执法处罚的威慑，通过经济处罚让造假企业倾家荡产，让违规排放成本大于违规所得，让企业不敢去违规造假，才有望达到治理目的。当然，除经济处罚之外，在行政处罚上还应该让行为恶劣的企业停产整顿或直接关门，甚至根据新环保法“篡改伪造数据需追究法律责任”的规定，依法追究相关负责人的刑事责任。这不仅涉及企业也涉及第三方的人员，甚至涵盖了不作为的政府工作人员。

但是，法律并不等于自然有法治。北京公众与环境研究中心主任马军表示：“追究相关负责人的刑事责任会是某种威慑，但关键还要看法律能否落实到实处。”

为了提前为明年新环保法实施做准备，部分省市也出台了相应的管理办法对数据造假的违法行为进行高于国家标准的惩治力度。山东省更是在今年6月份，对22起弄虚作假企业的7名负责人处以拘留5天～15天的行政处罚。企业监测数据弄虚作假在罚款之外还要追究法律责任，山东在全国开了一个先河。

至于纵容企业环保数据造假的政府官员，理应严厉问责相关负责人，如果能做到因为监管不到位，数据失真，直接问责地方部门，撤销一批环保局长、一批主管副市长或市长的职务，相信监管者对企业数据违规造假的行为也不会再“温柔”执法了。

为使环保监测数据“保真”，全国各地各有关部门可谓费尽心思，绞尽脑汁，不管是出台管理办法严加考核，创新技术严加监管，还是施行法治严加执法，均有其可圈可点之处，但如果没有高效的执行和有效的落实，一切将成为空谈。我们期待，在各级各有关部门的共同努力下，环保监测数据将日渐趋“真”趋“好”！

数据监测平台 篇4

我国是一个山洪灾害暴发较多的国家。山洪灾害已经严重威胁我国山区人民生命财产安全。我国对大江大河治理成绩显著,但是对小流域河流的监测比较薄弱。随着无线传感器网络技术的不断的研究和发展,无线传感器网络技术已经应用在人们生产生活的各个方面。为了在山洪灾害发生前及时的做出山洪预警,需要在易发生山洪灾害的河段对相关数据进行长时间不间断的采集。由于采集数据的地形一般比较复杂,工作环境比较恶劣,我们利用雨量传感器、水位传感器、流量传感器等水文传感器代替人工监测,搭建无线传感器网络,进行无人值守自动实时采集、传输水雨情数据。

无线传感器网络山洪监测系统通过传感器节点采集水雨情信息,以zigbee无线通信方式进行数据传输将采集的数据汇聚到数据汇聚平台,数据汇聚平台对汇聚数据进行数据解析、信息融合,最后通过GPRS将采集的数据传输给远程数据中心。

2 小流域山洪预警系统嵌入式数据汇聚平台的硬件设计

此平台集成射频通信接口、R S-2 3 2通信接口、RS-485通讯接口、以太网通信接口、GPRS/CDMA无线通接口等多种通信接口,能够根据山洪监测地区的网络环境,选择合适接口进行数据收集和转发。数据汇聚平台的硬件部分主要由中央处理单元、存储单元、射频收发模块、GPRS通信模块和电源模块组成,硬件组成框图如图2所示[1]。

3 多传感器数据融合在山洪监测系统中的应用

在进行软件设计之前,先考虑平台如何进行多传感器数据处理。首先平台将接收的数据按照系统规定的数据协议格式进行解析,然后经过数据有效性检验,将接收到的异常数据剔除,最后将正确的数据进行显示,并结合历史数据进行数据融合,根据与各临界值比较判断山洪是否发生,如果发生系统发出警告。

3.1 异常数据剔除

此平台采用罗曼洛夫斯基准则进行判别。本系统算法如下:

(1)系统每接收一个数据x,选取之前采集的10组数据,将此10组数据自动按从小到大顺序排列,构成一个测量子集{X:x1≤x2≤…≤x10},假设此组数据满足高斯分布。若x1≤x≤x10,认为是正常的数据。停止判别。若x>x10或者x

(2)计算除可疑数据其余数据的均值

(3)、根据测量次数n和选取的显著度α通过查t分布检验系数T(n,α)。如果,则认为xd为异常数据应剔除,否则为正常数据[2]。

3.2 历史数据整编

在水文分析与计算中,水位流量关系的分析是最基本的,水位流量关系曲线的质量决定了流量资料推算的质量。采用手工方式点绘水位流量关系线虽然定线精度高,但却是一项费时、费力又非常繁杂的工作。拟合曲线法是近些年来新兴的水位流量关系线确定方法。该法利用计算机求出拟合曲线方程,利用拟合曲线方程可以快速地求出瞬时流量,工作过程准确、快速又便捷[3]。

本文采用BP神经网络算法进行历史数据整合,BP神经网络结构图如图3所示。

算法过程如下:

(1)将历史数据样本值X输入,输入节点n=1个,通过连接权值ωij送到隐含层,根据隐含层阈值a,计算产生隐含层单元输出值:

式中l为隐含层节点数;f1为隐含层激励函数。本文选取S型正切函数为激励函数:

(2)根据隐含层输出数据输出节点m=1个,通过连映了训练速率。用上式的变化量来修正网络的权值和阈值,直到网络的总误差e小于某一允许值即误差准则。即网络根据输入的训练(学习)样本进行自适应、自组织确定各神经元的连接权和阈值,实现任意维空间向量,输入变量与输出变量的映射.经过多次训练后,网

接权值ωjk和阈值b,计算输出层单元预测输出值:

定义误差函数为ek=Yk-Ok k=1,2,…,m

(3)通过误差的反向传播计算出隐含层和输出层的权值和阈值的变化量:

其中j=1,2,…,l;k=1,2,…,m。同理可计算出输入层和隐含层的权值和阈值变化量。常数η∈(0,1),反络具有对学习样本的记忆和联想的能力,从而实现模型的预测功能[4]。

本文采用输入层1个节点(水位),隐藏层5个节点,输出层1个节点(流量)的3层BP神经网络对水位流量历史数据进行拟合。

3.3 山洪预警理论

山洪成灾的主要原因是暴雨,故山洪预警系统采用临界雨量做山洪预测,但是在实际应用中如果单单使用临界降雨量作为山洪发生的依据是不准确的。试想一下,如果存在一次短时间暴雨,降雨量超过临界雨量,但是河流有蓄水能力,那么就不会发生山洪;只有当水位只有超过河岸高度形成漫滩时,产生的洪水才对农田和房屋造成安全威胁。因此在进行山洪预测时我们要同时考虑河流和暴雨两个因素。

对于有历史水文数据资料的地区,我们将河水漫滩的水位定为警戒水位。根据上滩水位,结合实测河流断面资料估算出相应的流量,即为上滩流量,也可称为警戒流量。为了达到提前预警转移群众的目的,考虑到径流是由降雨产生的,从达到上滩流量的时间开始往前推(24h内),在一定时间内(1h、3h、6h、12h、24h)的累计降雨量称之为警戒临界雨量[5]。

本文采用的山洪预警临界阈值就是通过该原理推算出来的。首先利用上节介绍的神经网络做出水位流量拟合曲线,根据曲线,通过警戒水位算出警戒流量,同时记录达到上滩流量前1h、3h、6h、12h、24h的累计降雨量,得出警戒临界雨量。

4 山洪预警系统嵌入式数据汇聚平台的软件设计

小流域山洪预警系统嵌入式数据汇聚平台的软件设计的总体思路:当系统开机后,自动连接控制中心服务器,自动发送水雨情传感器采集的相关指令,接收无线传感器网络数据采集前端采集的数据,进行数据分析后进行显示,并且把汇聚到的数据通过GPRS网络传送到后台控制中心服务器。系统为了适应山洪监测工作环境的特点,也为了方便用户进行现场调试,特设计了两种工作模式即自动工作模式和手动工作模式。自动工作模式是平台按照配置好的参数,自动进行网络连接,自动发送传感器节点控制指令进行数据采集、显示、发送;手动工作模式是通过用户手动操作进行清空或整理存储器、手动连接网络、向远传串口发送数据采集指令、手动向服务器发送测试数据等。

5 实验结果

小流域山洪预警系统嵌入式数据汇聚平台系统运行情况如下图所示。控制台子界面运图行结果如图3所示。默认系统自动上电,自动进行网络连接,自动发送,当中间有指令出现异常错误时,弹出错误对话框。水雨情数据子界面的设计如图5所示。在此界面中,完成采集数据解析并显示的功能。将采集到的水位、流速、风力参数、气温参数、雨量参数等数据更加直观的展示给用户,由于实验室条件下没有办法模拟水流,故系统没有挂载流速传感器,下图中没有显示流速数据。帮助子界面的设计中包括GPRS模块常用的AT指令说明、GPRS模块常见错误代码说明及查询节点命令说明[7]。此界面可以方便用户调试和使用。

按照《水文自动测报系统规范》SL61-2003进行监测预警系统设计[6]。本系统可以在10min内完成一次实时数据采集、处理转发的功能。为了保证系统可靠性,在发送命令时,采用应答机制,当超出一定的响应时间没有收到应答信号,则重新发送命令。

本文以2003年伊春河伊春站实测流量成果表数据为例,采用3层BP神经网络对水位流量历史数据进行拟合,拟合结果如图6所示[8]。

将拟合结果和文献3中幂函数法拟合曲线结果进行误差对比分析如表1,通过表1可以看出使用BP神经网络比使用幂函数进行水位流量历史数据拟合,误差更小,计算结果更加精确。

6 结束语

本系统将嵌入式技术及无线传感器网络技术应用在山洪监测中,设计和开发系统时充分考虑到了用户使用习惯,增强了系统的体验性。采用无线传感器网络技术进行山洪监测不仅很好地实现了对山洪监测传感器节点的控制采集,满足了山洪监测无人值守自动监测的需求,同时可以用于环境恶劣的野外监测。

摘要：针对山洪形成原因的复杂性和不确定性,本文通过BP神经网络对历史数据进行整理,提出了基于多传感器信息融合的数据汇聚平台的设计。此平台可以实现实时汇聚小流域水位、降雨量等监测数据,对汇聚数据进行数据解析、信息融合,通过GPRS将采集的数据发送到远程后台数据中心。本文在硬件上设计完成了基于S3C2440的数据汇聚平台;在软件上完成了节点的控制、山洪监测数据显示、预警临界值设定及山洪预警功能的设计。通过实验表明,山洪监测系统利用此设计平台进行安全评价是有效的、可靠的。

关键词：山洪监测,无线传感器网络,多传感器信息融合,BP神经网络,数据汇聚台

参考文献

[1]余德华,刘泽文,张国学.嵌入式水位雨量数据采集系统设计与实现[J].人民长江,2007,38(10),114-117.

[2]项新建.基于模糊数学与统计理论集成的多传感器数据融合方法[J].传感技术学报,2004,2,197-199.

[3]宋运凯,张丹丹,田长涛.水位流量关系曲线拟合方法实例分析[J].黑龙江水利科技,2010,2(38)51-52.

[4]李超,周丽,行小帅等.基于BP神经网络的干热风灾害预测[J].海南师范大学学报(自然科学版),2011,3(24):279-282.

[5]水利部水文局(水利信息中心).中小河流山洪监测与预警预测技术研究[M].北京:科学出版社.:2010,42-63.

[6]《水文自动测报系统规范》[S].SL61-2003.

[7]刘坚,陶正苏,陈德富等.基于GPRS的环境监测系统的设计[J].自动化仪表,2009,30(2):30-32..

数据监测平台 篇5

在互联网领域，“老牌”同时意味着两件事。

第一，与“权威”有关，comScore已经成为诸多企业参考的重要数据来源。第二，与“过气”有关。但是很显然，comScore避免了过气的命运，以其不断推出的新技术和坚定的独立第三方底线，仍然走在业界前沿并保持了其权威性，目前在全球75个市场服务于3200家客户。

comScore中国区副总裁蔡芳主要负责comScore在中国市场关于受众和广告分析产品及服务业务拓展。之前，她效力于艾瑞咨询，在行业分析和用户研究领域拥有十余年工作经验，熟悉互联网行业研究方法论，非常了解国内及海外互联网行业发展情况。

以下为蔡芳口述，《新营销》记者整理。

从PC到移动端，客户需求经历了哪些变化

由于PC本身是基于页面的，所以PC的监测技术从一开始就已经做得非常细致了，比如用户从哪里到哪里、具体访问了哪些页面、浏览了哪些内容。而移动监测，则是一个从外层到内层慢慢深入的过程。

对于客户来说，需求变化还是很大的。

首先，以前客户只需要关注一个屏。用户在同一个屏中的不同网站跳动，是可以很顺畅地追踪用户行为的。但是现在手机、平板等多终端屏幕出现了，这时带给客户一个很大的挑战是：如何识别不同屏幕之间跳动的同一个用户，如何把同一个用户在不同屏之间的跳动线索串起来。早在2013年comScore就实现了PC和移动之间的跨屏分析，通过在不同终端加码和分布的样本，进行人群去重分析，从而追踪用户的跨屏行为。目前，我们在美国已有新的技术，可以衡量电视媒体和数字媒体之间的跨屏。

另外，还有一个很大的变化是，客户对时效性的要求更高了，以前PC上的变化没有移动端那么快。

相对于PC端，

用户在移动端的行为呈现怎样的不同

总体来讲，在特定领域，移动化趋势非常明显。比如社交、电商和视频等，用户正在从PC端加速向移动端迁移。

此外，有一些原生于移动端的应用出现，对于这部分，就没必要做跨屏分析了。这种应用通常是实时性的，与地理位置关系紧密。比如打车软件等，这是比较有趣的。

最后，用户时间变得非常碎片化，分散在很多APP上，使用的高峰期与PC也不同。比如在PC上，使用高峰期一般在早上上班后和下午下班前，晚上使用得比较少。而在移动端，高峰期则没有那么明显，而且早上高峰期往前挪，晚上高峰期较为靠后。

移动APP呈现封闭特征，

如何全面监测移动APP的数据

关于移动APP的监测分为两个方面：一方面是关于APP本身被打开和使用的次数和时长，这是市场上常见的指标；另一方面是看用户对APP的具体使用行为。目前，这两方面技术都可以做到。今年，comScore在美国完成了技术升级，可以突破APP本身观察用户对APP的使用行为。这也是我们马上要引进到中国的技术，In APP 分析。

从第三方角度讲，comScore的重要功能在于我们有独立的方法论，可以衡量APP在市场上所处的真正位置。一方面，包括大型APP本身在内的市场对于数据透明度的要求越来越高，这是必然的发展趋势。另一方面，从采集的方法论来讲，我们不需要APP做任何配合，目前我们单方面就可以突破APP本身的监测，所以并不会因为可能存在的反对而停滞。

在整个广告产业，comScore一直保持着独立第三方的身份。我们只提供监测和信息，比如非正常流量和品牌安全认证，但是不会参与到广告交易环节，也不做投放和DSP等，这是我们一直坚持的。现在很多数据供应商既做数据又做DSP和广告投放，这样在整个产业链当中，你相当于用自己的数据衡量自己的数据投放，有失公允。所以，保持独立第三方的身份，这是我们非常坚持的，我们不会跨过这条线。

数据监测平台 篇6

1 水文水资源监测数据应用管理平台的研究现状

水文水资源监测数据就用管理平台主要是基于数据管理PDM原理而发展起来的一种新的平台化软件。平台化软件主要包括技术支撑型平台以及应用实现型平台。其中技术支撑型平台主要是被软件开发人员所使用, 其主要负责维护并升级平台;而应用实现型平台则被终端用户所使用[1]。因此可以说软件提供商不但要维护并升级平台, 而且还需要实现在平台上的各种功能。

现水文水资源监测数据应用管理平台主要的应用为:查询统计、分析评价以及信息共享与发布。但是据很多技术人员反应, 现水文水资源监测数据应用管理平台的各项应用, 尤其是其中的查询统计以及分析评价都是需要人工来使用相关软件进行操作之后才能得到自己所需的数据信息, 这样就会使得工作效率下降, 而且在统计方面还很容易出错, 另外因水文水资源监测工作是户外工作, 且其还有很多其他特殊工作要求, 因此必须对现有的数据管理平台进行改善。总体来说, 其需改善的问题主要有以下几点:第一, 完善管理平台的数据库存以支撑相关数据及业务方面的应用。第二, 必须开发有关于水文水资源监测数据库存的管理平台, 保证数据运算的准确性、快速性及自动化, 以能满足用户查询统计、分析评价以及其他业务需求, 从而提高工作人员的工作效率。第三, 水文水资源监测业务最大特点便是其必须进行现场和野外的巡测, 因此其必须依靠无线通讯技术来实现其监测结果的入库。第四, 整理并发布水文水资源监测数据及成果是水文水资源监测局的一项日常工作, 因此, 必须想办法实现数据入库及发布的自动化, 同时还要注意数据来源和发布时的安全性, 以保证数据能够完整、安全并能实现共享[2]。

2 水文水资源监测数据应用管理平台的设计

在整个水文水资源监测数据应用管理平台当中, 其所使用到的关键技术主要有.net、Oracle9i、XML技术、Web Services技术、GIS技术以及无线应用技术等[3]。

根据水文水资源监测工作的特殊性, 在设计水文水资源监测数据应用管理平台时, 首先其必须满足以下要求:第一, 要实现分布式应用系统。水文水资源监测数据应用管理平台首先要能将资源在不同部门间进行共享, 以改变各部门出现的信息孤岛现象。第二, 要将硬件环境与软件环境独立开来, 以加强平台的灵活性, 使其能适用于更多用户。第三, 要保证上层应用的技术无关性, 以能更好处理具体业务。第四, 采用B/S结构结合C/S结构, 以提高平台的安全性。

水文水资源监测数据管理平台是在水文水资源监测局现所使用的网络及软件硬件的基础上而设计, 通过利用GIS、Web Ser vic es等技术, 从而实现水文水资源监测工作的查询、统计、分析、评价、远程管理、信息发布、资料共享以及维护管理等功能。根据此需求, 本案所设计的水文水资源监测数据管理平台总体结构可见图1。从图中可以看出, 水文水资源所监测的到动态及静态信息经过采集之后利用传输层最终汇入水文水资源监测的数据库存当中, 加上系统原有的空间数据库则形成了完整的水文水资源监测数据库, 从而使得此平台可为用户提供全面的数据管理服务。

完成水文水资源监测数据管理平台的总体结构设计之后, 就需要对其体系结构进行设计。设计管理平台的体系结构时所使用是主要是Arc GIS系统产品, 其结构示意图可见图2。

另外, 此管理平台的设计还应满足客户所需功能, 设计相应数据库, 选择适当的外部接口。为获得更多客户的欢迎, 还要对管理平台的界面进行设计, 以体现此管理平台的风格。除此之外, 还要注意系统的安全性, 包括其网络安全、应用安全以及数据安全等。

3 水文水资源检测数据应用管理平台功能使用的实例分析

通过分析可看出, 水文水资源监测数据应用管理平台具有诸多功能, 如查询、统计、评价、远程管理、信息发布等等。以下就以实例具体说明系统的查询及统计功能。

查询功能主要是用户按照定制的查询条件以获得所需要的数据信息, 其不但可查询整个水质监测站的监测结果, 而且学可查询单个测站的具体信息, 同时其还可将用户常用的查询条件进行保存以方便客户下次使用。打开查询功能, 将站点条件、时间条件等输入之后点击查询便可实现。其结果可选择以图形或是表格的形式进行输出。其以表格输出的结果样表可见表1。

此管理平台的统计功能不仅包括常规数据的筛选及统计, 而且还能根据用户的查询结果进行分类统计, 其主要包括根据字符型查询要素进行统计以及根据数值型查询要求进行统计, 另外还可根据统计结果将各类统计数据的变化情况及比例对比情况以图形的形式绘制出来, 除此之外, 用户还可对统计数据进行修改、保存及删除操作。在使用此功能时, 用户只需定义好水质达标对比统计方案之后便可实现各操作。定义水质达标对比统计方案有两种方法:一种是用户自己新建一个水质达标对比统计方案;另一种是在管理平台当中选择一个统计方案的模板, 然后用户再根据需要进行适当的修改, 修改之后进行保存便可覆盖原有方案, 从而得到用户所需的统计方案, 利用此方案用户便可得到其所需要的数据信息。此系统的统计结果也可以表格或是图形的形式输出, 其以表格形式输出结果的样式表可见表2。

4 结语

利用水文水资源监测数据应用管理平台的远程管理、信息发布等功能可帮助水文水资源监测局及时接收日常监测数据, 丰富管理平台的数据库存;而通过利用水文水资源监测数据应用管理平台的查询、分析等操作, 又可让水文水资源监测局作出正确的水文水资源管理决策;另外利用此管理平台当中的信息发布等功能, 可有效实现各部门之间的数据及信息共享, 使部门之间不再存在信息孤立的现象, 从而提高了水文水资源监测局的工作效率。因此在设计水文水资源监测数据应用管理平台时一定要注意结合其工作的特殊性, 保证平台的实用性、合理性及科学性。

参考文献

[1]李鹏, 苏觉眠, 聂卫杰, 等.数字化水文水资源监测模式探讨[J].河南水利与南水北调, 2008 (3) .

[2]何平.水质监测探析与水文水资源保护研究[J].中国水运 (下半月) , 2010 (5) .

数据监测平台 篇7

关键词：大数据,监测平台,评价

一、传统质量监测存在的问题

当前在大多数学校和区域,教学学业质量监测工作仍然在使用较初级的评价工具———办公软件来收集、分析处理全地区的考试数据。其问题与弊病表现在评价方式上为方式单一,缺乏具体、操作性强的评价手段与工具,评价结果多数用于学校、教师排名,评价结果缺乏真实性等;在评价内容上体现为内容比较片面,往往缺乏系统性,因而所获得的信息也比较有限。由于办公软件本身功能的局限性,完全依靠办公软件做评价手段存在的主要问题包括以下几个方面。

1.简

办公软件只能够计算出少数简约宏观的指标,如“平均分”“及格率”“上线率”“分数段”和“排名”等,不能实现某次“终结性评价”需要全面呈现的主要指标和图表,例如“偏度系数”“峰度系数”“分数频率分布正态检验图”“中位数—四分位数描述图”等。

2.单

办公软件大多只能在计算机的单机使用,无法通过网络实现全区考试数据自动收集和分析结果发布共享;在不进行VBA编程的情况下一般只能计算单次数据,不能像数据库一样存储历史数据,不便于追踪学生和团体发展变化,如“学生和团体多次考试标准分变化图或变化表”“学生和团体两次考试评价表”“学生和团体多次考试N评价”等。

3.粗

办公软件呈现的分析结果只适用于“粗线条”地反映全区宏观情况,难以实现“教学过程评价”中面向基层学校、班级甚至每个学生的多种精细化评价方法,难以针对试卷命题质量、试题小分和知识点做出详细的分析。如下文提到的“学生试题分析报告”“双向细目表分析与诊断”“S-P表分析与诊断”等。

4.浅

办公软件不能容纳复杂的教育统计、测量的数学模型,难以深入挖掘海量学生成绩数据背后的信息,实现多范围、深层次的教学质量系统、客观、科学的衡量与诊断。如“测验信度计算”“模糊综合评价”“相关分析”“假设检验”“线性回归分析”“聚类分析”“主成分分析”等。

二、基于大数据的区域质量监测平台

基于以上原因,教育行政部门很难依据现有的评价进行有效的决策和资源分配,学校领导也很难通过现有的评价促进学校内涵的全面发展,因此,整合各类平台,在信息技术和大数据的支撑下建立一个覆盖全区学校、主体多元化、评价方式多样化、评价手段具体、操作性强的学业质量监测体系是十分必要的。丹徒区学业水平监测平台由试卷命制系统、阅卷系统、学测分析系统、数据反馈系统四大部分组成(见图1),对学生学业质量监测得到的数据和信息进行更加深入地发掘和分析,获得教学质量及学生发展状况真实、全面的评价信息,把评价结果以丰富的形式向教学第一线进行反馈。区教师发展中心紧随大数据时代发展步伐,以区域性教学质量的提高为目标,形成了命题———阅卷———数据分析———质量反馈四位一体的区域质量监控平台。区域分析运用“绝对”评价和“相对”跟踪动态评价相结合的方式,用标准分跟踪每所学校的质量变化,采用雷达图直观反映区域内学科分学校发展和学校分学科发展。

1.制度保障是质量监控的基础

组成一个覆盖全区的学业质量监测和增值评价的网络服务平台,要构建包括教育局、教研部门、学校、班级、学生评价等多级信息共享的评价模式;以全面、快速、准确地反馈考试信息和评价标准来贯彻和落实教育部门的管理目标,大量学业测试信息和评价量规面向学校、教师和学生进行及时反馈,使学校及教师能及时了解教学中的问题和缺陷;全面采集学生入校以后历次考试或测验的数据,组成中小学教育体系中相对庞大的海量数据库;采用教育测量、统计和评价学的理论和方法,对学生学业成绩的发展实施全面的监测、管理与评价;通过挖掘海量学生成绩数据背后的信息,实现多范围、深层次的教学质量系统、客观、科学的衡量与诊断,充分发挥考试评价改进教学过程的作用。学测平台除了向教育行政部门和发展中心提供十分详尽的全区宏观数据分析及学校、班级和个人的考试分析信息之外,还能供辖区的全体学校使用,为学校提供详尽到班级和个人的考试分析结果,可以使发展中心和学校对教学的“研究、指导、服务、管理”从学校层面扩展到班级和每个学生。

(1)建立校、片、区三位一体的监控体系

为了充分发挥监测平台的诊断、导向和激励作用,提升区域平台区域应用的效度、广度和深度,教师发展中心于2011 年成立了质量监控组,逐步构建校、片、区三位一体的质量监控体系。首先,结合每学年的教学要求,制定《区域中小学学业质量监测规划和实施方案》,为每次质量监测进行顶层设计,明确工作要求,有效推进网络监测平台的建设。其次,通过QQ、微信等手段建立以学校信息技术教师为基础的区域信息员组群,为网测平台的使用进行技术咨询和应用保障。最后,每次监测前开好各学段的考务培训会,保障质量监控从制卷、阅卷、分析各阶段都能顺利进行。

(2)加强学科研训人员的常态培训

学科研训员由于统计知识的缺乏,对监测平台的使用有一个缓慢接受和认可的过程,但监测平台在区域范围的推广离不开学科研训员的使用和推进,所以对学科教研员的常态培训必不可少。在推进过程中,发展中心采用学科突破、全面推进的策略,不断总结研训员使用平台的经验,让其他学科有样可学。对信息技术能力强的个别学科进行个别辅导,鼓励该学科在应用上先行,并在研训员会议上进行交流,同时加强技术对话保障平台培训到位。在每次监测结束后,精选1~2 位学科研训员进行学测分析报告,其他学科研训员进行点评分析。从实践效果来看,学测平台的推进离不开研训员的认同和理解,只有提高研训员学测平台使用的积极性,才能使学测平台的使用常态化、自觉化。

(3)完善基于监测平台的常态应用

教学质量的改善是一个长期的过程,随着学习内容、对象、教师等条件的变化,教学质量在不同的时期会有不同的表现。通过学测平台累积的大数据,实现了对区域质量监测数据动态、持续地跟踪分析,这就要求区、片、校三级部门,在每次质量监测后的最短时间,利用学测平台根据各自需要进行相应的分析。这样,教育行政部门和教师发展中心可以发展地了解辖区内学校的变化情况,实施定点教研,改进薄弱学校和薄弱学科;片区学校通过学测平台可以了解一段时间内片区内学校在学科及班级教学质量方面的变化;学校通过监测平台可以实时监控教师在某一阶段的教学情况,并针对学生的学科平衡情况进行心理干预和个别辅导。

(4)注重基于监测平台的评价反馈应用

“理论的价值在于启发、唤醒、提出问题进而帮助我们分析和解决问题。”学测平台中数据分析结果的使用,有利于帮助教育行政部门和教师发展中心把握区域教育质量现状,也有利于学校和研训人员通过监测评价反馈转变教育教学习惯思维、变革教育教学中的师生关系,从而完善教学管理、创新教育方式,并指导学校教师和发展中心研训人员采取有效的教学实践和指导,充分发挥教育监测理论、统计理论对提升教学质量的价值。根据学业测试的不同要求,参与区域学测平台反馈的人员有校长、教务主任、教研组长及各学科研训人员,在评价反馈时从宏观和微观两个层面对区域学校及学科的发展情况跟踪比较反馈,肯定成绩的同时指出不足,这样既构建了以学校为基础的绿色评价体系,又能有效提升学校依据学测平台实施教育质量监控的能力。

2.多维度学业诊断是监测平台的基础

区域质量监测平台是一个集阅卷、分析与评价、反馈一体化的系统,是一个在信息技术支持下的教学质量监测平台,通过不同阶段监控所积累的大数据,对学生从入校到离校不同时段的变化进行多维度跟踪评价。区域、片区和学校相关人员通过查阅学校及学生历次监测数据及系统通过大数据分析生成的各种分析报告,精确了解学校及学生多次测试反映出的发展动态,从试卷命制、阅卷安排、试卷分析、监测分析等多方面入手,有针对性地改善学校及个人学习状态,提高学习质量。通过多维度的学业诊断,促进教学反思。

(1)分析指标细化,科学利用数据

学生监测数据是区域监测平台最重要的数据,经过近几年的积累,已经形成区域学生质量监测的大数据平台。依据统计学理论,在大数据的基础上改变过去注重学生三率一分(及格率、低分率、优秀率、平均分)的简单评价为注重学生发展的综合性评价方式。区域学测平台在除了包含常规的统计分析项目,如平均分、四率、分数段等传统数据之外,需要全面应用教育测量、统计和评价学的理论,包含了标准参照评价与常模参照评价的各种方法和技术,如建立测验质量监控常模、导出分数、分数数据分布状态和趋势的描述等。采用描述统计分析方法对获得的数据进行整理、概括,显现其分布特征,用十分丰富的测验量表、统计表格和Flash动画图形等手段来展现各项数据,使通过测量所得到的信息更加丰富、全面、系统和准确,提高评价结果的可靠性。例如,根据教育测量原理建立的“常模表”(测验量表)是对某次测验分数的详细解释,用来作为测验的比较标准;在表中,我们可为某个被试的原始分数找到它在常模团体中的相对位置。根据“正态化分布常模”中的正态化标准分,利用团体标准分内部差异比较图可以比较出某学校内学科之间的差异,如图2 所示,语文、数学是该校的优势,水平在全区平均值(图中零平面)之上,英语、物理学科是该校的薄弱环节。

(2)合理分析试卷,促进试卷命制

区域学业监测平台试卷命制系统为区、片、校进行学业监测试卷命制提供服务。区域研训员及片区和学校教师事先定义每道题或每个得分点的属性,通过考查内容和考查目标利用双向细目表进行分析,充分利用学测平台中的现有题库,在“一命二审”的基础上形成某一阶段的检测试卷。学测平台根据学生的答题情况对试卷进行试题指标汇总、试题指标统计、试题选项分析、试题选项统计、试题得分分布与比较、平均分数、难度指数分布、难度指数、难度指数、分组难度指数、团体得分率统计和比较定位;对区分度指数进行分析,并给出试卷分析报告。例如:系统为全区每个学生的各学科都生成了一份双向细目分析与诊断表。它是一种教学过程精细化管理与评价的工具,可以细化到对每个团体和学生个人的“考试内容(组块、小题)”以及“考查目标(识记、理解、应用、分析、综合和评价)”的得分或得分率水平做出全面的分析,并且把学生与学校、班级的水平进行比较。

3.发展性评价是学业监测平台的优势

教育评价一定要尊重学生主体发展的需求,采用多种方式构筑学生评价体系。区域学业监测平台采用经典教育测量法对学生学业发展水平进行测量和描述性统计分析。通过历次学业测试积累的大数据,利用教育测量原理建立每次考试的“正态分布常模”,使不同考试或学科的分布形态都成为完全相同的“标准正态分布”;原始分转化为导出分数(百分等级分数、正态化标准分数Z和T);以导出分数作为一把“标尺”,在不同考试分数或学科之间建立一系列“等值关系”,为它们之间的精确比较奠定基础;利用导出分数可以较为精确地描述学生在总体常模中的位置,即学业水平的发展变化趋势。

(1)团体评价

通过监测平台可以对某一学校历次检测情况进行跟踪分析,在比较中发现学校的进步和差距;也可以对学校各学科的发展平衡情况进行分析,利用数据找出学校的优势和薄弱学科。区域学测平台中团体评价指标有团体标准分变化表和图、团体标准分评价表、常用指标变化表和图、上线指标变化表和图、统计指标变化表和图;例如:某班级8 次考试的团体标准分Z变化图(如图3)。

(2)学生评价

学生发展性评价方法是一种用来评定学生或团体多次考试总成绩进步程度的方法,它对某个团体N次考试的标准分数进行“矩阵运算”,通过计算出“N分数”“进步分数”和“进步名次”等指标,定量分析出N次考试中学生或团体学业成绩进步的程度,可以有效地评定学生学习的效果。区域监测平台还可以对学生进行发展增值描述:常模等值关系表、学生两次考试分析、团体两次考试分析、标准分变化值分布、标准分变化值分布,若干等值分数线上发展变化趋势的描述等,通过这些发展性评价方式,让教师和学生了解在教学中的不足和学生个体的学科差异,为教学进行个性化辅导提供依据。图4为某校某班多位同学在一年度考试中的N评价结果。

从图4 可以看出,一年来该班同学历次测试标准分的变化情况,并依据N分数的变化得到学生的进步名次。

(3)增值性评价

学校教学质量发展水平的评价在各级教育评价体系中处于核心地位,它直接影响着对教师评价和学生评价的原则以及学校的发展方向。增值性评价主要以学生学业成就的发展水平为评价依据,通过相关的统计分析技术,将学校对学生发展的影响从生源、规模、学习习惯、教师因素等诸多相关因素结合起来,进而测量一定时间内学生的发展情况。区、片、校在每次学业检测时,要求心理辅导员依据学生心理特征设计相关问卷调查,借助区域学测平台的问卷系统,可以对学生学业外的影响因素进行增值性评价,为教育教学提供更多的实证依据。

三、基于大数据质量监测平台的深度应用

随着大数据时代的来临,云平台、互联网+ 技术在教育教学上的陆续应用,教育信息化对区域质量监测的要求也在不断发生变化。网络监测平台也将适应要求,与时俱进。

1.进一步盘活数据,驱动教学过程改进

凡客观存在的事物都有数据,凡有数据的东西都可以分析,凡有分析的行为都可能创造价值。通过监测平台可以对各类数据进行科学、深度的分析,让数据变为教学过程改进的证据。结合信息时代的教育特点,优化增长性评价,依据监测平台中的问卷调查进行归因分析可以为各类管理人员提供有价值的管理依据。合理安排每次质量监测的时间节点,让“监测———分析———改进”更有针对性,每次监测结束后,在区域和校区内开展数据分析报告展示活动,鼓励教师利用监测平台进行试卷分析、教学分析、教育管理等各类分析,加大基于大数据的区域监测平台的深度应用,让监测平台成为提升学校教学质量和研训力度的一项重要手段。

2.改进“学生成长记录表”,为分层教学提供依据

一方面在平台的建构上要精简操作流程,适应学校及管理需求进一步优化评价模型,丰富增值型评价内容,增加学生心理健康、教师教学、学校管理等方面的问卷调查和信息处理。二是立足于监测平台常态应用的同时,进一步优化错题归类工作,形成基于错题更正、测试的纠错平台,为学校分层教学提供数据资源支持。三是加强学生综合素养评价研究,加大过程性评价内容,在评价反馈上利用平台的跟踪功能为学校提供学生成长记录表。

推进区域质量监测平台的深度应用,要淡化数据,重视数据评价,区、片及学校积极探索质量监测的形式与方式,优化质量监测的技术指标,逐步完善质量监测体系。通过监测平台的深度研究应用,将“学生的全面发展”“教学质量的过程研究”“学生健康发展的因素”等诸方面逐步融入到监测过程中,完善以“测试、阅卷、分析、反馈”为基本框架的“区域质量监测平台”。以此促进区域教师和研训人员自觉改变教学行为及研训方式,切实提升区域教学质量,进一步加强区域教育信息化的应用步伐。

参考文献

[1]周家荣.基础教育质量监测的基本框架[J].上海教育评估研究,2015(2).

[2]符泰民.信息技术支持下的教学质量监测研究[J].中国电化教育,2014(5).

数据监测平台 篇8

1 电力运用检测的基本状况

运营检测主要是以全面检测为基础、以运营分析为基本导向、以协调与控制作为基本手段进行的监测与分析工作。

1.1 全面地对电力运行进行监测

对电力系统的运营进行监测主要是围绕电力企业的主营业务活动、核心资源进行的, 并站在绩效管理水平的提升、对业务异动发现的及时性等这两方面进行224小时不间断的全面的监测业务。例如:对外部环境的监测, 外部环境是电力企业运营中产生的外部影响因素, 如:政治环境的变化、社会经济发展水平的变化等, 电力企业专门在海量的数据资料中对专业机构发布的不同的相关信息进行搜集、整理、报告, 并通过现代网络、计算机等的应用对关键字进行检索、判断、分析, 从而对应项电力运营的外部环境因素及时进行监测, 及时发现各种变化的信息。再例如:对电力运营进行综合绩效的监测, 这主要是对电网的整体运营状况、电力服务视屏、业绩等不同方面和维度进行监测, 通过横向与纵向的比较及时掌握电力企业的经营绩效, 并挖掘潜在的问题。通过监测指标的变动及时反映电力企业的战略目标的实现情况、努力提升电力企业的管理水平。

1.2 实现了跨行业与跨部门的运营状况分析

电力企业通过监测后发现有得地方出现了移动和问题, 站在电力企业的整体运营高度, 在大量的数据支撑下可以实现跨专业、跨部门的专题分析、综合分析、即时分析, 帮助电力企业及时发现在运营中存在的各种风险, 及时规避风险的发生。例如:可以以月为单位和周期进行定期分析, 对企业的内外部环境的变化进行主观、客观性评价, 深入分析企业的运营特点, 真正揭示存在异动的原因, 并根据自身的实际提出有效的建议。

1.3 完善的协调与控制

这就要求在进行电力运营监测时一定要以电力企业的运营管理作为基础, 全面进行监测与分析, 各业务部门必须协同合作, 共同完成这项工作。例如:电力企业根据监测与分析的结果, 按照需要定期进行监测, 并将监测的结果及时制作成报告对外发布, 从而为单位的业务部门全面、及时了解和掌握运营状况提供优质服务, 为企业的领导进行决策提供大力支持。

2 大数据挖掘基础上电力运营监测的应用分析

随着大数据时代的到来, 电力企业应通过对海量数据的分析去努力探索电力运营检测中存在的联系和规律, 建立以GIS技术为核心的电力大数据平台, 在可视化等高新技术的支撑下实现电力运营监测的创新。

2.1 大数据平台基础上运营的可视化

这就要求电力企业首先要在电力运营检测平台的基础上构建标准化的运营体系。在电网和客户之间建立配电网枢纽, 这在供电和用电关系中发挥着重要的作用。配电网抢修是在电力企业中最常规的、最常见的一项重要性工作, 很多工作人员在工作中无法回避地会直接面对不同的客户更无法避免复杂的工作环境。因此, 电力企业必须尽快摸索出一套具备推广价值的电力抢修可视化、标准化的工作与管理模式, 并以电力抢修的标准建设与全过程的监督与考核作为基本抓手, 提升抢修工作的精益化管理水平。

2.2 大数据平台基础上运营监测功能的实现

这就要求电力企业从数据库的建立到运用过程中的不同环节和步骤, 在已经确定业务对象问题方面提供相应的数据分析和监测功能。例如:对于10千瓦配网停运的监测, 应手动导入数据, 并对各地市的电力企业10千伏线路的停运状况进行汇总、统计、分析。对于电力企业配网运行的监测, 可以从数据库和数据中心汇总定期抽取ERP数据, 并及时对这些数据进行处理和加工, 同时, 利用Tableau工具实现对重过载、低电压、三相不平衡事件的全面的监测。

综上所述, 经济的发展、时代的进步、人们生活水平的提升、大数据时代的到来为电力企业的发展带来了新的挑战和机遇。信息技术的高速发展、网络技术的迅速普及, 数据挖掘技术的高度发展都为电力运营监测带来了全新的挑战, 因此, 电力企业必须在海量的数据中不断优化和处理各种数据资料, 通过分析对数据挖掘中存在的各种问题进行维护和分析, 不断完善数据挖掘技术, 为促进电力企业电力运营监测的发展奠定基础。

参考文献

[1]苏坤.运营监测 (控) 在电力行业的应用研究与分析[J].现代电子技术, 2013, 36 (03) :53-55.

数据监测平台 篇9

中国地处东亚大陆的东南部, 是典型的季风气候国家, 降水时空分布不均, 旱灾时有发生。干旱已经不仅困扰了中国的农业生产, 而且已成为制约经济发展和社会进步的重要因素之一。传统的旱情监测方法, 主要是根据有限测定的土壤含水量或气象数据, 数据主要来源于稀疏的水文站点或气象站点。如果这些数据不能完全、及时获取, 旱情监测的精确性和及时性就会降低。如何采取有效措施监测旱情并最大限度降低干旱造成的损失, 是水利行业亟待解决问题。

遥感技术宏观、客观、迅速和廉价的优势及其近年来的飞速发展, 为旱情监测开辟了一条新途径。遥感技术可以在时间和空间上快速获取大面积的地物光谱信息, 不仅可以宏观监测地表水分收支平衡情况, 还能微观的反映由于水分盈亏引起的地物光谱和地表蒸散变化。高时间分辨率遥感数据的获取速度可以达到实时或近实时, 适合于大尺度的旱情分析[1]。

M O D I S (中等分辨率成像光谱仪) 是美国NASA对EOS (地观测系统) 系列遥感卫星平台上的主要传感器, MODIS数据是目前所有公开广播、可免费接收的遥感数据中空间分辨率和时间分辨率最高的数据资源。这些特征决定了MODIS数据在水利行业中具有巨大的应用和开发价值。

目前, 国家气象中心业务系统汇集全国5个MODIS站点 (3个主站, 2个辅站) 的每日实时数据, 通过星地通DVB-S (卫星数字广播) 系统发送, 水利部信息中心24 h不间断接收, 以文件的方式存贮在本地服务器磁盘阵列中, 每日接受的MODIS L1B级数据总量大约在80 GB, 全国1日覆盖至少2次。本文基于每日接收的MODIS数据开展了数据前期处理到后期旱情监测的应用研究。

1 主要研究内容

1.1 基于网格的MODIS自动化处理技术

面对日益增多的MODIS数据量和数据产品种类, 急需一种遥感数据的快速处理和共享平台为水利应用提供高效和快速响应的数据支撑。

网格技术对上述问题提供了一种有效的手段。“物理分散, 逻辑集中, 按需获取, 分布处理, 统一调度”的“弱集中”网格平台, 兼具并行计算与分布式计算的优点, 其多样化的任务调度和流程控制, 不仅为数据共享和海量处理提供各种底层功能的支持, 还为建立上层的应用服务提供了环境支持[2]。网格拥有非常优越的整合、调度和使用资源的能力, 在本研究中对遥感影像的自动化处理就需要较强的后台计算能力作为支撑。

MODIS数据加工与水利应用系统使用的网格平台是通过Platform LSF软件整合各个服务器而构建的一个虚拟的网格计算环境。网格平台的核心就是Platform LSF软件, 它是专门用来整合高性能计算的负载均衡管理系统, 通过该软件的调度策略和算法, 合理地将影像处理任务分配给网格中的各节点去执行。

网格平台处理的具体任务包括处理原始MODIS影像数据和生产干旱监测数据产品, 它能够对每天接收到的MODIS原始数据实时地加工, 生成11种数据产品及用于干旱监测的各种指数图, 并将结果以文件的形式存贮在数据库服务器中。MODIS数据处理主要流程比较复杂, 需要经过几何校正、辐射校正、归一化植被指数 (NDV) 计算、地表温度计算等过程[3~4], MODIS数据处理步骤图如图1所示。

粒度是指各个网格处理节点可独立并行执行的任务大小的量度[5]。任务粒度划分的过大, 会造成单个节点计算负载过重, 无法充分利用空闲的高效计算资源。任务粒度划分的过小, 虽然提高了模块的复用性, 但各个子任务间频繁通信, 数据交互传输使得网格的处理效率可能会降低。在对MODIS处理流程中的任务粒度划分时, 执行以下原则:

(1) 要使整个任务运行时间最短, 就要尽可能缩短关键任务的执行时间。

(2) 在网格处理节点有限的情况下, 应该维持任务大小的平衡, 即在不影响关键路径的运行时间的前提下, 非关键任务应尽可能在同一台处理节点上执行, 以减少对处理节点的占用。

(3) 可并行任务应尽可能分布到负载最小的处理机运行, 以保证处理节点间的负载平衡。

将分解后的子任务按照任务间关联度大小 (考虑到耦合度、执行复杂度和通信量3个因子) 进行分组[6]。重组后的MODIS数据网格任务处理流程如图2所示。

图2中各节点代表不同的数据处理模块, 以下简要列出[7]:

(1) 模块Pre1KM代表1 km分辨率数据几何校正;Pre HKM, Pre QKM分别为500 m分辨率数据几何校正和250 m分辨率数据几何校正, 处理流程和Pre1KM类似。

(2) 模块Ref And Rad1KM为1 km分辨率数据辐射校正;Ref HKM, Ref QKM分别为500 m分辨率数据辐射校正和250 m分辨率数据辐射校正, 处理流程和Ref And Rad1KM类似。

(3) 模块Merge代表250 m与500 m分辨率数据融合。

(4) 模块NDVIQKM代表250 m分辨率的NDVI计算。

(5) 模块RBT代表辐射亮温计算。

(6) 模块LST代表地表温度计算。

(7) 模块Merge_Mosaic代表融合数据每日拼接处理。

(8) NDVI_Mosaic, RBT_Mosaic分别为NDVI数据每日拼接处理和辐射亮温数据每日拼接处理, 处理流程和Merge_Mosaic类似。

(9) 模块NDVI_Over Lay和LST_Over Lay分别是NDVI数据每旬合成处理和地表温度数据每旬合成处理。

通过处理任务粒度划分和合理的流程编排, 实现任务的并行度最大化, 同时通过制定相应的任务调度策略和任务分发机制, 充分利用网格系统的处理能力, 提高网格资源的利用率和网格应用的性能。另外网格平台还能够根据用户提交的请求执行指定的任务, 如影像数据的区域裁剪任务等。网格平台能够合理利用不同服务器的计算资源, 从而高效地完成指定的任务。

1.2 应用MODIS数据进行旱情监测研究

影响干旱的因素很多, 如土壤湿度、降水、土地利用、蒸发、气温、种植结构以及水利工程供水能力等, 其中降水量多少直接起着非常重要的作用。通过统计降水量的分布规律, 可以反映干旱的强度和持续时间。但降水量仅反映某地区一段时间内水分收入多少, 不同地区或季节需水不同, 干湿程度不仅取决于降水量, 还与水分平衡过程的其他重要分量有关。

在水分平衡过程中, 土壤含水量与地表热量、地表蒸散量紧密相关[8]。

地表能量平衡方程可以用下式来表示:

式中:Rn为净辐射, LE为潜热通量, H为感热通量, G为土地热通量, PH为生物质能消耗。由式 (1) 可知地面在辐射收支后获得Rn, 经转化形成土壤热通量、感热通量与潜热通量, 而这3者的分配份额与土壤含水量存在密切关系。土壤含水量低时, 供给地面植被的水分减少, 植被受到水分胁迫, 根据能量平衡原理, 这将导致感热通量与土壤热通量的增加, 而这2者用于改变周围环境的温度, 从而引起土地表面温度的增高, 可见土地表面温度的高低可作为土壤墒情的反映。因为植被指数确定了土地表面的植被覆盖度, 不同覆盖条件下因地表与植被反射率的不同产生不同的辐射平衡, 因此, 只有在植被指数相同的条件下, 地表面温度与土壤含水量才具有较好的相关性, 才能更准确地对区域旱情进行评价[9~10]。

以上分析中, 降雨量通过实测数据获得, 地表温度和植被覆盖状况可以通过遥感数据计算获取。本研究选择合适的降水指数, 通过NDVI与LST (地表温度) 构建的遥感指数作为干旱评价因子。

监测系统以MODIS卫星遥感影像为基本数据源, 同时结合地面实测的降水量数据和土壤墒情数据, 通过分析各种遥感指数的适用范围和条件结合MODIS影像数据的特点、模型参数获取的难易等多方面考虑, 选择出合适的基于NDVI与LST的遥感指数[11]。

从降水量数据中提取出降水指数指标, 并对点状的降水量数据进行空间插值转化成栅格数据, 将遥感指数与降水指数相结合, 根据2者对土壤相对湿度的影响程度分别对它们赋予不同的权重, 建立一种干旱综合模型。分析该模型与土壤湿度的关系, 通过统计学方法建立其与土壤相对湿度的回归方程来反演土壤相对湿度值, 根据土壤相对湿度值划分干旱等级, 得到旱情等级分布图, 实现旱情的动态监测。整个干旱监测流程如图3所示, 研究中利用每日获取的多光谱遥感影像, 得到大范围地面的面状监测数据, 从中提取水热相关信息, 构建遥感因子, 结合地面实测的降水等数据, 构建水文气象因子, 然后综合遥感因子与水文气象因子建立综合的动态监测模型, 通过地面实测墒情数据对初步监测结果进行精度评价和因子权重的进一步修正, 确定最终模型。从土地覆盖分类图中提取监测区域, 计算出干旱指数, 然后依据农业旱情划分标准划分干旱等级, 最后利用水文预报数据对监测结果建立修正模型, 进行预警修正, 实现干旱的预警[12]。

2 平台框架设计

数据处理与发布系统基于统一的数据库管理平台和网格平台实现MODIS数据的业务化处理、管理和应用, 并为用户提供B/S模式的数据和产品服务。系统采用3层构架, 底层为数据采集层, 负责MODIS影像数据的接收和存贮, 以及水雨情数据库、业务数据库的数据实时入库、更新、维护和管理;中间层为业务处理框架, 基于统一的Plat Form LSF网格平台, 构建MODIS数据自动化处理系统和旱情监测业务系统;顶层为应用服务层, 即客户端 (包括浏览器和软件平台) 。上下层之间通过接口进行通信和相互调用。业务处理层通过中间件对底层数据进行操作。3层框架在逻辑上相互独立, 互不影响。MODIS数据处理平台框架如图4所示。

(1) 数据采集层实时接收的MODIS PDS数据和MODIS L1B数据, 以及后期加工的产品由数据采集层经过统一整理并记录元数据后存入磁盘阵列。数据自动收集与更新模块完成更新频率高、格式相对规范的数据的自动添加工作, 以及业务数据的维护和管理, 为上层提供各种数据基础。

(2) 业务处理层包括MODIS数据处理系统和实时干旱业务系统。2者基于统一的网格调度平台, 实现自动化的日常业务运行, 生成的数据和产品通过网格共享文件系统存入数据阵列。其中数据访问接口为上层应用提供数据访问服务, 对上层应用屏蔽物理数据库细节, 在一定程度上提高了数据的安全性, 同时可避免因调整数据库结构导致的上层应用程序频繁修改。

(3) 应用服务层包括MODIS数据发布模块和干旱产品发布模块。基于B/S数据共享平台, 实现影像的快速浏览和查询, 提供MODIS L1B数据和各类产品及其元数据的下载, 提供实时的基于MODIS的旱情监测服务。

3 发布平台实现与旱情分析应用实例

作为一个数据处理与分发的平台, 本研究实现了基于B/S结构的数据发布平台的MODIS原始数据、MODIS各级数据产品和MODIS干旱数据产品 (包括影像、元数据信息、快视图) 的浏览与下载功能, 对MODIS各级数据产品和MODIS干旱数据产品的查询功能, 以及对MODIS各级数据产品的裁剪和下载功能, 并提供了权限管理和用户登录管理。图5是MODIS旱情发布界面图。

基于该平台, 以MODIS自动化处理的NDVI和L S T等产品为数据基础, 结合气象数据 (如降雨量) 、水文数据 (如土壤湿度) , 应用遥感模型按一级流域和省级行政区域实时自动生成相应的以旬为时间尺度的干旱监测数据产品, 包括降雨量等值面图、土壤湿度等值面图, 遥感干旱指数图以及综合干旱等级图, 并利用地面土壤墒情观测数据对干旱监测数据进行分析和评价。

旱情分析以重庆市2009年8月为例。自8月以来, 持续晴空, 全市普遍高温少雨, 局部地区造成了比较严重的旱灾。旱情图及预测RSM (相对土壤湿度) 与实测RSM相关分析如图6所示, 这3幅图分别对应该月上、中、下3旬的遥感旱情分布情况。可以看出, 随着时间的推移, 旱情程度逐渐加重, 受害面积逐渐扩大, 重庆西部灾害情况相当严重。对应各分布图是各旬反演相对土壤湿度和实际土壤湿度的相关分析图, 可以看到这两者呈较强的线性相关, 且相关度大。

4 研究展望

基于网格的MODIS处理平台实现了从全自动化遥感数据处理到旱情监测应用的处理过程。目前, 该项研究初步进行了局部的试点实验取得了较好的成效, 为了进一步的深入和完善, 计划开展以下3个方面的研究工作。

(1) 把光谱反射率、红外温度、植被指数等遥感数据和产品通过一定的模型与土壤水分建立相互关系, 进一步研究各因素之间的内容联系和其物理意义, 选择土壤水分最敏感的波段, 抑制背景噪声, 提高模型监测的精度。

(2) 进一步在机理上发掘NDVI-Ts特征空间所蕴含的植被生理生态学涵义, 考虑如何在特征空间中合理融合气象资料、土壤属性及作物类型等辅助数据, 以更好地为旱情定量监测提供参考。

(3) 基于全国地理范围划分合理的监测单元, 减小地域气候、地形、植被覆盖度的差异对预警结果的影响, 提高监测精度和预警准确度。通过大量的实验和参数率定, 建立区域适应级别的监测模型, 同时把前期干旱指数作为模型构建的一部分, 成为影响后期干旱发展的一个因子。

参考文献

[1]覃志豪, 高懋芳, 秦晓敏, 等.农业旱灾监测中的地表温度遥感反演方法—以MODIS数据为例[J].自然灾害学报, 2005, 14 (4) :64～71.

[2]Foster I, Kesselman C, Nick J.Grid Portals:A Scientist’s Access Point for Grid ServicesGrid Computing Environment[R], Chicago USA:Global Grid Forum9, 2003.

[3]刘玉洁, 杨忠东.MODIS遥感信息处理原理与算法[M].北京:科学出版社, 2001.

[4]Lingkui Meng, Liang Tao, Jiyuan Li, Chunxiang Wang.A System for Automatic Processing of MODIS L1B Data[A].Proceeding of the8th International Symposium on Spatial Accuracy Assessment in National Resources and Environmental Sciences[C].Shanghai, P.R.China:WORLD ACAD UNION-WORLD ACAD PRESS, 2008.335～343.

[5]Foster I, Kesselman C.The Grid2, Blueprint for A New Computing Infrastructure[M].San Francisco:Morgan Kaufmann Publishers Inc., 2004.

[6]Jiyuan Li, Lingkui Meng, Liang Tao.Research on Automatic Composite of MODIS Data Based on Grid[A].in Proceeding of International Seminar on Business and Information Management2007[C].China:Engineering Technology Press, 2008, (1) :404～408.

[7]Gengming Jiang, Zheng Niu, Weili Ruan, Changyao Wang.Cloud-free composition of MODIS data and algorithm realization[J].Remote sensing for land and resource, 2004, (2) :11～15.

[8]冉琼.全国土壤湿度及其变化的遥感反演与分析[D].北京:中国科学院遥感应用研究所, 2005.

[9]张顺谦, 卿清涛, 侯美亭, 等.基于温度植被干旱指数的四川伏旱遥感监测与影响评估[J].农业工程学报, 2007, 23 (9) :141～147.

[10]唐巍, 覃志豪, 秦晓敏.农业干旱遥感监测业务化运行方法研究[J].遥感信息, 2007, 12 (1) :37～42.

[11]Sandholt, Rasmussen K, Andersen J.A Simple Interpretation of the Surface Temperature/Vegetation Index Space for Assessment of Surface Moisture Status[J].Elsevier:Remote Sensing of Environment, 2002, 79 (2～3) :213～224.

大数据时代的高校共享数据平台研究 篇10

摘 要：在教育领域中，管理和决策越来越依赖于数据和分析，如何利用大数据科学决策是高校近年来信息化建设关注的主题。文章分析了高校共享数据中心平台的理论知识和相关技术，讨论了面向服务的数据交互技术方法及共享数据中心的非技术因素。最后分析设计了面向主题域的常熟理工学院共享数据中心，并对其体系架构及关键业务系统的数据流向做了详细的分析叙述。

关键词：大数据；数据交换；数据中心

中图分类号：TP392 文献标志码：A 文章编号：1673-8454（2015）10-0010-03

大数据科学决策是高校治理体系和治理能力现代化的关键。在教育领域中，管理和决策越来越依赖于数据和分析，而非基于经验和直觉，然而，目前大多数高校的管理模式中信息化的作用尚未充分体现，尽管在长期的办学过程中积累了大量的数据，但这些宝贵的决策信息资源没有得到相应的整合和开发，更谈不上利用这些数据对学校的教学、科研、管理等各项事务进行预测和分析。随着大数据发展而带来的教育政策研究与决策“用数据说话”的趋势亦渐明显，构建共享数据中心，将这些海量、分散、异构的数据资源集成起来达到共享、融合，通过多维度、多层次、多群体、多因素数据分析并形成一定的应用模式，从中分析和挖掘潜在的价值，去解决高校事业的瓶颈问题，是将大数据应用于教育领域的重要举措。

一、大数据时代的高校共享数据平台的相关技术及理论

1.信息编码标准

信息编码标准是做好信息管理的基础，信息只有遵循一个统一的标准进行组织，才可能构成一个可流通、可共享的信息库。信息编码标准是数字化校园中不同层次的系统尤其是应用系统能够相互访问的基础。数据交互过程中，各业务系统数据信息要按照信息编码标准的数据标准进行数据清洗和过滤，处理后的数据才会存储到中心数据库。信息编码标准是学校信息化建设的必要条件；同时信息标准的水平也反映了学校信息化建设的水平和高度。

2.共享数据模型

共享数据中心主要完成学校各类跨地区、跨部门、跨系统的管理数据与信息资源的数据交互和共享，是各个业务系统数据交互的中转站，是信息资源的存储中心。由于各学校早期的信息化建设基本都是由业务部门主导，缺乏统一规划，没有统一标准。同时考虑成本以及推倒重来的建设风险等因素，一般建议采用交集数据中心模式建立共享数据中心，即：各系统间的数据交互完全通过数据中心来完成；共享数据中心只对交互系统之间需要交互的数据建模，各系统沿用原有的权限模型，需要交互的数据在相关系统中独立的存在，但所有数据有且只有唯一的维护源头。

二、大数据时代的高校共享数据平台总体设计

1.共享数据中心体系架构（图1）

（1）数据采集层

采集的数据主要包括基础数据，如人、财、物等基本信息；学校开展教与学主体事务的业务数据，如教师教学、学生选课等；体现教师学生成长与发展的过程数据等。数据采集层主要完成上述相关数据的采集工作，其中大部分数据随着其相关的业务系统日常运作过程而积累下来，还有一部分是相关管理人员手工录入，或者电子表格批量导入。

（2）数据集成层

数据通常存储在很多个不同的数据存储系统中，从所有源中提取数据并将其合并到单个一致的数据集中确实有一定的难度。数据交换工具通过转换功能对数据进行清理、标准化及转换，数据转换为兼容格式后，就可以将其物理合并到一个数据集中，并且数据在合并成功且应用转换后，通常会被加载到一个或多个目标。

数据集成层同时还负责加载数据库中的维度表和事实数据表，处理 Analysis Services 多维数据集和维度，使用 Integration Services 任务和转换来自动处理更新多维数据集和维度，使用户始终获得最新的数据。

（3）管理操作层

管理操作层的基础数据主要来自各个业务系统，有的统计指标类数据是经数据仓库加工提供。管理操作层面向教育治理者日常管理，主要包括师资队伍建设管理、师资结构分析、学业预警、教学考核等。归纳如下：

为满足日常管理，提供了以固定报表为主的综合报表统计平台。

为便于突发性和临时查询需要，提供了各大主题的综合查询平台以及基于数据仓库的灵活查询功能。

为规范对外数据报送，提供了统一的对外数据报送接口。

2.主要业务系统数据流向

共享数据中心本身不会产生数据，所有的业务数据的维护遵循数据生命周期按照“谁产生，谁维护”的原则，各自业务系统分别产生数据，所有数据只有唯一的生产源头。共享数据中心与各业务系统之间进行交互，一方面保证基础数据在各系统中的一致性，同时也对主要业务数据进行积累沉淀。

以学生数据为例，学生的人头数据以学籍系统为准，而学生的其它基础数据又在学工系统中维护完善。数据共享中心既负责从学籍系统中抽取学生人头数据推送学工系统，同时又从学工系统中抽取完整的学生基础数据存储在数据中心，图书系统、一卡通系统等业务系统从共享数据中心订阅学生相关数据。其主要业务系统数据流向如图2所示。

三、共享数据中心的非技术因素

1.数据质量管理

数据是高校有效开展信息化管理和辅助决策分析的依据，是实现高校治理现代化的重要保障，因此其质量和时效性已经越来越受到高度关注。提高数据信息的质量，加强数据管理，不仅需要在高校日常工作中充分利用现代信息技术，强化高校业务与信息技术的融合，还要依靠广大师生的配合参与，必须循序渐进，稳步推进。

（1）从源头治理，从数据录入、内部处理入手，把好数据质量“入口关”；

（2）督促问题治理，部署检查规则，实现问题数据发现、分发、治理、监督、考核闭环管理，把好数据质量“治理关”；

（3）做好规范管理，完善制度、规范流程、系统硬控制，把好数据质量“流转关”。

2.数据安全管理

大数据既意味着机遇，也蕴涵着挑战。数据安全管理问题，是高校应用大数据面临的最大风险。虽然共享数据中心模式数据管理，方便了数据分析和处理，但由于安全管理不当所造成的大数据丢失和损坏，则将引发毁灭性的灾难。在使用数据过程中应遵循以下原则：

（1）使用生产数据必须经过申请和审批，开发测试环境使用生产数据必须进行数据混淆。

（2）对生产用户进行严格的授权管理，防范非授权访问生产数据。

（3）含敏感信息的生产数据应使用专用邮箱传输等。

（4）对生产数据建立和实施严格的备份机制。

四、总结

在大数据的支撑下，高校运行过程的各种元素能够实现数字化的呈现，数据得到实时流转、存储和整合，信息按照权限充分公开。大数据能够聚焦于决策对象的微观层面，将原本模糊的现象通过数据逐步清晰的描述出来，大数据是超越个体与局部的相对静态视野，更容易发现问题所在、可能弱点和盲区的宏观动态视野并且用于各项事务的预测和决策。本文讨论了面向服务的数据交互技术方法、数据流向以及一些非技术因素，设计了面向主题域的共享式数据中心。本共享数据平台成功应用在常熟理工学院数字化校园建设项目中，通过数据交换、主题分析，为学校的科学决策提供了有力保障，推进了学校的现代化治理能力和水平。

参考文献：

[1]姬倩倩，温浩宇.公共交通大数据平台架构研究[J].电子科技，2015，（2）：127-130.

[2]陈瑞.大数据时代基于共享平台的信息服务工作研究[J].科技创业月刊，2015，（1）：20-22.

[3]赵巍，刘丹，王欢.高等学校共享式数据中心设计与实现[J].长春理工大学学报（自然科学版），2015，（1）：132-135.

[4]陈霜叶，孟浏今，张海燕.大数据时代的教育政策证据：以证据为本理念对中国教育治理现代化与决策科学化的启示[J].全球教育展望，2014，（2）：121-128.

[5]张建.教育治理体系的现代化：标准、困境及路径[J].教育发展研究，2014，（9）：27-33.

[6]阎光才.高等教育治理体系与治理能力的现代化[J].苏州大学学报（教育科学版），2014，（3）：1-3.