存储调度（精选四篇）
存储调度 篇1
常用的磁盘调度方法是磁盘轮巡法。即以循环链表的形式组织磁盘,按链表中磁盘的先后顺序存储信息,即第一个磁盘存储满后在将信息存储到下一个磁盘,直到所有磁盘存储满后再将信息覆盖存储到第一个磁盘,如此循环,直到链表中最后一个磁盘存满。该方法容易实现,在存储路数比较少的情况其性能良好。但如果存储路数比较多时会造成多图同时访问一个磁盘而其他磁盘长时间空闲的情况,会大大降低磁盘访问效率,严重时会造成系统瓶颈和存储数据丢失,系统的可靠性和稳定性收到严重威胁。基于此本文提出了一种基于磁盘剩余空间和被访问频度的多磁盘存储调度算法。
1 基于磁盘剩余空间和被访问频度的多磁盘存储调度算法
该算法实现的基本思想是将多路存储分到多个磁盘上。这样可以有效不让多路存储都访问一个磁盘上,达到解决I/0访问瓶颈问题的目的。即将存储路数除以磁盘数得到每个磁盘分配的平均存储路数。考虑到磁盘存储空间大小不等,多路存储时会出现大容量磁盘被集中访问的情况,从而降低磁盘访问效率,基于上述问题,本文提出了一种多磁盘存储调度算法,该算法综合考虑磁盘剩余空间大小和被访问的频度。该算法的思想是尽可能让各个磁盘均分存储路数,避免大容量磁盘被集中访问从而造成I/O访问的困难问题。
1.1 数据结构实现算法
实现算法的目的是当前被访问频度以及各磁盘的剩余存储空间大小的综合考虑,采用一种策略能够选择下一路存储访问那一个磁盘。因此该算法建立一个描述磁盘使用情况的数据结构如下:
基于该数据结构的数组各元素组成了当前磁盘信息表,某一个时刻该表的内容可能如表1所示。
表1为监控系统的某一个计算机中所有磁盘的情况描述,各磁盘剩余空间比例是每个磁盘的剩余空间占所有磁盘空间之和的比例;当前访问线程数目是当前每个磁盘正在被访问的线程数;最大访问线程数目为该磁盘在指定条件下所允许被访问的最大线程数目,其计算公式为:最大访问线程数目=该磁盘剩余空间比例×该磁盘当前被访问的路数。
1.2 算法过程描述
该存储调度算法主要步骤如下:
Step1:利用磁盘接口函数,计算出各磁盘剩余空间大小。
Step2:由Step1,计算整个剩余空间,并由此计算出各磁盘剩余空间占整个剩余空间的比例。
Step3:计算各磁盘最大访问线程数目,计算方法为:最大访问线程数目=该磁盘剩余空间比例×该磁盘当前被访问的路数。作为该磁盘所能容纳的访问线程的最大数和1/2最大数。
Step4:排序,按剩余空间的升序对磁盘信息结构数组各元素排列顺序。
Step5:对该数组中排过序的各数组元素即各个磁盘的情况进行判断,第一次将访问请求分配剩余空间比最大而且线程访问数目没有达到1/2最大访问线程数目的磁盘。若该磁盘线程访问数目超过1/2最大访问线程数目时,则选择第二个较大且满足条件的磁盘来分配最新线程访问请求。
Step6:若所有磁盘的访问线程数目都达到1/2最大访问线程数目,则将最新的访问请求分配给剩余空间最大且当前访问线程数目没有达到最大访问线程数据的磁盘。
Step7:若所有磁盘的访问线程数目均已达到最大访问线程数目,则无磁盘可用,返回信息给系统。
1.3 存储调度算法过程分析
从以上算法步骤可以看出,该算法始终以各磁盘剩余空间和磁盘当前访问线程数目最为调度算法的重要参数。根据磁盘剩余空间比参数可以避免小磁盘很快被存满及多路存储同时访问同一个磁盘的情况。优先考虑大容量磁盘的存储,在各个磁盘中分配容量大小比较平均数据,按比例减少各个磁盘的存储空间。
在该算法中构造了1/2最大访问线程数目作为中间标准对磁盘存储按照存储空间大小进行两次分配,第一次当所有磁盘的访问线程数目低于这个标准时,分配剩余空间最大的磁盘,若该磁盘已无剩余存储空间则选择次大的磁盘。当所有磁盘当前访问线程数目达到这个标准时,再按磁盘剩余容量大小进行二次分配,这样设计的优点是在算法的开始执行阶段能够降低同时访问剩余空间最大磁盘的线程的数目,平均分配多路访问线程,提高了磁盘的访问效率。
2 一种定时检测增加磁盘剩余空间算法的提出
视频监控系统基于多磁盘存储数据,通常采用简单的磁盘轮巡存储算法,该算法在磁盘存储空间快满,造成存储空间不够的时候,则停止存储,根据旧文件优先删除的算法来删除一部分旧文件释放存储空间。但该算法的致命缺点是很容易造成数据正常存储时中断,导致监控系统数据丢失。为解决上述问题,提出了一种定时检测增加磁盘当前剩余空间的算法。
2.1 定时检测增加磁盘剩余控件算法思想及其描述
该算法的主要思想为:为了保证监控系统视频存储的稳定、持续进行,为每一个磁盘的剩余空间设置一个阈值bSpace,系统后台中设置一个定期检测磁盘剩余空间的线程,按照预先设定的频率,周期性地检测磁盘剩余空间,若发现磁盘剩余空间rSpace低于预先设定的阈值bSpace,则对磁盘运行旧文件循环删除算法,删除磁盘中的旧文件,直到磁盘的剩余空间达到阈值为止。
阈值的选择非常重要也比较困难,大小必须合适,如果阈值过大,则监控系统会频繁的访问磁盘,删除旧文件以释放存储空间,使监控系统的性能下降;过小则达不到确保监控系统视频存储的稳定和持续运行,不丢失数据的目的。必须根据监控系统硬件实际情况和各种不同存储的要求,对比实验数据,得出大小适合的阈值,此外,检测的频率(检测的时间间隔iTime)过快和过慢也会造成同样的问题出现,也需要根据对比实验和监控系统实际情况来确定该参数。
存储调度决定将哪个磁盘分配给当前路存储时,该路存储即占用了磁盘的一个存储资源,以保证该路存储能够在单位时间内有足够的存储空间来利用。如果当前系统没有可利用的存储资源,释放一部分存储空间以空出一个存储资源,如果该路存储实际占用的空间(SPr)小于存储资源所占用的存储空间<SPa>,则将存储结束后剩余的这部分空间<SPa-SPr>回收,用于以后分配(存储资源:单位时间内、单路存储所需占用的存储空间大小)。
每个磁盘都需要为存储分配、释放资源,可以定义Si为第I个磁盘可利用的资源数目, FreeSource Num为系统要释放的资源数目:分配资源、释放资源可以描述为:
(1)分配资源
(2)释放资源
从上述算法执行过程可知,该算法能确保磁盘剩余空间始终稳定的保持在一个比较理想的值,这样就可以比较好的确保了存储的稳定,防止发生存储抖动的现象。磁盘剩余空间阈值bSpace与检测时间间隔iTime值的设定也非常重要,两者过高会使得系统资源被大量占用,造成系统整体性能下降。过低又不能确保磁盘剩余控件不能满足存储要求,造成存储出现错误而异常中断,严重的会造成数据丢失等。
在实际系统开发中,经过大量试验,选取bSpace取值为800MB,iTime取2ms取得了较好效果。
2.2 基于定时检测增加剩余空间算法存储子系统的实现
基于该算法的存储子系统的结构如图1所示,主要功能模块包括:存储初始化模块、视频存储模块和存储过程异常检测与修复模块等部分组成。
存储初始化:该部分主要为启动存储进程及后续动作设置相关参数,为其操作做好准备。主要包括:为存储进程设置设备参数及后续动作所需的其他参数等。
视频存储线程:该部分主要存储经过压缩输出的视频流数据。
异常检测与修复:该部分主要检测一些不可预见的异常文件数据存储情况,并对发生的数据存储错误进行修复。
存储空间监测与释放:该部分完成对磁盘剩余空间的检测,如果磁盘剩余控件小于预先设定的阈值,根据一定的策略计算出需要释放的空间或警报,提示用户手动删除旧文件释放磁盘空间。
存储调度模块:该模块主要负责利用系统主线程去调度子线程。当程序启动时,主线程负责完成与存储相关的一些初始化以及根据需要切换子线程的状态(包括档开始、档切换、档结束、线程结束)的切换等,而子线程负责各个状态的处理。
3 结束语
视频监控存储过程中,海量数据轻松和解决冲突的存储空间,一直是研究的问题,视频信息的存储解决方案的选择,仍然是现场监测的重点之一,如果大量存储的所有废物绑定到一个存储空间上,形成很大的存储容量,如何设置存储策略,采用什么样的存储解决方案,将直接影响系统的使用性能。
参考文献
[1]魏轶伟,熊剑平.基于IP的存储网络技术[J].计算机工程与应用,2002,38(13):156-157.
[2]肖庆华.几种典型网络存储系统的存储管理技术研究[D].武汉:华中科技大学图书馆,2005.
[3]李桂,苏一丹.基于NAS的存储技术探讨与应用[J].信息网络安全,2003,5:44-46.
[4]Mark F.IP SANS FOR VIDEO STORAGE[J].Emedia.Wilton,Jan.2003,16(1):14.
[5]视频监控应用中的存储解决之道[J].中国现代教育装备,2005(8):100-101.
存储调度 篇2
数据库技术的主要目的是有效地管理和存取大量的数据资源。在计算机应用中,数据处理和以数据处理为基础的信息系统所占的比重最大。因此,基于客户/服务器方式的高性能、大容量的关系型数据库管理系统得到了广泛的应用。它要求能够支持大吞吐量的事务处理,如商品生产、联机定单等。
创建数据库的维护工作,可以利用数据库管理系统提供的现场配置工具来进行。但这种方法需要在服务器端现场操作。对于数据库的管理员来说,缺少了远程配置的方便性。我们开发的很多数据库的管理信息系统,其维护管理人员可能是各个不同行业的从业人员。他们对数据库的了解程度不同,因而在操作上就存在很大的差异性。如果能将维护数据库的操作集成到客户端软件上,则统一了管理员的操作方式,同时增强了系统运行的可靠性。
1 集成所带来的问题
然而将维护数据库的操作集成到客户端同样要面对很多的问题。数据库中经常会有一些数据更新业务逻辑,需要根据系统时间来更新数据表。典型的就是与时间相关的一些数据表的读写操作和判断操作等。若利用开发工具定义一个时钟函数,理论上是可行的。但操作起来却不是很理想。主要表现在以下几个方面:
(1) 网络内有多个客户端软件运行,要实现一个定时函数,需要互斥地操作,这给编程带来了复杂性。
(2) 频繁地从数据库读数据写数据,给网络带来负担。
(3) 减少了应用程序的独立性,增加了数据库的安全隐患。
要实现上述所说的功能集成,同时避免集成过程中面临的问题,则需要将数据库的存储过程以及作业调度结合起来。
2 存储过程及作业概述
存储过程是一组为了完成特定功能的语句集,经编译后存储在数据库中。用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。存储过程可以使得对数据库的管理、以及显示关于数据库及其用户信息的工作容易得多。存储过程是语句和可选控制流语句的预编译集合,以一个名称存储并作为一个单元处理。它存储在数据库内,可由应用程序通过一个调用执行,而且允许用户声明变量、有条件执行以及其它强大的编程功能。
存储过程的优点:
(1) 提高性能 当存储过程被创建,它所包含的SQL语句将被分析和解析,并被存储。当第一次被执行时,它将被调出并被优化。数据库管理系统会根据statistics自动选择相应的优化策略.此后查询计划将被存储在高速缓存中,以利于将来使用。由于不用被重新编译,所以可以大大提高效率。
(2) 减少网络流量 创建一个存储过程来进行数据库表的插入操作时,每次插入时只要传输存储过程名,参数和这些参数的数值,当这些操作非常频繁时,使用存储过程可以减少额外的网络传输。
(3) 更强的适应性 存储过程的内部操作语句和流程改变后,它可重新编译成新的执行方案,不影响客户端应用程序的改变,系统可维护性强并且简单,而这些改动不会对应用程序造成影响。
作业是由数据库代理程序按顺序执行的一系列指定的操作。作业可以执行更广泛的活动,包括运行SQL 脚本、命令行应用程序等。可以创建作业来执行经常重复和可调度的任务,作业还可产生警报以通知用户作业的状态。作业调度按照时间周期(每日、每周、每月、每年)对工作负载进行分割,并根据业务需求、作业长度、存储管理及相关依赖性关系对作业的执行方式加以调度。
3 存储过程的运用
存储过程提供了数据驱动应用程序中的许多优点。将数据更新业务逻辑封装在存储过程中是一种很好的设计方法。利用存储过程,可以将数据库操作封装在单个命令中,它能提高应用程序的可管理性、可扩展性以及数据库的安全性。类似地,插入数据以及删除数据的业务逻辑也可以封装在存储过程中,并以相似的方法在应用程序中被运用,为获取最佳性能而进行优化,并通过附加的安全性增加系统安全性。同时,存储过程和应用程序之间的这种调用机制,确保了它们之间的松散耦合性。
以按照时间自动修改数据表的存储过程为例说明。
如图1所示,作业管理器线程按照作业的定时策略,定时执行存储过程。存储过程在作业的定时策略驱动下,执行SQL语句,对数据库进行读写操作和相关的判断等等。一般这种通过作业调度来驱动的存储过程是不带返回值的,但允许带有参数。若想利用作业调度驱动的存储过程来产生返回值还是有办法的。存储过程可以很自由地执行SQL语句,所以,可以利用存储过程的这一特点,来达到返回值的目的。利用SQL语句创建一个数据表,用数据表来保存需要的返回值。作业调度虽然无法真正接收返回值,也没有机制将作业调度里的值回传给应用程序,但应用程序可以访问数据表。这样就可以实现间接地达到返回值的目的了。
几乎SQL语句能实现的功能,都可以在存储过程里得到实现。因此,数据库管理员想要执行的操作也可以集成到存储过程中来。这样,通过在客户端设置的调用存储过程接口,管理员就能很方便地远程完成所需的操作。通常涉及到数据库的备份和还原策略就能够很好地通过存储过程的调用来实现。
这里要说明的是,在还原数据库的时候,由于还原操作需要线程独占数据库资源。所以,在设计还原数据库的存储过程的时候,需要将其他连接到数据库的连接断开。因此,在该存储过程中,需要用到游标操作和kill命令。具体的实现以SQL Server数据库为例说明如下:
上述操作就可以断开所有连接到MYDB的连接,然后就可以用相关的还原数据库的命令进行数据库的还原操作。当然,还原数据库的时候有很多还原选项可供选择,这就看具体的还原需求了。
4 作业调度的运用
可以通过数据库的企业管理器创建作业,来执行管理员想要的定时操作。但这种调度作业缺乏灵活性。例如管理员想要改变定时策略,还是要到服务器上配置。然而,如果把这个操作集成到客户端,则管理员操作起来就方便很多了。
如图2所示,当应用程序需要修改作业调度的参数时,通过调用存储过程A,来间接达到修改作业调度参数的目的。同样地,作业调度需要执行数据库操作的时候,通过存储过程B来执行。它们之间良好的松散耦合性进一步巩固了后台数据库的安全。首先,耦合规模不大。程序互相调用的时候,需要传输的参数数量不大,各模块独立性好。其次,各模块互相调用时传输的参数是非结构化的参数,也即简单数据耦合。这是一种最好的耦合。最后,这种松散耦合结构将数据库的操作与应用程序割裂开来,在一定程度上有利于增强后台数据库的安全性。
作业内部细节实现如图3所示。
以SQL Server数据库为例作说明。作业配置完成以后,需要将SQL Server Agent设置为随数据库服务启动而启动。SQL Server Agent负责SQL Server系统的警报、作业、调度等任务,从而可以实现自动化任务。启动方法很多,最简单的方法是打开SQL Server服务器,设置SQL Server Agent为Auto-start Service When OS starts,即开机自动运行。这样,就不用管理员在每次服务器重启后现场配置服务器代理了。
可以利用SQL Server的企业管理器或者直接用Transact-SQL语言创建一个job。当我们需要通过应用程序来配置这个job的时候,就在应用程序中调用存储过程A。存储过程A里的关键代码如下:
通过以上代码就可以达到修改作业里的属性值。这样,作业就可以按照用户指定的定时策略来执行存储过程B了。当然,各参数具体赋值多少视系统需求而定。各参数所代表的属性可查阅联机文档。
5 结束语
数据库的管理信息系统的开发可以同其他一些开发工具相结合,也可以在编程中通过将开发工具提供的各种类资源整合起来编程。但上述方法将数据库的配置及调用相关函数功能整合成存储过程和作业调度,提高了数据库系统的稳定性,增强了模块之间的独立性。这种方法利用存储过程和作业调度实现了数据库某些方面的自我管理,统一了数据库管理员的操作方式,增强了数据库的自我独立性,顺应数据库嵌入式、独立性的发展方向。
摘要：数据库的维护模块是数据库管理信息系统不可缺少的模块。针对该模块在实际应用中存在的问题,首先详细介绍了存储过程和作业调度的相关概念及优点,然后提出了一种运用存储过程和作业调度实现数据库的高级管理的方法。同时,在该方法的基础上,讨论了相关的安全性问题。
关键词：存储过程,作业调度,数据库备份还原
参考文献
[1]戴薇,张士军.在Sql Server数据库中利用存储过程实现动态交叉表[J].计算机与数字工程,2006(12):126-128.
[2]Microsoft Technet[EB/OL].http://www.microsoft.com/china/tech-net/itsolutions/techguide/msm/smf/smfjobsc.mspx.
[3]Henderson,K.The Guru′s Guide to Transact-SQL[M].北京:中国电力出版社,2002.
[4]邹建.中文版SQL Server2000开发与管理应用实例[M].北京:人民邮电出版社,2005.
存储调度 篇3
关键词：结构相似度定位,数据库存储,存储软件
0 引言
随着计算机技术、信息技术的快速发展,产生了越来越多的数据信息资源。如何将这些大规模集成软件的数据库存储资源利用起来,放在一个公共访问区域,方便所有用户和科技工作者访问,从而提高大规模集成软件的使用率是下一代计算机信息技术发展需要解决的首要问题。现代集成软件调度和资源分布的弊端主要体现在资源分布地区差异大,不同地区资源持有程度严重不同,成为制约集成软件信息技术发展均衡的首要因素。另外,资源成本高、使用率低下、共享技术落后也是影响信息现代化发展的瓶颈。因此,需要研究一种高效的大规模集成软件的数据库存储资源优化调度算法,以提高集成软件的运行和开发效率[1,2,3]。
1 大规模集成软件的数据库存储空间结构模型与信息流分析
1.1 大规模集成软件的数据库存储空间结构模型基础
为了实现对大规模集成软件的数据库存储资源优化调度,首先采用遗传算法构建大规模集成软件的数据库存储模型,进行数据存储结构编码。遗传算法通常用最简单的编码方式来表示一个相对复杂的问题,编码是变量集合,并对该编码集进行运算处理,最后再通过一组编码来表示遗传算法以及优胜劣汰的选择,同时对后面的搜索进行学习指导并确定一个搜索方向[6]。
遗传算法在执行数据库大规模集成软件数据库存储空间结构的过程表述为:①首先随机产生一个任意种群,即所需求解问题一个解的集合;②每个初始种群中的个体都应有一个解,每个个体携带基因的不同性质决定了每个个体特征不同,遗传算法通过一个适应度函数对每个个体特征进行辨别打分;③通过数据编码计算后,算法会根据每个个体的适应度配合不同的辨别选择方案,挑选出部分个体进入下一代,选择个体的策略应要让高适应度个体比低适应度个体更容易进入下一代,即高适应度个体进入下一代的概率要高于低适应度个体;④对选择出来的个体通过交叉和变异操作产生适应度更高个体,经过这样反复操作,种群多样性得到提高。通过上述分析,得到大规模集成软件的数据库存储空间结构模型如图1所示。
在大规模集成软件的数据库存储空间中,进行数据存储子空间的多维矢量特征重构。设在大规模集成软件的数据库存储空间进行软件分布式调度的概念格结点G1=(M1α,M1β,Y1),G2=(M2α,M2β,Y2),自适应网格分布的适应加权函数为:
其中,为子代基因的中心矢量,用输入数据包传输和监测信息x(k)减去输出y(k),可以得到M个大规模集成软件数据库存储空间的节点采样,并得到大规模集成软件数据库存储空间的瞬时特征频率为:
其中,t0为初始采样时间检测,a为自然选择机制的软件特征信息的幅值,数据的聚类中心满足。将v插入有序集R1(u)中,由此实现数据库的结构分析和编码特征优化。
1.2 数据库存储资源信息流模型构建
在上述数据结构和存储空间分析的基础上,构建数据库存储资源信息流,在C/S构架下的隐通道中进行数据采样,在数据库资源信息采样时刻t和t+τ进行信息特征提取,得到关联的初始化大数据资源子集为x(k-1),….,x(k-M)。假设信息流为数据序列{xn},通过选择适当的相位θ1(k),在时间片Δ内令自适应权值,通过子代基因逆转技术,对遗传算法进行变异处理,使得子代基因有更强的自适应能力。结合后续的子代基因逆转,设S为支配点u的环形区域,令A={a1,a2,...,an}为大规模集成软件数据库中特征矢量的模糊聚类中心,基于Internet的Web架构模式得到软件资源流数据库。简化用户操作数据库,扩展数据库应用范围,在软件调度子空间中的特征分解中心频率输出的矢量模型为:
其中,根据方向矢量在时频域内的特征采样,以特征值降值排列,进行解析滤波处理,得到大规模集成软件数据库存储空间的指向性增益。采用波束形成方法进行冗余数据滤波,滤波函数为:
若冗余数据的子空间均为窄带的,数据库存储软件调度的计算性能通过训练集进行特征分类,构建资源分类属性集。B={b1,b2,...,bm}为数据库存储软件调度特征挖掘的属性类别集,得到数据库存储软件调度的加权特征参量迭代式为:
其中,μ是大数据分布的收敛步长,ia表示数据库存储软件映射与调度尺度a的有限数据集属性。通过在矢量空间中进行特征信息流分析,为进行调度算法优化设计提供准确的数据基础。
2 算法改进设计与实现
在上述进行了存储空间结构分析和数据信息流模型构建的基础上,进行数据库存储调度算法改进设计。传统方法采用DctAF框架式云缓存调度方法,当软件集成深度和数据库的差异信息特征较大时,云缓存调度的计算开销过大,效率不高。为了克服传统方法的弊端,本文提出一种基于结构相似度定位的数据库存储软件调度算法,首先构建大规模集成软件的数据库存储空间结构模型,对存储软件调度信息进行矢量重构和信息流模型构建,采用结构相似度定位方法进行数据库存储资源的特征提取和融合处理,得到数据库中大数据采样的支配节点信息融合采样代价函数为:
其中:
输入的数据库存储软件大数据时间序列u(k)经过自适应平滑滤波和自适应子空间加权处理,把有限数据集合X分为c类,提取数据库存储软件大数据信息流的时间序列为{x(t0+iΔt)},i=0,1,...,N-1。通过结构相似度特征提取,得到相似度定义为:
其中,λ0表示各数据库存储软件节点与资源整合聚类中心的目标函数值。此时,大数据系统中分布空间的聚类中心特征分量为CF,记为CF=[F,Q,n,RT1,RT2,RW],对于数据库存储软件的实体AU,取αj=minΨj,相似性特征测度v(A)>0。当满足约束目标函数,数据库存储软件尺度整合信息的初始聚类中心矢量收敛值为Vj1=(v1j1,v1j2,…,v1jn)。在ASP.NET中,由于数据库系统本身的多样性,为了使O/R Mapping能访问各种数据库系统,设X和Y为类判别属性集合,在软件嵌入式的网络系统中,设数据调度的资源方位时刻t内的有效性调度的检测阈值ε满足2-λt<ε,λ>0。基于Z变换,结合变换式xi=2εi-1,构造出特征分解的软件属性分类种类序列Χ=x1,x2,...,xn。
使用多个不同权限的用户频繁访问系统,得到数据库存储软件资源业务量,用参量X的二项式表示为Sn=x1+x2+...+xn。进一步采用尺度整合方法进行自适应尺度修正,得到稳态调度的收敛尺度满足正态分布函数,即满足,进行软件关联博弈线性规划。通过对数据库存储软件资源业务量的优化约束,得到可靠度统计量。根据正态分布特性,得到基于结构相似度定位的大规模集成软件的数据库存储调度博弈函数满足:
根据上述描述,得到本文设计的数据库存储软件调度流程如图2所示。
3 仿真实验与结果分析
为了测试本文算法在进行大规模集成软件数据库存储资源优化调度中的性能,进行仿真实验。实验建立在Matlab仿真软件基础上,试验平台为通用PC机,CPU为IntelCoreTMi7-2600,仿真模型包括:关系副本选择、网络站点选择、通信传输能力以及网络节点处理等。构建全局数据状态和动态数据状态,实现大规模集成软件的数据库存储调度。首先进行数据库中的资源信息特征采样,采样时间间隔为T=2.3s,采样频率为15Hz,得到数据库存储资源的时间序列波形如图3所示。
以上述采样数据为研究对象,进行数据库存储软件调度仿真实验,将数据调度的执行时间作为测试指标,得到仿真结果如图4所示。
可以看出,采用本文算法,通过数据库存储软件调度,数据查询特征相关匹配度达到97.3%,比传统算法提高了25.6%。大幅缩短了迭代时间。特别在查询关系数较大时,寻优时间较传统算法大幅缩短。采用该方法进行大规模集成软件数据库存储资源调度,效率与收敛性较高,吞吐性能较好,展示了较好的应用性能。
参考文献
[1]刘经南,方媛,郭迟,等.位置大数据的分析处理研究进展[J].武汉大学学报:信息科学版,2014,39(4):379-385.
[2]吴鸿华,穆勇,屈忠锋,等.基于面板数据的接近性和相似性关联度模型[J].控制与决策,2016,31(3):555-558.
[3]张博,郝杰,马刚,等.混合概率典型相关性分析[J].计算机研究与发展,2015,52(7):1463-1476.
[4]吴涛,陈黎飞,郭躬德.优化子空间的高维聚类算法[J].计算机应用,2014,34(8):2279-2284.
[5]余晓东,雷英杰,岳韶华,等.基于粒子群优化的直觉模糊核聚类算法研究[J].通信学报,2015(5):74-80.
存储调度 篇4
本文针对调度自动化系统中的存储设备[2]和数据库系统[3]进行数据建模, 并在贵州电网调度自动化运行管控系统项目中得到了成功应用。
1 电网调度自动化系统中数据库存储的CIM扩展建模
1.1 建模需求分析
调度自动化运行管控系统的管控对象分布于主站端和厂站端, 在主站端调度中心侧需要对EMS、AVC、AGC等多个业务系统的商业数据库及其存储设备进行监控。针对这些监控对象建立的扩展模型应反映调度自动化系统的特性, 并与运行管控系统应用需求紧密结合, 既能精确表征监控对象的本质属性及相互间的逻辑关系, 又能为运行管控系统灵活解析模型数据、描述系统提供便利。
1.2 基于CIM的PDAS包扩展建模
CIM模型是按包组织的, 我们扩展的PDAS包的描述见参考文献[4], 如图1所示。
1.3 数据库与存储设备的CIM建模
数据库系统与存储设备的关联应用是业务系统 (Business System) 内的一项常用搭配, 在建模中同时包含了对软件类和硬件类的映射关系。通过对这两部分的关系建模, 可以对整个调度自动化系统中数据存储、数据处理部分做到较为全面的监控和管理。
1.3.1 数据库系统 (Database System) 类建模描述
市场主流的大型数据库产品包括Oracle、Sql Server和DB2, 此建模体系中重点关注数据库的会话信息、归档信息、性能信息、存储配置信息[5], 这些信息作为独立类与Database System类组成聚合关系, 如图2所示。
Database System类:描述数据库系统的基本信息, 包含了数据库的基本信息、状态和平台信息。
User Info类:描述数据库的用户会话信息, 活动信息, 监控数据库活动中的关键性指标, 如用户登录名称、状态、登录时间, 数据库连接情况。
Filelib类:描述数据归档、缓冲区信息, 描述不同级别下的缓冲池对命中率情况, 以及数据库级别的快照信息, 其中包含了应用连接数量, 异步读, 异步写, 直接读, 直接写等相关信息。 (如图1、图2)
Performance Info类:性能信息描述类, 包括各项读写数据性能, 如最近执行次数, 逻辑/物理读写统计, 发送/接收数据统计。
Table Space类:描述表空间快照的基本信息, 其中包含了数据逻辑读, 数据物理读, 索引逻辑读, 索引物理读, 临时数据物理读, 临时数据逻辑读, 以及总容量大小和当前的使用大小。
Config Info类:描述数据库级别的配置参数信息, 包括数据库配置参数中英文名称, 最大值, 当前值, 配置值, 分区号等。
1.3.2 存储设备 (Storage Device) 类建模描述
存储设备 (Storage Device) 在规模较大的调度系统中, 存储设备是必不可少的大型硬件设备, 高性能运作的存储设备会使整个系统性能登上更高的台阶。存储设备重点关注内部的控制器、磁盘阵列、逻辑卷、LUN映射关系和对应的端口映射等相关信息[6]。以下重点描述与存储设备有聚合关系的关联类及其属性。 (如图3)
Controller类:描述存储设备中控制器 (Controller) 的基本信息, 包括控制器对象的唯一ID标识、名称属性, 控制器当前的工作状态, 与其所属的机柜ID标识。
Disk类:描述存储设备里的主要硬件:采用不同的RAID模式将多个物理磁盘组合为整体, 拥有高保障的冗余性能和IO负载平衡能力。其相关属性包括磁盘唯一ID标识、名称描述, 所属磁盘柜、槽位ID标识, 磁盘本身的接口类型、基本状态与是否分配状态, 磁盘的容量大小。
Array类:磁盘阵列 (Array) 是物理磁盘 (Disk) 的容器, 也是存储设备使用中的基本框架;根据不同的使用环境, 更改磁盘阵列的配置, 使得存储设备能发挥应有的性能。磁盘阵列基本属性包括:RAID名称、类型、状态, 磁盘阵列可用状态, 内存磁盘数量, 总容量。
Logic Volume类:描述逻辑卷 (Logic Volume) 的相关信息, 逻辑卷标识磁盘阵列的位置信息, 使得磁盘阵列的物理位置与系统可操控的逻辑位置相关联。逻辑卷属性包含其I D标识、名称、类型、当前状态, 对应R A I D名称以及逻辑卷分配的容量。
IOPort类:IO端口作为存储设备IO操作的统一接口, 方便了监控的配置与管理。IOPort类具体描述的属性包括:端口ID标识、接口类型、固件版本、内部序列、基本状态、连接状态、所在物理位置, 端口组信息, 关联控制器ID标识, 关联FC的ID标识, 端口拓扑信息, 流量速率统计等。
Lun Mapping类:存储设备可看作物理服务器的外置硬盘, 它们之间的映射关系表示为LUN映射, 整体映射关系的节点包括控制器, 逻辑卷, 连接的物理服务器。Lun Mapping类属性包括:映射唯一ID标识, 关联的物理服务器名称, 对应控制器名称, 逻辑卷名称, 相应的访问类型。
IOPort Metrics类:存储设备的IO性能统一由IO端口作统计, 这极大的方便了监控的一致性。
LVMetrics类:逻辑卷性能 (LVMetrics) 主要关心磁盘阵列内部的性能, 是存储设备性能统计的另一重要标准。
2 应用与验证
数据库和存储设备是调度自动化系统的核心角色。数据库承载着各个业务的数据, 数据库的整体性能与业务是息息相关;存储作为数据库的硬件容器, 它的稳定是数据库性能高效的前提。以上各类的任意性能指标出现问题, 都可能会使整个系统的数据性能出现瓶颈。所以监控系统的关键思想是对所有指标进行实时监控:一旦某个指标出现异常, 数据库和存储设备监控就会生成相应的告警信息和相关事件。从而帮助实现了调度自动化系统的监控。
本文所研究模型已应用于贵阳电网调度自动化运行管控系统, 系统已上线运行, 与贵州电网调度自动化系统中已有的OPEN-3000系统中CIM模型数据完全兼容。
3 结论
本文的研究与应用验证了CIM扩展模型的正确性和有效性。下一步我们将围绕扩展模型的不同调度中心管控数据交互和运行管控标准基线设定进行更深入的探索和研究。
摘要：随着调度自动化系统的深入应用和技术发展, 运行人员对调度自动化系统本身的运行管控也提出了更高的要求, 迫切需要对调度自动化运行管控系统中各类监控对象进行模型描述。论文针对调度自动化运行管控系统对象建模和数据交换的应用需求, 扩展IEC61970标准CIM模型以支持对该系统中的各类数据库应用系统及相关存储设备进行模型描述。本模型已成功应用于贵州电网调度自动化运行管控系统项目。
关键词：IEC,61970,CIM建模,数据库系统,存储设备
参考文献
[1]Draft IEC 61970:Energy Management System Application Program Interface (EMS-API) —Part 301:Common Information Mode (CIM) Base[S].
[2]张慧成, 谢向辉.存储管理规范SMI-S及其应用研究[J].计算机工程, 2007 (7) .
[3]张慎明, 卜凡强, 姚建国, 等.遵循IEC6-1970标准的实时数据库管理系统[J].电力系统自动化, 2002, 26 (24) :26-30.
[4]李赟, 李颖杰, 黄育松, 等.调度自动化系统中业务服务器的CIM建模研究[J].
[5]薛艳芳, 吴健.基于CIM的内存实时数据库的设计[J].计算机工程与设计, 2007, 28 (14) :3508-3510.