分布式网络管理系统

分布式网络管理系统（精选十篇）

分布式网络管理系统 篇1

1.1研究的背景

随着IT技术的不断发展, 网络中的流量也日益复杂多变, 这也占据了很大一部分宽带资源的发展。随着现在网络技术的进步, 网络用户也面临了很多的问题。这就需要能够建立更好的分布式网络应用管理系统, 从而进一步的促进管理系统的完善与发展。同时, 完善的管理可以更好的提高我国网络应用的可行性, 从而进一步优化产业结构, 提高经济效益, 实现可持续发展。在分布式网络应用管理系统的研究中, 还存在着很多问题, 这就需要相关人员能够作出进一步的研究, 从而完善网络应用管理系统。

1.2研究的目的和意义

研究本文的目的就是希望通过对分布式网络应用管理系统研究, 进一步找出促进网络发展的管理系统, 同时也是为了优化产业结构。因为国内的网络应用性能相对于发达国家来说起步比较晚, 所以在发展过程中存在一定的劣势, 这也会使得分布式网络应用管理系统存在一些问题, 本文的研究能够及时解决存在的问题, 从而进一步的推动网络技术的更新与变革。分布式网络应用管理系统研究是对管理系统的进一步改善, 同时对于提高我国网络管理水平也具有重要的意义, 这可以更好地促进我国网络技术的发展。

2分布式网络应用管理系统设计原理

分布式网络应用管理系统具有一定安全性, 同时他还是一个测量和监控的平台。在进行管理系统设计时候, 可以通过与网络应用的特征库进行对比, 从而更好地进行数据包的识别和分类, 这样也可以更好的区分出分布式网络应用管理系统的合理性与科学性。系统可以通过探测和跟踪动态来进行设计分配, 这样直接采集网络中的各种信息来进行设计, 从而使得分布式网络应用管理系统运行状况能够更加安全合理, 这种设计原理通过利用一定的科技并且采用了一定的测量, 从而使得原理更加具有可信性与可行性。分布式网络应用管理系统采用的是业界先进的分布式计算, 可以很好的减少失误, 并且能够使得应用管理器但数据存储和客户端等各项工作都能更加顺利。

3分布式网络应用管理系统存在的问题

3.1缺乏海量应用数据存储、分析技术

网络技术的离不开数据储存可数据分析, 可是在现在分布式网络应用管理系统中, 由于数据存储和分析技术不到位, 这就无法突破传统网络分析系统, 也无法根据历史数据存储来进行更新, 这样一来就阻碍对大量数据的处理, 一旦数据不进行及时的分析和处理, 就会使得数据进行积累, 从而造成数据存储空间出现病毒, 同时也会使得分布式网络应用管理系统缺乏完善性和科学性。

3.2缺乏弹性分布式网络理论框架

在进行分布式网络理论框架的构建中, 由于条例过于死板缺乏弹性, 这就无法通过合理地利用灵活性来完善分布式网络技术。就是因为现在的分布式网络理论框架过于死板, 缺乏弹性, 才会使得一些数据在处理的过程中无法进行及时的更新, 这样一来就会由于数据过多而导致网络技术缺乏先进性, 同时, 这也降低了大型网络中大量网管数据对网络性能的影响, 从而使得网络应用的整体质量无法达到预期目标。

3.3系统关键技术不足

分布式网络应用管理系统就是由于缺乏关键技术, 才无法形成自身的竞争力。在分布式网络管理系统的发展中, 大部分的技术都具有普遍性, 这些技术都传统而老套, 缺乏创新性, 如此一来就不利于形成自身的竞争力, 这也是导致我国网络技术一直都无法达到新的高度的重要原因。系统关键技术不足, 不利于技术的更新, 也不利于网络管理系统的完善。

3.4缺乏专业的网络应用技术人员

因为网络技术的发展也就需要很强的技术性人员, 可是, 很多的网络技术人员都缺乏专业性的培训, 这也使得技术性不强以及创新度不够。在平时的发展研究中, 网络技术人员不能够及时的根据现在网络技术的发展情况而作出准确的, 这样就无法更好的采用先进的网络技术, 从而阻碍了分布式网络应用管理系统的完善。同时, 又因为网络技术人员缺乏一定的素质和责任心, 所以他们在平时的工作中也缺乏工作的热情, 这就更加阻碍了网络技术的发展与进步。

4解决分布式网络应用管理系统研究存在问题的对策

4.1完善海量应用数据存储、分析技术

要想更好地促进分布式网络应用管理系统的完善, 就一定要加强对数据存储、分析技术的研究与开发。数据存储、分析技术是进行数据筛选的重要技术与前提, 网络企业可以通过研发数据存储、分析技术更好地对海量的数据进行及时的处理, 从而能够保障数据的时效性, 这也可以为网络技术的发展提供很好的机会。总之, 完善海量应用数据存储、分析技术是管理系统发展的基础。

4.2形成弹性分布式网络理论框架

当然, 在分布式网络应用管理系统发展过程中, 要根据数据的变更或者是其他突发状况对网络理论框架进行灵活的调解, 抛弃传统的死板的网络理论框架, 从而形成就弹性的行为模式, 这样不仅体现了网络技术发展的科学性, 同时还体现了技术发展的人性化。弹性的分布式网络理论框架可以更好的为网络技术的发展奠定基础, 从而促进分布式网络应用管理系统的发展与进步。

4.3完善系统关键技术

在管理系统发展过程中, 一定要根据时代发展的潮流和网络发展的实际情况, 制定关键性技术, 当然也要通过自主创新形成自己的技术核心, 从而更好地促进分布式网络应用管理系统的发展。完善系统关键技术有利于形成独特饿的竞争力, 这样也可以更好的促进网络技术的发展与应用。

5总结

分布式网络应用管理系统具有非常高的技术性, 同时也是以数据库技术为基础, 对数据网络进行控制优化的过程。通过分布式网络应用管理系统的完善, 可以更进一步的帮助相关人员了解网络运行的状况, 这样才能够根据运行状况进行合理的管理与控制, 分布式网络应用管理系统的完善可以保障整个网络应用的服务质量, 从而更好地带动网络技术的发展。

参考文献

[1]刘宗田.分布式计算环境的比较研究[J].计算机工程与应用, 2001 (13) :26-29.

[2]陈志刚.分布式系统中一种动态负载均衡策略、相关模型及算法研究[J].小型微型计算机系统, 2002, 23 (12) :31434-1437.

分布式网络管理系统 篇2

【内容提要】分布式网络信息资源重构模式是为实现由分布式人机交互环境组成的网络信息资源收集、组织和发布机制而提出的一种知识管理方式。该模式通过实现一个网络资源管理系统，向具有学术背景的内容管理员提供资源收集工具、资源监测和评估以及知识挖掘等功能，使人的知识和智慧在被用来使纷繁复杂的网络信息资源有序化的同时，又成为其中不可或缺的组成部分。该系统在清华大学图书馆网络资源管理方面已经得到了应用。

网络信息资源在数量和复杂程度上的同步增长使机械遍历式的信息搜集和检索技术越来越难以满足大部分用户的信息需求。这些信息的最终用户需要对信息个体的准确定位，对信息源的权威导航和评估，个性化的主动信息提供服务以及基于信息内容的跨平台链接，而且实现这一切是以一个繁复、无序和庞大的信息世界为基础和前提的。任何纯粹基于人工智能的软件或算法都难以提供一个完美的解决，本文试图提出一个由分布式人机交互环境组成的网络信息资源收集、组织和发布机制，通过这个机制，人的知识和智慧在被用来使纷繁复杂的网络信息资源有序化的同时，又成为其中不可或缺的组成部分。

一、网络信息资源重构的概念和方法

网络信息资源是由信息组织或个人建立的以网络为传播媒体的数字信息生成、管理和发布系统，是微观有序化和宏观无序化的有机统一体。每一个网络信息资源个体都是有序的，其所含信息内容是有组织和可访问的;而作为一个整体，网络信息资源又具有高度的系统复杂性，难以从整体上加以充分的利用。这就是要对网络信息资源进行重新组织的主要原因。

所谓网络信息资源的重构就是针对网络信息源及其内容，按照特定的线索化方式，由人工或计算机软件实施的信息收集、组织、整理和传播工作的总和。经过重构后，网络信息资源整体(或某个局部)上成为有序化结构，并且为访问者提供获得其所需信息的充分检索手段，同时，在一定程度上，不同信息源之间的物理界限在逻辑上被屏蔽。

如果说网络信息资源宏观的无序化是实施其重构的主要原因的话，网络信息资源微观的有序化则是实施其重构的必要条件。换句话说，网络信息资源个体有序化程度和水平，尽管不能直接导致网络信息资源整体的有序化，但却可以影响通过重构以实现其有序化的方式和难易。例如，一个信息源如果在信息描述、数据库定义和访问方式等方面遵守一定的国际标准，它就更容易成为一个网络信息资源集合的有机组成部分。

一个网络信息资源集合是由若干信息源组成(如数据库)，而一个信息源又是由若干同序的信息实体组成(如数据库记录)。[1]因此，对于网络信息资源的重构可以分为两个层次：针对信息源的重构和针对信息实体的重构。针对信息源的重构将导致一种导引性的信息组织及相应的服务方式，其功能是满足用户对于获知信息存放位置或信息来源的需求。针对信息实体的重构将导致一种实体性的组织方式和推送式的服务方式，其功能是直接满足用户对获得信息本身的需求。前者的实例包括一些网络资源导航、资源链接目录和信息源数据库等。而后者则正是我们正在或将要实现的。在本系统中，逻辑上信息源和信息实体被统一视为某个信息对象来加以描述、整序和管理。

利用人工和计算机是实现网络信息资源重构的主要手段，尤其是后者，由于其高效率和全面的信息覆盖能力而在近几年逐渐成为主流。[2]大型的信息导航网站(如Yahoo等)和检索引擎(如Google等)都是利用软件自动搜索网上的信息资源并加以组织和整理，然后供用户检索和使用的。人工的手段由于成本、规模和效率的限制被迫处于辅助性地位，只能应用在一些局部性的系统中。然而，由于人工智能技术的局限，计算机软件在对信息形式和内容(尤其是内容)进行辨别、理解、描述和分析时所能达到的质量还远远不能和人的智力相提并论[3]，特别是计算机软件无法对信息内容的学术质量加以权威性的鉴定和评估(显然，只有人，而且是具有一定学术背景的人才能完成这个工作)。[4]

于是，问题被归结为：如何在网络信息资源的重构过程中使人的智力与计算机技术有效的结合起来。这里的“有效”应该包含三个方面的意义：可以接受的成本;足够大的规模;充分满足特定用户群的信息需求。而本文提出的解决方案则可以归结为：通过建立具有分布式网络信息资源组织和管理功能的技术平台，为专业学术研究人员收集、整理、组织和发布其相关学科的信息资源提供方便、科学和高效的技术手段，从而实现人的智力和计算机技术在网络信息资源重构过程中的有机结合。

二、分布式信息收集、组织和管理模式的实现

分布式的网络信息资源重构模式由三个层次组成：(1)第一层次是按学科分类组织和发布信息资源内容的学科信息服务网站群平台，它是由信息服务中介机构(如图书馆)实施组织和管理的集中式网络学科信息资源目录体系和系统技术支持机制。(2)第二层次是实施分布式信息收集、组织和管理的内容管理员群体及其工具平台，它是由具有较高学术背景和网络信息资源获取能力的专业研究人员，如高校教师或在读博士生组成内容管理员群体，利用相关工具平台建设各自专业的学科信息服务网站。(3)第三层次是提供信息交互和反馈功能的信息用户应用平台，它是用户获得由内容管理员收集、组织和发布的信息的渠道，同时用户可以通过该平台向相应内容管理员推荐信息资源、进行学术咨询和其他信息交互。

其中支持分布式内容管理的内容管理员工作平台，即网络资源管理系统是实现该模式主要功能的关键。

网络资源管理系统是由图书馆实施建设和管理的一个通过Web发布和展示信息资源的服务体系，由图书馆所属高校相关教学科研人员负责收集、整理、组织和管理Internet上相应学科、专业领域的信息资源，加以评估、介绍和研究并通过图书馆的信息服务系统在网上发布，从而共同构成具有学科特点的专业信息服务网站群。

内容管理员是在网络资源管理系统中具有学科背景的信息收集者、组织者和发布者，对某个学科领域具有一定学术背景和兴趣(最好在该领域正在从事相关教学或科研工作)，具有一定的图书馆学和信息处理的学术水平，熟练掌握网络信息搜索和获取的技术，具有一定的协调和管理能力，并且能够随时监测相关信息源的信息更新情况。内容管理员是分布式内容管理机制的核心。他们把信息收集、组织和整理作为其教学科研工作的一个部分来完成，这决定了他们与一般的图书馆学科馆员的主要区别。

信息资源重构的质量很大程度上取决于对构成它的诸信息源内容的理解深度，或者使用程度。学科信息资源服务不必刻意去追求所选信息源的数量的众多和种类的齐全，而更看重这些信息源是否最适合相关学术领域的使用需要，并具有足够的权威性。而能够对信息源的质量进行可靠的判断的人，必须具有足够的学术背景，并且在相关学科的研究前沿具有一定的活跃程度。这就对选择和组织内容管理员队伍提出了较高的要求。

内容管理员介入信息收集、组织和整理工作的方式是把它作为其教学科研工作的一个部分(尽管很可能是一个从属的部分)来完成。之所以要实现分布式的内容管理模式的主要原因也正在于此，不如此就无法充分

而有效地利用高校学科专业人员从事信息服务工作的潜力。在教学科研工作过程中，信息的收集和组织本来就是一项必不可少的工作，对于本学科相关网络信息资源的了解和使用水平也越来越成为高校教师研究能力的重要标志之一。利用分布式的内容管理机制，把分散于学校各个角落的学科信息服务力量组织起来，无疑是高校图书馆建设网络信息资源的有效途径。

传统图书馆(包括高校图书馆)在信息服务过程中主要起到信息资源指引中介的作用，而较少起到信息咨询中介作用，尤其是当这种咨询具有较强的学科特点和学术深度时。而在本文所构建的模式中，内容管理员利用其优越的学术背景和分布式、交互式的信息组织和发布工具，可以最大限度地将其智力和学科知识体现在相关学科的信息服务中。这种体现既表现为对静态的和外部的信息资源收集、组织和评价的质量与深度，还表现为内容管理员可以通过系统的信息交互平台直接解答读者的学术问题，也就是将其大脑中的智力和知识动态化地提供给读者。这也就是前文中提到过的通过这个机制，人的知识和智慧在被用来使纷繁复杂的网络信息资源有序化的同时，又成为其中不可或缺的组成部分。在这里，内容管理员既是学科信息的收集者和组织者，很可能同时又是某些信息的生成者。

网络应用的日益普及为分布式内容管理提供了技术上的可行性，而网络资源管理系统则为它的实施提供了管理上的可行性。[5]同时，随着电子文献在数量和质量上的迅速增长，人们在教学科研过程中对电子信息资源的依赖程度和掌握能力也同步地增长，这就为内容管理员群体提供了越来越充分的人力资源背景。

三、网络资源管理系统的设计和开发网络信息资源重构的工具平台

设计和开发网络资源管理系统是实现分布式网络信息资源重构模式的核心任务，一个功能完善的网络资源管理系统能够起到以下作用：

・向读者提供网络信息资源的宏观和微观视图以及相应的访问方式;

・向内容管理员提供便利、高效的信息收集、组织和发布工具平台;

・向系统管理员提供用户管理、资源监测、资源评估等系统管理功能。

以下笔者将根据在主持清华大学图书馆“985”电子图书馆建设项目的课题“网络资源管理系统的开发和应用”过程中的思路和经验，对网络资源管理系统的结构和功能加以概括。如图1所示：

附图

图1 网络资源导航系统总体结构

网络资源管理系统包括5个方面的内容：

(一)网络资源的描述。网络资源的描述是通过对相关元数据的制订来实施的，经过调研，确定以专门用来组织网络资源并且易于操作的都柏林元数据核心元素集(DublinMetadataCoreElementSet，简称DC)为基本集合，结合用户的检索要求、网络资源的特点以及系统的信息挖掘、资源监测和评估等高级功能，增加了相应的属性，制定出一套用以帮助识别、描述、定位、组织和管理网络资源的元数据集合：网络资源管理元数据(NetworkResourceManagementMetadata，简称NRMM)。

(二)网络资源收集、整理、组织和发布工具。工具平台包括各级用户注册模块、内容管理员资源添加、管理和维护模块、内容管理员站务管理模块和普通用户推荐资源模块。在网络信息导航系统平台上，系统的功能分为两种：

第一种是需要人工参与的，包括面向系统管理员、内容管理员和普通用户等三种参与者的相应功能。其中，系统管理员具有最高权限，包括管理内容管理员和用户的属性信息、设置学科等;内容管理员负责分布式地收集、标引、组织和发布网络信息资源，以及审查由用户推荐的资源;普通用户可以浏览系统内现有资源和推荐新资源供内容管理员审查，同时还可进行信息反馈和交互。

另一种系统功能是由系统自动执行的，具体包括网络信息源的自动监测和质量评估、网络信息挖掘和提供。

(三)网络信息源的自动监测和质量评估。网络信息导航库的资源质量控制是通过人工审核和自动监测相结合来实现的，网络资源管理系统主要提供自动监测和基于自动获取指标数据的质量评估机制。[6][7]由于网上资源的变动性很大，因此，为了保证系统中资源的可用性和新颖性，这种定期监测评估是必需的。

针对学术性资源，主要着眼于网站的内容和它的结构与系统机能进行评估。由于本系统所收集的网站信息资源已经十分庞杂，采取人工方式进行评估耗时耗力，因此，采取软件实时测试的自动评估方式。目前，将测试指标定为网站的链接状态和特征页面信息提取等几项，同时会记录每一个被监测对象的监测时间和监测周期，通过系统定时执行监测程序并保存监测结果。监测结果最终会向系统的内容管理员发出监测报告的通知，从而起到保持和维护信息资源系统的监督作用。

(四)网络信息挖掘和提供。采用内容管理员模式来收集专业网络资源，提高了资源的精度和深度，但是，网络资源浩如烟海，光靠内容管理员人工查找是无法达到广度要求的。因此，采用自动抓取和人工过滤相结合的方式，即用非结构化的数据挖掘技术获取更有价值的信息。

数据挖掘一般包含如下几个步骤：(1)理解相应的问题领域;(2)准备相关数据子集;(3)发现模式(数据挖掘);(4)所发现模式的后处理;(5)应用发现结果。本系统中数据挖掘部分的工作流程主要分以下几步：建立关键词表、源文档采集、信息过滤、用户浏览信息。[8]

数据挖掘部分是一个人机结合的部分，它通过分工使人和计算机的特长都得到了充分的发挥。数据挖掘功能大大减轻了内容管理员的.工作负担，增加了系统中网络资源的深度和广度，并且有一定智能性，可以对搜索到的数据进行剔重、加权等处理。

(五)读者信息反馈和交互。网络信息资源导航的最终目的是帮助网络信息用户更充分，更有效地利用各种网络信息资源，服务于用户的学术研究、教学和学习。用户与系统之间、用户与用户之间的信息交互会在达成上述目的的过程中起到重要的作用。网络资源管理系统主要提供以下5种信息交互模式：用户网上调查、用户留言、电子公告版、网上传呼和在线讨论区。除了上述用户主动信息提供方式外，系统还会在用户使用系统各种功能和资源的过程中自动收集、整理和分析用户的操作信息，如点击页面、链接选择、输入检索词等，从中了解用户的需求和学科兴趣，为向用户提供个性化服务收集相关信息。

用户信息反馈和交互是网络资源管理系统的重要功能，它的实现被分散在系统的各种模块中，使系统更加友好和智能化。

四、系统应用：清华大学学科信息服务网站群建设的起步

目前，基于分布式网络信息资源重构模式的网络资源管理系统在清华大学图书馆学科信息服务网站群建设中已经得到了有效的应用。

(一)虚拟图书馆建设。清华大学图书馆从1995年就开始通过按专题收集网络资源来构建虚拟图书馆的工作。当时虽然由于人员限制，只完成了“燃烧学”等个别专题，但却成为后来研究和开发网络资源管理系统的诱因。

可以把虚拟图书馆界定为这样的概念：它是由专业人员搜集

并评估的按学科领域和学科分支进行索引的Internet信息资源目录。目前清华大学的虚拟图书馆建设与学科信息服务网站群建设融合在一起，主要由学科馆员、助教和博士生完成。虚拟图书馆的设计注重体现：选择具有特色和典型意义的信息源;重深度而不刻意追求广度;对信息源进行具有权威性的评介。

(二)学科馆员和学科导航。清华大学图书馆的学科馆员是具有相应学术背景、承担相关学科的信息服务工作并且负责联系相关学科读者的图书馆专业工作人员。他们的重要工作之一就是建设、维护和管理本学科的信息服务网站，利用网络资源管理系统，分布式的共同构建一个重点学科网络资源的分类导航库。这也是清华大学图书馆虚拟图书馆的重要组成部分。

重点学科导航库是“211工程”立项高校图书馆的共建项目，目的是通过搜集Internet网上的信息资源，为重点学科的师生提供快捷方便的网络学术资源查询服务。其中包括清华大学图书馆在该项目中承建的11个重点学科导航库：材料科学与工程;固体力学;核能与核技术;环境工程;结构工程;经济管理;能源工程;人居环境学;生物物理;先进制造;信息科学与技术。

此外还有清华大学一些重点学科的导航资源：电力与电子;化学与化工;机械;计算机与自控;经济;生物;土木工程。

(三)助教、博士生和学术资源网。由助教、博士生作为内容管理员维护和管理的清华大学学术资源网是网络资源管理系统的主要应用对象，除了作为虚拟图书馆的一个组成部分提供的学科导航功能外，它还具有以下功能：

・信息资源实体的收集、存贮和管理：这些信息实体包括论文全文、图像、音频和视频文件等。

・与信息用户的交互：用户也成为推荐和收集网络资源的重要力量。

・收集和更新学科关键词和主题词：作为计算机理解自然语言信息内容的基础。

与学科馆员相比，作为助教、博士生的内容管理员具有以下特点：

・背景学科领域既窄且深，更能把握学科最新动态。

・收集信息资源的类型较广，包括信息实体。

・信息资源的基于学科内容的评价更具权威性。

・处于科研前线，与本学科同行联系较多，交互效果较好。

目前正在建设和维护中的学科信息服务网站有以下几个：光电工程;金属薄膜与显微结构分析;热能动力工程及控制;生物医学工程人体运动检测;数字图书馆研究;宽带无线多媒体通信技术。

五、结论

分布式网络信息资源重组是在网络世界中提供充分、实时、高效和友好的信息服务的重要途径和前提，也是图书馆有效实现网络资源的收集、组织、整理和发布的基础。这里的“分布”包含三个层次的涵义：资源的分布、用户的分布和管理的分布。本文重点探讨了最后一个层次。

计算机和人在一个分布式信息管理系统中具有同样重要的地位，协调、融合和组织计算机和人在信息管理中的作用正是该系统的主要功能。人工智能是计算机在系统中发挥作用的基础，人机交互的作用机制则是对人工智能充分发挥作用的保障。

以分布式网络信息资源重组机制为依据的网络资源管理系统为系统管理员、内容管理员和用户提供了一个高度智能的动态的交互环境和基于学科分类的网络信息资源组织框架，前者是服务的方式，而后者则是服务的基础。

【参考文献】

[1]C.W.Holsapple，K.D.Joshi.OrganizationalKnowledgeResources[J].DecisionSupportSystems，2001，31(1)：39-54.

[2]I.Becerra-Fernandez.TheRoleofArtificialIntelligenceTechnologiesintheImplementationofPeople-FinderKnowledgeManagementSystems[J].Knowledge-BasedSystems，2000，13(5)：315-320.

[3]M.K.Pedersen，M.H.Larsen.DistributedKnowledgeManagementBasedonProductStateModels-TheCaseofDecisionSupportinHealthCareAdministration[J].DecisionSupportSystems，2001，31(1)：139-158.

[4]张成昱.高校虚拟图书馆建设刍议[J].情报学报，1999，18(s2)：188-191.

[5]J.Liebowitz.KnowledgeManagementandItsLinktoArtificialIntelligence[J].ExpertSystemswithApplications，2001，20(1)：1-6.

[6]孙文娥.试论互联网网站评估[J].现代情报，2000，(5)：22-23.

[7]黄奇，李伟.基于链接分析的学术性WWW网站资源评价与分类方法[J].情报学报，2001，20(2)：186-192.

分布式系统中网络负载平衡的研究 篇3

关键词:分布式系统;网络负载平衡;动态负载平衡

中图分类号:TP393 文献标识码:A文章编号:1007-9599 (2010) 06-0000-02

Research of Network Load Balancing in Distributed Systems

Pei Gang,Zeng Weidong,Deng Hairong,Su Baoxian

(95876 Troops,Shandan734100,China)

Abstract:Distributed systems can effectively reduce processing bottlenecks,which has strong fault tolerance has been quite extensive research and application.This paper introduces the definition of distributed systems and load balancing technology,which focused on the dynamic load balancing strategy.Finally,according to the characteristics of distributed applications,proposed a distributed system network load balancing solution,and gives the algorithm description and models.

Keywords:Distributed system;Network Load Balancing;Dynamic Load Balancing

网络负载平衡主要目的是降低任务平均响应时间,提高系统资源利用率。分布式系统的任务能够迅速和有效地运行,除了依赖于系统规模、各节点的运算能力和并行算法外,还包括对负载平衡的调度和管理。负载平衡是影响系统并行效果的一个非常关键的因素,因此,负载平衡问题对分布式系统的研究与发展具有十分重要的现实意义。

一、分布式系统

分布式系统在不同的文献给出的定义也不同,本文只选用其中的一种定义说法,其定义如下:一个分布式系统是一个对用户看起来像普通系统,然而运行在一系列自治处理单元(PE)上的系统,每个PE有各自的物理存储器空间并且信息传输延迟不能忽略不计。在这些PE间有紧密的合作。系统必须支持任意数量的进程和PE的动态扩展。

分布式系统要求的属性主要有以下几点:

1.任意数目的进程。每个进程也被称作一个逻辑资源。

2.任意数目的PE。每个PE也被称作一个物理资源。

3.通过消息传递的通信。这提供了比主/从方式更合适的合作式消息传递方式。

4.合作式进程。进程间以一种合作的方式交互,或者说多个进程用于解决一个共同的应用而不是几个独立的应用。

5.通信延迟。两个PE间的通信延迟不可忽略。

6.资源故障独立。没有任何单个逻辑或物理的资源故障会导致整个系统的瘫痪。

7.故障化解。系统必须提供在资源故障的情况下重新配置系统拓扑和资源分配的手段。

本文所讨论的分布式系统便是基于以上描述的。

二、负载平衡

(一)负载平衡产生原因及定义

分布式系统由于其任务到达的随机性,以及各处理结点处理能力上的差异,当系统运行一段时间后,某些结点分配的任务还很多造成超载,而另一些结点却是空闲的造成空载。如何避免这种空闲与忙等待并存的情况,从而有效地提高系统的资源利用率,减少任务的平均响应时间,这成为了负载平衡产生的原因。

负载平衡就是设法对己经提交给各结点的任务进行重新调度分配,并通过任务迁移,使各结点负载大致平衡,从而提高系统的资源利用率,减少任务的平均响应时间,达到提高分布式系统整体性能的目的。

负载平衡是一种负载分配技术,它试图平衡系统内所有结点上的负载,以使得系统内各个结点上的负载基本相等,但这种相等不是简单的任务数目相等,而是根据这些结点自身的性能综合得出的负载权值相等,因此需要根据系统内结点的负载变化进行任务的动态迁移。

(二)负载平衡的分类

负载平衡可以分为静态负载平衡和动态负载平衡两大类。

静态负载平衡就是根据过去的经验或系统本身信息收集,把外来的任务分配给各个结点,或对某些结点上的任务进行重新分配。静态负载平衡方法优点是实现简单,在一定的应用范围里具有优势,但其效率取决于对系统本身以及交互的任务是否有了解充分,如任务的执行代价和任务之间的通讯代价,处理机的性能以及硬件配置等。因为这些经验往往是不可能事先获取或不准确的,所以动态负载平衡是最常用的方法。

动态负载平衡主要用于任务不确定的情况,其决策取决于系统当前的状态,也就是说,系统可以根据当前的负载分布情况,对各个节点上的负载进行动态的调整,使超载结点上所分配的任务,通过通讯设备,迁移到轻载的结点上去,使之提高系统资源利用率,达到减少任务的平均响应时间的目的。相对于静态负载平衡,它具有更大的针对性和灵活性,可根据系统当前的负载状态有目的地进行负载平衡。

(三)动态负载平衡策略

动态负载平衡策略的就是决定超载结点如何去寻找一个空闲结点,然后将自己的新任务请求转发给空闲结点。目前常见的几种平衡策略主要有以下几个:

1.最快响应法。这样的定位策略是当一个节点超载时向系统内发布一条超载消息给所有节点,系统内的其他节点接收后立即对自己的负载状态进行查看,如果空闲就发出接受响应,平衡器记录结点本身到系统中各个结点所需的网络响应时间,将新任务分配给响应时间最短的结点。

2.最少连接法。最少连接法的平衡器记录当前所有结点的活跃连接,把新的任务请求发给当前连接数最少的结点。最少连接法是针对TCP连接的,由于不同任务对系统资源的消耗及利用差异会比较大,连接数量无法真实的反映应用负载情况,也就是说这种方法没有考虑到任务请求强度和服务器的性能。

3.最低缺失法。最低缺失法中的负载平衡器长期记录到各结点的请求情况,在进行平衡负载时,负载平衡器把新的任务请求发给记录里处理请求最少的结点。和最少连接法不同的地方是,最低缺失法记录的是过去的连接数,而不是当前的连接数,所以无法真实反映结点实时负载状况。

4.随机法。随机法给系统中各结点赋予一个由伪随机算法产生的值,具有最小或最大随机数的结点最有优先权。随机法实际上相当于无偏见的给各结点产生权值,每个结点都有可能获得最大的优先级。这也是一种机会均等的调度算法。这种算法和轮转法一样,需要在相同的结点环境中才能运行得最好。

三、负载平衡优化策略及模型设计

(一)负载平衡优化策略

负载平衡优化策略的目的是为了解决在任务迁移过程中所引起的抖动问题。抖动问题是指系统的某个结点超载时,需要定位查找一个空闲结点并转移自己的超载部分任务,查找定位结点不当就会产生抖动问题,超载的任务在转移到新结点后,发现新结点的负载能力有限而不得不将任务再次转移,多次反复转移增加了任务的执行时间,降低了系统的整体执行效率。

优化策略方法中引入了管理站结点,由管理站结点收集系统中各个结点的负载情况,并根据接收结点实时负载值,生成接收结点负载线性表,根据负载能力将接收结点进行排序,当结点超载时,由忙结点来顺序查找接收结点负载线性表,查找到第一个与自己直连的结点,然后转移超载部分任务。这样的策略方法保证了忙结点查找到的空闲结点最佳空闲结点,是当前接收结点中负载能力最强的结点,避免了转移到的新结点因为执行能力有限而再次转移任务引起的抖动现象。

(二)负载平衡策略算法实现

负载平衡策略重点是在启动策略、定位策略以及信息策略方面做以改进。负载平衡策略的目标是对系统中各结点负载能力进行更加有效地评估、及时准确的评价系统负载以及快速查找定位空闲结点以转移新任务,避免任务迁移过程中有抖动问题出现,从而减少任务平均响应时间,提高分布式系统整体执行效率。

负载平衡调度算法描述如下:

1.系统管理站周期性地启动运行动态负载值采集计算程序,根据收集到的各个结点自身的各项负载参数,计算出系统中结点的动态负载值 及实时负载值 。

则结点 转变为发送者,在管理站的结点负载信息表(LIT)中备份记录,同时由管理站将结果返回给系统中各个结点的结点负载状况表(LST)。

ELSE

则结点 转变为接收者,在管理站的结点负载信息表(LIT)由备份记录,同时由管理站将结果返回给系统中各个结点的结点负载状况表(LST)。

Endif

Endif

2.管理站根据计算后的结点的实时负载值 降序排列结点编号,生成接收结点负载线性表,并且保证管理站所保存的接收结点负载线性表永远是最新的。

3.对系统中任意一个结点 ,新任务请求到达时,

DO

查询自身结点负载状况表(LST)

If结点为接收结点

则接收任务请求

EISe

结点为发送结点,顺序查找管理站中的接收结点负载线性表

If

找到一个与自己直接相连的结点 ,将任务请求转移给结点

EISE

等待

Endif

Endif

Enddo

4.继续转1重复操作。

对系统中每一个结点,有任务到达时读取该结点自身保存的结点负载状况表(LST),如果结点为发送者结点,则由定位查询模块寻找可以接收任务的空闲结点,之后结点任务迁移模块将新到达的任务迁移到负载较轻的结点,直到所有结点都不超载,从而达到负载平衡的效果。

(三)负载平衡系统的模型设计

负载平衡系统的主要由普通结点和管理站结点组成。普通结点包含了任务迁移模块、定位查询模块、通信模块和负载信息存储模块。管理站结点中有通信模块、结点负载信息收集计算模块和接收结点负载线性表生成模块。管理站结点是系统中性能相对较高的结点它不接收执行任务,只负责定期收集并计算系统中各个结点的负载信息,根据收集来的负载信息、将接收结点的信息提取出来,并根据接收结点的实时负载值来构造接收结点负载线性表。

负载平衡系统模型如下图1所示:

图1负载平衡系统模型

结点负载信启、收集计算模块:负责周期性的收集各结点负载信息并计算各小结点的动态负载值和实时负载值。

定位查询模块:结点超载时,由定位查询模块通过通信模块与管理站通信,并顺序查找接收结点负载线性表,寻找可以转移自身任务的空闲结点。

任务迁移模块:在定位查询模块定位到可以转移任务的空闲结点后,负责任务转移工作。

负载信启、存储模块:存储结点自身负载信息。

接收结点负载线性表生成模块:管理站根据系统甲接收结点的实时负载值构造接收结点负载线性表,以供超载结点查询访问。

四、结论

网络负载平衡是分布式系统性能优化的关键,负载平衡的好坏直接影响到整个分布式系统的运行效率。本文在动态负载平衡策略的基础上,提出了一种分布式系统负载平衡优化策略,并给出了其算法描述和模型。本文所提出优化策略的是一种较为理想、相对完善的分布式系统网络负载平衡解决方案,具有一定的理论和现实意义。

参考文献:

[1]王友良,叶柏龙.分布式系统甲动态负载平衡的研究.科学技术与工程,2005,9

[2]张宇晴,佟振声,胡旦华.分布式系统中动态负载平衡算法的研究.计算机仿真,2003:20(9)

[3]陈志刚,曾志文.中间应用服务器动态负载均衡的物理模型,计算机工程,2001:1(1)

作者简介:

分布式网络管理系统 篇4

1 安全管理系统体系结构

在设计安全管理系统之前, 首先要了解电力监控网络安全管理系统的结构, 这是在电力监控网络中实施访问控制的基础。分布式电力监控网络安全管理系统的体系结构包括权限管理和安全服务两大功能模块, 每个模块都作为一个独立的组件来设计实现。前者完成角色管理、用户管理两部分功能, 后者实现身份认证、权限检查和安全审计功能, 所有的功能都需要数据服务的支持。数据服务提供了进行权限管理所必需的工程资源数据, 是进行权限管理的基础;角色管理和用户管理负责组态管理、监控工程的角色和用户, 组态结果存储在权限数据库中:管理员进行权限管理操作以及其它个子系统进行的系统监控操作都要需要身份认证, 权限审查, 并进行安全审计, 审计记录保存到数据库中, 以备查询和分析。安全管理系统采用基于角色访问控制的原理设计, 权限管理组件主要考虑如何定义系统的资源以及权限, 如果规定系统的角色并为角色分配合适的权限, 如何为用户指派角色等, 下文基于RBAC对权限管理进行设计和实现, 并且根据电力监控网络安全管理的需要对部分属性进行增删。

2 安全管理系统中权限管理的设计

权限管理是分布式电力监控网络安全管理系统的重要组成部分之一, 是实现访问控制的基础。访问控制通过制定好的安全策略显式地准许或者限制用户的访问能力以及范围。在本系统中, 主要的安全隐患来自于合法用户的误操作和非法用户对系统的恶意破坏, 因此访问控制的任务就是要为系统提供一套安全机制来控制用户对网络资源的访问, 以保证网络免受有意或无意的侵害。用户只能根据自己的权限大小来访问系统资源, 不得越权访问, 以此来确保只有经过授权的用户才能够访问系统资源, 未授权用户的访问被拒绝。

权限管理涉及到资源类型、资源对象、操作、资源类型权限、资源对象权限、角色和用户的管理。电力监控网络主要应用于单个大中型电厂以及变电站, 基本上是局域网级别的应用, 所以在设计权限管理时抛开了时间、地域等因素的限制, 只针对资源对象的访问权限作了限制。另外, 角色的自关联取消了。在授权时我们考虑的只是权限的继承, 不考虑用户之间的“包含”关系, 所以不需要特别强调角色间的层次关系。

2.1 角色管理

分布式监控网络中角色管理的任务是组态、管理整个系统中的角色, 包括添加角色、为角色分配权限、删除角色、修改角色权限以及指定角色间的约束。超级管理员角色、工程师角色和访客角色都是针对整个电力监控网络来定义的, 与具体的工程没有任何关系。这三个角色由系统默认生成并且不能修改。显然, 三种角色的职责范围是不同的, 一个担任超级管理员角色的用户最好不要再担任工程师角色, 也没必要担任访客角色, 所以需要在这三种角色之间施加静态约束关系。

具体工程组态角色的时候, 既可以重新组态角色并为角色分配权限, 也可以通过继承的方式创建新的角色, 还可以使用系统默认的三种角色。和默认角色授权一样, 重新组态角色并为角色分配权限的时候可以根据工程的资源类型来授权;但是为了权限管理的灵活性, 也允许为角色分配资源对象权限。针对工程组态的角色只有访问这个工程资源的权限。比如“变电站A工程师”是工程师角色, 这个角色既可以从“工程师”角色继承而来, 也可以重新组态。这个角色只有对变电站A的监控权限, 对其他变电站则没有访问权限。

2.2 用户管理

分布式电力监控网络中用户管理的任务是组态、管理整个系统中的用户, 包括添加用户、为用户指派合适的角色、删除用户以及修改用户权限。使用RBAC模型进行权限管理最复杂的部分在于定义系统的资源、权限和角色, 并为角色分配合适的权限。当角色定义好以后, 为用户授权就变得非常简单了。每个用户在系统工作时都承担一定的职责, 而最小职责原则已经在定义角色的时候得到了保证, 所以只需要为用户指派与其职责相适应的角色并且实现职责分离原则就可以了, 我们提供以下用户。1) Administrator:担任超级管理员角色, 负责角色管理、用户管理、工程数据管理、数据库管理、报警配置管理和日志管理等, 不能进行工程操作;2) Engineer:担任工程师角色, 负责工程的监视、控制以及故障和报警事件的处理;3) Guest:担任访客角色, 只能进行数据浏览, 既没有任何管理权限, 也没有工程操作权限。

3 安全管理系统中安全服务的设计

分布式电力监控网络的安全服务是基于COR队技术设计的系统服务, 位于系统的服务层。安全服务向上为各子系统提供用户身份认证、权限审查以及安全审计服务, 向下基于数据库和ORB技术实现安全系统相关策略和信息的维护管理。

3.1 设计思路

在分布式电力监控网络中, 安全服务既可以采用集中管理方式设计, 也可以采用分散管理方式设计。集中式管理把管理、维护权限的权力和责任都集中到了安全服务上, 使得系统的管理更方便, 也更易于维护权限信息的一致性, 进而确保系统的安全性, 这对于小规模的电厂或者变电站监控来说是再合适不过了。

但是对于大型电厂或者变电站, 采用集中式管理会存在两个问题, 所以我们采用的方法是:在每一个使用安全服务的子系统上配置一个安全服务代理组件, 用户通过安全服务代理登录到安全服务进行身份验证:验证通过后, 安全服务将登录用户的访问权限返回到代理端, 安全服务代理在子系统本地执行本来应该由安全服务执行的权限审查功能。这种方法也可以缓解安全服务的负担, 并且能提高鉴权的效率;潜在的风险是用户的权限可能会脱离安全服务的约束。比如, 用户完成登录以后代理端保存了登录用户的权限, 然后网络出现故障, 这时用户仍然可以进行有权限的操作。并对于该方法存在的问题采取以下措施予以解决:

1) 安全服务代理端的用户权限只能使用一段时间, 过期自动失效:失效后再进行鉴权时要到安全服务更新本地权限, 更新后的权限有相同的有效期;2) 对于比较重要的操作, 如监控系统进行“遥调”、“遥控”等, 需要双用户甚至多用户输入密码进行鉴权;3) 登录用户的权限在服务端发生变更时, 安全服务强制用户注销后重新登录, 以此来更新代理端登录用户的权限。

3.2 身份认证

用户工号/口令方式是最简单也是最常用的身份认证方法。系统中每个用户都有一个用户工号作为唯一标识, 并且由用户自己设定口令。出于安全考虑, 系统规定了用户口令的长度、可用字符集, 并且强制用户定期修改口令, 新用户在第一次登录时也必须修改口令。

用户设定口令后以密文形式保存在系统的数据库中, 这样即使别人看到了密文, 由于不知道加密算法, 也无法获取真实的口令。用户还可以通过系统接口修改自己的口令, 并且每一次修改都通过安全服务通知处于登录状态下的被修改口令的用户。

在系统登录的时候, 用户提供自己的工号和口令, 只有正确输入工号和口令, 系统才认为操作者是合法用户, 允许其登录并使用系统。另外, 为了防止有人恶意暴力破解口令, 同一个用户在连续三次输入口令错误对, 将被锁定, 禁止其登录系统, 只有安全管理员可以解除对此用户的锁定。用户在安全管理系统登录时, 安全服务组件直接调用安全服务的认证方法进行用户身份验证, 用户在子系统登录时, 安全服务代理调用安全服务提供的CORBA接口到安全服务进行用户身份验证:

short Login (in string User ID, in string Username, in sting User Password,

in Role List Roles, in string Server Name, in string Sub System,

in sting Login Time) ;

参数Roles说明用户以何种身份登录系统, Server Na IIle和Sub System分别为服务器名称和子系统名称, 说明用户是在哪台服务器的哪个子系统上登录的;Login Time记录了当前登录的时间:返回值为0时表明登录成功。

用户登录实质上是创建了一个包含其被激活角色的会话。在组态角色时, 我们规定了某些角色之间存在着动态的约束, 也就意味着如果这些角色被授予同一个用户时是不能被同时激活的, 用户登录时, 必须选择以哪种或者哪些角色登录。

比如A站工程师和B站工程师是存在动态约束的两个角色, 用户U被同时授予了这两个角色, 那么在一次会话中他只能选择其中一个角色登录, 如A站工程师。但是如果U用户还有另外一个角色A站报表员, 并且这个角色和前面两个角色都不存在约束关系, 那么这个角色也可以被同时选中激活, 用户登录成功后的权限就是A站工程师角色和报表员角色权限的集合。

3.3 安全审计

安全审计是计算机网络安全的重要组成部分, 主要用于跟踪和监测系统中的异常事件以及监视系统中安全机制的运行情况和可信度。安全审计通过一定的策略, 利用记录和分析历史操作事件发现系统的漏洞并改进系统的性能和安全。

在分布式监控网络中, 如果实施了对某些资源和数据集合的访问限制, 可能需要证实只有授权用户才能够访问这些资源, 还可能需要知道什么人在什么时候访问了哪些资源以及他们都做了哪些操作。审计用于验证分配给一个用户的权利和权限, 以及创建和维护访问记录, 显示谁访问了特定系统和他们在系统中执行了哪些活动。审计记录的数据结构定义如下:

下面讨论与分布式监控网络安全管理相关的审计:权限审计、使用审计。

1) 权限审计。权限审计遵循“信任但需验证”的思想”, 对每个用户、组合角色进行双重检验, 确保管理员正确完成了自己的任务。这对于人员变动频率较高的职位来说尤其重要。当有员工离开时, 必须撤销他们的权限或者禁用他们的账户;当员工职位发生改变时, 必须调整他们的账户与新的职位相对应。2) 使用审计。使用审计在安全管理系统以及其它各子系统中使用, 是通过调用安全服务组件或者安全服务代理组件提供的安全审计记录接口完成的, 记录了用户使用系统的情况。使用审计创建了一条记录, 这条记录包含了在某时间, 谁访问了网络中的哪些服务器的哪些子系统, 进行了哪些操作, 以及操作是成功了还是失败了。通过对使用审计的记录进行跟踪分析, 可以发现对系统安全有威胁的可疑操作, 并采取措施加以预防。如, 当发现某一用户多次尝试进行未授权操作未果时, 可以对他进行警告处理。

4 安全管理系统测试

测试环境是一个工厂级局域网, 设置9台性能完全相同的计算机, 它们互联于局域网中, 网速为100Mbps。设置2台服务机, 分别运行安全管理系统和数据服务;1台工程管理站, 运行工程管理系统;2台数据采集站, 运行数据采集系统;2台监控站, 运行监控系统;l台报警监测站, 运行报警系统;另有1台运行报表系统。将数据服务、安全管理系统、工程管理系统、数据采集系统、监控系统、报警系统和报表系统依次启动起来。并对用户登录效率、用户鉴权效率及用户鉴权安全性进行测试, 其结果表明, 安全服务采用的分散鉴权方式既满足了低安全性操作鉴权的灵活性, 又保证了高安全性操作鉴权的可靠性。

5 结语

通过对分布式电力监控网络安全管理系统的设计和测试, 充分说明了本系统在保证电力监控网络安全方面的科学性和有效性, 值得参考和借鉴。

参考文献

[1]杨洋, 丁仁杰, 闵勇.基于受控对象的访问控制模型.电力系统自动化[J].2003, 27 (7) :36-40.[1]杨洋, 丁仁杰, 闵勇.基于受控对象的访问控制模型.电力系统自动化[J].2003, 27 (7) :36-40.

[2]牛少彰.信息安全概论[M].北京:北京邮电大学出版社, 2004.[2]牛少彰.信息安全概论[M].北京:北京邮电大学出版社, 2004.

分布式网络管理系统 篇5

作品名称：参赛类别：参赛组别：作品编号：

设计大赛作品报告

填写说明

1.所有参赛项目必须为一个基本完整的设计。作品报告书旨在能够清晰准确地阐述（或图示）该参赛队的参赛项目（或方案）。

2.作品报告采用A4纸撰写。除标题外，所有内容必需为宋体、小四号字、1.5倍行距。3.作品报告中各项目说明文字部分仅供参考，作品报告书撰写完毕后，请删除所有说明文字。(本页不删除)4.作品报告模板里已经列的内容仅供参考，作者可以在此基础上增加内容或对文档结构进行微调。

5.参赛类别分为：本科、高职、硕士。参赛组别分为：分布式系统创新设计、网络应用与优化。成功报名后，组委会提供参赛队的作品编号。

6.为保证网评的公平、公正，作品报告中应避免出现作者所在学校、院系和指导教师等泄露身份的信息，否则视为作弊，提交作品无效。

目 录

摘要...................................................................................................................1

参考文献

分布式网络管理系统 篇6

关键词：监测系统；网络终端；温湿度传感器

中图分类号： TP274；S126文献标志码： A文章编号：1002-1302（2016）06-0416-03

收稿日期：2015-04-27

基金项目：院士工作站资助项目（编号：fckt201503）；陕西省教育厅产业化培育项目（编号：14JF004）；陕西理工学院科研基金（编号：SLGKY14-06、SLGKY15-25）。

作者简介：韩团军（1981—），男，陕西乾县人，硕士，讲师，主要从事集成电路设计与分析相关研究。E-mail：htjzyh@163.com。随着汉中茶园种植朝着产业化、标准化种植方向发展，茶园环境的信息化管理水平对其质量和产量有着很大影响。因此，生产过程中实时掌握种植环境参数有着重要意义。传统的监控设备数据不能实时在网络上进行显示，用户不可以随时随地查看信息进行控制[1-3]。随着农业的迅速发展，远程实时监控农作物生长环境显得更加重要。为了达到实时监控空气质量的目的，并且能方便、快捷、高效、直观地查看监控的结果，本研究提出了基于GPRS和WEB的远程网络分布式茶园环境污染检测系统。相比传统的监控设备，该系统是将数据发送到网络上进行显示，用户可以随时随地查看信息，进行控制。

1检测系统的设计方案

该系统是通过各个气体传感器将模拟当地空气浓度模拟信号传到AD转换芯片将模拟信号转换为数字信号，单片机接收数字信号，分析、处理再加密数据后传给GPRS，GPRS使用3G网络，使用TCP/IP协议，将加密后的数据发送到服务器端，服务器端接收大量数据并提取转换实际有效的数据，写入到数据库。服务器端是基于多线程网路数据库的后台程序，同时可以支持上千客户访问的连接，处理并写入到数据库。数据库存储海量数据，为WEB前台提供接口，WEB前台调用指定数据库的数据并进行直观显示。具体硬件框图如图1所示。

2硬件接口设计

2.1传感器选择

传感器对于监测系统来说就如同生物的眼睛一样重要，它决定着该系统数据的稳定性、真实性。因此，就数据的真实性﹑稳定性和价格合理性选择了技术先进、性能稳定、灵敏度

高、性价比高的MQ系列气体传感器和Sensirion公司生产的单片全校准数字式相对湿度和温度传感器SHT11[4-6]。气体传感器原理是其输出电压和气体的浓度有一定的比例，输出为模拟电压值，利用ADC7888将模拟信号数字化。温湿度传感器是一个将放大和调理为一体的器件，而且输出为数字信号，避免了芯片之间转化而使信号产生误差。经过长时间的测试和厂家提供的传感器技术资料，得出这为后期的数据处理提供了优越的先天条件，而且为系统数据的稳定性、真实性提供有力的保障。

2.2GSM通信模块电路

SIM9000A模块是一个双频GPRS/GSM模块，TCP/IP协议在其内部嵌入。控制模块利用它的串口控制其工作实现该模块的收据收发。电路如图2所示。

2.3电源模块电路

电源电路要为整个系统供电，由于单片机、传感器和GPRS模块所需电流不同，系统用双电源进行供电。GPRS模块供电用MP2307设计，该器件工作电流可达3A，集成可调MOSFET，电流模式控制快速瞬态响应和逐周期电流限制。采用78M05、LM2940稳压芯片分别为传感器和AD芯片及各部分电路供电。GPRS供电具体电路如图3所示。

2.4控制电路

控制电路采用STC12C5A60S2完成傳感器数据的采集和线性处理，控制GSM模块完成信息的无线传输，最后在终端

显示实时参数（图4）。

3系统的软件设计

3.1系统的流程

系统主要由控制芯片完成环境的数据采集、分析、处理，再加密数据后传给GPRS，GPRS使用3G网络，使用TCP/IP协议，将加密后的数据发送到服务器端，服务器端接收大量数据并提取转换实际有效的数据，写入到数据库，服务器端是基于多线程网路数据库的后台程序，同时可以支持上千客户访问的连接，处理并写入到数据库。数据库存储海量数据，为WEB前台提供接口，WEB前台调用指定数据库的数据并进行直观显示。具体流程如图5所示。

3.2WEB服务器的设计

空气质量远程监测软件的WEB服务器最终决定使用 Apache 公司的一款免费开源的Web 应用服务器TomCat作为B/S结构的WEB服务器。ApacheTomcat服务器接收用户发来的请求并送至数据逻辑处理部分的Servlet进行处理，Servlet 则根据需要，调用JavaBean中的方法，通过JDBC技术获得数据库的数据，最后将所得到的数据再经由Tomcat、Apache 服务器和Jsp、HTML页面呈现给用户。

4实现与应用

通过硬件和软件设计，系统可以正常地监测分散地域的环境相关参量，可以很好地在用户页面上展示数据，系统稳定，页面美观大方。用户页面如图6所示，最终的设计终端如图7所示。

5结论

针对汉中茶园种植的特点，设计了基于GPRS和WEB的远程网络分布式茶园环境污染检测系统，实现了对当地空气质量数据的实时采集，并全自动发送至网络，通过自建的服务器收到后并响应，用户可以很方便的访问和查询，该系统测量精确抗干扰能力强、性价比高，支持7×24 h不间断为用户提供信息服务，具有一定的农业应用价值。

参考文献：

[1]梅志坚，马娅婕，肖凡男. 基于 ZigBee 和 GPRS 的大气污染监测系统设计[J]. 武汉科技大学学报：自然科学版，2015（1）：63-66.

[2]郑争兵. 基于GSM网络的蔬菜大棚环境参数监测系统[J]. 广东农业科学，2012，39（1）：158-159.

[3]李震，洪添胜，文韬，等. 基于物联网的果园实蝇监测系统的设计与实现[J]. 湖南农业大学学报：自然科学版，2015，41（1）：89-93.

[4]唐慧强，葛黎黎，景华. 基于无线传感器网络的接地电阻检测系统[J]. 仪表技术与传感器，2015（2）：54-56，70.

[5]董玉德，于洽，金国良，等. 基于Web的蔬菜农药残留检测网络监控系统构建[J]. 农业工程学报，2008，24（5）：178-180.

矿区分布式网络视频录像系统设计 篇7

随着矿井采深增加, 对煤矿安全保障水平和应急处置能力提出了新的要求[1]。数字视频监控系统由于具有形象直观、实时性的特点, 在矿井移动和固定点的可视化监控中得到了大量应用, 有力地保障了煤矿安全生产[2]。但是, 随着矿井采深及少人 (无人) 自动化工作区域的增加, 图像监控点规模急剧增加, 多通道、大容量的视频数据实时存储对设备的处理能力及所在网络的带宽要求都比较高。而传统的集中式视频数据存储系统, 由于采用单播传输机制, 录像服务器存在硬件处理能力不足和网络带宽阻塞的问题, 很难满足现有视频数据存储和传输的要求。

鉴此, 本文设计了一种矿区分布式网络视频录像系统, 可实现视频数据的分布式物理存储, 通过管理服务器对数据进行逻辑集中管理, 避免受到存储设备的处理能力和网络带宽限制而带来的数据安全问题。同时, 该系统利用基于应用层组播的视频文件网络检索和回放控制方法, 保障了并发用户的高效数据访问和视频浏览。

1 系统实现

1.1 系统结构

矿区分布式网络视频录像系统结构如图1所示。系统采用分布式IP架构, 与前端编码器和远程客户端通过网络连接, 可实现网络视频流的分布式接入及存储。系统主要设备包括视频编码器、分布式录像服务器集群、管理服务器和客户端。分布式录像服务器集群实现矿区视频图像的就近随地存储;管理服务器实现系统设备的管理, 一方面完成视频编码器的视频流到录像服务器的调度管理, 另一方面实现对客户端访问的权限管理和视频流转发控制。

1.2 系统工作原理

系统工作原理如图2所示。视频数据的存储及回放工作原理:视频数据从视频编码器经过网络后上行进入录像服务器, 并存储在磁盘阵列中;客户端实时接收下行视频数据, 解码预览, 完成录像服务器视频的远程回放。控制数据交互主要完成录像服务器、管理服务器、视频编码器和客户端之间的设备管理以及用户权限的分配管理和回放管理, 具体工作原理:客户端首先访问管理服务器, 并根据预设的权限得到通道访问列表;随后, 客户端根据列表通过网络对录像服务器提出视频回放请求。由于系统采用分布式录像, 管理服务器通过控制命令指定视频编码器图像的录像位置, 实现“物理上的分散部署, 逻辑上的集中管理”, 便于组建矿区大型视频录像及回放网络。

2 设备通信及回放控制技术

视频数据和控制数据的高效可靠传输是实现分布式网络视频录像系统可靠运行与实施的关键。因此, 本文提出基于Socket的设备通信控制及基于应用层组播的回放控制技术, 以实现设备管理和权限管理控制数据的交互及视频流的高效网络传输控制。

2.1 设备通信控制技术

根据图2, 矿区分布式网络视频录像系统的管理数据主要包括管理服务器和录像服务器、客户端和视频编码器的交互数据, 客户端和录像服务器的交互数据。本文采用C/S模式, 利用Socket通信模式进行主从设备间的通信控制。以录像服务器和管理服务器为例, 其通信数据控制如图3所示。

2.2 回放控制技术

根据图2, 录像服务器不仅要实时接收和存储视频数据, 还要响应客户端的网络视频预览和回放请求。根据理论分析和现场测试效果反馈, 录像服务器所在网络是整个系统的网络热点。在视频网络传输中, UDP (User Datagram Protocol) 是一种非可靠传输控制协议, 也是一种广泛使用的流式视频传输控制协议[3,4]。但是, UDP没有流量和拥塞控制机制, 不能对网络状况做出反应, 带有一定的带宽侵占性, 容易造成网络中TCP控制数据流带宽的“饿死”, 产生网络传输中断。因此, 对于矿区视频传输网络, 尤其在多个并发用户同时访问时, 高效的回放视频传输控制是系统高效运行的关键。

应用层组播突破了IP组播存在的诸如可扩展性、网络管理和拥塞控制等屏障, 提高了视频流传输网络的效率, 减少了网络拥塞, 同时避免了传统单播机制下对前端发送设备的网络冲击[5]。

根据网络结构, 应用层组播网络主要可分为对等主机型 (Host-based) 和代理服务器型 (Proxy-based) 。

对等主机型应用层组播网络中, 每个组成员节点都是平等的, 动态变化且完全分布。成员节点具有较大的动态不稳定性, 而任一成员节点的离开或失效, 都有可能引起路由分裂[6]。结合矿井工业以太网络结构和网络视频应用的特点, 本文构建基于代理服务器型的应用层组播网络, 进行监控区域划分, 部署高速服务器 (Dedicated Server) 作为代理节点, 实现固定节点配置的应用层组播, 终端主机通过接入距自身最近的代理节点获取实时数据, 最终构建基于应用层组播的视频回放控制组播树, 其设计原理如图4所示。

在录像回放控制中, 客户端、管理服务器和录像服务器构成控制拓扑, 客户端、流媒体转发模块和录像服务器构成数据拓扑。首先, 通过控制拓扑, 每个客户端向管理服务器请求所要浏览的通道信息和权限, 并通过流媒体转发模块创建共享的数据传输拓扑, 完成视频流的分发和远程传输。

在系统设计中, 考虑服务器的处理能力和设备使用效率最大化, 在管理服务器中内置流媒体转发模块, 完成视频流的复制和分发传输。同时, 为避免对管理服务器网络的影响, 将管理服务器部署在矿区主干网络中。

3 系统测试及分析

在网络带宽为100 Mbit/s的测试环境中, 对图1所示的系统进行测试。前端编码设备选取海康系列16路视频服务器DS-6516, 录像服务器和管理服务器采用HP ProLiant DL380G7。测试视频参数见表1。

测试环境下, 录像服务器对4路图像进行实时录像, 同时通过流媒体转发模块为3个远程终端提供录像远程回放服务。在测试中, 对录像服务器和流媒体转发模块的网络上传和下载流量进行监控采集, 采集频率为1次/s, 连续采集20s。录像服务器和流媒体转发模块的网络流量分布分别如图5、图6所示。

由图5可知, 录像服务器的上传和下载流量都分布在2 000kbit/s和2 250kbit/s之间, 相当于4路视频图像实时存储在录像服务器上, 同时, 还有4路图像实时向外发送, 提供远程回放, 因此, 上传数据和下载数据流量基本相同。测试结果表明, 录像服务器可实时完成视频数据的下载存储和上传回放, 验证了录像服务器中的分布式视频存储和回放设计的可行性。由图6可知, 流媒体转发模块的下载流量分布在2 000kbit/s和2 250kbit/s之间, 其上传流量分布在6 000kbit/s和6 750kbit/s之间, 为下载流量的3倍。其原因:在应用层组播机制下, 流媒体转发模块完成远程终端回放数据的复制分发, 因此, 在3个远程终端访问的情况下, 需对下载数据进行3次复制分发。而录像服务器只需把相应的通道视频信号传递给流媒体转发模块, 流媒体转发模块的下载流量与录像服务器上传流量基本相同。测试结果与应用层组播传输机制的理论分析一致, 反映了本文设计的系统采用设备通信及回放控制技术的正确性, 在多通道、大容量的并发用户访问时, 该系统可有效地减轻前端录像服务器的网络带宽负担以及数据处理负担。其中, 测试过程中的网络流量细微波动与终端处理能力及网络的动态变化有关。

4 结语

矿区分布式网络视频录像系统采用基于Socket的设备通信控制技术, 实现了设备间的控制信息交互;利用基于应用层组播的回放控制技术有效降低了大容量视频数据对网络的流量冲击, 实现了视频流的高效网络传输控制。该系统已在平煤集团八矿、六矿推广使用, 现场反馈效果良好。

摘要：针对传统集中式网络视频录像系统在多通道、大容量存储与多终端并发访问时, 存在存储设备硬件处理能力不足和网络带宽局部拥塞现象, 设计了一种分布式网络视频录像系统。该系统采用分布式IP架构, 可实现视频数据的分布式物理存储和集中式逻辑管理;应用基于Socket的设备通信控制技术及基于应用层组播的回放控制技术, 实现了设备管理和权限管理控制数据的交互及视频流的高效网络传输控制。测试结果表明, 该系统较好地解决了矿区多通道、大容量的视频数据实时存储和远程回放问题。

关键词：网络视频录像,视频存储,远程回放控制,应用层组播

参考文献

[1]国家安全监管总局.安全生产科技“十二五”规划[EB/OL]. (2011-11-10) [2014-03-21].http://www.gov.cn/zwgk/2011-11/17/content_1995695.htm.

[2]程德强, 赵国, 范一武, 等.矿井移动载体摄像的电子稳像算法[J].中国矿业大学学报, 2012, 41 (5) :805-810.

[3]CHENG Deqiang, QIAN Jiansheng, LI Shiyin.An improved particle swarm optimization algorithm for hierarchical overlay multicast network[J].Journal of Computational Information Systems, 2011, 7 (7) :2478-2486.

[4]DIOT C, LEVINE B, LYLES J, et al.Deployment issues for the IP multicast service and architecture[J].IEEE Network, 2000, 14 (1) :78-88.

[5]张磊, 安铎, 范一武, 等.基于连续式录像机存储的应用层组播系统设计[J].工矿自动化, 2013, 39 (7) :23-25.

分布式网络管理系统 篇8

关键词：分布式,网上考试系统,B/S结构

随着网络技术的高速发展,基于Internet考试系统的研究开发也得到迅速发展。随着网络考试需求的不断提升,早期的基于C S结构或简单B/S结构的网络考试系统已经远远满足不了需求。因此,本文研究开发一套能适应大型网络考试需求、能适应分层组织管理、相对集中式的分布式B/S结构的通用网络考试系统,由此提出基于3级管理(考试信息中心———考务管理中心———考点)架构的考试系统方案,并对考试系统进行详细设计以及技术实现。

1 总体分析

本研究项目定位于对基于Internet相对集中式、支持多科目考试的分布式考试系统的研究,本考试系统是一套基于分级管理机制的网络考试系统,将采用3级管理结构(考试信息中心、考务管理中心、考点,其中考务管理中心和考点的个数可根据考试规模的大小动态配置),并把机构对整个考试的设置管理业务流程整合到系统之中。本考试系统不是专门针对某一学科的考试,不设专门的题库,而是既适合基于Internet的大规模考试,也能满足培训机构、学校等的中小规模多科目考试需求。形式为:谁委托考试信息中心考试,由谁提供考题,一切考试过程中的组织和管理由考试信息中心总负责,由考务管理中心和考点协助完成。系统总体网络架构如图1所示。

1)考试信息中心系统:主要功能包括:对考试机构以外用户,“考试信息中心”系统是本考试系统提供的惟一接口,以网站为表现形式。利用该网站,考试机构以外用户可以浏览、查询考试的设置情况,可以在线报名、网上收费以及在线自测试,考试结束后还可以在网站上查询考试结果。

对考试机构内部人员,“考试信息中心”系统通过HTTP以Web方式进行操作和管理。如:对考试高层次的索引性数据进行管理(考试名称、考试科目、日期、考试目的等)、发布考试信息、管理考试试题、成绩的收集以及统计分析、成绩信息发布等。“考试信息中心”系统只存储每一个考试下的考生的基本信息(准考证号、姓名、性别和身份证号以及与其对应的该次考试相应科目的成绩,不对考生的答卷进行存储,不负责对考生资格进行审核。

2)考务管理中心系统:该系统只提供给考试机构内部人员使用(且特定为考务管理中心内部人员)。该系统通过HTTP以Web方式进行操作和管理。主要功能包括:审核管辖范围内考生的考试资格;编排管辖范围内考生-考点关联(只编排考生-考点关联,具体的考生-试室关联编排工作由具体考点自行负责);编排管辖范围内的评卷;进行评卷;向考试信息中心上报考试结果;)“考务管理中心”系统记录存储每一次考试下管辖范围内每一个考生的所有详细信息,存储管辖范围内每一个考生对应的每一个考试科目的答卷;“考务管理中心”系统不负责执行具体考试。

3)考点系统:该系统提供给考试机构内部(考点)人员通过HTTP方式以Web方式进行操作和管理;考生利用该系统在局域网内以Web方式进行在线考试。主要功能包括:编排考生-试室关联、执行考试、监督考试、向所属考务管理中心上报考试结果。

2 系统业务流程

举办一场大型集中式考试,必须由考试委员会发起,考试机构组织承担,由考生报名并经审核参加考试才能完成。在我们这个考试系统中,当某考试委员会发起一次考试时,向考试信息中心提出委托考试申请,当考试信息中心批准了考试委员会的设立考试申请后,此次考试的考题由考试委员会向考试信息中心提供,整个考试过程由考试信息中心开始组织和管理。系统业务流程如图2所示。

3 技术平台

整个系统采用3层B/S体系结构,网络操作系统选择WindowsServer 2000,数据库管理系统采用SQL Server 2000,软件开发语言采用动态网页设计语言JSP,浏览器为IE6.0。

4 系统设计与实现

4.1 系统功能模块图

由以上可知,本系统由考试信息中心、考务管理中心和考点3个子系统组成,其中考务管理中心和考点个数可动态配置。总体功能模块如图3所示。

4.2 系统功能使用设计

本系统中,考试信息中心系统是运行在Internet上的门户网站,是机构外人员访问该系统的惟一入口,而机构内部人员根据各自权限进行浏览和后台数据操作;考务管理中心系统仅供考务管理中心的各级考务管理人员根据给定权限进行操作,机构外人员无法使用;考点系统是个局域网,考点各级管理人员可根据给定权限对系统进行相关考务管理,考生在考试时进行在线考试。整个系统的功能模块访问原则是基于角色权限进行的,机构内用户由系统管理员进行用户角色账号分配,机构外用户必须通过注册成为注册用户后方能进一步访问系统有关内容。注册用户不一定是考生,但考生一定是注册用户。不同的用户对应不同的权限值,不同的用户角色登录系统后对应的功能模块不同。其中,考试信息中心系统的用户角色有:负责人、办事员、系统管理员和考生;考务管理中心系统的用户角色有:负责人、办事员、评卷员和系统管理员;考点系统的用户角色有负责人、办事员、监考员、考生和系统管理员。考生在考试信息中心系统浏览考试信息、报名考试、网上交费、网上打印准考证和成绩查询,报名考试时选择考试科目和考点,并在开考时到考点局域网内参加考试。考试开始前(通常有个时间限制),试题由考试信息中心下载到各考务管理中心系统,再由考务管理中心系统下载到各属下考点,试题在传输过程中不解密,考生考试时用准考证号码和密码登录后再下载到考生考试用机,试题在下载到考生用机时会自动进行重组。系统用到的主要数据库表有:注册用户表、报名信息表、系统用户表、角色权限表、系统功能模块表、考生表、考试科目表、试卷大题表、主观题表、选择题索引表、选择题详细表、考生答案表、评卷员评分表等。鉴于篇幅,表结构从略。整个系统采用JSP编码。

4.3 系统的数据存储设计

本系统涉及的数据有两类,一类是考题和考生答卷类,我们把这类数据利用XML格式存放。选择XML的理由是XML是可扩展性标记语言,具有简洁、灵活和结构化的优点,它为Web上的信息提供了统一存储和交换格式,具有很好的应用前景[1]。另一类是考生和考务管理人员的基本信息类如考生基本信息、考试基本参数设置、考试科目表等,我们将这类信息存放在SQL Server 2000数据库里。考虑到考生在考试时,答卷数据必须满足在短短的时间里会频繁的更改和保存,而SQL Server 2000数据库的表格格式难于扩充和修改,且存储效率会随频繁的更改而降低,而用XML格式存储则可以很好的解决这个问题。因此,我们在设计时,利用XML数据定义好试题和答卷格式,将试题和答卷以XML文件存储。

4.4 系统安全设计

网络安全就是要做到保障网络中各种资源稳定、可靠地运行,以及受控、合法地被使用。网络安全主要就是要保证信息的安全,所谓信息安全就是要保证数据的机密性、完整性、抗否认性和可用性[2]。从实践和技术角度分析,网络考试系统安全体系的构成,可以分为4个层次:1)网络环境安全性层,即构成网络环境的硬件配置与优化问题;2)网络考试系统安全层,即应用系统,基于安全方面考虑的分析与设计问题;3)试题安全层,即基于安全方面考虑的试题库与试卷模式问题;4)考试现场安全层,即考试过程中,操作性环节的安全保障与技术实现问题[3]。本系统从整体安全方面出发,除了正常的防火墙和防止计算机病毒的杀毒软件外的安全策略设计方案。

4.4.1 基于系统构造的安全设计[4]

对于考试系统而言,数据安全主要是指试题库和考试信息的安全性,为防止信息被窃取、删除和修改,必须设置相应的安全保护[5]。然而基于Internet的考试系统运行在网上,因此首先必须保证网络系统的安全。网络系统是对软件、硬件资源进行调度控制和信息产生传递、处理的平台,它的安全性属于系统级安全的范畴,它为文件、目录、网络和群件系统等提供底层的安全保障平台。本系统的网络操作系统为Windows2000 Server,提供了较强的安全管理功能。因此我们直接使用Windows 2000 Server的安全性管理工具和监视工具,安全配置管理器可以对系统中的账号策略、本地策略、事件日志、受限组、系统服务、注册表以及文件系统配置作相应的安全设置。监视工具中包括性能管理、事件管理、问题管理等,实时地提供系统监视、检测、诊断、报警等服务。

4.4.2 网络服务访问点安全保护设计[4]

网络访问点包括WWW访问服务、远程登录服务、文件传输服务、电子邮件服务等。采取的安全策略有:主机认证、用户认证和基于角色权限的访问机制。在系统中,对于一般的功能访问,我们采用用户认证与基于角色权限访问相结合的安全访问设计;对于绝密级资料如试题、答卷等,下载、上传时本系统采用除用户身份认证和基于角色权限外,还要进行主机认证,即采用主机认证、用户认证和基于角色权限访问相结合的安全访问机制,亦即下载、上传敏感数据时只能由专人、专机才能进行操作。

4.4.3 数据库的安全保护设计

在我们的系统中,整个数据库访问的策略采取基于角色的最小权限访问机制。不同的角色权限对同一数据库的访问结果不同,如考生只能查询自己的考试成绩,考试信息中心负责人可以查看所有考试的考试成绩,而考试信息中心办事员则可以根据角色权限管理考生的考试成绩等。而数据库信息的备份机制,我们采用了差异备份和全库备份两种设计。

4.4.4 考场客户端的信息安全设计和考场监控手段设计

在考场客户端,为防止意外事件(停电、死机、网络故障等)的发生,我们设计将试卷以Web发布后在本地要以临时文件的形式记录考生档案、抽取试卷号,并设计定期(一般以1分钟作为单位时间)收集考生已输入答案的策略。如发生意外事件,在考试时间段内通过重新登录可恢复正常考试进程。考试必须保证公正公平的,监考员在开考前对考生宣读考试规则,提醒考生不能作弊,一旦作弊,后果自负。监控手段采用技术手段和行政手段相结合[6],我们设计下列技术手段:1)在考生合法登录后,该考生的准考证画面出现在显示器的左上角,以供监考人员核对,防止考生身份作弊;2)试卷下载到考生考试用机时重新组织题目顺序和选择题的答案选项;3)在考试过程中,一旦发现考生作弊,监考员启动考点系统里监控考试的标注考生功能,将考生的作弊信息记录在案,并强行收卷。

5 结束语

目前用于各种学科的基于Internet的考试系统越来越多,功能日益趋于完善。本系统是在寻求通用考试系统的情况下开发设计的。

参考文献

[1]李高和,石军,候端正.基于关系代数的XML数据查询[J].计算机工程与设计,2004,25(8):1415-1418.

[2]吴辰文.网站的安全性问题研究[J].甘肃工业大学学报,2002,28(3):82-83.

[3]朱贵良,宋庆涛,许强.基于Web模式的网络考试系统安全性研究[J].计算机工程与应用,2002(13):173-174.

[4]郝莹.网上考试系统中的安全机制[J].微机发展,2001,11(3):35-36.

[5]蒋国银,何跃,李战春.基于WEB考试系统的设计与实现[J].计算机工程与设计,2004,25(9):1587-1590.

[6]刘传义,许丽杰,胡建华.远程考试中几个安全问题的探讨[J].云南民族大学学报:自然科学版,2003,12(3):199-200.

[7]杨家海.网络管理与实现技术[M].北京:清华大学出版社,2000.

分布式网络管理系统 篇9

Network Attached Storage (NAS) 是目前极具发展前途的一种存储技术, 安装简单、易于管理, 并且具备高扩展性等优点, 适用于局域网使用, 但成本较高;Storage Area Network (SAN) 是指由光纤通道FC (Fiber Channel) 连接的存储设备网络, 具有高带宽、低延迟、低误码率等优点, 但是成本较高, 因此不适用于本文的研究方案;Internet是一个Overlay网络[4], 其本质上是通过Internet互联各种底层网络构成IP层, 底层网络包括以太网、令牌环网络等。

P2P (Peer-to-Peer) 计算也称为对等计算, 是指两个节点进行资源共享, 尽可能减少中心控制, 其中节点称为Peer。与P2P模式相对应的是CS模式, 相对于P2P而言, C/S模式中客户端是一个哑设备, 所有计算和处理均在服务器端完成, 而P2P中的节点处于对等位置, 并不区分是客户端节点还是服务端节点。

P2P网络是指节点处于对等位置, 并不区分服务器节点和客户端节点, 通过P2P模式进行连接形成网络, 例如Chord和Tapstry都是P2P网络。P2P网络可以用于构造基于Internet的分布式存储系统。

目前处于发展阶段中的P2P海量数据存储系统主要有Ocean Store系统, Past系统和CFS系统[5]。国内有“燕星”系统, Ocean Store系统是基于Tapstry算法发展形成的存储系统;Past系统是基于Pastry算法发展形成的存储系统;而CFS系统是在Chord路由算法基础之上建立起来的文件存储系统。

1 基本概念

1.1 P2P分布式存储机制

得益于Internet迅速发展, P2P模型得到了快速发展, 基于P2P存储技术的分布式存储系统不仅具备高可靠性, 同时具备高可扩展性, 因此受到了广泛关注。

1.2 数据保护系统

网络存储系统对可用性和持久性有很高的要求, 也就是存储系统的可靠性。计算机软硬件故障、病毒黑客攻击、人为操作故障或资源不足引起计划性停机都有可能导致数据丢失。

数据保护系统可靠性指标主要有三项:稳定性、安全性和可用性。稳定性 (Stability) 是指作为存储系统必须有能力为用户持续、24小时不间断服务的能力。

安全性 (Security) 是指系统中数据在运行中保持安全可靠, 数据应该保证完整并可靠地进行存储, 一旦出现故障, 不能影响数据的可用性和一致性, 保证数据的安全有效。

可用性 (Availability) 表示存储系统能够提供正常服务的时间百分比, 在可用时间段内, 能够确保存储系统的正常、稳定工作。

2 P2P分布式存储体系结构

本文通过采用P2P技术, 将梅州供电局的零散计算机通过Internet连接起来, 通过整合资源, 形成一套可靠性高、稳定性好、低成本的分布式存储系统。

按照系统功能进行分类, P2P系统可以分为应用层、会话层、数据层、路由层和物理层, 如图1所示。

应用层的作用是使用户没有远程操作的感觉, 和本地存储一样对存储系统进行操作, 提供了一个面向用户的对外接口。

会话层主要是实现节点管理机制, 检查是否每个节点在线, 是否能够获取节点中的数据等。

数据层主要负责副本数据动态管理, 并且要注意避免“搭便车”及“公共悲剧”等常见的现象, 影响数据的可靠性及可用性。

路由层通过路由机制和拓扑算法, 负责提高搜索的高效性, 减小获取副本数据的时间延迟。

物理层也就是每个节点 (计算机) 及计算机节点之间的网络硬件连接, 是整个P2P分布式存储机制的最底层, 也是硬件基础设施。

2.1 P2P存储系统分类

根据结构关系可以将P2P系统细分为四种拓扑形式:中心化拓扑, 半分布式拓扑, 全分布式非结构化拓扑, 全分布式结构化拓扑四种类型。其中, 中心化拓扑P2P存储系统结构尽管其可维护性最好、发现算法效率最高, 但是考虑到其可靠性差、可扩展性差, 不予采用;半分布式拓扑P2P存储系统结构的可靠性、可扩展性、可维护性及算法效率均处于一般水平, 本文不予采用;全分布式非结构化拓扑结构由于其可扩展性差, 不适合应用于电力系统;全分布式结构化拓扑结构不仅可靠性高、可扩展性好, 而且便于维护, 并且具有较高的搜索效率, 因此本文采用全分布式结构化拓扑结构的P2P存储系统模型。

2.2 选择副本放置策略

一份完整的数据可以通过分割成不同副本的形式存储在不同的网络节点中;当某个节点需要获取数据时, 可以将所需副本从其他节点获取并完成数据恢复。副本在节点中存储的方式称为副本放置策略。

副本放置策略通常有两种, 顺序放置策略和随机放置策略。顺序放置算法是指按照一定顺序选择当前节点及与当前节点相邻的K-1个节点, 将副本进行顺序存储;随机放置策略是指随机选择K个节点对副本进行存储, 并建立索引表便于掌握数据副本的存放位置。两种副本放置策略各自有优缺点, 随机放置策略的优点是数据恢复效率较高, 但缺点是需要建立索引表, 并需要维护索引表的正确性及一致性;顺序放置策略的缺点是恢复数据效率较低, 但优点是可靠性高, 不需要建立和维护索引表, 设计简便。考虑到电力系统对可靠性要求较高, 因此本文的设计采用顺序放置的副本放置策略。

2.3 分布式网络存储系统访问模型

图2给出了分布式存储访问模型, 客户机通过Internet与Internet存储访问服务器连接和交互, Internet存储访问服务器则通过局域网与分布式存储系统中的每一个节点计算机进行连接和交互, Internet负责接收与处理来自用户的存储访问服务请求。

分布式存储访问模型使用户实现远程分布式存储系统进行操作具备了可能性。

3 分布式存储系统的数据保护技术

由于分布式存储系统中的节点可能因故障或下线等原因导致离开网络系统, 为了保障数据的安全性和可靠性, 设计分布式存储系统最大的挑战是怎样在不可靠节点集合中实现可靠的存储服务。

3.1 数据丢失原因

导致系统数据的丢失或破坏的原因主要有计算机软硬件故障、病毒黑客攻击、人为操作故障、资源不足引起计划性停机等。导致数据丢失的原因主要有硬件或系统故障、人为操作错误、软件问题和故障、计算机病毒和自然灾难, 其中硬件或系统故障占56%, 人为操作错误占26%。

3.2 数据冗余策略

数据冗余策略是指同样的数据文件拥有多个备份, 并将不同的备份存储在多个不同的节点上, 当某个节点因故障或不在线等原因导致其数据文件不可使用时, 可以通过其他节点上的备份完成数据重构。

纠删码冗余策略和复制冗余策略是当前广泛使用的两种冗余策略。复制冗余策略相对于纠删码冗余策略比较简单, 只需将副本复制多个备份存储到系统的多个节点中, 当部分节点发生故障或不在线时, 只要有一个节点的副本可用, 该副本文件就可以被获取到, 从而完成数据重构。由于以上特点, 复制冗余策略的可靠性比较高, 存储方法也比较简单, 其可靠性与副本备份数量成正比, 只要通过增加副本数据就可以提高可靠性。

纠删码编解码原理如图3所示。纠删码冗余策略相比复制冗余策略更加复杂, 纠删码冗余策略上是将文件分割成为n份, 并将n份副本编码生成m个编码块, m个节点上分别存储一个编码块, 且m大于n, 通过纠删码冗余策略可以在m个编码块中任意挑选n个编码块, 成功完成原始数据重构。

复制与纠删码两种冗余策略各自有不同的有点, 纠删码所需的存储和网络开销较小[6], 可扩展性更好[7], 但是比较复杂;复制策略实现过程简单, 可靠性高, 研究表明某些特殊情况下, 如系统节点可用性极端低下, 纠删码冗余策略的运行效率反而比复制冗余策略低下[8], 因此本文选用简便的复制策略。

3.3 数据保护的相关技术研究

在分布式存储系统中, 由于维修、定期维护等原因, 总会遇到需要进行数据迁移的情况。生活中经常会用到数据迁移, 例如将目标文件从计算机拷贝到U盘, 就完成了一次数据迁移的过程。所谓数据迁移就是将目标数据从一个存储介质移动到另一个存储介质的过程。当前数据迁移的方式主要有在线迁移和离线迁移。在线迁移是指不中断正常业务的情况下同时进行数据迁移, 但是数据迁移操作可能会增加系统开销, 对正常业务造成干扰, 甚至造成业务停顿;离线迁移是指在业务停止的时候以离线的方式集中执行, 但是对于本文研究的电力系统这种需要不间断服务的业务不适用。针对本文研究的电力系统, 可以采取在线迁移手段。

重复数据越多意味着系统需要消耗更大的存储空间和管理成本。因此删除重复数据可以减小存储需求。当数据重复度较高时, 重复数据删除的工作效果就体现得更为明显。

4 总结

本文针对电力系统可靠性要求高的特点, 同时考虑到节点的可用性与存储额外开销都无法精确描述, 选择复制冗余策略进行数据保护;在副本放置策略选择过程中, 选择设计简便、可靠性高的顺序放置策略;引入数据分布管理、数据迁移技术及重复数据删除技术等数据保护技术, 针对电力系统需要不中断正常业务的情况下进行数据迁移, 优先选择在线迁移技术。本文研究成果对分布式网络存储系统的设计和实现具有一定指导意义。

摘要：持续增长的数据存储需求带动了存储技术的快速发展, 分布式存储技术应运而生。所研究的基于分布式的网络存储系统和数据保护系统对于电力系统有重要的实际意义。针对梅州供电局现存的存储设备问题及实际情况, 开展分布式存储技术及数据保护系统的研究, 以改进存储系统管理, 降低成本。

关键词：分布式,网络存储,数据保护系统

参考文献

[1]Mukesh Singhal and Niranjan G-shi-varatri.Advanced Concepts in Oper-ating System, Distributed, Data-base, and Multiprocessor Operat-ing Systems[M].Mc Graw-Hid, INC, 1994.

[2]Andrew S.Tanenbaum.现代操作系统[M].北京:机械工业出版社, 1999.

[3]陈晓宇, 苏中义.具有副本透明性的分布式文件系统模型的讨论[J].华东交通大学学报, 2000, 17 (1) 51-55.

[4]D.G.Andersen, H.Balakrishnan, M.Kaashoek, et al.Resilient overlay networks[C].In Proc.18th ACM SO-SP, Banff, Canada, October 2001.

[5]Frank Dabek, M.Frans Kaashoek, David Karger, et al.Wide-area Cooperative Storage with CFS[C].In SO-SP, Oct.2001.

[6]H.Weatherspoon, J.Kubiatowicz.Erasure coding vs.rep-lication:A quantitative comparison[C].Proceeding ofIPTPS’02, Cambridge, Massachusetts, March 2002.

[7]A.G.Dimakis, P.G.Godfrey, M.J.Wainwright, et al.Net-work coding for peer-to-peer storage[C].Proceedingof INFOCOM, Anchorage, Alaska, May 2007.

分布式网络管理系统 篇10

在航天型号的研制流程中, 仿真试验已成为必不可少的重要环节。航天领域内的仿真试验需要解决不同系统之间的数据交换链路, 系统海量仿真试验数据的快速共享, 实物验证系统相互验证和评价等难题, 以确保型号大型试验与仿真试验的并行开展, 优化型号研制流程。但对大型复杂产品进行系统建模与仿真分析时, 传统的单一领域的仿真分析工具和仿真模型已不能从根本上满足多领域耦合和连续/离散混合系统设计与分析的要求, 多系统互联协同仿真已成为工程应用领域的主流, 构建大型分布式仿真试验网络成为了保障工程领域开展仿真试验的必要条件。

复杂的大系统中, 信息获取平台、仿真模型和传感器不仅种类繁多、特性各异, 且空间分布随时间变化, 被探测的对象也千变万化, 空间和时间上都在变化;针对纷繁众多的资源和目标, 在有条件限制的状况下, 针对多个任务需求, 必须依靠一套极优的分布式仿真试验调度系统智能实现局域网内的计算机、实物设备、仿真软件等仿真试验资源的统一调配、状态监控、数据采集和数据传输等功能, 形成统一的仿真试验体系。

一、系统功能描述

大型分布式仿真试验网络通过模型接口集成了试验仿真所需的总体和分系统的多粒度模型, 包含大量仿真模型、计算机、半实物设备和海量试验数据。该套仿真试验调度系统需要具备一下功能:

●仿真试验调度系统可支持试验资源的统一管理和有效调度, 并保证仿真过程的实时性要求, 为试验验证提供共性的数据、资源和环境支撑。

●仿真试验调度系统需要处理分布式资源的动态加入、跨组织或管理域协同和异构转换等调度问题, 提供合理的资源组织模型, 实现高效的资源发现策略以及较优的资源调度策略, 支持资源的发现、定位和调度等功能, 以及对资源性能和负载的实时可视化监控。

●试验资源引入了大量的细粒度仿真和分析模型, 细粒度模型计算需要并行计算能力, 故在大型分布式仿真试验网络中还引入了支持百万亿次的计算能力。仿真试验调度系统需要基于仿真网格系统对数字模型资源和半实物模型资源进行集中管理, 为整个仿真支撑平台提供统一的模型资源建模、管理、访问、浏览和检索功能, 并能使用该系统对仿真任务进行管理和相应的资源调度。

●在试验过程中通常分为试验方案、试验准备、设备安装、试验实施、试验报告五阶段, 尤其在设备安装和试验实施阶段, 涉及大量的现场指挥、协同调试、协同试验、视频采集、语音调度、过程记录、过程回放、意外处理等事件, 需要对人员、设备进行统一指挥调度和全过程监控。

二、系统方案设计

该仿真试验调度系统引入了分层设计的思想, 以解决不同应用方对分布式[1]仿真试验网络的功能需求。总体需要通过仿真试验调度系统了解重要节点的试验状态、仿真试验的总体进度和仿真结果的动态显示;各分系统需要通过仿真试验调度系统智能调度仿真资源、优化配置百万亿次计算网格的资源等。故该仿真试验调度系统依照功能划分为主调度系统和仿真网格子调度系统。

仿真试验调度系统将采用分布集中相结合的结构, 如图3-1, 建立仿真调度中心, 在各实验室的重点部位, 设摄像头和音频传感器, 配套录像和录音系统, 供试验过程记录回放用 (不同于安保消防系统) , 在各实验室的重点部位, 设置语音、视频调度节点, 构建语音、视频调度系统, 用于设备调试和试验指控中的音视频通讯, 既可以在单个实验室中使用, 也可以多实验室联合使用, 如图3-2。

2.1主调度系统。主调度系统将试验系统内各实验间数百个视频、音频、显示、存储、控制等设备连接在一起。该系统能够将远程视频监控、视频指挥调度与视频报警联动有机地结合。用户可以通过该系统进行各部门之间和各仿真设备之间的视频指挥调度。该系统可以满足用户对各种仿真现场情况仿真前的协调调度, 通过摄像头和音频传感器监控试验状态实现仿真现场的调度监控, 出现故障事件后处置等一系列视频指挥调度需求等。调度系统应与试验系统有接口, 可以实现对试验数据的调看、回放等显示;调度系统的音视频显示可以接入仿真演示大厅, 在大型联合仿真试验时实现集中调度与仿真演示相结合。

仿真网格子调度系统建立网格任务运行调度系统, 为用户提供评估任务提交和任务控制的接口界面。通过子调度系统对各类仿真计算任务的全生命周期状态进行推进和控制, 并处理任务运行期间的错误状态和相关的数据管理要求。提供可定制、简单易用的面向资源调度的门户, 实现网格计算任务管理, 具备网格任务运行容错机制、具备数据动态收集功能等。在门户系统中, 用户可以通过向导形式随时将新的分析应用程序纳入资源管理框架, 同时支持外部资源的动态加入和监控。并且, 门户系统负责对计算任务进行监控和信息统计展示。门户系统对任务运行中收集的网格资源信息、系统信息、模型资源使用信息、计算任务信息等数据进行整理和统计, 并将设计人员需要获知的有效数据以格式化的图形或表格形式进行展示。

2.2仿真网格子调度系统。网格是通过网格技术的支撑[2], 利用通信手段将互联的资源无缝集成为一个有机整体, 为用户提供一种资源共享的新型平台。先进分布式仿真的发展需要新的技术支撑, 通过网格技术的引入, 可以提高资源利用率以解决更为复杂的仿真问题, 这就需要构建一套仿真网格子调度系统。仿真网格作为面向仿真领域的专用网格, 资源管理调度系统也是进行仿真网格技术研究的关键。仿真网格子调度系统需要解决以下问题[3]:

●将仿真网格中分布异构的资源有效的组织起来, 使整个仿真网格连接成一台虚拟的超级计算机, 允许用户在不考虑资源物理位置的前提下方便快捷地发现和使用各种共享资源, 进行分布式仿真系统的构建和仿真应用的高效运行;

●对满足用户需求的资源进行协同分配, 使用户得到需要的所有资源, 在仿真网格环境中, 为构建和运行仿真应用提供支持;

●为了使提交到仿真网格中的应用能够高效运行, 需要根据用户的资源需求, 对应用运行任务进行调度, 使任务在最适合的资源节点上运行, 提高应用运行的效率。

在仿真网格子调度系统中, 将某一个地域或某一个组织作为一个管理域, 高性能计算中心也是其中的一个管理域, 每个管理域中的资源管理系统对该区域的资源进行统一管理。整个分布式仿真系统内由多个资源管理子域组成, 每个子系统作为所属管理域的中心管理者负责所属管理域资源的管理。子系统之间不存在全局的资源管理器, 不同的资源管理子系统在仿真网格中是对等的, 它们之间通过协作实现资源的全局管理。

当用户向仿真网格提交应用时, 仿真网格系统将对资源需求进行分析, 通过仿真网格子调度系统分配调度适合应用运行的资源集合, 然后进行资源的协同分配和调度映射, 并将应用分配到网格资源上执行。具体流程如下:用户通过web登陆网格门户, 通过客户端进行身份确认, 仿真网格用户管理系统根据用户的身份分配给用户相应的使用权限;用户进入网格以后, 向网格提交应用, 请求被相应的子域资源接受, 并根据应用的资源需求完成协同分配;

资源分配成功后, 由各个子域仿真网格子调度系统负责调度仿真应用到各个任务到相应的网格资源节点上执行。

三、结语

复杂仿真系统的建立和发展催生了种类繁多的仿真资源, 包括半实物模型和大量数学模型等, 进一步提高了对仿真试验调度系统的引入需求。本文立足于复杂的仿真试验系统, 介绍了一种支持多系统互联协同的仿真试验调度系统的系统架构, 包括主调度系统和仿真网格子调度系统的工作流程和工作原理。该调度系统的建立很好地解决了航天领域型号研制中仿真试验环节的资源共享、重用、互操作和可组合等, 以及仿真试验状态的监控、演示等问题, 大大提高了仿真系统的工作效率。

参考文献

[1]曾智慧.分布式IP调度系统的体系架构的研究与实现[D].南京邮电大学, 2013.

[2]桂小林.网格技术导论[M].北京邮电大学出版社, 2004.