海量存储技术

海量存储技术（精选八篇）

海量存储技术 篇1

当今是一个信息大爆炸的时代,网络的广泛使用更加剧了信息爆炸的速度。信息资源的爆炸性增长,对存储系统在存储容量、数据可用性以及I/O性能等方面提出了越来越高的要求。信息技术正从以计算设备为核心的计算时代步入以存储设备为核心的存储时代。

海量数据是指数据量极大,往往是Terabyte(1012bytes)、Petabyte(1015bytes)甚至Exabyte(1018bytes)级的数据集合。存储这些海量信息不但要求存储设备有很大的储存容量,且还需要大规模数据库来存储和处理这些数据,在满足通用关系数据库技术要求的同时,更需要对海量存储的模式、数据库策略及应用体系架构有更高的设计考虑。

2 海量数据存储模式选择

存储系统的存储模式影响着整个海量数据存储系统的性能,为了提供高性能的海量数据存储系统,应该考虑选择良好的海量存储模式。

对于海量数据而言,实现单一设备上的存储显然是不合适的,甚至是不可能的。结合网络环境,对它们进行分布式存储不失为当前的上策之选。如何在网络环境下,对海量数据进行合理组织、可靠存储,并提供高效、高可用、安全的数据访问性能成为当前一个研究热点。适合海量数据的理想存储模式应该能够提供高性能、可伸缩、跨平台、安全的数据共享能力。

2.1 现有存储模式分析

目前磁盘存储市场上,根据服务器类型存储分类如图1所示。

其中外挂存储占目前磁盘存储市场的70%以上。由于网络技术的崛起,直连式存储(DAS)已显得非常力不从心,存储模式从以服务器为中心转向以数据为中心的网络存储模式,目前典型的代表是:网络附加存储(NAS)和存储区域网络(SAN)[1,2,3]。

2.1.1 网络附加存储(NAS)

NAS(Network Attached Storage,网络附加存储)是一种文件级的网络存储模式,结构如图2所示。它拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。NAS将存储设备通过标准的网络拓扑结构连接到现有的网络上来提供数据和文件服务。NAS管理简单、扩容方便,统一的文件系统使数据共享变得非常简单,所以其最大的优点是跨平台性很好,但NAS服务器在网络存储中处于数据通路上,当服务请求激增时存在I/O瓶颈,性能是NAS的最大问题,因此基于NAS的存储方案对于组建海量存储共享系统来说并不是一种理想的方案。

2.1.2 存储区域网络(SAN)

SAN(Storage Area Network,存储区域网络)结构如图3所示。它是存储设备与服务器经由高速网络设备连接而形成的存储专用网络。SAN一般基于光纤通道FC(Fibre Channel)或i SCSI(internet SCSI)构建,它是块级的存储,系统性能非常优越。SAN的优点是高容量、高可靠性、低延迟,缺点是SAN没有一个统一的存储系统接口,对存储设备的共享访问存在数据的完整性与安全性问题,设备的跨平台性较差。

2.2 对象存储技术

对象存储技术提供基于对象的访问接口,将NAS和SAN两种存储结构的优势进行了有效地整合,通过高层次的抽象,使之既具有NAS的跨平台共享数据和安全访问的优点,同时又具有SAN的高性能和可伸缩性的优点。

2.2.1 对象存储模式

对象存储模式[4]一般由Client、MDS(Metadata Server)和OSD(Object Storage Device)三部分组成,如图4所示。

Client为客户端,用来发起数据访问;MDS为服务器,用来管理对象存储系统中的元数据并保证访问的一致性;OSD为存储对象数据的设备,它是一个智能设备,包括处理器、RAM内存、网络接口、存储介质等以及运行在其中的控制软件[5]。

对象存储设备(OSD)中,将对象(object)作为对象存储的基本单元,每个对象具有惟一的ID标识符。对象由对象ID、对象数据的起始位置、数据的长度来进行访问。对象提供类似文件访问的方法,如Create,Open,Close,Read,Write,对象属性等;对象的数据包括自身的元数据和用户数据,其中,元数据用于描述对象特定的属性,如对象的逻辑大小、对象的元数据大小、总的字节大小;用户数据用来保存实际的二进制数据。

对象分为根对象、组对象和用户对象。根对象定义了存储设备以及存储设备本身的不同属性;组对象为存储设备上对象提供了目录;用户对象存储实际应用数据。

2.2.2 对象存储模式用于海量数据存储的优势

对象存储模式的特性使其在处理海量数据存储请求时具有较大优势,主要体现在:

1)高性能数据存储:访问节点有独立的数据通路和元数据访问通路,可以对多个OSD进行并行访问,从而解决了当前存储系统的一个性能瓶颈问题。

2)跨平台数据共享:由于在对象存储系统上部署基于对象的分布式文件系统比较容易,所有能够实现不同平台下的设备和数据的共享。

3)方便安全的数据访问:I/O通道的建立及数据的读写需要经过授权许可才能进行,从而保证了数据访问的安全性;另一方面,任何Client都可以通过对象存储系统提供的标准文件接口访问OSD上的数据,统一的命名空间使Client访问数据的一致性得到了保证。

4)可伸缩性:对象存储模式具有分布式结构的特性。由于OSD是独立的智能设备,可以通过增加OSD数量,使存储系统的聚合I/O带宽、存储容量和处理能力得到提高,这种平衡扩展模式使得存储系统能够具有良好的可伸缩性。

5)智能的存储设备:OSD中集成了部分的存储管理功能,因此OSD具有一定智能的自主存储功能。

3 数据库策略

数据库管理系统(DBMS)是海量数据存储检索系统的核心部件,所有对数据的控制都要通过DBMS来实现。Oracle数据库管理系统应用十分普及,是目前高性能存储检索系统主要选择的关系数据库管理系统,因此本文海量数据的存储基于Oracle数据库管理系统来实现。

本文基于海量数据环境,对通用的数据库管理策略不作研究,只针对海量数据找到有效存储方法,设计并实现高性能面向海量数据存储的数据库关键策略。

实现高性能的海量数据存储可采取的数据库策略有:

1)分区技术:为了更精细地对数据库对象如表、索引及索引编排表进行管理和访问。可以对这些数据库对象进行进一步的划分,这就是所谓的分区技术。

2)并行处理技术:为了提高系统性能,可以让多个处理器协同工作来执行单个SQL语句,这就是所谓的并行处理技术。

3.1 数据库表分区技术

3.1.1 基本概念

本文研究的主要存储对象为海量数据,数据库的大小常常达到数百GB甚至用TB来计算。而单表的数据量往往会达到上亿的记录,并且记录数会随着时间而增长。当表和索引变得非常大时,分区可以将数据分为更小、更容易管理的部分来提高系统的运行效率。对表和索引进行分区的主要目的就是改善大型表的可伸缩性和可管理性。所以对大型表进行分区是处理海量数据的一种十分高效的方法。

由于本文研究的主要存储对象为海量数据,存储时数据库中只存储文件名、摘要及其它文字说明,源文件的内容存储在数据库以外的物理介质上。

3.1.2 分区策略

Oracle分区的表通过使用“分区关键字”分区,分区关键字是确定某个行所在分区的一组列。Oracle提供了三种基本数据分配方法:范围(range)、列表(1ist)与散列(hash)。使用上述的数据分配方法,可以将表分成单一分区表或组合分区表。则Oracle提供的分区技术主要分为以下几种:范围分区,列表分区,散列分区,组合范围-散列分区,组合范围-列表分区[6]。

此外Oracle还提供三种类型的分区索引,包括本地索引、全局分区索引和全局非分区索引。可以根据业务需求选择相应的索引分区策略,从而实现最合适的分区,以支持任何类型的应用程序。

Oracle提供一套强健的技术用于表、索引和索引编排表的分区。海量数据的数据库存储可以选用以上分区技术中的一种或几种,通过一组完整的SQL命令来管理分区表,从而达到高性能检索的目的。

3.1.3 分区技术的应用

本文的研究对象是海量的文档数据集,对文档集进行分类处理,采用范围分区技术的应用将使系统各方面得到改善:

1)增强可用性:如果数据库表的某个分区出现了故障,可以确保数据库表在其它分区中的数据仍然可用。

2)维护方便:如果数据库表的某个分区出现了故障,则仅需修复该故障分区的数据即可,而不需要对整个数据库表进行维护。

3)均衡I/O:可以将数据库表不同的分区映射到磁盘用以平衡I/O,可以使系统的整体性能得到改善。

4)改善查询性能:用户对分区对象进行查询时,只需要搜索用户关心的分区,从而可以提高查询速度,改善查询性能。

3.2 数据库并行处理技术

3.2.1 基本概念

并行处理技术是数据库的一项核心技术,是指利用多个CPU和I/O资源来执行单个数据库操作,从而使得数据库能够高效地管理和访问TB级的数据[7]。尽管目前主流的数据库管理系统都表示可以提供并行处理能力,但在并行处理结构上都存在着关键的差异。

3.2.2 Oracle并行处理结构

所谓并行处理是指:将单个任务分解为多个更小的单元。不是将所有工作通过一个进程完成,而是将任务并行化,从而使得多个进程同时在更小的单元上运行,这样做能极大地提高系统性能并且能最佳地利用系统资源。

Oracle使用动态并行处理框架,数据操作可以依据当前工作特征、查询及负载的重要性,使用1~N个真正应用集群节点并行运行。

3.2.3 并行处理技术的特性

Oracle数据库并行技术能提高数据库性能,并且能提高数据库的最大运行速度和最大负载量。由于并行系统的每个节点都相互独立,使得一个节点如果出现故障不会导致这个数据库崩溃,剩余的节点可以在为用户提供服务的同时对故障节点进行恢复,因此并行技术比单节点的可靠性要高。Oracle数据库并行技术还能根据需要随时分配和释放数据库实例,数据库的机动性高。还有一点就是并行技术可以克服内存限制,为更多的用户提供数据服务。

4 结束语

对象存储模式由于具有良好的可伸缩性、高性能、跨平台、安全数据共享等能力,成为海量数据存储模式的一个理想选择;配合数据库的分区技术和并行处理技术,可以实现高性能的海量数据存储。

摘要：海量数据的大量出现,使存储技术正发生革命性的变化。针对海量数据存储环境,对网络附加存储(NAS)及存储区域网络(SAN)进行了分析,研究了面向对象存储技术。并且对海量数据存储的数据库策略进行了阐述,包括Oracle数据库的表分区技术的策略、特性及应用;Oracle数据库并行处理结构及特性。

关键词：海量数据,对象存储技术,分区技术,并行处理技术

参考文献

[1]Garth A Gibson,Rodney Van Meter.Network attached storage architecture[J].Communications of the ACM,2000,43(11):37-45.

[2]Liao H.Storage area network architectures[J].PMC-Sierra,Inc,Technology White Paper,2003.

[3]Morris R J T,Truskowski B J.The evolution of storage systems[J].IBM Systems Journal,2003,42(2):205-217.

[4]苏勇,周敬利.基于iSCSI OSD存储系统的设计与分析[J].计算机工程与应用,2007,43(23).

[5]Sakar K.An analysis of object storage architecture[J].JEEE Computer,2003,2(3):12-34.

[6]申红雪,刘育熙.Oraclel0g表分区技术管理[J].科技信息,2008(20).

迷你身段　海量存储 篇2

天时：高清时代

进入到高清时代，虽然很多显示设备和摄录器材都已经升级成了高清标准，而且我们也已经逐渐使用了这个“高清怪兽”的来临，但是面对一个大数据量的洪水猛兽，真正敢制服它的勇士寥寥无几，许多念叨着高清数据的使用者中，不乏很多叶公好龙者。

高清晰度的视频信号，必定带来强大的数据流，强大的数据对后期设备的硬件和软件都是一次完全细致的考验，这就要求新生的后期制作系统要有海量的硬盘空间，稳定的工作环境，开放全面的端口，高速的运算和解码能力。一个新的时代到来，我们必须忘记1394，忘记DV的压缩方式。这一切都要从新的技术和设备上诞生出来，于是就有了这台放在测评试验室里的强氧mini-IO系统。

地利：硬件极品

外观

从外观看强氧mini-IO是一个敦实的“小家伙”，比起过去使用的设备，它的确有些“不起眼”，整体外观为黑色，这也一直是强氧视频服务器的主流外观设计风格，厂商logo和按钮部位全部采用银色，非常的亮眼，工业设计一流。

核心

除了这些，它的内部硬件简直是极品配置，采用INTEL XEON四核处理器，打开硬件管理界面的时候几乎都被惊呆了，标准配置内存为2G，系统整体支持8G的内存容量。强氧mini-IO系统架构采用主流INTEL XEON四核处理器、 PCI-E 专业图形加速引擎，这就保证了所有主流三维应用的强大功能和渲染能力。

硬盘

磁盘系统采用将系统管理以及素材管理区分开的方式，可保证超长时间读写的持续稳定性。强氧mini-IO系统的随机标准硬盘配置为：系统硬盘160G，素材磁盘640G。强氧mini-IO系统最大支持4块，热插拔式SATA或SAS 2.5寸硬盘，采用7200转2.5英寸硬盘，使系统保持高性能的前提下，节约更多的功耗，更低的发热量。集成跌落传感器，使磁盘阵列系统更稳定，数据安全性更高。如果使用热插拔硬盘端口进行完全扩充，那么最大的素材硬盘容量可以达到1.2T，即4块300G硬盘容量的总和，这样的大容量硬盘空间对于高清数据的编辑是有备无患的，这也是强氧mini-IO系统的一大亮点。如果同时使用多台强氧mini-IO系统，那么素材的调用不但可以通过网络共享调用，而且还可以直接通过移动硬盘来完成，用插拔的速度代替素材拷贝的速度，这样的效率是绝对需要提倡的。

端口

在视频端口的设置方面强氧mini-IO系统提供了HDMI、模拟分量、NTSC/PAL复合、S-Video视频信号。这些端口适用于高、标清制作和大屏幕电视或视频投影仪监看。无压缩视频编辑消除了各种 HDV 和 DV 压缩质量问题。超越 HDV 的质量局限制作高清视频固然令人激动，但是 HDV 的压缩问题和 1440×1080的分辨率会造成视频质量和编辑制作中的多种问题。而mini-IO直接从摄像机图像感应器采集 1920×1080全高清分辨率和无压缩质量视频，从而消除了这些问题。

HDMI是高清的主流采集端口。除此之外，配备了 HDMI 和模拟视频接口，可以连接各种摄像机、电视机和视频投影仪。对于高级专业制作人员来说，编辑 DV、HDV、无压缩或者 JPEG 视频时，可以利用 mini-IO的HDMI 输出实现数字视频监看。还可以使用大屏幕电视和视频投影仪实现影院式编辑预监，相比传统需要高清监视器来说，节省大量成本。

刻录

强氧mini-IO系统提供标准DVD刻录机和蓝光DVD刻录机两种选配刻录机，其中增加的蓝光刻录硬件应该是先锋之选，蓝光刻录的普及已经是大势所趋，所以强氧mini-IO系统的刻录设备配置完全是具有前瞻性的。

它可以刻录双层50GB或25GB的BD-RE高清蓝光盘，并且刻录的光盘可在家用蓝光播放机中播放，同时它兼容刻录标准4.7GB的DVD±R/±RW，8.5GB的DVD±R DL，DVD-RAM和CD盘，完全能够满足更多用户对于高清视频刻录的需求。

人和：软件支持

强氧mini-IO系统可以搭配微软winXP、win2003server、winXP64操作系统，也支持苹果公司最新的操作系统Mac OS XServer v10.5 Leopard。这就保证了它兼容软件的最大化，跨越了两个主流操作平台的设计，这就可以为各种操作需求的使用者提供全面的视频制作选择。

强氧mini-IO系统可以安装所有的主流视频编辑、合成软件，premiere pro CS3、Vegas8.0、After Effect等软件在强氧mini-IO系统上都有很大的升级平台，特别是premiere pro CS3、Vegas8.0的使用，可以支持市面上主流HDV和AVCHD摄像机的编码方式，素材的收集整理，编辑输出都异常快捷。

而且选择强氧mini-IO系统还会获赠正版的premiere pro CS3软件。2007年，Adobe 公司推出了最新的剪辑软件premiere pro CS3,Premiere Pro CS3比原先的 Premiere pro剪辑软件在软件功能方面有了质的飞跃。增加的功能包括替换剪辑编辑，定时录制，Timewarp无级变速特效，快速摄像机机校准功能，技术问题的自动检测与解决功能,数字场监视器，照明问题识别技术，多轨音频混合，多声道音频输出与实时音效，强化了 NLE 的音频剪辑功能，以及优化的声音设置等新功能。并且用户还可以配合 Adobe After Effect、 Photoshop等软件, 可直接在剪辑、合成、图片之间来回调用，比如直接调用剪辑时间线到 After Effect 和直接调用 Photoshop的图层用于合成，以及全程上监预览。那么强氧公司将这些功能强大的编辑合成软件都融入到强氧mini-IO系统当中，以系统的强大硬件性能和高质量的视频信号为基础，充分发挥了其编辑合成上的优势。

海量数据存储管理技术研究 篇3

1 存储技术发展

海量信息存储早期采用大型服务器存储,基本都是以服务器为中心的处理模式,使用直连存储(Direct Attached Storage),存储设备(包括磁盘阵列,磁带库,光盘库等)作为服务器的外设使用。随着网络技术的发展,服务器之间交换数据或向磁盘库等存储设备备份数据时,开始通过局域网进行,这主要依赖网络附加存储(Network Attached Storage)技术来实现网络存储。NAS实际上使用TCP/IP协议的以太网文件服务器,它安装优化的文件系统和瘦操作系统(弱化计算功能,增强数据的安全管理)。NAS将存储设备从服务器的后端移到通信网络上来,具有成本低、易安装、易管理、有效利用原有存储设备等优点,但这将占用大量的网络开销,严重影响网络的整体性能。为了能够共享大容量,高速度存储设备,并且不占用局域网资源的海量信息传输和备份,就需要专用存储区域网络(Storage Area Network)来实现。

目前海量存储系统大多采用SAN存储架构的文件共享系统,所有服务器(客户端)都以光纤通道(Fibre Channel,简称FC)直接访问盘阵上的共享文件系统(如图 1所示)。数据在存储上是共享的,数据在任何一台服务器(客户端)上都可以直接通过FC链路进行访问,无需考虑服务器(客户端)的操作系统平台,存储区域网络(SAN)避免了对传统LAN带宽的依赖和影响。SAN存储架构可以方便的通过扩展盘阵数量以达到扩展存储容量的目的,且不影响数据共享效率。

2 分级存储技术

分级存储是当今存储策略中最有影响力的方案,它的主要意图在于在几乎不降低效率的同时,极大的降低存储成本,是最具性价比的存储策略。分级存储又称为数据生命周期管理,它的理论依据是数据的价值随时间的推移而变化(一般是降低),并借鉴了计算机系统结构设计的缓存/主存/硬盘的设计原理。通常采用分级存储(也称为分层存储)技术,将价值最大的数据保存在等级最高、性能最好的存储资源上,以保证高性能、高可靠性,通常这部分数据在所有存储量中占的比例相对较小,但应用频繁,所要求的访问实时性也较高;而对应用不太频繁的数据,可以存储在相对廉价的存储资源上。根据需要可划分为两级、三级存储,目前应用较多的三级存储:在线、近线、离线。在线设备一般采用性能较高的高端盘阵(例如光纤盘阵),近线设备一般采用普通的大容量盘阵(如SATA盘阵),离线设备一般采用磁带库设备。在需要离线数据的时候,可以将磁带库中的数据恢复到近线(或在线)设备上。分级存储的技术保证了重要数据的高可用性,又最大程度的降低了整个存储系统的成本,在工程应用中被普遍采用。

分级存储技术需要迁移、回迁软件的配合才能真正发挥作用,具体来讲就是定时(如每天)或条件触发(如存储空间空闲率小于一定的阈值)迁移,按照算法(如存储最久数据或或最久未访问等)将满足条件的数据迁移到低一级存储设备上。如果要访问离线数据,还需要把相关数据恢复到在线设备上。技术实现路线既可以采用成熟的商业软件,也可以根据业务具体情况自行研发,还可以在封装商业软件的命令加入自身的业务处理逻辑。

3 数据自动化归档

由于在海量数据存储管理系统中,每天都有大量的新数据到达(没有节假日),且这些数据通常是根据上级数据产生系统不定时到达的,如果靠人工操作程序来完成数据的入库归档工作,成本无疑太过巨大,效率低、容易出错,且时效性不高。因此,数据自动化归档技术就成为海量存储管理系统中的一个关键技术,特别是针对卫星数据,要求接收处理后要及时入库归档。自动化归档一般设计为后台服务进程,开机即启动,7×24小时随服务器运行。自动化归档需要完成数据接收、数据解析、数据入库、日志记录、状态反馈等工作。

对于海量数据(尤其是大文件数据),一般不采取全部入关系数据库的做法,这样会使关系数据库的库体急剧膨胀,而适宜存储在共享文件系统中。归档操作完成数据文件从接收区到数据存储共享区的数据搬移,并从文件名、文件头或专门的元数据文件中抽取出用于管理、查询的元数据信息,把元数据信息插入到关系数据库中,利用成熟的关系数据库优化性能以方便对这些数据的查询、管理。

4 业务流程控制

在一个完整的海量数据存储管理系统中,通常包括数据接收、数据归档、数据备份、数据迁移(回迁)、数据输出等多个后台业务进程,这些业务进程各负其责,共同完成一些业务流程。如果这些进程直接进行通信完成控制指令(反馈)的交互,则各个业务进程的通信工作就会显得复杂,而且也不便于集中控制流程、掌握业务运行情况。因此在海量数据存储管理系统中需要有一个业务控制进程,各个业务进程受业务控制进程的调度指挥,并把业务执行情况反馈给业务控制进程,而不必关心负责自己的任务处理完后下一步该执行什么任务,业务控制进程负责接收各业务进程的状态反馈,并根据状态反馈决定接下来该向什么业务进程发送调度指令。这样各业务进程之间避免了直接的耦合,各业务进程只负责和总指挥(业务调度控制进程)通信,业务控制进程不负责具体业务,仅负责业务流程的控制,也有利于业务控制进程统一监视记录业务的执行情况。对于需要人工控制干预(或发起业务)的情况,也可由前台界面把控制信息发送给业务控制进程,由业务控制进程调度相关的业务进程,并反馈执行情况,这样就避免了前台界面与各个业务进程进行通信,降低了复杂度。常见的海量数据存储管理系统业务流程如图 2所示。

5 并发设计

在海量数据存储管理系统中,为提高收发、归档、服务、备份等业务的处理能力,常采用并发设计。并发设计可以采用多线程和多进程两种模式。

一个业务处理可以采用单进程多线程的方式,也可以采用多进程的方式。前者由进程的主线程完成任务消息的接收,针对每个任务,启动一个线程进行业务处理,一次业务处理完毕,相应的业务线程也就随之结束。后者则由多个业务进程并发的从消息队列中获取任务消息(同一个消息可保证不会被取走两次),分别进行处理。对于多进程的模式,需要有一个进程控制程序,根据任务的繁忙程度,负责启动或停止相应的业务进程。但作为系统业务中心的调度程序一般不采用并发,而采用主备模式。

6 数据服务模型

海量数据存储管理系统通常还包括对外提供数据服务的功能,这也是数据存储管理系统发挥价值的关键所在。提供服务的方式一般包括以下几种:API调用、订单服务、实时推送等。API调用通常用于实时性要求高、使用方式灵活的场景下,API调用对使用者有一定的编程要求,编程者可在API的基础上实现更复杂、更强大的功能。订单服务由数据使用者通过网站填写订单,存储管理系统接收到订单后查询数据库,提取满足条件的数据,并提供给订单提交者。实时推送主要针对少量对特定数据实时性要求高的场景,一旦接收到相关种类的数据,就向数据使用者(或应用系统)推送对应的数据,使数据使用者在第一时间获取到数据。使用何种服务模型要根据业务的情况具体分析,在大型的海量存储管理系统中一般都同时采用多种数据服务模型,对不同的服务需求采用不同的服务模式,充分发挥每种服务模型的优点。

7 展望

海量数据存储管理技术的发展如火如荼的进行中,海量存储管理目前要面对的问题包括海量数据存储管理数据量的持续增加、存储管理业务的容错处理、文件系统与关系数据库的无缝连接等。目前海量存储管理技术在在以下几个方面面临着重大的发展机遇:

IPSAN技术:将存储和IP网络相结合,使得用户可以在IP网络上传输块级的存储流量负载。IPSAN具有SAN的大部分优点,成本却远低于SAN,且由于其存储与访问同时基于IP使得存储、计算和网络可以结为一体,为数据密集型的网格计算提供良好的基础。

对象存储技术:为了解决文件数量的增加而产生的,基本的存储单元是对象而不是块,对象存储设备相对于块设备具有更高的智能,对象是智能化、封装的更好的块。

集群存储:将每个存储设备作为一个存储节点,并通过高速互联网联接,统一对外提供I/O服务。集群存储模式下每台存储设备都安装有操作系统可以独立运作。集群存储使用存储虚拟化技术,向用户提供虚拟的存储空间,该虚拟存储空间可能分布于多个存储节点。集群存储在如何设计稳定可靠的负载均衡策略、有效整合独立的存储资源以及存储节点失效的处理等方面,还在不断的发展和完善中。

参考文献

[1]张和生,张毅,胡东成.海量数据管理框架与方法研究[J].计算机工程与应用(全称),2004,(11):26-29

[2]姚书怀,刘兴伟.大型数据中心海量数据存储解决方案的设计[J].西华大学计算与数理学院(全称),2004(增刊),27-30

[3]江涛,张衡强.遥感海量数据管理研究与实现[J].山东科技大学学报,2005,26-31

[4]翟永,宋雪生.遥感数据成果的分级存储管理[J].国家地理信息中心,2005,(2):14-19

[5]武海平,余宏亮,郑伟民,周德铭.联网审计系统中海量数据的存储与管理策略[J].计算机学报,2006,(4):618-623

[6]任瑞贞,常会友.工作流系统的组织模型管理及动态维护[J].计算机应用与软件,2008,25(1):176-178

[7]李志俊.论数字图书馆的网络存储技术[J].现代情报,2007,27(10):86-88

海量存储技术 篇4

关键词：集群技术,海量数据,存储技术

随着卫星遥感技术的发展, 各种海量数据在存储上已经逐渐形成了共识, 当前比较常见的是网络附属存储以及存储区域网络。但是由于我国起步比较晚, 与发达国家相比还存在了比较大的差异。本文从集群技术引入海量数据存储的方向分析, 通过设计多级集群系统架构, 并以实际的实验来论证各种系统的特征, 以供参考。

1 集群技术

集群技术是当前运用比较多的技术之一, 它是集合了松散耦合计算机节点, 并由高速网络将其相连, 以形成一个计算机资源的工作状态, 属于一种透明的系统影像。在工作的状态下, 用户基本不会感觉到节点的存在, 因其是通过对应的软件和硬件形成了互连, 在节点之间都是比较独立的服务器。它们之间可以保持相互的通信, 同时又与客户之间形成了应用程序的提供和资源数据的协作关系。集群中还增加了服务器, 从整体上增强了系统处理信息的能力以及故障转移的能力, 提升了系统的可靠性。此外, 在另一个运用的领域上, 它又是一种节点储存, 可分散地将数据信息在独立的设备中进行有效的存储, 形成既独立又相互合作的工作关系, 除了可以访问节点空间, 还可以访问其他的空间, 为客户提供虚拟的磁盘供客户使用。因此, 这个集群存储就具有扩展性、稳定性以及管理性俱全的优点, 可以适用于增长规模不同的环境, 实现供应存储的目标, 还能有效避免破坏性和复杂性升级的管理, 有利于维护系统, 整合宽带[1]。典型的集群存储运用的是Google结构, 其中含有899个机架以及79112台PC机, 近16万个硬盘, 总容量达到了6180TB。

2 多级集群架构

由于遥感影像数据呈现的是海量的数据规模, 而且信息传递的环境非常复杂, 数据的来源也全面而广泛, 传递频繁, 因而对稳定性和系统性的要求非常高。集群技术就整合了这些包容性的特点, 对于海量数据的储存具有扩展性和可靠性的优势, 并能很好的适应复杂多样的环境, 在系统中的利用显得非常重要。

2.1 服务器集群的应用

作为信息战斗的核心, 战场信息有着非常关键的作用, 不但可以最高效率地满足用户的需求, 还能保障通信访问的通畅。具体操作上, 通过集群引进, 单点登录和集群管理, 就可以设置服务进行负载平衡以及故障的转移, 将其均匀地分配到应用的服务器上, 从而实现服务工作的高效与可靠。当前在我国也有一些学者做了比较深入的研究, 采用了轮转调度法、最少连接调度法以及加权轮转调度法等负载平衡算法进行了计算。在集群中, 每一台的服务器都具备了相同的功能, 确保了服务内容的透明化和公开化, 因此用户不需要为具体连接到的服务器担心, 可以放心使用。

2.2 数据库集群的应用

数据库在储存过程中发挥着核心地位, 在存储海量数据的工作中, 便捷迅速的查找和管理, 有利于实现高效传输, 只有这样才能保证可靠性和可用性的双管齐下。Oracle为集群提供了必要的技术服务, 能够实现数据库与存储两个同能的独立, 从而完善应用服务。在RAC中又能够提供应用伸缩性, 支持多进程兼并的访问, 还可以对系统进行均衡负载以及故障转移, 因其运用了Cache Fusion技术, 通过网络的内联实现节点共享, 从而能够在各服务器上频繁共享上传数据, 能够减少I/O操作。

3 系统实验

3.1 实验系统的构成

与系统的架构相结合, 战场信息系统采用了Oracle集群技术以及数据引擎设计实验研究信息的存储。服务器采用3台PC计算机构成, 连接2台, 在测试过程中再接入第3台, 使用单CPU主频为2.4GHz, 内存控制在512M, 同时配有双网卡和SCSI接口卡, 由8.0GB的SCSI磁盘组成信息的存储集群。

3.2 存储数据的结构

进行实验的系统包含了遥感器影像的相关数据, 以及其他的DEM数据, 并运用美国地理信息研究机构ESRI推出的Arc SDE空间的数据库模型进行, 同时存在Oracle的数据库当中。作为数据库的服务器和应用间的中间件, Arc SDE要面向的空间数据应用管理系统提出了非常专业的技术提供, 更方便空间数据的管理和维护。在系统的控制过程中, 遥感的影像数据是采用瓦片金字塔的模型来进行剖分数据的, 在剖分以后数据由Are SDE管理, 并将其保存进Oracle的关系表中。

由以上的特性试验测试可以发现, 在集群系统上提供的功能再整个信息系统中发挥了非常重要的作用, 能够提高系统的可靠性以及扩展能力。

4 结束语

如今, 卫星遥感技术快速发展, 数据的存储能力要求也日益提高, 于是关于数据存储、维护以及传输和查询的工作也需要同步进行, 此外, 在更新与管理数据的工作上也需要更上一个层次。总之, 集群技术的发展必须适应信息系统在扩展性和可靠性方面的要求。本文通过对多级集群系统的架构进行设计, 分层次和级别的为系统可靠性和扩展性提供了更多的保障, 可以作为信息系统设计一个非常有效的方案。

参考文献

[1]赵瑞峰, 汤晓安.给予集群技术的海量数据存储技术研究[J].微计算机信息, 2010, 12 (06) :67-68.

[2]郑炜.基于IP-SAN的海量储存技术的研究与实现[J].西北工业大学, 2012, 11 (12) :46-48.

[3]程永利.给予集群数据库技术的海量数据存储方案[J].计算机时代, 2012, 9 (08) :28-29.

面向海量数据的云存储技术研究 篇5

当今社会发展的主题是经济的快速发展, 伴随着Interne技术的快速推进, 数据量更是呈现出爆炸式的增长。随着数据量的急剧增长, 对所需的存储系统有更高的要求——更大存储容量、更强的性能、更高的安全性级别、进一步智能化等, 传统的SAN或NAS存储技术面对PB级甚至EB级海量数据, 存在容量、性能、扩展性和费用上的瓶颈, 已经无法满足新形势下数据存储要求。因此, 为了应对不断变大的存储容量、不断加入的新型存储设备、不断扩展的存储系统规模, 云存储作为一种全新的解决方案被提出, 备受业界的认可和关爱。

1 云存储概念

云存储是在云计算概念上延伸和发展出来的一个新概念, 专注于解决云计算中海量数据的存储挑战, 它不但能够给云计算服务提供专业的存储解决方案, 而且还可以独立的发布存储服务。云存储是指综合分布式文件系统、集群应用和网格技术等技术, 通过应用软件让网络中存在的大量的、不同类型的存储设备协同工作, 共同对外提供数据存储和业务访问功能的一个系统。

云存储的本质是一种可扩展、高速、低成本的基于Web的特殊形式的实用型服务, 是一种服务理念, 而不是存储, 不是一些具体的设备, 它提供了多个用户通过互联网连接访问共享存储池的能力。用户不需要了解系统是怎么构成的, 也不需要了解怎么提供存储, 所有设备对用户来说都是完全透明的, 任何一个经授权的合法用户无论在何方都可以通过网络与云存储连接, 享用云服务。

2 云存储的结构模型

云存储是一个以存储设备为核心, 由多部分组成的复杂系统, 通过一些应用软件来对外提供服务。其结构模型由以下四层组成。

2.1 存储层

云存储中最基础的部分是存储层, 位于云存储的最底层。该层可有多种存储设备供选择使用, 可以是IP存储设备, 也可以是DAS存储设备, 或者是光纤通道存储设备。云存储中的存储设备种类、数量众多, 并且分布在不同地理位置, 它们之间通过互联网、光纤通道网络等各种网络连接在一起。

2.2 基础管理层

云存储中比较难实现的部分是基础管理层, 也是云存储中最核心的一层。应用集群、分布式文件系统、网格计算等技术, 通过基础管理层来实现云存储中多个存储设备之间的协同工作, 使得这些设备对外向用户提供一致服务。为了保护用户数据的安全性和私密性, 云存储使用了数据加密技术、内容分发技术、数据备份和容灾技术等, 使得用户的数据不被窃取、泄密或丢失。

2.3 应用接口层

云存储最灵活多变的部分是应用接口层。云存储服务商根据实际业务需求, 可以开发远程数据备份、视频点播平台等不同类型的服务接口, 提供相应的应用服务。

2.4 访问层

云存储的要求是只有经过授权的用户才可以通过标准的应用接口登陆系统, 才能享用里面的各项服务, 但是服务商所提供的访问手段和访问类型因采用的手段不同而不同。

3 云存储关键技术

3.1 存储虚拟化技术

存储虚拟化技术是云存储的核心技术。通过存储虚拟化方法, 把不同厂商、不同型号、不同通信技术、不同类型的存储设备的互联起来, 将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一分配管理, 又可以屏蔽存储实体间的物理位置以及异构特性, 实现了资源对用户的透明性, 降低了构建、管理和维护资源的成本, 从而提升云存储系统的资源利用率。

3.2 分布式存储技术

分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间, 并将这些分散的存储资源构成一个虚拟的存储设备, 数据分散的存储在各个存储设备上。它所涉及的主要技术有网络存储技术、分布式文件系统和网格存储技术等, 利用这些技术实现云存储中不同存储设备、不同应用、不同服务的协同工作。

3.3 重复数据删除技术

随着数据中重复数据的数据量不断增加, 会导致重复的数据占用更多的空间。重复数据删除技术一种非常高级的数据缩减技术, 可以极大的减少备份数据的数量, 通常用于基于磁盘的备份系统, 通过删除运算, 消除冗余的文件、数据块或字节, 以保证只有单一的数据存储在系统中。其目的是减少存储系统中使用的存储容量, 增大可用的存储空间, 增加网络传输中的有效数据量。然而重复删除运算相当消耗运算资源, 对存取能效会造成相当程度冲击, 要应用在对存取能效较敏感的网络存储设备上, 将会面临许多困难。

3.4 数据备份技术

在以数据为中心的时代, 数据的重要性无可置否, 如何保护数据是一个永恒的话题, 即便是现在的云存储发展时代, 数据备份技术也非常重要。数据备份技术是将数据本身或者其中的部分在某一时间的状态以特定的格式保存下来, 以备原数据出现错误、被误删除、恶意加密等各种原因不可用时, 可快速准确的将数据进行恢复的技术。数据备份是容灾的基础, 是为防止突发事故而采取的一种数据保护措施, 根本目的是数据资源重新利用和保护, 核心的工作是数据恢复。

3.5 存储加密技术

存储加密是指当数据从前端服务器输出, 或在写进存储设备之前通过系统为数据加密, 以保证存放在存储设备上的数据只有授权用户才能读取。目前云存储中常用的存储加密技术有以下几种:全盘加密, 全部存储数据都是以密文形式书写的;虚拟磁盘加密, 存放数据之前建立加密的磁盘空间, 并通过加密磁盘空间对数据进行加密;卷加密, 所有用户和系统文件都被加密;文件/目录加密, 对单个的文件或者目录进行加密。

3.6 内容分发网络技术

内容分发网络是一种新型网络构建模式, 主要是针对现有的Internet进行改造。基本思想是尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的弊端, 使数据传输的更快、更稳定。通过在网络各处放置节点服务器, 在现有互联网的基础之上构成一层智能虚拟网络, 实时地根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息将用户的请求重新导向离用户最近的服务节点上。目的是使用户可就近取得所需内容, 解决Internet网络拥挤的状况, 提高用户访问网站的速度。

4 结束语

随着科技的快速发展, 云存储已经成为人们越来越关注的一个焦点, 它可以在最大程度上为用户节约成本, 并且能够提供安全、可靠的数据访问服务, 具有非常好的应用价值和研究前景。本文主要研究了云存储的关键技术, 但对各项技术的具体研究不够透彻, 是今后努力的一个方向。

摘要：云存储是依据云计算的概念而提出的一个新的概念, 以按需付费模式, 为用户提供了低成本、高可靠性的数据和在线存储服务, 以缓解海量数据对存储空间的需求。提出了传统存储面对海量数据存储时存在的问题, 阐述了云存储的概念, 分析了云存储的结构模型, 研究了云存储的关键技术。

关键词：云存储,海量数据,虚拟化

参考文献

[1]张旭东.关于对云计算技术的研究与应用[J].信息系统工程, 2012, 4:148-149.

[2]杨丽婷.基于云计算数据存储技术的研究[D].太原:中北大学, 2011.

[3]钱益舟.基于云技术的分布式实时数据库高性能数据存储检索机制的研究[D].浙江:浙江大学, 2012.

[4]王彩亮.云存储环境下数据副本管理策略研究[D].昆明:云南大学, 2011.

海量存储技术 篇6

随着社会信息化程度的不断提高,互联网应用的多元化及快速发展,传统的数据存储技术在处理能力和存储容量的可扩展性已经不能完全满足需求。如今大数据时代下的海量数据存储出现了新的特点:(1)数据规模巨大,且增长快速。(2)访问并发程度高。(3)数据结构及处理需求的多样化。在线数据访问和离线数据分析的应用,对系统可靠性的要求也越来越高。在这种情况下,基于Hadoop的分布式存储技术应运而生。

一、Hadoop概述

1.1简介

随着海量数据的不断快速增长,各大公司纷纷对其相关技术进行研究。Google在开发了Map Reduce、GFS和Big Table等技术之后,开源组织Apache模仿并发布了开源的Hadoop分布式计算框架和分布式文件系统。

Hadoop是一个开源的分布式计算平台,其核心是分布式计算框架Map Reduce和分布式文件系统HDFS,主要用于处理海量数据,能在大量计算机组成的集群中运行海量数据并进行分布式计算。

1.2体系结构

Hadoop主要设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。经过多年的发展,逐步形成了其应用程序生态系统,以Hadoop2.x版本为例,其族群中包括很多子项目:分布式文件系统HDFS、分布式并行编程模型和程序执行框架Map Reduce、资源管理器YARN、配置管理工具Ambari、分布式且按列存储的数据库Hbase、数据仓库Hive、数据流语言和运行环境Pig、数据挖掘Mahout、分布式且可用性高的协调服务Zoo Keeper、关系型数据库同步工具Sqoop、日志收集工具Flume等,其中Map Reduce和HDFS最重要,在核心层上提供了更高层的互补性服务。Hadoop2.x的项目结构如图1所示。

Map Reduce是一种简化并行计算的编程模型,用来解决大规模数据处理的问题。其主要思想是将需要自动分割执行的任务拆解成映射Map和简化Reduce的方式。Map主要负责把单个任务分解成多个任务,Reduce则负责把分解后的多任务处理结果进行汇总。Map Reduce任务由一个Job Tracker节点和多个Task Tracker节点控制。Job Tracker主要负责和管理Task Tracker,而Task Tracker具体负责这些任务的并行执行。

HDFS分布式文件系统可以和Map Reduce编程模型很好地结合,用于存储海量数据。HDFS采用主从模式的结构,HDFS集群由一个名字节点Name Node和若干个数据节点Data Node所组成。Name Node是主服务器,主要负责管理文件系统的命名空间和客户端对文件的访问操作,而Data Node主要负责节点数据的存储。

YARN是Hadoop 2.x中新引入的资源管理系统,它的引入使得Hadoop不再局限于Map Reduce一类计算,而是支持多样化的计算框架。它由两类服务组成,分别是Resource Manager和Node Manager。

二、海量数据存储技术研究

分布式文件系统HDFS是Hadoop的核心技术之一,是基于Hadoop的分布式存储架构中数据存储的基础。Hadoop2.x中HDFS体系结构如图2所示。

接下来,本文基于Hadoop的海量数据存储技术,从容错性、可扩展性和延迟性、实时性以及性能这4个方面对海量数据存储技术进行研究分析。

2.1海量数据存储的容错性

目前海量数据存储系统中,为获取较高可靠性,通常使用完全的数据复制技术和磁盘冗余阵列技术(RAID)两种冗余容错方法。RAID技术在传统关系数据库及文件系统中应用比较广发,但不太适用于No SQL数据库及分布式文件系统。

Hadoop使用HDFS存储海量数据。文件通常被分割成多个块进行存储,每个块至少被复制成三个副本存储在各个数据节点中。HDFS可以部署在大量廉价的硬件上,因此一个或多个节点失效的可能性很大,所以HDFS在设计时采用了多种机制来保障其高容错性,但有些也存在着一些问题。

1、HDFS中Name Node

Name Node是HDFS集群中的主节点,也是中心节点,它的可靠性直接关系到整个集群的可靠性。对于不同版本的Hadoop对此也有不同的处理机制。Hadoop1中只有一个Name Node节点,所以存在单节点故障问题,而在Hadoop2.x中通过HA策略大致解决了Name Node的单点问题。即存在两个Name Node,一个是状态为活动的active namenode,另一个是状态为停止的standy namenode,两者可以进行切换,但是有且只有一个属于活动状态。目前,Hadoop 2.x中提供了两种HA方案,一种是基于NFS共享存储的方案。此方案中,NFS作为active namenode和standy namenode之间数据共享的存储,但若active namenode或者standy namenode中有一个和nfs之间发生网络故障,将会造成数据同步不一致。另一种是基于Paxos算法的方案Quorum Journal Manager(QJM),它的基本原理就是用2N+1台Journal Node存储Edit Log,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,数据即不会丢失,可以实现namenode单点故障自动切换。

2、HDFS数据块副本机制

HDFS中一个文件由多个数据块组成,每个数据块包含多个副本,副本的数量可以通过参数设置。副本是一种能够提高数据访问效率和容错性能的技术。Hadoop在数据存储方面可以自动将数据保存到不同机架的多个副本中,在数据计算方面也可以自动将失败的任务重新分配到其他的节点上。Hadoop2.x版本对于数据副本存放磁盘选择策略有两种方式,一种是低版本中的磁盘目录轮询方式,另外一种是选择可用空间足够多的磁盘方式。

3、HDFS心跳机制

HDFS中的Name Node通过心跳机制掌握整个集群的工作状态。Data Node通过周期性向Name Node发送心跳信息,即Name Node通过Data Node的心跳信息来获知Data Node的存在、其上的磁盘容量、已用剩余空间和负载等信息。

2.2海量数据存储的可扩展性和延迟性

可扩展性和延迟性是分布式文件系统评判性能的两个重要指标。Hadoop的HDFS分布式文件系统的设计主要用于处理大文件,以流式方式访问数据,一次写入,多次读写。对于HDFS,读取整个数据集要比读取一条记录更加高效。所以HDFS不合适处理处理小文件,即大小小于HDFS块大小的文件。这样的小文件会给Hadoop的扩展性和性能带来严重问题。因为并行的I/O接口并不支持小文件的处理,所以读写延迟时间比较长,且主节点很难在云存储系统中进行扩展。因此,文献[1]提出了一种基于混合索引的HDFS小文件存储策略,采用应用分类器分类标记小文件,在存储节点根据小文件大小建立不同的块内索引,用以提高小文件访问效率。文献[2]提出一种基于多维列索引的小文件管理方案,且提出了小文件合并方案。文献[3]提出了一种面向低延迟的内存HDFS数据存储策略,提出了基于HDFS的内存分布式文件系统架构Mem-HDFS,且利用集群数据节点的内存和磁盘存储数据,并提出一种并行读取算法,该算法能较好降低读取访问延迟。

经研究发现,现有的对分布式文件系统处理海量小文件中所遇到的瓶颈问题,其改进大致包括以下两种方式,第一种方式是通过建立索引的方式,把小文件合并成大文件;第二种方式是建立缓存机制,从而减少文件访问次数。

2.3海量数据存储的实时性

Hadoop最初被设计为解决大量数据离线情况下批量计算的问题,是为了处理大型数据集分析任务的,是为了达到高的数据吞吐量,因此,需要延迟性作为代价。对于大多数反馈时间要求不是特别高的应用,比如离线统计分析、机器学习、推荐引擎的计算等,都可以采用Hadoop进行离线分析的方式。基于Hadoop的分布式文件系统能够很好地完成海量数据存储的要求,但还是缺乏了实时文件获取的考虑。因此,海量数据存储的实时性还有待提高,目前主要通过和传统关系型数据库相结合,实现其实时性。文献[4]提出了一种自定义的内存处理引擎,通过把基于Hadoop的分析平台和数据流处理引擎进行结合,实现海量数据环境下实时处理数据的构想。

2.4海量数据存储的性能

HDFS在选择数据存放节点时,并没有考虑到集群中各数据节点的性能、网络状况和存储空间的差异性,从而很容易造成集群整体负载不均衡,数据节点的资源不能合理利用等。因此,文献[5]提出了确定环境下多阶段多目标CMM决策模型,此模型以内存、CPU和磁盘的剩余负载能力作为决策条件,以负载均衡效果、数据传输代价和负载迁移代价作为决策目标,根据决策节点间的影响关系来构建有向无环图,通过多个决策阶段的决策及计算方案效果来确定最优均衡方案。

三、结束语

本文针对最新Hadoop框架下的海量数据存储技术,分别从海量存储技术的容错性、可扩展性和延迟性、实时性及性能等四个方面进行了深入的研究,分析概括了目前Hadoop的分布式文件系统在存储海量数据时所遇到的一些问题及挑战,并对现有的存储改进方式进行了综述。

在海量数据存储的容错方面,目前Hadoop2.x最新版本的HA策略已经解决了Name Node的单点问题,但新引入的YARN同样存在单点故障及性能问题,对于HDFS如何能更高效更好地动态分配数据块副本机制,相关文献提出了多目标优化的局部最佳副本分布策略,提出了基于范德蒙码的HDFS分散式动态副本存储优化策略;在海量数据的可扩展性和延迟性方面,主要是小文件的存储策略问题,相关文献主要提出采用索引方式将小文件合并为大文件进行读取,通过缓冲机制减少访问次数;海量数据存储的实时性方面,目前主要通过和传统关系型数据库相结合,通过缓存机制实现实时读取;在海量数据存储的性能方面,主要是负载均衡问题,相关文献主要提出通过采集数据节点的各方面负载,通过计算成本来选择最优数据节点存储[9]。

目前,基于Hadoop的海量存储技术在如何高效存储及读取小文件,如何实现数据的实时分析,数据节点的负载均衡问题等方面依旧是将来研究的热点。

参考文献

[1]王海荣等.基于Hadoop的海量数据存储系统设计[J].科技通报,2014.30(9):127-130

[2]尹颖等.HDFS中高效存储小文件的方法[J].计算机工程与设计,2015.36(2):406-409

[3]英昌甜等.一种面向低延迟的内存HDFS数据存储策略[J].微电子学与计算机,2014.31(11):160-166

[4]张柄虹等.空间高效的分布式数据存储方案[J].计算机应用研究,2015.32(5):1508-1511

海量存储技术 篇7

关键词：海量存储技术,超声诊疗系统,超声影像技术

近年来随着诊疗需求的不断扩展, 传统的辅助性的超声诊断已经不能满足临床发展的需要, 同时单纯的图文报告模式也不能满足临床对超声影像的需求。随着超声影像检查过程中发生医疗责任情况的日益增多, 留存实时视频的诊查资料也成为临床诊疗档案管理的关键。

一、超声影像面临的问题及制约因素

如何通过计算机辅助技术实现超声影像实时动态录取, 并能够以此为基础进行诊断、教学、以及后处理分析是一直困扰超声医生的难题。而影响解决这些问题的主要制约因素有以下几方面:一是超声影像为实时动态影像, 大量设备终端并不支持传统的PACS的影像标准, 即便是近年来支持该标准的机器也只能短时间存储部分扫查影像, 很难大量记录扫差过程;二是扫差过程中不同人的扫查习惯不同造成扫差切面不规范, 视频信息难以全部动态记录;三是录制的视频信息格式不同且多为模拟信号导致数据无法进行后处理;四是录制视频占用空间较大, 现有工作站系统无法存储完整数据;五是录制的资料回顾与分拣困难。

针对上述问题, 用于临床的基于海量云存储技术的超声动态影像工作站系统应运而生, 实现了超声影像的实时动态采集、存储、后处理分析与教学。运用现代视频存储压缩技术可以在最小空间内实现超声动态影像数据的海量存储, 这就为超声诊断的数据分析与挖掘奠定了技术基础。

二、超声影像系统构成及特点

动态视频采集单元又称编码器, 能即时采集不同超声设备的动态影像信息, 并进行数字转换以无损压缩技术数字化处理后进行传输。

(一) 超声视频的录制与解析

目前数字编解码标准采用的基本方法大多是基于块的混合编码框架, 其技术方式主要包括基于DCT变换编码、运动补偿的预测编码和熵编码, 这是现代视频编码的关键技术。高清的超声视频的录制与解析除了编码外还要解决的三大核心问题是带宽问题、显示问题、存储问题。

1. 带宽问题。

由于院内为局域网环境, 因此网络带宽基本不受限制, 但存储设备在院外就需要专线接入以提高带宽。

2. 显示问题。

相对于标清视频, 相对高清视频的信息量对解码显示性能要求也大大提高。专用的网络视频服务器能够很好地解决上述问题, 满足医院现有的视频采源数量的要求。

3. 存储问题。

动态高清视频必然会消耗更大的存储空间。

(二) 存储问题

通过对编码方式的改进, 可以极大地提升高清视频的应用性, 目前已在产品中应用的有感兴趣区域压缩编码技术、可伸缩编码技术和“智能前端”动态编码自适应技术。图像感兴趣区域压缩编码技术, 即在图像中对感兴趣区域进行无损压缩或近无损压缩, 而对背景区域进行有损压缩。这样既可使得重构图像有较高的视频质量, 又可得到较高的压缩比, 很好地解决了压缩比和图像质量之间的矛盾。这种编码方式与目前使用的联播编码方式相比, 满足各种不同需要的能力更强, 编码效率也大大提高。

编码器提供的单一码流具有可伸缩特性, 能够自动适应用户的网络状态和终端设备。网络带宽较好的环境下可传输高分辨率、高质量的视频。存储问题一直是制约超声影像动态存储和管理的瓶颈, 视频数据是非结构化数据的典型代表, 也是医院“大数据”的主要来源。所谓“大数据”, 是指某个数据存取点的数据量非常之大, 以至于利用常规的软件工具已经难以对其进行搜集、管理和加工, 其数据规模往往达到了PB (1024TB) 级。超声影像的动态数据具有典型的“大数据”特征 (数据量大、数据类型复杂) 。同时还要考虑数据安全和成本, 因为系统一旦出现故障, 首先考验的就是数据的存储、灾备和恢复能力。

(三) 分布式海量存储技术

基于云平台的分布式海量存储技术, 是一种构建于通用部件之上的高可用、高可靠、高可扩展的新型分布式文件系统。应用此系统, 用户可以采用廉价的通用服务器、SATA/SAS硬盘以及以太网络来构建媲美企业级存储产品的存储系统。基本原理是采用集群方式来整合物理上独立的多个存储资源, 以软件方式提供单一的名字空间;采用多副本的方式保证数据的高可用性, 任意单一节点失效均不会导致数据丢失和数据服务的正常运行;同时, 将数据分散存储在云端的多台独立的存储空间上。通过良好设计的系统结构和数据分布策略, 可保证系统性能的高可扩展性, 并支持存储容量/性能的在线扩展。对比传统的网络存储系统采用集中的存储服务器存放所有数据, 存储服务器成为系统性能的瓶颈, 也是可靠性和安全性的焦点, 不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构, 利用多台存储服务器分担存储负荷, 利用位置服务器定位存储信息, 它不但提高了系统的可靠性、可用性和存取效率, 还易于扩展。

海量存储系统包含3个主要逻辑部件:元数据服务器 (MDS) 、数据服务器 (DS) 以及客户端 (Client/Access Servers) 。其系统结构如图1:

1. 元数据服务器 (MDS) 存储和管理文件的元数据信息及目录结构信息, 并实现单一命名空间 (global namespace) 。

2.数据服务器 (DS) 用于存储文件的内容数据。

3.客户端 (Client) 则是上层应用访问数据的接入点, 所有上层应用只有通过客户端才能与MDS和DS进行交互。

在一次数据访问流程中, Client首先通过访问MDS完成名字解析和查找, 得到文件的元数据信息 (其中包含文件的数据分布) , 通过这些信息, 客户端可以得到所有数据块的具体存储节点, 然后根据需要访问DS完成对文件数据的存取。

系统对文件数据采用灵活高效的多副本机制, 将一个文件副本尽可能分散地存储在多个不同的DS节点上, 任意一个或多个DS失效, 均不会影响该文件的可用性, 客户端可智能的选择可用副本完成数据存储。

不同于当前的主流分布式文件系统, 本系统采用特殊的动态元数据分区机制, 最多可支持64个节点的MDS集群, 提供倍增的元数据服务性能, 并保证单一名字空间和良好的负载均衡。MDS的可用性采用双机热备方式实现, 每个逻辑MDS由一对互为备份的节点组成, 采用share-nothing的数据镜像方式, 无需使用共享存储设备。

系统的另外一个重要逻辑部件CMS (集群管理系统) 主要负责整个集群的管理, 其收集集群内节点硬件/软件/服务的相关信息, 并通过基于浏览器的图形管理界面展现给用户, 同时处理来自用户的控制请求, 完成系统管理。

超声设备由于品牌众多, 其视频源的输出模式不尽相同, 对比传统超声影像工作站采集卡, 不同超声视频转换后动态影像的分辨率也会有所差别, 但由于超声自身分辨率都是在毫米及以上的, 因此普通标清与高清的视频对比没有明显区别, 对诊断及报告不会产生影响, 在压缩状态下, 数字影像可以以流媒体方式传送到服务器中进行存储, 这样不仅解决了图文报告的功能, 还为未来的存储、教学、远程会诊提供了基础。

(四) 超声影像的主要功能

在上述技术架构下, 该系统为临床诊疗提供许多全新的支持, 主要功能包括:

1. 实时动态影像数据的留存与播放。

基于流媒体技术的H.264标准可以提供时间、空间和信噪比3种分层编码模式, 得到包括基本层和多个增强层的多速率的视频序列, 能适应不同终端的需求。H.264标准不仅拥有高压缩比 (约为MPEG-4的1.5倍) , 而且还保证了高质量流畅的图像, 也更加经济。H.264编码算法仍然是以混合编码为基础。但是为了实现更好的视频编码性能和更广泛的适用性, 它在编码中的每个环节都加入了新的技术, 使得具体实现的细节产生了很多改变。本系统应用后我们对常规扫差所产生的动态数据进行统计, 通过我们自己设计的图像无损压缩算法连续动态检查及录制。

标清图像数据/分 (PAL) =720×576×25×60/40 (压缩率) ≈14M/分

标清图像数据/分 (N) =720×480×29.97×60/40 (压缩率) ≈15M/分

高清图像数据/分=1920×1080×29.97×60/40 (压缩率) ≈90M/分

以超声现有分辨率衡量, 标清图像就能满足录制要求。结论超声检查平均存储量约250M左右。以年诊疗人次2万人次计算, 年产生数据量约为5TB, 如果是高清则可产生30TB左右的数据容量。如果以现有医院的存储模式做计算年均费用支付约1.9~2.5万美金/TB, 则超声科每年新产生的数据需要支付成本约9.5~12.5万美金, 近年随着云存储价格不断下降, 海量的医学数据将随着“云”时代的到来有了新的归宿, 以谷歌为例, 容量在1TB以内时, 价格为每年1167.36美元, 容量在100TB到500TB之间时, 100TB以上的容量的价格为每年804/TB美元, 以某科为例, 年均费用增长约为4000多美金/年, 随着存储成本的不断下降, 这种开支还会降低。这将大大节省医院开支还能降低其它维护成本。依托“云”端的海量数据, 可以大大提升影像诊治的水平及医院管理水平。

2. 超声动态影像数据的后处理与分析。

影像后处理技术是医学影像发展的的关键技术, 传统超声影像由于属于动态影像缺少留存, 因此超声影像的后处理发展缓慢, 近年来随着三维超声、超声造影等技术的发展与普及影像动态处理日趋重要。多模态影像融合也逐步开始在介入治疗领域发挥重要的作用。

3. 超声图像报告与质控。

新的超声工作站工作模式能够实时检查动态影像的留存, 不仅能够使扫查更加客观化, 还能够筛选出真正有问题的典型病例进行规范化诊断以及教学。随着便携式超声设备的普及, 实时采集的超声影像的动态传输与远程诊疗将使移动质控成为可能, 综合来说超声质控具有多种优势, 主要包括:提升超声诊疗的标准化水平;减少差错提升医疗质量;提升超声医生的诊疗水平;加强管理实现移动管控。

4. 超声动态影像远程会诊。

有利于学术交流统一阅片;支持基层医院 (连队) 、偏远地区的医疗水平的提升;规范超声诊疗;提高信息化水平增加工作效率;提升高级人才的利用及超声技术的推广普及。

5. 超声动态影像移动终端服务。

海量的视频影像管理及存储为新的诊疗及管理模式提供了完善的物质基础, 通过实时视频回放可以对报告进行诊断、会诊及质控管理, 使超声诊断做到人机分离, 从而实现超声影像的“云”诊断。甚至通过手机等移动终端就可以查询患者信息, 远程实时调用诊疗图像, 进行会诊和诊断。

三、结束语

海量存储技术 篇8

本文基于PKI融合SAN和NASD(Network Attached Secure Disk)为一种新的多域异构网络存储系统,系统具有高带宽、易扩展、规模大、安全性高等特点。相对于OSD存储系统具有经济低廉的特点,适宜于现阶段对安全性要求较高的海量存储系统。

1 基于NASD的安全网络存储系统

NAS头(NAS head)是把SAN连接到IP网络的一种技术,IP网络用户通过NAS头可以直接访问SAN中的存储设备,NAS头能使NAS和SAN互连在同一LAN中,突破FC的拓扑限制,允许FC设备在IP网络中使用。SNS的结构如图1所示。

当用户访问SNS存储系统时:(1)向SNS服务器发出访问申请;(2)SNS服务器对用户进行身份认证、用户端平台身份的认证和平台完整性校验;(3)SNS服务器与用户确认密钥MK;(4)如果访问SAN,则用MK与NAS头建立安全信道,由NAS头进行文件与块之间的转换后进行读写等操作,并把结果通过安全信道返回给用户;如果访问NASD,则用MK分别与NASD文件管理服务器和智能磁盘建立安全信道,从前者得到授权对象后直接与后者进行通信,由智能磁盘把结果通过安全信道返回给用户。其中SNS服务器与NASD文件服务器和NAS头之间都存在一个安全信道用以传递MK等信息。

2 存储网络协议

存储网络安全是指在存储网络中,确保在传输过程中的数据和保存在存储设备上的数据的保密性、完整性、可用性、不可抵赖性以及整个网络存储系统的可靠的性能。如果存储系统SNS中每个域是安全的,也就是保存在存储设备上的数据是安全的,那么要使整个系统是安全的,还需要数据在用户、SNS服务器和每个域之间的交互是安全的。系统融合前不同域网络存储系统的安全模式不同,并且都有相对比较成熟的研究。虽然SNS在此只融合了NASD和SAN,但理论上可以融合更多类型的存储系统,在此我们假定每个域的系统是安全的,并且SNS服务器与每个域间的安全信道是系统构建时建立的。

为了实现上面的功能,可以把整个存储网络部分的协议可以分为两部分:(1)用户与SNS服务器间:实现用户的可信认证接入,并且协商建立一定时期的长期密钥MK。在该时期内,用户只需在首次访问系统时与SNS服务器交互一次,然后每次访问时直接与每个域的存储系统交互而无需SNS服务器的参与。(2)用户与每个域Dom间:利用第一步建立的长期密钥MK,确认每次访问时的会话密钥并在此基础上建立二者间的安全信道。

AIKpriv和AIKpub为证明身份密钥对,SML为存储测量日志,cert(AIKpub)为Privacy-CA向平台签发的AIK证书;sid为会话标识;F为密钥推导函数(伪随机数方程);f是能抵抗选择消息攻击的MAC方程;SIG是基于证书能抵抗选择明文攻击的签名方程,ENC是能抵抗选择明文攻击的对称加密方程。

2.1 SNS服务器与用户间的可信认证接入协议SNSTAP

可信认证接入认证协议SNSTAP如图2所示。当用户Cl向SNS服务器发出访问请求时,协议详细描述如下:

(1)Sn→Cl:(S n,sid,gx,r s)。其中x←R⎯⎯Zq,sr←R⎯⎯{0,1}k。

(2)Cl→Sn:(C l,sid,gy,SIGc,Platinfo,MACkp)。其中y←R⎯⎯Zq,计算γ'=(g x)y并安全擦除y,SIGc=SIGc(C l,sid,gy,gx,Sn)是Cl的签名。Cl使用存储根密钥从TPM中读取证明身份密钥AIKpriv,并以AIKpriv为私钥将选择的PCR值和收到的随机数sr进行签名得SIGAIKpriv(PCR,r s),kp=F(γ')(0),用户端平台信Platinfo=(SML,Cert(AIKpub),SIGAIKpriv(PCR,r m)),并计算MACkp=fkp(Platinfo)。

(3)Sn→Cl:(S n,sid,SIGs)。Sn验证SIGc及其参数的正确性实现对Cl的身份认证。计算γ=(gy)x并安全擦除x,计算kp=F(γ)(0)和fkp(Platinfo)并与收到的MACkp比较一致后,用SML和Cert(AIKpub)对SIGAIKpriv(PCR,r s)进行验证,从而完成对Cl端平台的身份认证和完整性校验,签名得SIGs=SIGs(S n,sid,gx,gy,C l),计算mk=F(γ)(1)。

(4)Cl验证SIGs通过后,计算得mk=F(γ')(1)。

2.2 域与用户间的安全信道协议SNSCHL

安全信道协议SNSCHL如图3所示,其详细描述如下:

(1)Cl→Dom:(Cl,Dom,sid)。

(2)Dom→Cl:(Dom,sid,r d)。其中dr←R⎯⎯{0,1}k。

(3)Cl→Dom:(C l,sid,r c,v c)。其中cr←R⎯⎯{0,1}k且rc≠rd,计算k0=F(mk)(r d,r c,Dom,C l),取k0的前1n位为k1=firstn1(k 0),余下2n位为k2=secondn2(k 0),cv=fk2(sid,r c)。

(4)Dom→Cl:(Dom,sid,r d,v d,σ)。计算k0=F(mk)(r d,r c,Dom,C l),k1=firstn1(k 0),k2=secondn2(k 0),验证cv后计算vfi=fk2(sid,r fi)并输出会话密钥1k。

(5)Cl→Dom:(sid,c q,t q)。验证vfi后输出会话密钥1k,计算ke=Fk1(0),ka=Fk1(1),cq=Encke(REQ),tq=fka(sid,c q),其中REQ是用户访问磁盘的内容。

(6)Dom→Cl:(sid,cre,t re)。Dom确认收到的信息具有形式(sid,c q,t q)且sid不同以往的会话标志。计算ke=Fk1(0),ka=Fk1(1),验证tq=fka(sid,c q),得REQUEST=(sid,Encke-1(c q))。执行Request中相关操作并把操作结果Rep发给Cl:m=(sid,REP),计算cre=Encke(REP)和tre=fka(sid,cre)。

(7)Cl收到Dom发来的消息(sid,cre,t re)后,确认具有形式(repid,cre,t re)且sid正确后,验证tre=fka(sid,cre),计算得结果REPLY=(sid,Encke-1(c re))。

3 协议性能分析

3.1 安全性分析

整个网络协议由两部分构成:用户的可信接入认证协议SNSTAP和安全信道协议SNSCHL。前者实现对用户身份认证和用户端平台的可信认证,并且在此基础上协商出用户的长期密钥,使得持有长期密钥的用户在一定时间段访问系统时效率直接与每个域交互,从而提高了系统的性能,本文将证明其具备CK模型的相关安全要求,从而保证该阶段数据的保密性、完整性等存储网络的安全性质。

安全信道协议SNSCHL可以分为两步:第一步是利用MK建立会话密钥k1;第二步是在会话密钥确认的基础上建立二者间的安全信道。可以证明前者是SK安全的,在第一步是SK安全的前提下,可以证明整个协议是一个安全信道。由于文章篇幅所限,在此不再给出该协议的详细证明过程,因此我们有如下结论:

定理1:如果SNSTAP是UM中一个SK安全的密钥交换协议,f是一个能抵抗选择消息攻击的MAC方程协议,ENC是能抵抗CPA攻击的对称加密方程,F是一个安全的伪随机数方程,那么协议SNSCHL在UM中是一个安全网络信道协议。

协议SNSCHL在UM中是一个安全网络信道协议,确保数据在该阶段满足保密性、完整性等存储网络的安全性质。从而使得传输过程中的数据具有保密性、完整性、可用性、不可抵赖性等安全属性。下面详细给出用户接入认证协议的安全性分析。

引理1:若DDH假定成立,则协议SNSTAP是AM中SK安全的(without PFS)密钥交换协议。

证明:首先给出AM中的协议SNSTAPAM:

由AM定义知,当两个未被攻陷的参与者Sn和Cl都参与完成了同一个会话(即Sid与gx,gy惟一绑定)时,各自得到了未被篡改的gxymodp,即二者建立了相同的会话密钥。

下面采用反证法证明SNSTAPAM满足SK安全的第二个条件。即:假设在AM中存在一个攻击者E能够以不可忽略的优势δ猜测出测试会话查询中返回的值是随机的还是真实的密钥,那么通过攻击者E就可以构造一个算法D以不可忽略的优势区分概率分布Q0和Q1(Q0和Q1的定义同DDH假定),这与DDH假定是相悖的,所以得证。

D的输入是一个五元组(p,g,gx,gy,u),u以1/2的概率等于gz或gxy,其构造方法如下:

(1)初始化协议运行环境。把公共参数告诉攻击者E,选择协议参与方P1,⋯,Pn和认证服务器Sn。

(2)随机选择Q←{Q0,Q1}作为D的输入。随机选择r←{1,⋯,l},l为攻击者所能发起的会话数量的上界。然后仿真协议的真实执行过程:当E激活一个参与者建立一个新的会话t(t≠r)或者参与方接收一条消息时,D代表该参与方按照协议SNSTAPAM进行正常的交互。如果t=r,则D让Sn向Cl发送消息(Sn,Sid,gx),若Cl收到消息(Sn,Sid,gx)时,D让Cl向Sn发送消息(Sn,Sid,gy)。当某个会话过期时,参与者将相应的会话密钥从内存中擦除。当一个参与者被攻陷或一个会话(除第r个会话)被暴露时,D把那个参与者或会话的相关信息交给E;如果第r个会话被E选中进行会话查询,则D把u作为查询响应给E;如果第r个会话被暴露了,或者另外一个会话被E选中作为测试会话,或者E没有选择测试会话就停止,则D随机选择b'←{0,1}输出,然后停止;如果E停止且输出b',则D停止且输出和E相同的b'。

当E选择的测试会话是第r个时,因为D和E的输出是相同的b',由假设和D的构造可知:D的输入来自Q0或Q1的概率均是0.5的情况下,D却能以0.5+δ(其中δ是不可忽略)的概率猜中响应是真实会话密钥或任一随机数;否则猜中的概率是0.5。而前者出现的概率是1/l,后者出现的概率是1-1/l,所以D猜中的概率是:0.5+δ/l,这样D以的不可忽略的优势δ/l区分了其输入来自Q0或Q1,这与DDH假设矛盾。

引理2:如果DDH假设成立,并且签名算法可以抵抗选择消息攻击,经过编译器编译后的协议SNSTAP在UM中的输出与协议SNATAPAM在AM中的输出与是不可区分的。

证明:在CK模型提供了一些认证器,其中“SIG-MAC”是一个非常著名的认证器。Canetti和Krawczyk在2002年对给出了认证器的严格证明。这里我们使用该认证器对AM中的协议SNSTAPAM进行编译优化得到了UM下的协议SNSTAP。

由引理1和引理2可知:对于UM中的任意攻击者E,协议SNSTAP能够满足下列两条性质:(1)若Sn和Cl没有被攻陷并且完成了匹配的会话,则二者将输出相同的密钥MK。(2)攻击者进行测试会话查询,它猜中b的概率不超过0.5+δ。因此可得:

定理2:如果DDH假设成立,并且签名算法可以抵抗选择消息攻击,那么协议SNSTAP在UM中是SK安全的。

3.2 性能分析

当用户取得长期密钥时,无需SNS-server参与而可直接与每个域交互,所以系统的性能主要取决于协议SNSCHL的效率,该部分由会话密钥的确认和可信信道建立两部分构成。第二部分采用的是建立安全信道的典型方法,整体性能主要取决于会话密钥的确认。因为存储网络中未能找到相关的接入认证协议相比较,所以下面与802.11i的EAP认证协议中性能最好的EAP-TLS做比较。其中Cl相当于移动节点MP,Dom相当于接入点A和认真服务器AS的总和,802.11i在无线Mesh网络中要在两个接入点MP之间进行四步握手来完成密钥确认,而本文的协议SNSTAP中不需要额外的密钥认证。同时由于前者没有对用户端平台的可信验证,所以在比较的时候也去掉协议SNSTAP中的可信部分,表1给出了一个新MP接入时需要进行的计算和通信开销。其中发送和接收一次消息称为一轮交互,E表示模指数运算,S表示计算签名,M表示计算消息认证码:

协议计算量:协议SNSTAP中CL和DOM(A)的计算量都要略少于EAP-TLS,且DOM(AS)的运算量相对于EAP-TLS来说则减少了一半。

协议通信效率:在Mesh标准草案中,一次EAP-TLS接入认证需要5轮协议交互,一次四步握手需要2轮协议交互,而一个新的MP接入Mesh WLAN时分别要以申请者和认证者执行两次“EAP-TLS+四步握手”,所以总共需要14轮的协议交互;而协议SNSTAP只需要4轮的协议交互即可完成相应的功能。

综上所述,协议SNSTAP在计算量与通信效率方面都是比较高效的。

4 结论

在现有的存储网络基础上,融合多种网络存储系统是构建海量存储系统一种比较经济实用的方法,近年来取得了很多研究成果,但同时也带来了一些新的安全问题需要研究。本文基于PKI融合SAN和NASD为一种适合海量存储的多域安全网络存储系统,并设计了存储系统的网络协议。用户直接与磁盘或SAN交互使得新系统仍能保持高带宽的优点,而域的易扩展性使得系统具有大规模的的特点,这些都是海量存储所需要的。协议通过两轮交互就完成了用户与服务器间的身份认证和长期密钥确认,同时完成了对用户端平台的身份认证和完整性校验,实现可信认证接入。SNS服务器负责用户的可信接入认证和长期密钥的管理分发,而对用户的授权和对存储设备的管理由不同域的服务器完成,减轻了SNS服务器的负载,削弱了其瓶颈限制,使其离线服务成为可能,提高了协议执行的效率同时降低了服务器遭受潜在攻击而导致系统瘫痪的概率。同时也把域服务器从用户管理认证接入中解脱出来而更专注于域内存储系统的管理,并且用户认证接入后直接与每个域交互而无需SNS服务器的参与,使得系统的效率更加高效。最后,利用CK模型给出了协议的安全性分析,结果表明协议是SK安全的,所建立的信道是安全信道。因此,如果被融合的SAN和NASD系统是安全的,那么新的网络存储系统也是安全的。

摘要：本文基于NASD融合SAN为一种适合海量存储的安全网络存储系统SNS,满足高带宽、大规模、易扩展的海量存储需要。给出了存储系统的网络协议,由可信接入认证协议和安全信道协议两部分组成。协议在两轮交互中就完成了用户与服务器间的身份认证和长期密钥确认,并在首轮交互中完成对用户端平台的身份认证和完整性校验,提高了协议执行的效率。

关键词：安全网络存储,NASD,存储区域网,存储网络协议

参考文献

[1]SNIA-Storage Networking Industry Association.OSD:Object Based Storage Devices Technical Work Group[EB].URL:http://www.snia.org/tech activities/workgroups/osd/.