网络存储系统（精选十篇）
网络存储系统 篇1
本文基于PKI融合SAN和NASD(Network Attached Secure Disk)为一种新的多域异构网络存储系统,系统具有高带宽、易扩展、规模大、安全性高等特点。相对于OSD存储系统具有经济低廉的特点,适宜于现阶段对安全性要求较高的海量存储系统。
1 基于NASD的安全网络存储系统
NAS头(NAS head)是把SAN连接到IP网络的一种技术,IP网络用户通过NAS头可以直接访问SAN中的存储设备,NAS头能使NAS和SAN互连在同一LAN中,突破FC的拓扑限制,允许FC设备在IP网络中使用。SNS的结构如图1所示。
当用户访问SNS存储系统时:(1)向SNS服务器发出访问申请;(2)SNS服务器对用户进行身份认证、用户端平台身份的认证和平台完整性校验;(3)SNS服务器与用户确认密钥MK;(4)如果访问SAN,则用MK与NAS头建立安全信道,由NAS头进行文件与块之间的转换后进行读写等操作,并把结果通过安全信道返回给用户;如果访问NASD,则用MK分别与NASD文件管理服务器和智能磁盘建立安全信道,从前者得到授权对象后直接与后者进行通信,由智能磁盘把结果通过安全信道返回给用户。其中SNS服务器与NASD文件服务器和NAS头之间都存在一个安全信道用以传递MK等信息。
2 存储网络协议
存储网络安全是指在存储网络中,确保在传输过程中的数据和保存在存储设备上的数据的保密性、完整性、可用性、不可抵赖性以及整个网络存储系统的可靠的性能。如果存储系统SNS中每个域是安全的,也就是保存在存储设备上的数据是安全的,那么要使整个系统是安全的,还需要数据在用户、SNS服务器和每个域之间的交互是安全的。系统融合前不同域网络存储系统的安全模式不同,并且都有相对比较成熟的研究。虽然SNS在此只融合了NASD和SAN,但理论上可以融合更多类型的存储系统,在此我们假定每个域的系统是安全的,并且SNS服务器与每个域间的安全信道是系统构建时建立的。
为了实现上面的功能,可以把整个存储网络部分的协议可以分为两部分:(1)用户与SNS服务器间:实现用户的可信认证接入,并且协商建立一定时期的长期密钥MK。在该时期内,用户只需在首次访问系统时与SNS服务器交互一次,然后每次访问时直接与每个域的存储系统交互而无需SNS服务器的参与。(2)用户与每个域Dom间:利用第一步建立的长期密钥MK,确认每次访问时的会话密钥并在此基础上建立二者间的安全信道。
AIKpriv和AIKpub为证明身份密钥对,SML为存储测量日志,cert(AIKpub)为Privacy-CA向平台签发的AIK证书;sid为会话标识;F为密钥推导函数(伪随机数方程);f是能抵抗选择消息攻击的MAC方程;SIG是基于证书能抵抗选择明文攻击的签名方程,ENC是能抵抗选择明文攻击的对称加密方程。
2.1 SNS服务器与用户间的可信认证接入协议SNSTAP
可信认证接入认证协议SNSTAP如图2所示。当用户Cl向SNS服务器发出访问请求时,协议详细描述如下:
(1)Sn→Cl:(S n,sid,gx,r s)。其中x←R⎯⎯Zq,sr←R⎯⎯{0,1}k。
(2)Cl→Sn:(C l,sid,gy,SIGc,Platinfo,MACkp)。其中y←R⎯⎯Zq,计算γ'=(g x)y并安全擦除y,SIGc=SIGc(C l,sid,gy,gx,Sn)是Cl的签名。Cl使用存储根密钥从TPM中读取证明身份密钥AIKpriv,并以AIKpriv为私钥将选择的PCR值和收到的随机数sr进行签名得SIGAIKpriv(PCR,r s),kp=F(γ')(0),用户端平台信Platinfo=(SML,Cert(AIKpub),SIGAIKpriv(PCR,r m)),并计算MACkp=fkp(Platinfo)。
(3)Sn→Cl:(S n,sid,SIGs)。Sn验证SIGc及其参数的正确性实现对Cl的身份认证。计算γ=(gy)x并安全擦除x,计算kp=F(γ)(0)和fkp(Platinfo)并与收到的MACkp比较一致后,用SML和Cert(AIKpub)对SIGAIKpriv(PCR,r s)进行验证,从而完成对Cl端平台的身份认证和完整性校验,签名得SIGs=SIGs(S n,sid,gx,gy,C l),计算mk=F(γ)(1)。
(4)Cl验证SIGs通过后,计算得mk=F(γ')(1)。
2.2 域与用户间的安全信道协议SNSCHL
安全信道协议SNSCHL如图3所示,其详细描述如下:
(1)Cl→Dom:(Cl,Dom,sid)。
(2)Dom→Cl:(Dom,sid,r d)。其中dr←R⎯⎯{0,1}k。
(3)Cl→Dom:(C l,sid,r c,v c)。其中cr←R⎯⎯{0,1}k且rc≠rd,计算k0=F(mk)(r d,r c,Dom,C l),取k0的前1n位为k1=firstn1(k 0),余下2n位为k2=secondn2(k 0),cv=fk2(sid,r c)。
(4)Dom→Cl:(Dom,sid,r d,v d,σ)。计算k0=F(mk)(r d,r c,Dom,C l),k1=firstn1(k 0),k2=secondn2(k 0),验证cv后计算vfi=fk2(sid,r fi)并输出会话密钥1k。
(5)Cl→Dom:(sid,c q,t q)。验证vfi后输出会话密钥1k,计算ke=Fk1(0),ka=Fk1(1),cq=Encke(REQ),tq=fka(sid,c q),其中REQ是用户访问磁盘的内容。
(6)Dom→Cl:(sid,cre,t re)。Dom确认收到的信息具有形式(sid,c q,t q)且sid不同以往的会话标志。计算ke=Fk1(0),ka=Fk1(1),验证tq=fka(sid,c q),得REQUEST=(sid,Encke-1(c q))。执行Request中相关操作并把操作结果Rep发给Cl:m=(sid,REP),计算cre=Encke(REP)和tre=fka(sid,cre)。
(7)Cl收到Dom发来的消息(sid,cre,t re)后,确认具有形式(repid,cre,t re)且sid正确后,验证tre=fka(sid,cre),计算得结果REPLY=(sid,Encke-1(c re))。
3 协议性能分析
3.1 安全性分析
整个网络协议由两部分构成:用户的可信接入认证协议SNSTAP和安全信道协议SNSCHL。前者实现对用户身份认证和用户端平台的可信认证,并且在此基础上协商出用户的长期密钥,使得持有长期密钥的用户在一定时间段访问系统时效率直接与每个域交互,从而提高了系统的性能,本文将证明其具备CK模型的相关安全要求,从而保证该阶段数据的保密性、完整性等存储网络的安全性质。
安全信道协议SNSCHL可以分为两步:第一步是利用MK建立会话密钥k1;第二步是在会话密钥确认的基础上建立二者间的安全信道。可以证明前者是SK安全的,在第一步是SK安全的前提下,可以证明整个协议是一个安全信道。由于文章篇幅所限,在此不再给出该协议的详细证明过程,因此我们有如下结论:
定理1:如果SNSTAP是UM中一个SK安全的密钥交换协议,f是一个能抵抗选择消息攻击的MAC方程协议,ENC是能抵抗CPA攻击的对称加密方程,F是一个安全的伪随机数方程,那么协议SNSCHL在UM中是一个安全网络信道协议。
协议SNSCHL在UM中是一个安全网络信道协议,确保数据在该阶段满足保密性、完整性等存储网络的安全性质。从而使得传输过程中的数据具有保密性、完整性、可用性、不可抵赖性等安全属性。下面详细给出用户接入认证协议的安全性分析。
引理1:若DDH假定成立,则协议SNSTAP是AM中SK安全的(without PFS)密钥交换协议。
证明:首先给出AM中的协议SNSTAPAM:
由AM定义知,当两个未被攻陷的参与者Sn和Cl都参与完成了同一个会话(即Sid与gx,gy惟一绑定)时,各自得到了未被篡改的gxymodp,即二者建立了相同的会话密钥。
下面采用反证法证明SNSTAPAM满足SK安全的第二个条件。即:假设在AM中存在一个攻击者E能够以不可忽略的优势δ猜测出测试会话查询中返回的值是随机的还是真实的密钥,那么通过攻击者E就可以构造一个算法D以不可忽略的优势区分概率分布Q0和Q1(Q0和Q1的定义同DDH假定),这与DDH假定是相悖的,所以得证。
D的输入是一个五元组(p,g,gx,gy,u),u以1/2的概率等于gz或gxy,其构造方法如下:
(1)初始化协议运行环境。把公共参数告诉攻击者E,选择协议参与方P1,⋯,Pn和认证服务器Sn。
(2)随机选择Q←{Q0,Q1}作为D的输入。随机选择r←{1,⋯,l},l为攻击者所能发起的会话数量的上界。然后仿真协议的真实执行过程:当E激活一个参与者建立一个新的会话t(t≠r)或者参与方接收一条消息时,D代表该参与方按照协议SNSTAPAM进行正常的交互。如果t=r,则D让Sn向Cl发送消息(Sn,Sid,gx),若Cl收到消息(Sn,Sid,gx)时,D让Cl向Sn发送消息(Sn,Sid,gy)。当某个会话过期时,参与者将相应的会话密钥从内存中擦除。当一个参与者被攻陷或一个会话(除第r个会话)被暴露时,D把那个参与者或会话的相关信息交给E;如果第r个会话被E选中进行会话查询,则D把u作为查询响应给E;如果第r个会话被暴露了,或者另外一个会话被E选中作为测试会话,或者E没有选择测试会话就停止,则D随机选择b'←{0,1}输出,然后停止;如果E停止且输出b',则D停止且输出和E相同的b'。
当E选择的测试会话是第r个时,因为D和E的输出是相同的b',由假设和D的构造可知:D的输入来自Q0或Q1的概率均是0.5的情况下,D却能以0.5+δ(其中δ是不可忽略)的概率猜中响应是真实会话密钥或任一随机数;否则猜中的概率是0.5。而前者出现的概率是1/l,后者出现的概率是1-1/l,所以D猜中的概率是:0.5+δ/l,这样D以的不可忽略的优势δ/l区分了其输入来自Q0或Q1,这与DDH假设矛盾。
引理2:如果DDH假设成立,并且签名算法可以抵抗选择消息攻击,经过编译器编译后的协议SNSTAP在UM中的输出与协议SNATAPAM在AM中的输出与是不可区分的。
证明:在CK模型提供了一些认证器,其中“SIG-MAC”是一个非常著名的认证器。Canetti和Krawczyk在2002年对给出了认证器的严格证明。这里我们使用该认证器对AM中的协议SNSTAPAM进行编译优化得到了UM下的协议SNSTAP。
由引理1和引理2可知:对于UM中的任意攻击者E,协议SNSTAP能够满足下列两条性质:(1)若Sn和Cl没有被攻陷并且完成了匹配的会话,则二者将输出相同的密钥MK。(2)攻击者进行测试会话查询,它猜中b的概率不超过0.5+δ。因此可得:
定理2:如果DDH假设成立,并且签名算法可以抵抗选择消息攻击,那么协议SNSTAP在UM中是SK安全的。
3.2 性能分析
当用户取得长期密钥时,无需SNS-server参与而可直接与每个域交互,所以系统的性能主要取决于协议SNSCHL的效率,该部分由会话密钥的确认和可信信道建立两部分构成。第二部分采用的是建立安全信道的典型方法,整体性能主要取决于会话密钥的确认。因为存储网络中未能找到相关的接入认证协议相比较,所以下面与802.11i的EAP认证协议中性能最好的EAP-TLS做比较。其中Cl相当于移动节点MP,Dom相当于接入点A和认真服务器AS的总和,802.11i在无线Mesh网络中要在两个接入点MP之间进行四步握手来完成密钥确认,而本文的协议SNSTAP中不需要额外的密钥认证。同时由于前者没有对用户端平台的可信验证,所以在比较的时候也去掉协议SNSTAP中的可信部分,表1给出了一个新MP接入时需要进行的计算和通信开销。其中发送和接收一次消息称为一轮交互,E表示模指数运算,S表示计算签名,M表示计算消息认证码:
协议计算量:协议SNSTAP中CL和DOM(A)的计算量都要略少于EAP-TLS,且DOM(AS)的运算量相对于EAP-TLS来说则减少了一半。
协议通信效率:在Mesh标准草案中,一次EAP-TLS接入认证需要5轮协议交互,一次四步握手需要2轮协议交互,而一个新的MP接入Mesh WLAN时分别要以申请者和认证者执行两次“EAP-TLS+四步握手”,所以总共需要14轮的协议交互;而协议SNSTAP只需要4轮的协议交互即可完成相应的功能。
综上所述,协议SNSTAP在计算量与通信效率方面都是比较高效的。
4 结论
在现有的存储网络基础上,融合多种网络存储系统是构建海量存储系统一种比较经济实用的方法,近年来取得了很多研究成果,但同时也带来了一些新的安全问题需要研究。本文基于PKI融合SAN和NASD为一种适合海量存储的多域安全网络存储系统,并设计了存储系统的网络协议。用户直接与磁盘或SAN交互使得新系统仍能保持高带宽的优点,而域的易扩展性使得系统具有大规模的的特点,这些都是海量存储所需要的。协议通过两轮交互就完成了用户与服务器间的身份认证和长期密钥确认,同时完成了对用户端平台的身份认证和完整性校验,实现可信认证接入。SNS服务器负责用户的可信接入认证和长期密钥的管理分发,而对用户的授权和对存储设备的管理由不同域的服务器完成,减轻了SNS服务器的负载,削弱了其瓶颈限制,使其离线服务成为可能,提高了协议执行的效率同时降低了服务器遭受潜在攻击而导致系统瘫痪的概率。同时也把域服务器从用户管理认证接入中解脱出来而更专注于域内存储系统的管理,并且用户认证接入后直接与每个域交互而无需SNS服务器的参与,使得系统的效率更加高效。最后,利用CK模型给出了协议的安全性分析,结果表明协议是SK安全的,所建立的信道是安全信道。因此,如果被融合的SAN和NASD系统是安全的,那么新的网络存储系统也是安全的。
摘要：本文基于NASD融合SAN为一种适合海量存储的安全网络存储系统SNS,满足高带宽、大规模、易扩展的海量存储需要。给出了存储系统的网络协议,由可信接入认证协议和安全信道协议两部分组成。协议在两轮交互中就完成了用户与服务器间的身份认证和长期密钥确认,并在首轮交互中完成对用户端平台的身份认证和完整性校验,提高了协议执行的效率。
关键词：安全网络存储,NASD,存储区域网,存储网络协议
参考文献
[1]SNIA-Storage Networking Industry Association.OSD:Object Based Storage Devices Technical Work Group[EB].URL:http://www.snia.org/tech activities/workgroups/osd/.
网络存储系统 篇2
摘要：网络化、数字化是目前广播、电视技术的主要发展方向。实现网络化、数字化有利于提高电视台的工作效率，规范采编制播工作流程，实现集中存储管理和资源共享。本文根据泸县广播电视台的实际情况，从存储网络设备选择、组网方案、建设中实际问题的处理等多方面，提出了适合我台实际的低成本存储网络改造建设方案。
关键词：带基 盘基 网络化 数字化 资源共享 RAID iSCSI IPSAN
引言
随着数字技术、多媒体和计算机技术的发展，新兴的非线性编辑方式以其绝对的优点逐步取代了前期的线性编辑，出现了以视频数据存储为核心的硬盘编辑、存储、播出系统，与传统的制作、播出方式相比，展现除了这种新技术具有的不可比拟的优点，既减少了节目编辑的磁鼓磨损，也没有了节目编辑中的磁带磨损，盘基的存储方式方便了节目的重复调用和编辑使用，给电视节目的制作和播出提供了巨大的方便，节目的保存成本也大幅降低。目前，县级的广播电台、电视台合并为广播电视台，随着广播电视台栏目的增多，节目资源和素材也在不断的膨胀。网络化、数字化是目前广播、电视技术的主要发展方向。打破信息孤岛实现电视台、电台节目资源的共享，有利于提高电视台的工作效率，规范采编制播工作流程，实现集中存储管理和资源共享。为适应广播电视事业的不断发展，根据我台的特点、工作流程和工作机制来设计组建网络。
一、设计思路
目前，我台主要以DVCPRO25和DVCAM的设备为主，播出节目素材也逐步由以前的VCD变化为DVD素材，对存储、传输、播出的要求也进一步
对网络概念上的认识，与以前使用和了解的以太网相同。千兆位以太网支持新的交换机之间或交换机与工作站之间全双工的连接模式，同时也支持半双工连接模式。使用光缆传输数据可以具有更高的带宽和更远的传输距离，但建设成本高，因此采用六类布线的方式建设一个千兆电缆局域网更适合我台的实际。
2、硬盘阵列存储解决方案的选择
硬盘阵列是视频网络系统中非常重要的一个环节，硬盘阵列的容量、速度、稳定性往往决定整个网络的性能。目前的存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。
另外一种融合NAS与SAN的存储解决方案，即所谓的iSCSI或IPSAN，iSCSI协议的应用带来了更高的I/O性能，并可以实现对存储设备的数据块级的共享访问。它和NAS一样通过IP网络来传输数据，但在数据存取方式上，则采用与NAS不同的，而与FC-SAN相同的协议，这样理论上IP-SAN能达到FC-SAN相近的性能。存储采用TCP/IP网络进行数据交换，TCP/IP是IT业界的标准协议，不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；利用现有的IP网络搭建极其简单，且无须对管理人员进行深入培训即可掌握存储网络的管理,具有很更高的性价比。
3、RAID的工作模式选择
RAID(独立冗余磁盘阵列)是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发挥出多块硬盘的优势，可以提升硬盘速度，增大容量，提供容错功能够确保数据安全性，易于管理的优点，在某些RAID工作模式下任何一块硬盘出现问题的情况下都可以继续工作，不会受到损坏硬盘的影响。
RAID 0模式将数据分成许多小块，然后并行地将它们写到磁盘阵列中的各个硬盘上，并且磁盘阵列中存储空间没有冗余。虽然提供了最高的性能和最有效的可用容量，但是它降低了数据可靠性。RAID 1模式至少需要
为600G，用作电台的节目库数据盘，并用1块硬盘加入阵列中做热备份盘。（见图一）
database1电视剧、外购栏目等映射到T168为本地盘Windows2000server系统盘database3共享存储区database3虚拟盘电台节目库database2自班节目、本台广告等WS100-R16存储系统节目库图-1联想T168服务器管理服务器将蓝色海域WS100-R16存储系统作RAIA6初始化后，创建一个LUN做iSCSI盘，命名为database3，容量为1T，作为编辑网络和电台资料的共享、中转盘，为电视素材的采集、资料存储保留足够的空间。将剩下的空间创建两个NAS区，命名为database1、database2，其中database1主要用于电视剧、外来栏目等的存储，选择CIFS协议支持。Database2主要用于我台自办节目、广告节目的存储，选择CIFS、FTP协议支持。
为方便使用，将iSCSI盘映射在T168上作为该服务器的本地磁盘并共享使用，在该盘上建立软件工具、刻录资料、重要素材、临时素材等文件夹，共享后三个网络的计算机均可访问本盘实现资料的共享和交换。
电台使用联想T168服务器的500G空间，电台音频资料采用SQL 2000数据库管理，使用默认共享。根据电台音频数据量的大小估算，完全满足电台的空间需求。并可以在该服务器上安装部分管理、应用软件工具。
2、网络结构
网络是整个系统的纽带，它要保证信息采集、节目编排、节目控制、节目播出、节目交换、资源共享等功能。对节目制播网络，其数据的传输主要是文件的交换、编辑和文件打包过程中的素材共享。为确保网络和播出安全，将网络划分为三个子物理网络，将IP地址设置在不同的网段，使用独立的交换机连接，既从物理上将网络隔离开来，保证各个子网的数据安全，也减少子网的计算机数量，提高网络的访问速度，保证素材共享的快捷，也将交换机故障影响范围减至最小。（如图2）
并且采用交换机的MAC地址绑定功能将IP与MAC地址绑定，未经过绑定的IP网卡将不能与交换机通讯，从而杜绝了外来的计算机非法进入网络，有效地防止了病毒的感染和资料的外泄。蓝色海域WS100-R16存储系统为嵌入式UNIX操作系统，联想T168服务器为Windows2000 server操作系统,并将数据库软件SQL SERVER2000、网络管理等软件安装在联想T168服务器。同时，修改所计算机注册表下 Parameters中的键值，将T168服务器注册表键“IsDomainMaster”的值改为“True”。这样，这台电脑就会成为一个主浏览器。将其它的工作站注册表键“MaintainServerList”的值为“No”，代表这台电脑将不会成为浏览提供者，同时Computer Browser服务也将无法启动。
3、编辑制作网络
近年来，由于我台制作专题片的数量越来越多，制作节目采集的的素材也越来越多，加上很多常用的历史素材，使编辑工作站的硬盘空间突显不足，存储系统建成后，编辑网通过映射在T168服务器上的iSCSI盘共享后实现素材的存储，解决素材的存储问题，也将该盘作为三个子网间的资料迁移中介。以前，我台制作人员经常直接通过网络生成节目到播出机，这样既长时间占用网络，也经常出现因网络瞬时故障导致节目生成失败。同时，采用这样的方式也会加大编辑工作站的负担。因此，将Database2(自办节目盘)开通FTP功能，自办节目的成品、广告节目等通过FTP方式上传到指定文件夹。采用FTP工具上载节目方式传后，制作人员只能将节目打包生成后，再通过FTP工具传输到节目库的指定文件夹，由于FTP工具支持断点续传，实践证明，采用这样的方法后，节目从生成到上载至节目库的时间、可靠性都得到了很大的提高。
4、电台录编播网络
音频录编播系统完成电台的稿件调用、录音、编辑、播出。实现音频数字化录制、编辑与合成。该网络采用联想的本地RAID5盘阵作为数据库节目盘，空间为500G，在T168服务器上安装管理、应用软件，采用默认共享，电台制播系统选用杭州联汇的LINK2000制播软件，该软件产品成熟，从节目录制、编辑、编表、播出、审片完全是基于数据库管理的方式。支持定时、不定时、定长、不定长播出方式。自动报时，报时广告由用户设定。由主播站通过R232控制接口对播出切换器进行自动切换控制，实现自动转播中央、省电台的新闻节目。
5、硬盘播出网络
网络电视台存储系统架构研究 篇3
【关键词】网络电视；存储系统；架构
【中图分类号】TN711 【文献标识码】A 【文章编号】1672—5158（2012）08—0061-02
1 引言
网络电视台是一个构筑在电信网络、广电网络、互联网络之上的全业务内容运营平台系统，节目通过分发网络向不同地域、不同终端上的用户提供双向的、互动的、交互的内容服务和体验，并最终实现内容的跨平台无缝融合。网络电视台系统由节目制作中心、发布运营平台、传输分发网络和用户终端四个部分组成，由于其问需要存储、调用大量的节目源，这对网络存储系统的构架提出了很高的要求。
2 存储系统解析
2.1 分布式存储
分布式存储就是将数据分散存储在多台独立的客户端上，由客户端通过网络连接将存储的数据共享到网络上或者通过第三方的平台对数据进行集中的处理及共享。分布式存储采用可扩展的系统结构，将存储负荷分担给多台存储服务器，利用位置服务器定位存储的信息。
因为需要通过第三方的平台进行数据的共享和迁移，增加了共享、迁移的复杂性，就造成了数据的共享和迁移不便。
2.2 集中式存储
集中式存储是多个应用系统共享一个存储服务器，所有的客户机IfO请求全部在中央系统进行处理。集中式存储保证了每个终端的使用信息是一致的，在数据共享和负载均匀方面更加有效。客户能够灵活地管理存储资源的规划，统一对数据安全性的访问、备份和恢复等管理，更能对存储空间进行有效的使用。
由于所有的I/O请求都发送到中央系统进行处理，增加了中央系统的存储设备压力。当中央系统处于不同的地理区域，网络处理的延时较大。系统效率不高，存储数据管理灵活性不高，策略单一。
3 存储系统应用比对
3.1 采用分布式存储系统
早期的小型视频网站较多采用分布式存储架构，将其扩展到网络电视台上。在分布式架构的网络电视台的系统中，各个服务器的数据独立存放于服务器自带的硬盘中，或者通过DAS方式连接的独立存储设备中，服务器又通过文件共享的方式使数据在整个網络中得到共享。
这种存储架构带来的问题是十分明显的：一是分布式的存储很难做到负载均衡；二是无法实现集中的高RAID级别保护，可用的存储空间相对减少；三是存储共享困难，要想使某一存储资源在网络中共享，必须为网络中所有的服务器配置此存储资源的挂载点；四是快照、备份、恢复、远程容灾等存储管理功能实现困难且成本较高。
3.2 采用集中式存储系统
目前，很多视频网站采用集中式的存储结构来存放所有媒体数据，一般为NAS架构，通常是一台大容量的文件服务器，而高端的NAS结构是由一个NAS头后面接SAS、SCSI或FC盘阵，还可以是以SAN架构方式连接的磁盘阵列，需要安装共享文件系统，进行块级的数据存储，存储效率更高。集中式存储架构的特点比较明显：一是集中存储使用统一的RAID级别保护、存储空间浪费少；二是便于实现服务的负载均衡，当某台Web服务器繁忙时其他服务器可以提供同一数据的共享访问；三是集中存储同时也是对视频内容的集中管理、减少视频内容的重复存储。
集中式的存储容易解决网络电视台视音频资料的共享难题，但同时也存在I/O瓶颈、容量扩展性差、性能不可扩展、专业高端NAS或SAN存储成本高昂、单点故障等关键问题。
4 网络电视台数据存储特点及构架对策
单纯的集中式存储或分布式存储并不适合网络电视台的存储架构，究其原因是对网络电视台不同应用数据存储的特点没有很好地进行区分。
网络电视台存储和处理的最主要的数据为视音频数据，从视音频数据的生产管理的流程可以将网络电视台的存储分为内容生产平台、内容发布平台、内容管理平台。由于三个平台间对于数据存储和共享性的要求不相同，对于存储设备的选择要求也不相同，应针对各个平台的特点，选择不同特性的存储设备。
4.1 内容生产平台特点与存储对策
内容生产平台主要完成视音频资料的采集、转码、编辑、合成等任务，其保存的数据主要为多种格式、多种高低码流的视音频原始素材。由于其在线制作的需求对存储设备的延时性要求较高，数据位于生产环节，不承担归档备份任务，对存储容量的实时增长要求相对较低。
内容生产平台由于素材格式要求高、高清制作等较高需求同时要求数据I/O精确到帧的高实时性，可以采用高性能的iSCSI或FC存储设备构成SAN结构。但此时需要有共享文件系统的客户端支持，增加了建设成本和存储设备升级维护工作的难度，由于不承担备份、归档等数据管理任务，存储容量增长的实时性不高，采取这种方式的存储设备的代价和维护管理复杂度在可控范围之内。
4.2 内容发布平台特点与存储对策
内容发布平台主要完成多通道的流媒体对外发布，主要由流媒体服务器、Web服务器等构成，存储的数据为多格式可变码流的成品节目，由于节目量和网络带宽迅速增长，对存储设备的带宽和容量宽展都提出了较高的要求。
内容发布平台由于节目量和用户点击量的爆炸性增长，最好采用容量和带宽可线陛增长的存储设备，当前比较流行的集群存储扩展容易、管理简单、共享方便，在扩展容量的同时可线性扩展带宽。但这种存储设备通常由TCP/IP支持，增加了I/O操作的延时性，不论是Web发布、IPTV还是手机电视一般都会采用缓冲的收看方式，对I/O操作的实时性没有太高的要求，可以采用集群存储作为内容发布平台的集中存储。
4.3 内容管理平台特点与存储对策
内容管理平台主要完成生产环节和发布环节的视音频数据的备份、归档以及回迁的服务，由数据备份服务器等构成，有海量的数据存储需求，要求存储设备具有高容量、低价格的特性。
内容管理平台由于承担备份、归档等业务，需要海量的存储设备且扩展方便，可以采用LTO数据流磁带作为存储介质，价格低、能耗小、容量大，虽然采用非线性的读取方式，I/O操作的延时很大，但可以满足备份、归档等业务的非实时性要求。如果网络电视台机房环境相对较差不利于磁带介质的保存，同时对视音频资料的回迁有较高的要求，还要有统计分析等决策支持功能，应当采用D2D的归档策略，使用高容量、低性能的SATA磁盘阵列做磁盘级的归档保存，但购置和运行成本相对于磁带较大。
5 结束语
网络电视台作为一个整体的应用平台，存储系统不应单纯地选择分布式存储架构或集中式存储架构，应根据各种应用数据存储的特点灵活地选择分布加集中的存储方式。DAS、NAS、SAN、集群存储等各种存储设备纷繁复杂，应该根据网络电视台各种应用的特点选择不同特色的存储架构和存储设备，才能做到有的放矢，才能使资源效益最大化。
参考文献
[1]贺松，陆安江，张正平，HE Song，LU An—jiang，ZHANGZheng—ping.农村信息化建设中IPTV系统存储技术研究与应用[J].贵州农业科学.2009，37（6）：239—241
[2]王炎.网络电视台存储系统架构浅析[J].现代电视技术.2010（7）：90-93
网络存储安全系统研究综述 篇4
网络存储系统采用高速网络连接存储设备建立数据中心,统一给用户提供集中、共享和海量的存储服务,它分离了计算资源和存储资源,存储资源逐渐成为应用的中心,人们对其安全性提出了更高的要求。
NAS和SAN是典型的网络存储系统,NAS由专用文件服务器对磁盘进行集中管理,并统一提供文件级的访问接口,一般通过增强文件服务器的安全性保证网络存储系统的安全。SAN取消了集中的文件服务器,提供块级的访问接口,客户端通过高速网络直接访问磁盘,一般是通过分区等措施来保证网络存储系统的安全性。近年来,网络存储系统正被越来越多地应用在有多层接口的复杂网络拓扑结构中,用户可以通过主机、交换机、LAN/WAN和VPN等设备访问网络存储系统,这些都给网络存储系统的安全带来了很大威胁,所以研究和实现海量存储网安全是目前大规模存储系统中急需解决的重要问题。
1 网络存储系统的安全特点
网络存储系统是存储技术和网络技术相结合的产物,处于整个用户信息系统的核心,因此它与网络安全领域所面临的安全问题有很大的区别。存储安全系统研究的目标是实现高效的网络存储安全系统,为用户应用提供安全的存储服务和实用的性能保证。安全的存储服务是指存储系统能够根据不同用户的级别为其提供相应级别的存储资源;实用的性能保证则要解决在网络存储系统加入了安全控制机制之后,能提供可以实用的系统性能。一个网络存储安全系统应该包括以下几个特性:
1) 数据保密性 保密性是指数据不能泄漏给非授权的用户,用户必须得到明确的授权,才能访问到数据。主要体现在对数加密来防止黑客攻击。
2) 数据完整性 完整性就是确保用户访问数据的过程中,保证所有数据的正确性。主要体现在用Hash函数对数据进行完整性检查。
3) 不可抵赖性 不可抵赖性体现在确保数据确实由某个存储设备发送并且无法否认,且接收到数据的用户一定是得到授权的用户。一般使用数字签名技术来实现。
4) 系统性能可用性 采用访问控制、数据加密保护等各种安全机制实现网络存储安全系统,无疑会增加存储系统的负载,不能因此而影响用户的正常使用。
2 网络存储安全的国内外研究现状
针对网络存储安全系统的研究现状,分别从文件系统安全性、智能存储设备安全性和安全体系结构的角度来介绍一些典型存储安全系统。
2.1 文件系统安全性
文件系统是实现网络存储系统必不可少的组件,位于网络存储系统的核心,研究在文件系统中实现存储安全是最简单直接的方法。
Blaze[1]于1993年提出了最早的加密文件系统CFS。它修改NFS的系统调用实现与文件服务器的认证,通过把加密的需求放到客户端的文件系统中,从而解决用户或系统级别加密的需求。CFS的优点在于实现比较简单,只是将加密服务置于文件系统层,相当于NFS的替换版本;CFS除了基于公共密钥加密功能外,还具有密钥管理、透明访问、性能优化、可扩展性和可移植性等多个特点。缺点在于CFS是被设计成本地安全系统,加密的密钥被存储在客户端,当需要共享时,必须将加密某个目录的密钥传送给共享用户;CFS对系统性能的影响大,对大文件的读写,性能比NFS降低4倍,对小文件的读写,性能降低2倍。
Howaro[2]于1988年提出第一个附加安全措施的分布式文件系统AFS,它引入Kerberos认证服务器实现认证;建立目录ACL实现授权算法,通过会话密钥来授权;只对RPC消息加密,对数据不加密。AFS的优点在于实现比较简单,安全控制策略比较灵活;但存在数据未加密,证书缓存易失密等缺点。
Kaashoek[3]于2000年提出了SFS-RO系统,SFS-RO大幅度提高了客户端访问网络存储系统上存储的只读数据的性能,同时采用适当的安全机制来保证只读数据的安全访问。SFS-RO是在SFS的基础上发展而来的,通过客户端和文件服务器端之间的认证协议来保证通信的可靠性,通过在多个存储服务节点上增加只读数据的副本提高了分布式环境下只读数据的可用性,客户端负责数据加密和密钥的管理,用公开密钥实现了主机和存储服务器的通信安全。SFS-RO的缺点是它只提高了网络存储中只读数据的读性能,而且多副本增加了系统的负载和数据安全的隐患;SFS-RO的程序运行在用户态,运行的延时比较大,无法很好地保证系统整体的安全性。
Wylie于2000年提出了PASIS[4]。该系统设计的目的是解决当存储服务器被攻破后,存储系统仍然能够对用户提供存储服务。PASIS采用阈值方案,将一个文件分成多个数据段,分别存储到各个存储服务节点上,当用户需要访问时,必须要访问部分存储服务器,当一个服务节点被攻破时,并不能泄漏任何完整的文件信息,从而保证了在存储服务器被攻破后,仍然能够保护数据的保密性。PASIS的优点是具有很强的抗攻击性,当有个别的服务节点被攻破,也不影响用户的正常使用,具有很高的安全性能。缺点是系统中有太多的消息通信,而且阈值的选择也比较困难,不同的阈值在系统性能和安全性上有很大的差别。此外,对小文件来说,性能下降得很快,对于大文件来说,性能影响相对较小。
Kubiatowicz于2000年提出的OceanStore是广域网环境中加密数据备份系统[5]。是一种共享型广域存储系统,它是基于对象的广域网络的存储系统,但OceanStore中的对象没有模式信息,只是带有标识的数据块,OceanStore实现用户接口的API,并且在此API基础上可以进一步开发文件系统、数据库等接口方式。它以较多的数据冗余换取系统的安全性,系统开销大,存储效率低。
Goh于2003年提出了可应用于网络存储系统中的中间件层安全系统SiRiUS[6],在客户端的文件系统层上增加了一个中间件,来截获和转换访问数据系统调用实现安全功能,使用多对不同权限者的公开密钥实现传输认证和授权。所有的文件在被存储到服务器之前就在客户端加密,服务器或者管理员都看不到数据的明文,且把负载较重的加解密运算放到负载相对较轻的客户端。该系统的优点在于它可以在不需要对原有的网络文件系统的文件协议和文件服务器进行任何修改,就能通过加入了访问控制、数据加密等安全控制的功能来加强现有网络存储系统的安全性。缺点在于加入了安全控制后,存储系统的性能比原有系统下降了很多,对于小文件的读写性能下降了20倍,对于1M多的文什读写性能下降了2至6倍。
2.2 智能存储设备安全性
磁盘设备是存储的主体,随着网络附属磁盘的出现,磁盘具有了一定的计算能力和存储管理能力,因此赋予网络磁盘一定的安全功能是实现存储安全的又一重要方面。
NASD是CMU的PDL实验室于1999年提出的新型磁盘结构,通过增加磁盘处理能力构成智能磁盘,使得磁盘能判别用户和加解密数据;主机和认证服务器通信获得权限密钥,再和存储服务器通信获得加密密钥,最后直接和磁盘通信;使用Hash和MAC混合加密算法减少加密对性能的影响[7]。NASD的主要优点体现在客户端直接通过网络访问磁盘,提高了扩展性。如果增加磁盘的数量,就能够线性地提高系统的吞吐量。缺点在于授权服务器和文件服务器易于受到攻击,一旦被攻破,则整个存储系统都要瘫痪,而且由于磁盘要加密解密,系统负载比较重,对存储系统的性能有较大的影响。
PDL于2002年提出了Self Securing Storage,以主动方式实现智能磁盘的安全[8]。任何访问请求都可能是非法访问,对存储系统来说,服务器随时都会被入侵,所以该系统将研究重点放在如何防止黑客入侵和损害,检测、诊断入侵者的破坏行为,并能够恢复被损坏的数据,从而保证存储数据的安全。系统结合审计建立多版本磁盘数据;不断监测访问记录,发现异常就进行回退操作,增加对应的安全防护策略,并向其它磁盘发出安全威胁警告。
Yingwu Zhu[9]于2003年提出的SNARE,利用磁盘的计算能力,验证用户访问请求的数字签名和访问权限对象的控制,数据对象在客户端加解密,磁盘上存储数据的密文,因此用很小的负载获得了很高的安全性能。
这类系统都需要使用智能磁盘,实现困难;而且安全措施只以磁盘为中心,不能保证整个存储系统的安全。
2.3 安全体系结构
采用非集中式系统安全与信任关系模型对于网络实体进行安全管理,从而实现网络实体之间的有效协同,共同完成相应的存储服务。
无论是加强文件系统的安全还是利用磁盘的计算能力来增强网络存储系统的安全性能,都涉及密钥管理策略的问题,用来在存储系统中保证存储安全的密钥存在着数量大、管理复杂、对系统性能影响大等特点,因此灵活高效的密钥管理策略是提高存储安全系统效率的重要因素。
Miller在2002年提出SNAD结构保证网络磁盘安全[10]。它是一个基于分布式文件的存储系统,以对象为单位管理和分配密钥,并给出了三种保证传输安全的算法。磁盘具有一定的计算能力,能够进行一些基本的存储管理和用户认证的功能。客户端对所有的数据用对称数据加密密钥进行加密解密,数据在传输过程中和存储在盘上的数据都是经加密的数据,可以做到端到端的加密。
PLUTUS和SNAD类似,提出了高效灵活性的密钥管理策略,以分布式的客户端密钥管理为基础,采用多层次的加密算法,以文件组为单位的密钥分配算法减少了密钥数量[11]。
层次复杂的体系结构是存储系统的显著特点,依据网络存储安全系统具体的安全要求研究分层的存储安全系统具有非常重要的意义。
Alain[12]于2003年提出了对象存储网中的两层安全结构,传输安全和授权分别在两个层次中实现,改变混杂多个密钥实现传输安全和授权的方法;给出了访问控制传输中的认证算法。
SAN系统中,使用分区的方法实现LUN的安全,有三个层次的实现方法:主机中的实现[13],基于交换机的实现[14]和存储控制器中的实现[15]。这种方法实现简单,但和硬件密切相关、专用性强,不能应用于虚拟化网络存储系统。
目前国内对网络存储安全系统的研究处于起步阶段,韩德志[16]于2004年提出了NAS中的安全模型,它的体系结构类似于SNAD项目中密钥管理的方法,依靠安全系统的数据结构来进行各类密钥的管理。
3 关键技术
网络存储安全系统向用户提供和本地存储设备相同的访问接口,却可以让用户访问存储在网络上的任何存储设备节点。网络存储系统中的用户来自不同的节点,它所管理的存储资源也可能分布在不同的存储节点上,而在同一个存储节点上同时给多个用户提供服务,复杂层次造成诸多的安全隐患。实现网络存储安全的关键技术如下:
3.1 访问控制
访问控制是进行安全防范和保护的核心策略,为有效控制用户访问网络存储系统,保证存储资源的安全,可授予每个存储用户不同的访问级别,并设置相应的策略保证合法用户获得资源的访问权。根据具体手段和目的的不同,访问控制策略可划分为以下四种:
(1) 登录访问控制 为网络访问提供了第一层访问控制。它控制哪些用户能够登录到网络存储系统并获取存储资源。有基于用户名和口令的用户的登录访问控制和采用基于数字证书的验证方式。如AFS、NASD系统就采用了第三方认证的认证服务器。
(2) 访问权限控制 是针对非法操作所提出的一种安全保护措施。将能够访问网络的合法用户被划分为不同的用户组,每个用户组被赋予一定的权限。访问控制机制明确了用户和用户组可以访问存储系统的哪些目录、子目录、文件和其他资源;以及指定用户对这些文件、目录、存储设备能够执行哪些操作。用户对存储资源的访问权限可以用访问控制表来描述。比如CFS系统就采用了用户分组的访问权限控制。
(3) 目录级安全控制 是针对用户设置的访问控制,控制用户对目录、文件、存储设备的访问。用户在目录一级指定的权限对所有文件和子目录有效,系统还可进一步指定对目录下的子目录和文件的权限。
(4) 属性安全控制 在权限安全控制的基础上提供更进一步的安全性。当用户访问文件、目录和网络设备时,系统管理员应该给出文件、目录的访问属性,网络存储系统上的资源都应预先标出安全属性,用户对存储资源的访问权限对应一张访问控制表,用以表明用户对网络存储资源的访问能力。如NASD系统就部分采用了这种安全控制机制。
3.2 反入侵
在任一种安全策略中,都需要对入侵者有所防范,制定相应的反入侵策略。反入侵策略的关键问题是保护数据不被窃取保证数据的机密性,并能够判断数据在传输过程中是否被篡改保证数据的完整性。
为防止入侵者获得数据保证数据的机密性,常采用数据加密技术。原始数据被加密后,如果没有密钥,则密文不可读,即使密文数据被窃,仍能保持原数据机密性。在加密技术中,最主要的关键技术就是密钥的管理方法,在上述各类存储安全系统中采用了各种方式来进行密钥的管理,有集中管理和分布式的密钥管理方式。如CFS、AFS、SFS-RO、SiRiUs、SNAD、PLUTUS系统都采用了加密的方法。
数据的完整性是指检验数据是否被篡改。一般采用MD5、SHA、HMAC等Hash数来验证数据的完整性,保证在传输过程中数据未被篡改。如NASD系统中使用了HMAC来实现数据的完整性检查。
在存储网络中,入侵者通过被攻破的存储服务器来窃取存储设备上的数据,对于这种安全威胁可采用主动防护措施和被动防护措施来保护存储服务器。目前比较常用的主动防护技术有各种防火墙技术和容错技术,比如PASIS系统采用了阈值方案的容错技术。被动的防御措施有入侵检测技术,如Self Securing Storage系统中就采用了入侵检测技术。
4 研究方向展望
网络存储系统是存储技术与高速网络技术的结合,其安全问题涵盖了网络安全和存储系统安全的各个方面,主要包括认证、授权、信息完整性保证和信息保密等;涉及了硬件层、传输层、用户识别层、用户管理层、数据管理层等多个层次,且各层次互相混杂、互为依赖、互相配合工作;同时网络存储系统中存在不安全的传输、假冒的合法用户、数据的非法泄露等安全问题,安全威胁种类多、层次复杂、防范困难等特性。目前国内外的网络存储安全系统的研究均是在某一特定条件下研究针对某一方面的安全问题,研究内容分散,相互的借鉴意思不大,无法构成整体有效的存储安全机制,存储系统只具有部分安全功能而无法保证存储系统整体的安全。整体安全模型的缺失是当前存储网安全研究中的重大缺陷。
针对目前网络存储安全系统中存在的问题,未来网络存储安全系统的研究有三个发展方向,即层次化、专用化和主动化。对网络存储系统结构分层,简化明确每层完成的安全功能,每个层次的安全功能互相协同成为整个网络存储系统全局的安全机制,改变以往各种安全技术和安全策略混杂冲突的情况,规范各类安全策略之间的协同机制,实现各层次之间的通用接口,方便各类安全策略的集成和实现;在层次化基础上,研究针对各层特点的专用安全策略,使其具有专用性强、效率高和可靠性高等特点;此外,随着处理器技术的飞速发展和价格的急速下降,通过增强磁盘的处理能力,在磁盘上设计实现各种高效的安全机制,实现磁盘数据安全保护的主动。
网络存储技术初探 篇5
IP存储涉及到了一系列的技术，它可以使块级存储的数据存基于IP的网路中传输，这里面有两个技术需要阐明：IP技术的利用和块级存储，网络中块级存储的数据传输不是新技术，今天的存储区域网络SAN即便采用是光纤通道FC技术业仍旧如此。然而，新的IP存储协议则可将多个SAN通过IP如以太网的结构建立起来，并且完全互联。通用互联网文件系统CIFS和网络文件系统NFS是将文件级的请求发送到拥有这些文件系统的服务器上，这些请求得到那些文件服务器或网络存储NAS设备的响应，并发送到网络上的主机。
2 IP存储适应不断增长的网络需求
今天，IP已经成为稳固的且重要的通用网络协议，lP存储自然成为最能适应日益增长的网络存储需求的技术。
2.1日益增长的网络存储
国际数据协会IDC预计在2008年以后，存储容量将每年增长85%，这一增长表明：重要数据在不断增长，而对存储资源的管理越来越难。因此，各个公司都在致力于开发基于SAN的网络存储系统，用于存储、访问、保护和管理关键业务的数据。实事上，IDC预测到2009年，全球92%的存储将实现网络 化。
2.2 IP是早已应用在网络的协议与其他网络协议相比，在全球范伟内关键业务应用中，IP得到了更为广泛的认可，在以太网环境中，lP技术也是较为经济实用的。得益于IP技术的广泛应用以及其低廉的价格，很多信息专家都致力于IP技术的应用，使得IP技术的开发拥有更广更扎实的基础。IP的 这种质量服务体系、链接优先技术和安全机制推动了其技术的快速发展和开发的不断扩大。
2.3 IP存储是IP技术的下一个阶段在早期的IP技术开发中，多是IP构架在所有事情上，像Ethernet、Token Ring、ATM等，而今天的视频、声音，以及块级存储技术则都是基于IP进行传输的，形成了一切构架在IP 上的态势。
3 IP存储的标准过程
目前IETF开发的三种IP存储压缩协议：iSCSl、基于 TCP/IP的光纤通道FCIP和互联网光纤通道协议iFCP。
3.1 iSCSI通过lP方式传输SCSI指令 将来 iSCSI可提供必要的映射，通过IP传输SCSI指令就像今天的光纤通道可以传输SCSI指令一样。iSCSI是为 主机到存储设备的端到端连接而设计的，类似于光纤通道的SAN构架，iSCSI技术包括可使主机到兼容的 存储设备之间通过IP交换机进行通讯，
而驱动器仍可以使用真正的SCSI驱动器，因为iSCSI并不等同于今天的硬盘连接技术。
3.2 FCIP光纤通道SAN环境的互联就像iSCSI协议将SCSI指令压缩为IP包一 样，FCIP协议将光纤通道指令压缩为IP包，FCIP协议允许独立的SAN环境通过IP网络互联在一起。每个 SAN采用标准FC寻址，在FCIP的端点之间建立IP隧道或网关，一旦隧道建立，扩展的FC设备将被视为标准 的FC设备，并予以FC寻址。典型的应用是在一个FCIP端点上连接两个或更多架构在标准IP网络之上的FC 交换机，通过内部交换链路与先前的SAN光纤环路相结合。
3.3 IFCP具有不同的寻址模式在最新 的IP存储协议中，iFCP介于前面介绍的两种协议之间，如同FCIP一样，iFCP将FC帧压缩，采用通用FC压 缩格式，通过IP架构进行传输，与前两种协议的主要区别在寻址模式。FCIP协议是在两个SAN之间通过以 太网建立点到点的隧道，构成一个统一的SAN环境。与之相对应的是iFCP在FC和IP之间建立网关到网关的 连接是FC帧可以路由到正确的目的地址。与FCIP协议寻址方式不同的是目前的iFCP寻址模式是它可以允 许每一个互联的SAN都拥有独立的命名空间。
4 IP存储的寻址
IP存储是一个新兴的技术， 尽管其标准早已建立且应用，但将其真正广泛应用到存储环境中还需要解决几个关键技术点。
4 .1 TCP负载空闲由于lP无法确保提交到对方，而将TCP作为底层传输的三种IP存储协议则需要再拥挤的、远距离的IP空间中确保传输的可靠性，由于IP包可以打乱次序传送，因此，TCP层需要重新修正次序，以提交到上一层的协议中，如SCSI。TCP完成这一任务的典型操作是使用重调顺序缓冲器，将数据包的顺序完全整理为正确方式，完成这一操作后，TCP层将数据发送到下一层。
4.2价格性能比尽管IP 技术很有可能得以应用，但如果对性能较为看重的话，不推荐使用标准的以太网卡。如前所述，TOE可以 减少服务器的处理负载，但由于TOE设备较新，其硬件成本及复杂程序都比标准网卡更高。其广泛应用可 能会由于价格性能比过高而受阻。像那些增强的iHBA都需要进一步改进，已达到FC技术的水平。
4.3安全性当存储设备通过IP架构进行远距离连接时，安全性变得愈加重要。生产厂家必须明确 产品的安全级别，并确保其安全性。在IP存储产品广泛应用之前，这一问题时IETF需要解决的。
4.4互联性基于IP的技术并没有被所有厂家共同使用，虽然这个协议的标准早已被公布，但并不 能保证厂家和厂家使用相同的协议或技术。为了保证这些产品能够互相配合得更好，必须保证厂家之间采用相同的协议，使各厂家产品具有良好的互联性。
网络存储系统 篇6
关键词 网络环境 海量存储系统 解决方案
中图分类号：TP333 文献标识码：A
网络环境中海量存储系统解决方案的探讨简言之就是探讨存储虚拟化的解决方案。在满足大容量存储需求的同时，需要解决许多技术上和设备上的难题。相应的设备厂商都在推行自己的存储虚拟化技术理念，但是业内仍未有最优的统一解决方案。网络环境中海量存储系统最优解决方案的统一标准仍然任重而道远。
1网络环境中海量存储系统面临的挑战
现如今，网络环境中海量存储系统的容量已经非常之大，达到了PB量的级别（1PB=103TB=106GB=109MB）。那么如此大规模的海量数据存储，对于对应承载的硬件系统要求也超出了传统的理念，于是传统的设备已经无法满足数据存储的需求。
如何能够解决这一问题，即网络上大规模的数据访问，存储，分配等问题，数据传输的带宽问题的解决是关键所在。
2网络环境中海量存储系统面临的机遇
现如今，网络信息技术的发展速度十分迅猛，对于IT行业来说，面临着许多的机遇。具体表现在以下方面：
2.1網络用户的增加
由于IPTV业务和手机移动业务的大幅度增加，相应的网络用户也有一定程度的激增。据相关咨询公司的报告显示，在未来十年，网络视频类业务市场将增长3倍以上，中国的宽带用户将会达到3亿左右，对应着IPTV用户数也会达到数千万之巨。由于视频业务有着数据量大，资源丰富的特点，因此需要配套的大规模网络存储系统。
2.2 3G移动通讯的流行
3G业务现在国内已经顺利得以运营，4G业务也逐步开始进行宣传推广，这将大大派生许多相应的多媒体网络的应用：视频通话，视频短信，对应的游戏和邮件应用。
这些业务的发展，需要相应的存储系统予以支持。如内容的下载与缓存。据相关机构的数据量的统计，平均每个3G及以上级别数据网络业务的用户需要至少1GB的储存空间，空间分配多用于视频点播业务，此项达到500MB以上，视频电话、视频短信需要缓存空间100MB，多媒体邮件服务需要300MB，省下的存储空间需要分配给其他娱乐服务。根据数以亿计的用户的需求，国内的存储容量空间需求将会非常庞大，甚至接近700PB。
2.3 石油勘探的需要
由于国内制造行业、重工业对于石油等能源产品的需求与日俱增。不仅依靠大量进口，同时我们也要自力更生勘探出国内大中型油田以供使用需求。就目前勘探手段而言，国内已经逐步采用数字化勘探方式。据有关数据显示，国内从2006-2010年五年间，每平方公里的勘探储存数据已经从几GB发展到了20G-500GB的规模，以此类推，仅仅1000平方公里的勘探数据也将达几十TB之多。
2.4 视频监控的发展
同样，由于交通需要，安全需要等考虑，视频监控的应用也越来越广泛。不管是公路、住宅、写字楼还是学生宿舍等都需要进行视频监控。同时，为了加强治安管理，不仅街道安装了摄像头而且公共交通工具，比如地铁、公交也安装了大量的摄像头。视频监控的发展已经涉及到衣食住行各个方面，因此，涉及到的领域和地方十分广泛，相应产生的数据量也十分庞大。
3解决大规模硬盘储存读取的方法
目前国内的存储设备生厂商对于如何解决大规模硬盘存储读取提出了多种方法，其中以下面三种解决方案最为常见：
3.1不断扩充存储控制器的处理能力
由于在控制器体积的局限条件之下，它的缓存容量通常为4G-8GB，包含的CPU大约为2～4颗。因此，当面临海量数据的存储压力时，最直观的解决办法就是增加缓存数量和CPU的数量。但是这一简单的解决方法由于只是等差增长，增长速度远远跟不上数据的增长速度，要达到PB级而言就会比较困难。
3.2设计专用存储阵列扩充设备连接多台存储阵列
在存储阵列与SAN 存储网络中间，可以提供专用的阵列处理单元，对SAN 存储网络而言，并不能够真正了解后台存储阵列的真实分布和分配情形，只能够看到阵列处理单元虚拟化的存储空间。比如，可以在运行后台安放数十台设备阵列，从而可以实现PB级的数据存储与读取，并且通过相应的处理单元能够给前端的上百台服务器提供同时访问的可能。
3.3智能存储网络交换架构
现如今，智能存储网络交换构架的变化，可以使得网络交换系统更加功能强大，使得便利性大大提升。而这种交换架构的变化是指，利用智能存储交换机或者路由器，从而将主机和交换组能够自我组成真实的数据传输网络，实现服务器主机顺畅地访问后端磁盘阵列。并且，这些虚拟化的设备，以及相应的配套访问路径，可以实现海量储存数据的实现。
并且这种只能存储网络交换系统可以通过不断增加阵列的空间结构从而增加实际存储数据量，通过增加路由器或者交换机等中介设备增加链路的交换能力，通过增加主机交换机来增加服务器访问读取能力。这个解决方案可以很好地处理好PB级海量数据的存储读取与服务器数据访问的问题，并且数据的吞吐量十分可观。
参考文献
[1] 武家麟.PB级海量存储系统解决方案[J].聚焦存储，2012（5）.
[2] 车建华.虚拟计算系统性能与可用性评测方法研究[D].浙江大学，2010.
网络存储系统 篇7
一网络存储系统概述
1. 发展过程
网络存储系统经过多年的实践, 其结构发展经历了几个阶段, 主要有DAS (直连式存储) 、SAN (存储区域网络) 、NAS (网络连接存储) 以及后来的融合了NAS与SAN技术特点的SAN+虚拟化存储的体系结构等。
SAN存储区域网采用FC光纤通道等连接设备将存储设备从服务器中独立出来, 并通过专用的光纤通道与服务器主机相连, 采用光纤协议访问存储数据, 以实现通过服务器主机对存储设备数据的共享。而NAS网络连接存储系统则是在SAN系统架构的基础上建立了文件级服务器系统, 为客户端提供网络文件共享服务。
SAN+虚拟化存储技术结构融合了NAS与SAN的共同特点, 并增强了NAS与SAN在网络存储方面的性能与功能。在传统的网络存储系统中, 客户都是需要通过应用服务器访问存储设备的数据, 由应用服务器负责数据的存取控制和安全等。这样, 应用服务器不仅承担相关文件系统的应用服务, 负责文件系统元数据管理, 还需要承担文件系统存储物理空间的管理, 容易成为系统存储数据I/O的瓶颈。
2. SAN+虚拟存储技术特点
SAN+虚拟存储技术是物理存储设备层到服务器层的一种抽象技术。其实质是在SAN网络存储中的服务器主机与存储设备之间引入了一个虚拟化智能存储管理层, 目的是为简化存储设备的配置和管理, 将存储设备空间的管理交给存储设备本身, 在存储设备上实现数据的存取控制 (如存储控制器) , 由存储设备本身采用系统RAID技术对存储盘阵的数据进行条带化管理。
实现SAN+虚拟存储技术结构, 概括讲主要分两个方面, 即带内和带外虚拟化存储。两者之间的差异体现在实现存储虚拟化SAN系统中, 在处理访问各种数据或文件、执行存储管理任务、维护配置虚拟磁盘和物理磁盘的映射信息等方式有所不同。如图1所示。
其中带内虚拟化存储在处理元数据、控制和数据通道信息时都是在一个单一存储设备中完成的, 也就是元数据管理和控制功能在共享存储数据通道。如在控制器中配置虚拟化智能, 由控制器实现对数据、控制和元数据这三个元素的处理。这种方式的好处是系统结构简单, 便于维护。但由于所有应用服务器主机都是通过单一存储控制设备访问盘阵的数据, 为此需要存储控制设备具有高级的运算性能和缓存容量。
对于带外虚拟化而言, 进行元数据管理和控制实施并不需要数据通道的参与, 而是在存储控制器之外。它专有负责元数据与控制数据的管理设备, 采用第三方软件实现虚拟化存储服务, 负责从数据流中收集元数据和控制需求, 并进行处理。
与带内虚拟化存储不同的是, 带外虚拟存储服务模块位于应用服务器主机和存储设备之间的数据通道之外, 通过其他网络连接方式与服务器主机系统通信 (如LAN千兆以太网) 。相比带内虚拟方式, 这种方式不会由于系统虚拟化存储服务模块与数据共享一个通道而形成系统单故障点。
但带外虚拟化需要额外的设备来管理, 增加了设备环节和系统的复杂度, 为产品的可靠性带来不利因素。
二虚拟存储技术
虚拟存储技术是一种智能、有效的存储数据管理方式。它是建立在虚拟RAID阵列技术的基础上, 把一个物理存储设备转变成完全不同的逻辑镜像, 并呈现给服务器主机, 为服务器主机系统建立一个统一的逻辑存储空间。
虚拟存储卷划分是将存储盘阵中的物理磁盘组成一组, 将每一块磁盘划分成大小相等的磁盘块 (几KB容量或更小) , 形成一个大的物理空间, 再由大小相等的磁盘块组成若干个逻辑卷或虚拟磁盘, 形成一个逻辑存储空间, 并采用磁盘块映射表方式实现逻辑存储空间到物理存储空间的映射。
这种由磁盘块组成的逻辑子集系统结构, 使得条带化数据及其校验信息可以均匀存储在每一个数据块中, 它的好处是服务器主机在访问存储数据时不会出现只集中在几块磁盘上, 而产生热点磁盘效应。同时, 也可以有效提高整个存储空间的利用率, 提高盘阵系统并发读/写性能。因此, 目前这种基于虚拟存储技术的SAN网络存储解决方案已经得到广泛应用。
三播出二级存储系统的实践
北京电视台新台播出网络系统, 按照全台制播网络一体化总体设计目标要求, 需要建设播出二级存储系统, 实现将媒资备播库传送到播出网络系统的节目素材存储在播出系统本地, 用于播出。在播出二级存储系统设计与实施中, 我们主要从以下几方面考虑。
1. 系统技术需求
为了缓解媒资系统播出库存储的压力, 我们在播出网络系统内建立了播出二级存储, 作为播出系统内部节目近线缓存库。
●需要保存12个标清频道、每频道15天的节目素材。
●系统要求对外传输端口具有很好的开放性, 支持采用网络文件传输协议的 (FTP) 方式将媒资备播库节目传送到播出二级存储本地, 再传到播出服务器系统用于播出。
●播出二级存储系统要求采用主/备冗余设计, 确保系统无单一崩溃点。
2. 播出二级存储系统设计
(1) 存储容量规划
播出二级存储要求可以保存12个标清频道、每频道15天的节目素材。按每频道平均每天节目首播时间为12个小时计算, 播出节目码流12Mbps计算。
每小时节目素材量:视频数据+音频数据约为6.4GB。每频道每天12小时的节目量:6.4GB×12小时=76.8GB。
12个频道, 15天节目素材总容量:76.8GB×12 (频道) ×15 (天) 约为:14TB。考虑到30%存储冗余, 理论上, 存储容量至少需要20TB。
(2) 二级存储系统带宽性能
二级存储系统带宽性能需要从以下两方面考虑:
a.播出节目从媒资备播库到播出二级存储的迁移
支持12套标清播出, 每小时节目素材量按6.4GB考虑, 则每天需要从媒资备播库迁移到播出二级存储的节目量为:6.4GB×12小时×12个频道=921GB。
若需满足每天3小时完成此链路素材文件迁移, 则带宽需要约170MB/s。其中考虑到了主/备EVA盘阵系统之间的节目素材镜像拷贝。
b.素材文件从播出二级存储到播出服务器系统的迁移
考虑到播出服务器系统采用主/备镜像结构, 素材文件迁移量可同样按两倍考虑。若3小时完成素材文件的迁移, 则带宽同样需要约170MB/s。
因此, 由以上得出:理论上播出二级存储系统总读/写混合带宽需满足350MB/s。
3. 播出二级存储系统解决方案
(1) 设备选型
播出二级存储系统采用惠普EVA8000存储设备, 每套EVA 8000配置了双控制器, 每一个控制器带有4个主机端口 (速率为2Gbps) 和4个设备端口 (速率为2Gbps) , 1台16口光纤交换机 (SAN交换机, 端口速率为2Gbps) , 4个带有FC端口的磁盘设备机箱, 共56块500GB FATA盘, 物理存储容量为28TB。
(2) SAN网络结构
播出二级存储系统采用两套EVA8000存储设备。如图2所示, 系统结构基于SAN+虚拟存储网络。
两套EVA8000盘阵的控制器通过2台SAN交换机与6台EFS服务器主机相连, 每一个控制器的4个主机端口分别连接到2台主/备SAN交换机FC端口上, 控制器与EFS主机连接采用光纤通道。
每套EVA8000的控制器分别通过设备端口与对应的盘阵机箱设备端口相连, 实现具有冗余和负载均衡特性的端口访问。
系统设计采用双光纤SAN交换机与EFS服务器主机连接, 双EVA存储设备与EVA8000控制器和磁盘机箱设备端口之间的双FC环路, 保障了存储系统的高可用性。
图2为播出二级存储主/备两套EVA8000系统和6台EFS, 通过双光纤SAN交换机进行连接的示意图。
图2 中, 6台EFS服务器主机组成一个集群, 采用HP集群文件系统管理软件, 实现EFS服务器主机之间文件系统管理的一致性和负载均衡。每一台EFS服务器主机配有Linux操作系统, 支持网络文件共享, 采用FTP文件访问服务实现与媒资备播存储服务器和播出服务器系统之间素材文件的迁移。
(3) 系统实施
EVA8000存储设备采用带内虚拟化存储技术, 它是在存储设备的控制器中装有虚拟阵列存储管理、控制软件, 与EFS服务器主机的卷存储管理、控制软件配合, 将经过虚拟RAID技术划分后的卷 (LUN) 系统以虚拟磁盘的形式映射给EFS主机, 实现EFS主机对存储盘阵虚拟磁盘 (Vdisk) 的访问。
系统中配有一台EVA管理服务器, 装有EVA管理软件 (Command View) , 以实现对EVA存储盘阵初始化及虚拟磁盘划分等功能。该服务器只负责EVA存储盘阵的初始化配置和性能监测, 在存储系统对外提供数据访问控制过程中不参与任何工作。
播出二级存储系统中, 主/备EVA盘阵之间素材文件的镜像拷贝是采用第三方厂家开发的应用软件完成的。每台EFS服务器主机分别在执行将外来数据写入主EVA盘阵系统的同时, 也向备EVA盘阵系统拷贝一份, 以保证存储数据的高可用性。
4. 播出二级存储系统实践总结
(1) 系统性能分析
在考虑二级存储系统性能时, 合理配置系统硬件非常重要。实际上, 二级存储系统性能应从以下三个方面考虑。
a.EVA盘阵性能
EVA盘阵配有56块磁盘, 为提高整体性能, 我们将56块磁盘组成一个磁盘组 (Disk Group) 。对于EVA8000设备, 一个磁盘组中, 磁盘数越多, 所创建的虚拟磁盘 (虚拟卷) 性能越好。因为, 在一定条件下, 盘阵系统性能与磁盘数量相关。
b.SAN存储网络
本系统中, 采用2Gbps SAN光纤交换机, 而且交换机与服务器主机和控制器的连接是采用多光纤通道链路结构, 实现端到端的2Gbps光纤通道解决方案。因此, 不会成为二级存储网络系统性能的瓶颈。
c.EFS服务器主机性能
在系统调试中, 我们对EFS服务器FTP文件读写性能进行了测试。如表1。测试结果说明, 每单台EFS服务器主机的FTP读/写性能平均为170MB/s。
从以上三点明显看到:播出二级存储系统整体性能主要取决于EVA盘阵所能提供的带宽性能。为了满足存储系统带宽需求, 对EVA盘阵系统须配置足够的磁盘数量。
(2) 在构建播出网络存储系统时需要重点考虑的问题
●采用开放的数据传输接口协议, 便于实现利用第三方数据传输预约机制、安全机制等提供可靠的数据传输服务。
●合理规划存储网络系统硬件配置, 在满足存储容量和系统性能的前提下, 要结构简单、易用和方便维护。
●存储数据的安全性。确保节目存储的安全可靠, 是我们建立播出二级存储的核心目的。因此, 应充分考虑系统的冗余备份。
●可扩展性能。要求不仅仅能够满足存储设备和容量的扩展, 重要的是在实现扩展的同时不能影响到上层应用系统对存储节目素材的访问业务。
四结束语
虚拟网络存储系统关键技术研究 篇8
1 虚拟网络存储系统概述
虚拟网络存储系统是一个广域的网络存储环境, 其中有多种不同的设备及服务器等, 其操作对象多种多样, 大致可以分为磁盘、文件、磁盘阵列或者LBA等, 虚拟时可以一对一、一对多或者多对一, 是一个在可控范围内将操作对象进行模拟转化的过程, 模拟抽象之后的设备应该更加便于用户理解与使用, 采用虚拟块或者逻辑块的地址。操作者在使用该系统时, 不需要知道被隐藏的信息, 而且也不能对隐藏的信息进行使用。虚拟网络存储系统能够对存储节点的不同资源进行有效的管理, 可实现设备共享以及数据共享。
2 虚拟网络存储的实现方法
2.1 对称虚拟
对称虚拟受到黑客攻击的可能性较小, 具有较高的安全性能, 如图1-1中所示意的为对称虚拟存储, 实现位置是数据通道内部以及应用服务器, 数据通道内有两种数据在传递, 分别是实际数据和控制数据, 数据传递都要经过存储服务器的允许。具体的实现过程是, 用户发出指令, 经过主机处理之后发送给存储服务器, 然后进行数据寻找, 相应的数据找到之后经由原来的路径发回给主机, 响应完毕。该种存储方法也称为带内存储, 管理方便集中, 协同能力较高, 然而性能上容易产生问题, 响应时间会有一定的拖延。
2.2 不对称虚拟
不对称虚拟存储安全性能稍差, 受到黑客攻击的可能性较大, 客户需要在主机端安装相应的适配卡或者软件对主机服务器进行驱动。如图2-2所示意的为不对称虚拟存储, 实现位置是存储服务器, 在数据传递时控制以及实际数据传输的通道是不相同的。该种存储方法又称为带外虚拟存储, 较难实施的虚拟化模块发生故障的几率较小, 具有较高的扩展性能。
3 虚拟网络存储的文件系统
虚拟网络存储的文件系统中主要包括三个具备多种功能的部分, 分别是虚拟存储节点 (一般有多个) 、虚拟存储服务器 (一般至少一个) 以及客户端 (可有多个) 。其运作过程如图3-1所示。不同用户的全局命名空间是一致的, 由虚拟存储服务器来负责, 目录结构是树状的, 能实现透明化存取。而对于不同的虚拟节点空间来说, 都是自行维护与管理的。虚拟存储服务器中存放着该系统的核心数据结构, 对存储资源、全局目录等视图进行维护。
虚拟网络存储文件系统的一个重要特点是数据共享, 如果数据的完整性、关联性或者一致性被破坏, 其他用户使用起来就会有诸多不便, 因此应该保证数据的完整性及其之间的关联性恒定。实现此种性能的二级锁机制技术, 即对系统原有的共享式持有锁以及独占式持有锁模式进行结合, 细分之后分为为上下两层, 分别为文件锁以及数据片锁, 能够对文件整体或者其中的任意内容进行锁定。
信息安全技术是一项非常重要的研究内容, 数据可能会在网络连接层或者网络存储设备层或者数据管理阶段出现安全问题, 发生丢生或者被人为的篡改。在虚拟网络存储系统中, 采用数据加密技术来应对此类问题, 实现位置是在公用程序接口的后台。
4 虚拟网络存储的数据分配及存取技术
在虚拟网络存储系统中的存储节点上, 分配不同的数据, 会引起I/O性能的变化, 因此针对不同的存储特征, 要让数据的分配与存储环境相适应, 才能保证系统性能的优良。数据的分配算法主要有轮转分条算法、linear算法、round-robin算法、自适应分条算法等, 其中最后一种算法是按照虚拟节点的性能高低进行分配, 能够与异构Vnode环境进行良好的融合。
虚拟网络存储系统复杂性较高, 对于元数据可集中进行管理。仅用FTP等单一协议是不能满足虚拟网络存储系统中的节点平衡、数据有效存储等要求的。采用将客户的请求与网络协议进行有效转换的技术, 让I/O虚拟化的代理模块与服务器VSFS-S模块协调合作, 从而实现数据的存入与获取。
5 虚拟网络存储系统的自适应性研究
动态分配以及静态分配是两种主要的数据分配方法, 采用的分配方法不同, 就会引起虚拟网络存储系统的自适应性的变化, 采用均分hash算法, 能够降低其空间的复杂程度, 在数据分配时能按照磁盘容量的大小来分配, 将其压缩在较小的区间中, 具有较高的可靠性。
6 结语
虚拟网络存储系统能对大量的数据进行良好的智能化及自动化存储及管理, 采用该技术, 能满足企业、个人等需求的不断提升, 促进存储网络的不断发展。
参考文献
[1]李昕.Internet信息处理系统中虚拟存储子系统的设计与实现[D].西安电子科技大学, 2010.
[2]伟兵, 赵跃龙, 王文丰, 陈超.基于EVMS的带外虚拟存储系统结构[J].计算机工程, 2010, 14:56-58.
基于NAS的机房网络存储系统分析 篇9
关键词：机房网络,存储系统,NAS
1 NAS 存储架构分析
网络存储技术按照存储结构的不同可以分为直接附加存储 (DAS) 、网络附加存储 (NAS) 和存储区域网络 (SAN) 三种。 这三种技术都在一定程度上解决了传统存储技术中所存在的“信息孤岛”问题以及管理和扩展方面的缺陷。 由于选择不当的网络技术, 往往会使得投资成本增加, 并且影响网络的整体性能和企业的信息化发展。 因此, 如何选择和使用适当的专业存储方式显得尤为重要。 本文重点对 NAS 网络存储技术进行了研究。NAS (Nerwork Attached Storage) 是由 Randy H. Katz 在1992 年所提出的一 种将存储设备与应用服务器封开的网络存储技术。 NAS 的结构是以网络为中心, 它能够直接利用网络向客户端提供文件级的存储服务, 而不必经过应用服务器的统一调配, 也有效解决了 DAS 技术中所存在的应用服务器瓶颈问题, 具体的结构如图 1 所示。
相对于 DAS 技术, NAS 具有几个方面优势。
(1) NAS 设备采用专有管理软件 , 它能够利用通用于服务器原有的大部分计算功能, 使服务器分出大部分性能用于数据的存储服务, 使得整个网路存储系统的性能大幅度提升。
(2) 客户端通过网络对 NAS 进 行直接访问 , 这个过程中, 不需要经过服务器, 这就使得即使有服务器出现故障, NAS 设备仍然可以通过其它服务器对所管理的数据进行存取操作, 使得数据的可靠性大大提高。
(3) NAS 设备可以通过集线器或者交换机与用户网络进行即插即用的连接, 操作过程非常简单。 系统管理员可以将 NAS 存储设备集中布置在同一个机房中, 使得网络存储方案更加易于管理和维护, 也提高了网络存储系统的可靠性和扩展性。
(4) 当 NAS 需要在应用服 务器中扩充存储空间时 , 可以极为方便的进行在线扩充, 不会对服务器的正常运行产生任何影响。
2 基于 NAS 网络存储系统设计
2.1 系统体系结构说明
对于多个服务器或者多台计算机的环境, 使用 DAS方式设备的初始建设费用可能相对较低, 但是在这种连接方式下, 每天计算机或者服务器需要采用单独的磁盘进行数据存储, 容量的再分配十分困难, 同时, 随着网络规模的不断扩大, DAS 也很难满足大型网络系统对数据的吞吐率以及可靠性等方面的需求, 于是 NAS 模式应运而生, 网络存储开始向直接与网络连接、单一功能服务器的方向发展。 本文研究的机房网络存储系统是基于NAS 文件存储系统进行开发的。网络文件存储系统对安全性要求较高, 因此, 在本系统体系模型中包含客户端、密钥服务器、 证书机构以及 NAS 文件存储系统四个部分, 四个部分之间的关系如图 2 所示, 四个部分中, 不考虑证书机构的可信性, 客户端和 NAS 文件存储系统均不可信任, 而密钥服务器则是唯一可以信任的部分, 而通过单一密钥服务器来保证系统安全则更加容易。
2.2 系统功能模块总体设计
基于 NAS 的机房网络存储系统采用模块化的设计思想, 将各个功能利用单独的模块进行对应。 在系统设计的过程中, 根据系统体系结构四个部分的具体功能, 将系统划分为多个模块, 主要包括客户端、密钥服务器及证书机构三个模块, 在完成三个模块的划分之后, 在对每个进行进一步的设计。
机房网络存储系统主要用于保存用户数据, 并保证这些数据的安全。 普通用户在进入系统之后, 只能实现文件的上传、下载及删除三种操作, 而管理员在进入系统之后则能够对用户进行管理操作。 普通文件在上传文件时, 系统会先对被上传的文件进行加密操作, 然后将加密文件及密钥分别上传到 NAS 网络存储系统和密钥服务器中;用户在访问文件时, 系统首先会对用户身份进行验证, 在验证通过之后, 调用密钥解锁文件, 然后用户可以对私人文件进行操作。 在系统中, 管理员不能对用户的文件进行操作。
通过利用 NAS 技术建立机房网络存储系统, 相对于传统的存储系统, 系统架构更加简单、经济, 系统运行效率更高, 数据的安全性也更高。
3 结束语
基于 NAS 网络存储系统具有多平台文件共享的功能, 同时数据备份方便、系统扩展性强, 且整体建设成本较低, 适合在企业网络机房中采用。 从当前 NAS 网络存储系统的应用情况来看, 取得了较好的成果, 实现了高效、安全、稳定的数据存储功能。
参考文献
[1]姜宁康, 时成阁.网络存储导论[M].北京:清华大学出版社, 2007.
[2]曹玉平.基于SAN与NAS的数字图书馆网络存储系统研究[J].现代情报, 2007 (09) :91-94.
网络存储系统 篇10
目前, 电视台的节目制作都采用了网络化模式, 网络化的制作模式带来的是一场变革, 它彻底颠覆了电视台以往的制作模式和管理理念。然而这些新建的模式、理念和流程是要建立在非线性网络必须足够的健壮和安全这一前提之上的, 其中存储系统作为网络后台的核心设备, 所有的工作站都对其进行读写访问, 存储系统的稳定性是整个网络系统高可用性的关键节点, 一旦发生故障就意味着媒体数据的丢失以及整个网络系统的瘫痪。
1 非线性网络面临的存储安全问题
1. 硬盘故障
硬盘故障大致可分为硬故障和软故障两大类。硬故障通常是由于硬盘自身固有的特性而引的机械零件或电子元器件起的损坏、老化等, 剧烈的震动、频繁开关机、电路短路、供电电压不稳定、灰尘、静电、温湿度以及机房环境变化等等都可能引发硬盘物理性故障;软故障即硬盘系统软件和应用软件由于某种原因, 如病毒或软件设置造成的硬盘数据结构混乱甚至不可被识别而形成的故障。
相对来说, 软件引起的硬件故障比较复杂, 因为硬盘牵涉到存储系统的硬盘出现硬故障, 存储系统会报警, 故障硬盘的指示灯由绿色变为黄色。由于目前的存储行业都已采用了热插拔技术, 并且有较前瞻的故障处理设计, 通过RAID技术, 可直接更换新硬盘或通过预置的备份硬盘, 存储系统就会自动重建数据, 不会造成数据丢失, 但是通常整个数据恢复过程耗较长, 期间整个系统的存储性能下降十分厉害、极不稳定, 对节目制作产生较大影响。但是更换硬盘只是针对单一硬盘出现硬故障时有效, 如果多块硬盘同时出现硬故障, 数据恢复就极为困难, 造成的后果可想而知了。
硬盘软故障在非线性网络中出现比较频繁, 一般表现为存储管理服务器提示某个硬盘卷集数据写入错误。通常的做法是采用CHKDSK命令来检查磁盘状态并显示状态报告, 通常重启存储管理服务器就可修正磁盘错误、消除故障, 但是网络中服务器的重启是有一定的操作规程的, 需要断开所有编辑站点与存储系统的连接, 这会造成整个非编网络的短时中断, 若发生在应用的高峰时期或影响到关键节目的制播时其被动局面是可想而知的。
2.存储系统故障
存储系统是一种将多个磁盘驱动器组织在一起, 以提供较高的数据读写、传输性能和存储安全特性的计算机设备, 是典型的嵌入式系统, 其控制器是所有功能的实现者。图1是采用双段PCI-X总线的光纤通道磁盘阵列控制器的组成图。
从图1可以看出存储系统的控制器是一个安全隐患, 它也有出现故障的可能性, 一旦控制器出现故障, 虽然不会造成数据的丢失, 但是存储管理服务器就无法正常的写入与读取数据。
3.存储系统读写带宽不能满足节目制作的要求
在非线性制作网络中, 所有工作站共享式地访问核心存储系统。常见的非线性编辑网络工作站数量约为40台左右, 每台工作站最大实时视频层数为4层。节目素材采用高低质量双码率编辑方式。节目制作过程中, 节目不可能从头到尾都是由4层视频组成, 工作站也不可能在同一时刻都在进行4层编辑, 因此网络总带宽按50%工作站进行2层编辑, 25%工作站进行3层编辑, 25%工作站进行4层编辑来计算。在如上分析的情况下, 在一般的非线性编辑制作网络中, 核心存储体的总带宽一般都会在大于688MB/s, 核心存储体具有足够的带宽才能满足系统正常工作的需要。
设计网络存储系统时如果不充分考虑存储系统的带宽, 在节目制作过程中, 就会出现画面停顿、视音频不同步、系统反应迟钝等现象, 这些现象对于编辑节目影响不是很大, 但是却不能满足直播或节目下载的要求。
2 传统高可用存储解决方案的缺陷
以上分析了非线性编辑的存储系统面临的一些安全问题, 为了让非线网更好的发挥作用, 在存储技术发展的过程中, 也出现了很多存储高可用性的解决方案, 比如双通道、双控制器、RAID等。如果这些措施运行良好, 对系统运行的稳定性能起到一定的效果, 但缺陷还是明显存在的, 主要表现在以下几个方面:
1. 传统存储备份:
备份存储是以冷备的方式工作, 比如通过手动的方式对数据进行备份, 或者通过第三方软件对数据定期进行差值备份。主存储体故障, 更换备存储体时, 非编等应用层业务需要中断, 在数据同步时会占用大量的网络带宽, 同时最新的数据无法得到恢复。
2.RAID技术应对硬盘损坏:
这种技术发展到今天已经是相当成熟了, 尤其是RAID0+1、RAID3、RAID5被广泛使用。在对故障硬盘进行替换过程中, 磁盘阵列需要很长的时间进行重建操作, 并且在两个或两个以上磁盘同时损坏时数据就无法恢复。
3.存储体配置双控制器、多通道接口:
这种解决方案在非线性网络系统中被广泛的采用, 存储体的内部结构如图2所示。这种存储解决方案的可用性是很高的, 控制器有备份, 多路通道接口, 其中一个出现故障不会使存储系统发生崩溃。但在实际工作中, 磁盘阵列内部的逻辑卷需要分配到指定的控制器上才能由外部主机访问, 而同一时间外部主机只能通过磁盘阵列的一台控制器来访问一个逻辑卷, 同时所有主机通道接口还都是固化在一台存储体上, 在可用性上做不到1+1>2的效果。
3 双存储架构的概念及功能
为了解决存储系统的高可用性问题, 目前一种新的存储解决方案在非线性网络中得到应用和推广, 那就是双存储架构。在视频网络的范畴内, 所谓双存储就是指用两个独立的存储体对同一文件进行实时存储, 达到数据高可用性的目的。
双存储架构解决方案系统如图3所示。从图3可以看出, A、B两个存储体互为备份。
双存储架构解决方案能够实现以下几种主要的功能:
1. 实现主备两个存储体实时备份:
在数据写入时, 生成两个相同的文件, 分别写入到A、B两个存储体中。在实际应用中, 文件在写入备存储体时, 与写入主存储体相比有些延迟, 不过基本上可以认为是同步写入。
2. 读写带宽合理分流:
根据工作站存储策略的设定, 可以把工作站分成两组, 每组工作站把数据分别写入到A、B两个存储体中, 而在读取数据时根据设定从相应的A或B存储体中读取, 这样减轻了每个存储体的压力, 使读写带宽合理分流。
3. 存储故障自动切换:
数据写入或更改时, 同时在两个存储体上执行相同的操作;在写入过程中, 如果一个存储体出现故障, 系统会继续向另外一个存储体执行写入操作, 保证这一路文件的正常写入。数据读出时, 根据策略从A或B存储体读取。对于有主备文件的资源, 系统在读取时同时打开两个文件, 但是只从其中一个文件读取数据, 只有在第一个文件读取失败或超时的情况下才会切到第二路文件读取数据。文件切换可以保证在播放过程中的流畅性, 实现零秒切换。
4. 存储故障恢复后的数据同步:
根据策略对A、B存储上的文件进行同步和恢复。对于网络延迟、磁盘故障导致素材写入失败的情况, 系统会自动用正确的文件替换损坏的文件;当A、B存储体不一致时, 系统还会根据策略执行通过过程, 保持需要主备同步的资源在两个存储体上都存在。
4 双存储架构的实现方式
双存储架构一般有应用层实现、系统层实现和物理层实现这几种方式:
1.应用层实现:
所谓应用层实现, 是指非线编软件在保存、修改、删除文件时, 记录一个日志。由一个后台的应用程序来对日志进行分析处理, 将发生在主存储体上的文件操作事件同样在备存储体上执行一遍。对操作界面来说, 只需要指定出栏目或帐号写入或读取文件的路径, 策略中的每一个路径包含主路径和备用路径。
2.系统层实现:
所谓系统层实现, 就是用厂家自己的文件读写操作替换Windows操作系统自带的文件读写操作。使得任何向指定磁盘写入的动作, 都同时镜像到另外一块磁盘上。读取时, 首先从主存储体上读取, 如果读取失败则从备存储体上读取。
3.物理层实现:
所谓物理层实现是指在交换机和存储体之间插入一个一分二设备。该设备保证接收到的任何数据都同时写到与之连接的两个磁盘上, 在读取时同时从两个存储体上读取, 选择一份数据送给访问该文件的系统。实际上, 应用层备份和系统层备份之间的界限并不是泾渭分明, 而是可以相互渗透、相互结合的。因为纯粹系统层和物理层的备份, 是对所有的文件都进行备份, 无法根据业务的重要性实现按策略备份。
图4显示的是WINDOWS文件系统原理图。
5 双存储架构的几种典型应用方式
双存储架构根据存储体设定的不同有多种应用方式, 用户可以考虑到实际情况进行选择。其主要有以下几种典型的应用:
1.一份数据实时备份到多个独立的网络存储体中
如图5所示, 这种应用是指网络中至少有两个独立的存储体可供使用, 一份数据可实时备份到每个独立的存储体中。以往我们使用一个存储体, 无论安全措施做的多好, 都不能保证存储永远不会有故障。但是, 多个存储体同时发生故障的概率就会非常低。任意一个存储发生故障, 都能够实时切换到正常的存储体上来, 对业务系统的数据提供最可靠的安全保障。
存储体的数量可根据实际需要选择两个还是多个。综合性价比考虑, 非线性编辑网络一般采用主备两个存储体。这是所有实时备份方式中安全性最高的备份方式, 其缺点也很明显, 就是存储成本成倍增加, 降低了存储空间的利用率。
2.多个网络存储体中的数据备份到一个网络存储体
如图6所示, 这种应用是指将多个网络存储上的数据备份到一个网络存储体上。各个业务系统可以在配置独立的存储体的同时, 各个存储体上的数据还能够实时备份到独立与任何网络之外的一个存储体上。
这种应用主要是针对电视台有多个业务子系统, 每个子系统配置一个备份存储体会大大增加成本, 而把每个子系统的数据备份到一个专门的存储体上, 这样既保证了数据的安全, 又提高了性价比, 其缺点是配置复杂。
3.本地磁盘作为网络存储体的备份
如图7所示, 这种应用是指利用客户端本地硬盘的大容量存储空间做数据备份的方式。该模式可充分利用本地硬盘的存储空间, 兼具网络工作和本地工作的双重优点。网络正常时, 可读写查找网络存储上的数据, 网络发生故障时, 可利用本地的数据备份继续工作。故障排除后, 将本地工作修改同步更新到网络存储中, 其缺点是增加了客户端机器的负担, 容易造成死机或运行速度慢的状况。
6 双存储架构的缺点
虽然双存储架构具有很高的可用性, 但其缺点也很明显:
1.高成本的投入:
根据以往搭建非线性网络系统的经验, 存储子系统的费用占去整个网络总费用的1/4, 实现双存储架构, 需要两个存储体, 增加主备存储管理服务器、同步服务器等服务器设备, 同时还有购买双存储驱动软件的费用。
2.管理复杂:
在管理上, 需要对整个网络的工作站进行合理的分组, 还要对每组工作站配置数据读写策略, 还要对每个栏目进行不同的配置。
3.增加网络传输压力及工作站的压力:
双存储结构无论在哪个层面上实现, 都会不可避免的增加数据量, 占用大量的网络带宽资源。另一方面, 在工作站上安装插件或执行特定的服务, 都会占用工作站的系统资源。
7 结束语
综上所述, 与传统的主备存储方式相比, 双存储架构最大的特点是“实时的数据同步”, “零切换时间”, “带宽合理分流”。但在实际的项目建设中, 是否采用双存储架构要根据具体的情况来对待。如果是一个功能单一的非线性制作网, 选用一个性能可靠的存储体就足够了。如果是网络中有一些很重要的数据要应用到多种电视台业务场景中, 如:重要节目的收录安全、待播节目的实时备份、关键业务数据的实时备份等, 双存储解决方案则是一个不错的选择。
总之, 双存储架构的应用给非线性编辑网络带来了更好的安全保证, 极大提高了存储系统的可用性, 我们在建设新的网络时多了一种选择。
摘要：媒体数据是电视台生存的依赖, 存储系统的高可用性对整个非线性网络系统来说是关键指标。本文分析了非线性网络存储系统面临的安全问题, 主要有硬盘故障、存储系统故障、系统带宽不能满足节目制作的需求等, 指出几种常见的存储高可用性技术的缺陷, 重点分析了双存储架构在应用层、系统层及物理层实现的方式及特点以及双存储架构的几种典型应用, 最后分析了双存储架构的缺陷及建设问题。
关键词：非线性网络,存储系统,双存储架构,高可用性
参考文献