存储技术基础:存储虚拟化详解(精选8篇)
篇1:存储技术基础:存储虚拟化详解
简单的讲,虚拟存储(Storage Virtualization),就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池中得到统一管理,这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。
存储虚拟化的基本概念是将实际的物理存储实体与存储的逻辑表示分离开来,应用服务器只与分配给它们的逻辑卷(或称虚卷)打交道,而不用关心其数据是在哪个物理存储实体上。
逻辑卷与物理实体之间的映射关系,是由安装在应用服务器上的卷管理软件(称为主机级的虚拟化),或存储子系统的控制器(称为存储子系统级的虚拟化),或加入存储网络SAN的专用装置(称为网络级的虚拟化)来照管的。
主机级和存储子系统级的虚拟化都是早期的、比较低级的虚拟化,因为它们不能将多个,甚至是异构的存储子系统整合成一个或多个存储池,并在其上建立逻辑虚卷,以达到充分利用存储容量、集中管理存储、降低存储成本的目的。
只有网络级的虚拟化,才是真正意义上的存储虚拟化。它能将存储网络上的各种品牌的存储子系统整合成一个或多个可以集中管理的存储池(存储池可跨多个存储子系统),并在存储池中按需要建立一个或多个不同大小的虚卷,并将这些虚卷按一定的读写授权分配给存储网络上的各种应用服务器。这样就达到了充分利用存储容量、集中管理存储、降低存储成本的目的。
目前存储虚拟化的发展尚无统一标准,从存储虚拟化的拓扑结构来讲主要有两种方式:即对称式与非对称式。
对称式存储虚拟技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式存储虚拟技术是指虚拟存储控制设备独立于数据传输路径之外。
存储虚拟化有如下特点:
1、存储虚拟化是一个SAN里面的存储中央管理、集中管理,这是虚拟化的一个特点,一个突出的地方。可以得到很大的收益,降低成本。
2、存储虚拟化打破了存储供应商之间的界线,就是你用了EMC的东西,以后必须买EMC的,因为他不可能EMC的东西和IBM或者HDS的什么替换做存储的管理,
有了存储虚拟化,这种壁垒将被打破。
3、就是用不同的,可以应用于不同品牌的高中低档的存储设备。
存储虚拟化依然脱离不了软件和硬件两大类。这种划分也体现在存储硬件厂商和软件厂商的区分上,存储厂商一般根据各自所掌握的核心技术来提供自己的虚拟存储产品。
惠普在基于主机的虚拟化、基于存储的虚拟化,以及基于网络层的虚拟化方面都有相应的产品。其中,基于存储系统的虚拟化产品----HP StorageWorks企业虚拟阵列EVA是用户最熟悉的。目前,EVA系列有EVA 3000和EVA 5000可供选择。
HP EVA系列最突出的优势是可以提高性能。虚拟化可以使数据分布在多个磁盘上,磁盘无需再按照磁盘容量大小和RAID保护类型布置在传统RAID组中。HP EVA采用了VRAID(虚拟RAID)技术,可支持一个存储池中的各种容量和RAID类型的多个虚拟磁盘。
HDS公司推出的第五代存储系统----TagmaStore通用存储平台在提升存储容量的同时,还注重改进性能和高速缓存管理,在一个既有高度整合又有合理分区的环境中确保服务质量。TagmaStore是基于存储设备的虚拟化产品。
HDS TagmaStore通用存储平台采用了虚拟化技术,通过内置的虚拟层,可以管理高达32PB的内部与外部存储容量,并支持在内部与外部存储中的逻辑分区,以及复杂的任意存储地点间的远程复制功能。
IBM推出的基于网络的存储虚拟化产品主要包括SAN Volume Controller(SVC)和SAN File System。SVC是整个SAN(存储区域网)网络的控制器,可以将SAN中的各种存储设备整合成一个存储池,并按需分配存储空间、性能和功能。SVC对服务器和存储设备都是透明的。SVC为各种不同的存储设备提供了一个统一的数据复制平台。SVC是一个软硬件集成的产品。SVC刚推出时,可实现存储虚拟化的软件运行在一个类似服务器的硬件设备上。如今,此软件也可以安装在SAN中的交换机上,如思科的MDS网络交换机。SVC是为一个完全开放的存储环境设计的,可以兼容各种不同的存储设备。
篇2:存储技术基础:存储虚拟化详解
存储区域网络(SAN)是一种高速网络或子网络,提供在计算机与存储系统之间的数据传输,存储设备是指一张或多张用以存储计算机数据的磁盘设备。一个 SAN 网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成,从而保证数据传输的安全性和力度。
典型的 SAN 是一个企业整个计算机网络资源的一部分,
通常 SAN 与其它计算资源紧密集群来实现远程备份和档案存储过程。SAN 支持磁盘镜像技术(disk mirroring)、备份与恢复(backup and restore)、档案数据的存档和检索、存储设备间的数据迁移以及网络中不同服务器间的数据共享等功能。此外 SAN 还可以用于合并子网和网络附接存储(NAS:network-attached storage)系统。
当前常见的可使用 SAN 技术,诸如 IBM 的光纤 SCON,它是 FICON 的增强结构,或者说是一种更新的光纤信道技术。另外存储区域网络中也运用到高速以太网协议。SCSI 和 iSCSI 是目前使用较为广泛的两种存储区域网络协议。
篇3:存储技术基础:存储虚拟化详解
1 数据中心的存储管理困境
在大多数企业的数据中心里,SAN存储都是主要的生产存储,随着核心应用的不断升级、应用数量的不断增加,应用层对于存储层的要求也水涨船高,主要表现在对空间、性能和功能需求的持续增长。在典型的SAN环境中,众多主机通过光纤交换机与存储设备相连,如图1-1所示:
在这个SAN环境中,光纤交换机维护着上层的主机和下层的存储之间的分区(ZONE)关系,在一定程度上提高了存储管理的灵活性和方便性。但是存储的管理不仅仅限于维护分区,当主机和存储数量比较多的时候,管理员需要花费大量的时间和精力根据应用的需求针对每一台存储设备中的磁盘组、卷、卷映射与空间分配等任务进行精细化管理。在那些采购了大量来自不同厂商的各种档次存储设备的数据中心里,这一现象尤为突出,管理员还需要付出成倍的学习成本才能完成好数据中心的存储管理任务。
传统SAN环境中存在的另一个问题是空间资源分配僵化。在复杂多变的应用环境中,空间资源使用效率难以得到保证。传统的存储设备由于技术的老化,无法实现空间资源的高效利用与灵活调整,在典型的应用环境中,考虑到未来3-5年的数据增长,一般都会超额申请存储空间,应用系统在运行期间实际占用的空间往往只达到申请空间的30%-50%,但是由于存储设备在分配卷时已经将所有空间完全映射给主机,此时如果新的空间需求超出了存储尚未分配的空间大小,就必须对存储进行扩容,这就导致存储层只能提供30%-50%的空间利用率,造成严重的资源浪费。
传统SAN环境在目前复杂的IT基础架构中也显露出一些其他的不足,比如功能单一,性能受限、数据保护成本高而且能力弱等。这些都造成数据中心存储管理的高复杂性、高成本和高风险。当持续运行的应用对存储的要求出现激增,超出原有的申请空间时,存储管理员最先想到的解决办法有两个,最简单的是在存储上对卷进行扩展,然后在主机中利用操作系统内置的卷管理软件在线扩展文件系统。目前主流的操作系统都支持文件系统的在线扩展,但是传统的存储设备并不支持此功能。第二种办法是采购新型大容量存储,将原先保存在老存储中的卷迁移到新存储中并进行扩展,然后重新映射给主机使用。这种方法看似可行,但是卷的迁移会占用大量的时间,按照传输带宽80MB计算,一个1TB的卷迁移所需的时间约为3.6小时。加上前期的停机、光纤交换机ZONE的划分、以及后期的系统恢复等工作,每迁移一个这样的卷会需要至少6个小时的停机时间。按10TB的迁移量计算则需要36小时停机,这在很多数据中心是不可接受的。
鉴于传统SAN环境在复杂的IT基础架构中存在的上述明显的缺陷,数据中心需要采用合理的方法将其进行整合,以满足不断变化的应用和管理要求。
2 存储虚拟化整合的方法
存储整合的方法有两种,一个是基于交换机的整合,一个是基于存储网关的整合。基于交换机的整合方式是在SAN交换机中增加存储管理功能,用户通过SAN整合交换机对下层存储进行统一管理,包括划分卷,配置映射等,上层主机看到的是来自SAN整合交换机的卷,而非来自存储设备,SAN整合交换机则通过IO重定向功能对主机的IO访问进行智能分配。这种方法由于灵活性较低,SAN整合交换机的实现技术过于复杂,用户并不能从整合中获得更多更灵活的功能,而且附带了整合功能的SAN交换机性能受到很大的影响等原因而未得到用户和存储厂商的广泛认同,从而逐渐淡出了存储市场。相比基于交换机的整合而言,基于存储网关的整合技术则由于圆满解决了各项限制而受到用户和厂商的普遍接受。图2-1是基于存储网关的存储整合的示意图:
从图中可见,对于主机来说,只有存储网关一个访问点,所有的卷都是由存储网关映射给主机;对于底层的存储设备来说,存储网关就是它们唯一的主机,所有的卷都分配并映射给存储网关;存储网关将底层存储设备映射的卷根据性能或其他要求统一划分为存储池,从存储池中为上层的主机分配空间。
相比基于交换机的存储整合而言,存储网关采用下面的方法提高灵活性和性能:
▪不需要交换机提供更多的功能,从而可以最大限度地利用交换机的IO性能;
▪存储网关采用工业标准的硬件,能够通过纳入最新的硬件技术提升性能,比如固态盘;
▪存储网关采用数据块级虚拟化技术,将底层存储分配的卷重整为存储支援吃,能够轻松实现空间分配的精简配置,提高存储空间的利用率;
▪能够实现逻辑卷的在线扩展,为主机的空间需求提供更加灵活的处理机制;
▪存储网关通过数据块级虚拟化,能够提供低成本、大数量和高密度的数据保护点,有效解决传统存储无法解决的逻辑故障恢复问题;
▪存储网关内置透明卷、卷镜像、卷复制等功能,能够在线实现卷的跨盘阵迁移;
▪存储网关支持各种存储网络协议,能够通过一套系统满足各类主机的存储需求;
▪存储网关往往内置高效率的远程复制功能,可以支持非对称的异地容灾;
▪兼容所有通用的存储设备、交换机、DAS盘阵和服务器主机;
▪底层存储增加硬盘或添加新盘阵不会影响原有系统的运行,可以在线扩充存储池。
3 存储虚拟化整合的特性与优势
存储虚拟化整合的特性体现在四个方面:灵活(Flexibility)、效率(Effi ciency)、整合(Convergency)和可靠(Availability)。通过这些特性,能够带来一系列的优势,满足各种复杂的应用和管理要求。
3.1 特性
灵活:存储资源池的引入,使应用系统访问存储空间时,无需关心资源具体物理位置,也无需担忧其容量限制,完全可以根据自身需求任意设定并可随时改动,从而获得极大的配置自由度。同时,现有存储设备扩容或新增存储设备等操作,也不会影响应用系统正常运行。所有存储设备的增删或配置改动,以及数据跨设备迁移,都可以在线完成。
效率:复杂应用系统中,需要为每个应用分配其专用空间资源。以往模式中,资源一旦分配便无法在线调整。因此系统不得不分配大量预留空间,以保证所有应用正常运行。在虚拟化存储系统中,只需为应用形式上分配虚拟资源。而实际物理资源,可以随实际业务运行,在各应用间动态协调或在线补充。藉此可节省大量预留空间,真正实现物理资源按需添置。
整合:虚拟化存储系统,可以将不同品牌型号,甚至不同类型的存储资源统一整合集中调度。后端支持FC、i SCSI、SAS、IB、e SATA、PCIe等各种存储设备接口,FC、SAS、SATA、SSD等各种磁盘类型。前端支持FC、i SCSI、IB等各种标准SAN协议界面。可以轻松实现跨设备资源集中,多种SAN架构无缝聚合,多种连接协议平滑转换,多级存储介质统一管理。
可靠:虚拟化存储系统,内嵌多种数据保护机制。多重数据拷贝技术借鉴海量分布式存储的保护机制,对重要数据创建多份拷贝,并分散存储于不同设备中。物理设备故障或离线时,存储资源池仍然能够保持在线,其中的数据不会丢失或坏损。虚拟化存储系统,还可以无缝扩展存储级高可用、CDP数据保护及远程容灾等数据保护手段。
3.2 优势
超物理容量预分配:按照业务系统需求分配存储空间,无需顾虑实际物理介质容量,提供在线扩容功能,系统配置灵活,管理简单,扩展性好。
透明迁移在线接管:采用透明迁移技术能够快速完成存储整合,无需改变现有IT环境,缩短停机时间,保证业务连续性。
多级存储集中调度:集中管理多级存储资源,根据不同应用系统的数据性能要求,分配不同性能的存储资源,降低存储成本,优化存储结构。
多重拷贝内禀容错:对关键数据进行块级多重冗余拷贝,数据恢复不需要重建过程,不影响应用系统,保证数据高可用性,减少系统故障。
部署快捷管理方便:统一管理所有存储设备,配置简易,用户分配存储不必考虑后端细节,提高系统效率与稳定性,降低管理成本。
广泛兼容多种设备:存储虚拟化整合平台支持多种SAN协议,无缝整合IP-SAN和PC-SAN,兼容不同类型的存储介质,兼容性高,保护既有投资,提高用户投资效益。
4 结论
绝大多数企业的数据中心在运营3-5年后,都会开始面临存储设备分散、空间资源分配僵化、存储功能单一等一系列现实情况,对于IT运维来说,这些情况会造成管理效率低下、资源使用率低下、管理成本高昂等难以解决的管理困境。基于网关的存储虚拟化整合技术颠覆了以往僵化的纯硬件存储架构,以更加先进、灵活的软件架构将原先分散的存储设备整合为一套完整的存储系统,在灵活(Flexibility)、效率(Effi ciency)、整合(Convergency)和可靠(Availability)等方面为数据中心的高效运营提供了可靠的保障。
可以看到,存储的虚拟化整合,不但能够提高原有存储空间的灵活性和利用率,还能通过高级的数据保护和容灾功能大大提升数据安全等级,满足现有和未来长期的存储需求。存储网关是存储虚拟化技术中重要的一环,由于采用了灵活的软件架构,厂商可以在未来随着技术的发展而推出更新版本,并通过系统升级的方式将更高的性能和更多新功能带给用户,从而为用户避免断代升级的昂贵成本,构建越来越优化的存储架构。
参考文献
篇4:存储技术基础:存储虚拟化详解
关键词:存储虚拟化;金融数据;灾备技术;安全性
中图分类号:TP309
随着信息化和网络技术的飞速发展,信息系统已经成为金融行业的重要组成部分。作为金融行业的重要基础设施,金融数据的安全对整个国家的经济和社会安定有着直接的影响。金融数据面临着很多的威胁,例如,来自不可防控的地震、火灾以及水灾等自然灾害,还有来自人为误操作、黑客攻击、病毒的破坏等可控的风险。面对各种风险的威胁,金融业中的金融机构一定要全面的提高数据安全风险意识,要建立完整的数据安全保障体系。目前,我国的金融业随着银行业务的不断发展,对信息系统中的金融数据安全的要求也越来越高。随着近些年来,金融业务数据的不断集中,当灾害发生时,金融数据中心业务处理系统将会直接影响下属分支结构的所有业務。这将造成巨大的经济损失,还有可能影响到社会的金融秩序和生活秩序的稳定。
我国的国有银行以及一些商业银行基本已经完成数据的大集中工作,但是随之配套的灾备中心与应急机制建设还非常滞后。对待金融数据的保护措施,还仅仅停留在本地的双机热备以及磁带的备份方法,这是一个较低的安全保护层次。一旦发生重大的灾难,金融数据的安全性无从保障。针对这个问题,本文探讨采用存储虚拟化技术的金融数据灾备技术,保证金融数据能够得到实时备份和完整性与一致性的保障,从而获得能够抵御灾难的高安全性。
1 灾备原理
灾备是灾难备份的简称,主要是指对非常重要的数据信息进行必要的备份,以抵御灾难发生后,数据面临的风险,灾备其实包含了两个部分内容,分别是灾难备份与灾难恢复。其中,灾难备份是指为了是实现灾难恢复,对关键的数据、业务系统以及管理系统进行备份。灾难恢复主要是指灾难恢复计划、应急响应机制以及灾后重建机制等等。与灾难恢复相关的技术包括了数据备份技术、复制技术以及集群技术等等。灾难恢复不仅仅指的是技术的层面,还包括了风险性的分析、灾难恢复策略等等。因此,对金融数据的灾备工作是一项比较复杂的,系统的、综合性的工作。
2 存储虚拟化的概念及特点
存储虚拟化的概念是指,通过软件或者硬件的方式,将物理存储设备进行集中式的管理,并且将物理存储设备虚拟化为一个大型的存储池。虚拟化的过程,就是将物理的存储设备映射到单一的存储池的过程,换句话说,也就是逻辑性存储的过程,能够对数据进行有效的智能化的管理。并且存储虚拟化技术打破了物理存储的限制,将物理的存储设备变为不同的逻辑镜像,对用户而言屏蔽了面向多个独立的物理设备的复杂性。从用户的角度上,存储虚拟化使得用户在管理一个大型的存储空间。在计算机的角度来看,存储虚拟层类似与操作系统管理着下层的物理设备,对物理设备的差异性进行屏蔽。存储虚拟化为用户提供一个统一的设备管理方式,存储虚拟化的系统结构示意图如图1所示。
图1 存储虚拟化示意图
3 基于存储虚拟化的金融数据灾备技术
根据存储虚拟化的层次不同,本文将存储虚拟化分为主机层、设备层以及网络层三种层次。
(1)位于主机层次的存储虚拟化主要指安装相应的卷管理软件,通过该类软件对存储设备进行管理。卷管理软件实际是将物理层与逻辑层之间的映射提供了一个虚拟化层,从而能够方便的进行多主机之间的金融数据迁移、存储管理、异地镜像备份以及灾难恢复等功能。
(2)基于存储设备的存储虚拟化层,利用虚拟化的存储控制器实现存储管理功能。当前,现代的存储设备都具有功能完善的存储处理器进行存储管理。同时,存储设备还有专属的嵌入式系统,能够再存储设备内部进行存储虚拟化的操作。该种方案不需要另外的虚拟化软件,但是却高度依赖存储设备的虚拟化功能,因此,该层次的虚拟化技术在金融机构中的应用并不多见。
(3)基于网络的存储虚拟化技术,该种方式加入了存储域网络,SAN网络负责计算机与存储系统之间的金融数据传输。该层次又可细分为基于交换机、路由器以及互联设备的虚拟化技术。基于交换机的虚拟化技术试讲虚拟化层直接嵌入到交换机中,基于路由器的虚拟化技术,将虚拟化层嵌入至路由器上。而基于互联设备的虚拟化,是指虚拟化的操作在专用的主机上执行。而且虚拟化操作能够架设在常用的操作系统例如Linux和Solaris操作系统,这样的做法具有方便管理的优势。
4 结束语
本文介绍了当前金融业的数据安全现状,对灾备原理以及虚拟化存储技术的概念及特点进行分析,并从主机层次、存储设备层次以及网络层次三个方面,详细的讨论了存储虚拟化技术的金融数据灾备技术。总的来说,当前存储虚拟化技术的主流金融数据灾备技术采用了基于网络的存储虚拟化技术,该种解决方案能够带来高可用、低成本、低耦合性(不依赖其他硬件设备与软件系统)以及虚拟化的服务器平台不受限制等优势。
参考文献:
[1]黄琛,金海,吴松.基于PKI的广域存储虚拟化系统的安全设计和实现[J].计算机工程与科学,2005(27):28-30.
[2]曹楠.智能化虚拟存储的研究与实现[D].西北工业大学,2012.
[3]孙国梓,陈丹伟,吴登荣.一种安全移动存储系统的研究与实现[J].计算机工程,2011(35):116-119.
[4]郭天杰,曹强,谢长生.基于SAN网络的iSCSI的远程镜像系统设计与实现[J].小型微型计算机系统,2012(27):72-75.
[5]罗健,王成良.集中智能企业级数据备份解决方案[J].计算机工程,2012(30):162-164.
[6]岳友宝,张艳,李舟军.金融行业的灾难备份与恢复[J].计算机应用研究,2006(02):104-106.
作者简介:兰翔(1978.06-),男,重庆人,工程师,硕士研究生,研究方向:计算机软件。
篇5:存储技术基础:存储虚拟化详解
一、“虚拟存储就像一台翻译器”
在一个SAN环境中,存储的虚拟化可以分别基于主机、网络和存储设备,这就像一个有演讲者和听众的会场,演讲者就是主机,听众好比存储设备,但演讲者与听众讲不同的语言,互相之间无法直接交流。而虚拟存储就像一台翻译器,基于主机的虚拟存储就像将翻译器安装在演讲者身上;基于存储设备的虚拟存储就像将翻译器安装在每一位听众身上;基于网络的虚拟存储则像会场中的同传设备。安装了翻译器,演讲者和听众之间就能顺畅交流,而翻译器安装在不同的位置就构成了不同层面上的虚拟存储。
这三种架构的虚拟存储适用于不同的环境,基于主机的虚拟存储适用于以主机为中心的IT环境,其中的主机数目较少,甚至是单主机;基于存储设备的虚拟化针对异构SAN架构,更适用于以存储为核心的环境,它独立于主机,其存储设备可以连接多台主机,但存储设备本身不能是异构的;基于网络的存储虚拟化适合于开放的存储网络,即Open SAN,它独立于主机,同时也独立于存储设备,因此,它最灵活。在实际应用中,究竟使用哪种方式最有效,其原则就是花最少的精力和财力,选择最适合的一种甚至两三种组合来实现存储虚拟化。
二、虚拟存储技术的区分
(1)基于主机的虚拟存储
基于主机的虚拟存储依赖于代理或管理软件,它们安装在一个或多个主机上,实现存储虚拟化的控制和管理。由于控制软件是运行在主机上,这就会占用主机的处理时间。因此,这种方法的可扩充性较差,实际运行的性能不是很好。基于主机的方法也有可能影响到系统的稳定性和安全性,因为有可能导致不经意间越权访问到受保护的数据。这种方法要求在主机上安装适当的控制软件,因此一个主机的故障可能影响整个SAN系统中数据的完整性。软件控制的存储虚拟化还可能由于不同存储厂商软硬件的差异而带来不必要的互操作性开销,所以这种方法的灵活性也比较差。
但是,因为不需要任何附加硬件,基于主机的虚拟化方法最容易实现,其设备成本最低。使用这种方法的供应商趋向于成为存储管理领域的软件厂商,而且目前已经有成熟的软件产品。这些软件可以提供便于使用的图形接口,方便地用于SAN的管理和虚拟化,在主机和小型SAN结构中有着良好的负载平衡机制,
从这个意义上看,基于主机的存储虚拟化是一种性价比不错的方法。
(2)基于存储设备的虚拟化
基于存储设备的存储虚拟化方法依赖于提供相关功能的存储模块。如果没有第三方的虚拟软件,基于存储的虚拟化经常只能提供一种不完全的存储虚拟化解决方案。对于包含多厂商存储设备的SAN存储系统,这种方法的运行效果并不是很好。依赖于存储供应商的功能模块将会在系统中排斥JBODS(Just a Bunch of Disks,简单的硬盘组)和简单存储设备的使用,因为这些设备并没有提供存储虚拟化的功能。当然,利用这种方法意味着最终将锁定某一家单独的存储供应商。
基于存储的虚拟化方法也有一些优势:在存储系统中这种方法较容易实现,容易和某个特定存储供应商的设备相协调,所以更容易管理,同时它对用户或管理人员都是透明的。但是,我们必须注意到,因为缺乏足够的软件进行支持,这就使得解决方案更难以客户化(customzing)和监控。
(3)基于网络的虚拟存储
基于网络的虚拟化方法是在网络设备之间实现存储虚拟化功能,具体有下面几种方式:
①基于互联设备的虚拟化
但是,基于设备的方法也继承了基于主机虚拟化方法的一些缺陷,因为它仍然需要一个运行在主机上的代理软件或基于主机的适配器,任何主机的故障或不适当的主机配置都可能导致访问到不被保护的数据。同时,在异构操作系统间的互操作性仍然是一个问题。
②基于交换机的虚拟化
基于互联设备的方法如果是对称的,那么控制信息和数据走在同一条通道上;如果是不对称的,控制信息和数据走在不同的通道上。在对称的方式下,互联设备可能成为瓶颈,但是多重设备管理和负载平衡机制可以减缓瓶颈的矛盾。同时,多重设备管理环境中,当一个设备发生故障时,也比较容易支持服务器实现故障接替。但是,这将产生多个SAN孤岛,因为一个设备仅控制与它所连接的存储系统。非对称式虚拟存储比对称式更具有可扩展性,因为数据和控制信息的路径是分离的。
基于互联设备的虚拟化方法能够在专用服务器上运行,使用标准操作系统,如:Windows、Sun Solaris、Linux或供应商提供的操作系统。这种方法运行在标准操作系统中,具有基于主机方法的诸多优势??易使用、设备便宜。许多基于设备的虚拟化提供商也提供附加的功能模块来改善系统的整体性能,能够获得比标准操作系统更好的性能和更完善的功能,但需要更高的硬件成本。
篇6:存储技术基础:存储虚拟化详解
存储虚拟化技术主要分为两大阵营:一方致力于研发基于网络层的存储虚拟化技术,代表厂商有 IBM和EMC等;另一方致力于基于存储控制器的存储虚拟化技术,代表厂商有HDS和HP等。两种存储虚拟化技术各具特色,并且会在相当长的时间内共存。近期,IBM发布了最新版的虚拟化产品SVC 4.2.1,其性能比上一代产品提高75%。IBM于推出第一版SVC,这之后的4年中,IBM对SVC进行了多次升级,目前在全球已销售出1 万套SVC。HDS的存储虚拟化产品独具特色,其主打产品USP V能够提供3个层次的存储虚拟化,支持247PB的存储容量,其外部存储的虚拟化端口性能也比上一代产品提高了5倍。
存储虚拟化的好处显而易见,比如可以实现存储系统的整合,提高存储空间的利用率,简化系统的管理,保护原有投资等。越来越多的厂商正积极投身于存储虚拟化领域,比如数据复制、自动精简配置等技术也用到了虚拟化技术。虚拟化并不是一个单独的产品,而是存储系统的一项基本功能。它对于整合异构存储环境、降低系统整体拥有成本是十分有效的,
此外,存储虚拟化技术与现在全社会倡导的绿色节能也有千丝万缕的联系。IDC的一项研究表明,从到,全球数字信息总量将增长6倍。20已经出现了信息总量超出现有存储能力的现象。面对业务和数据量的快速增长,企业用户在不断增加IT设备,以满足用户对性能、存储空间和可用性等要求的同时,还不得不面对数据中心空间有限、能源成本不断增加等挑战。据APC的研究,服务器与存储设备的能耗已占整个数据中心设备能耗的50%左右。存储设备应该如何节能降耗呢?除了采用更节能、环保的材料以外,虚拟化等相关技术的应用可以更有效地利用服务器和存储系统,把物理设备整合成一个逻辑存储池,从而减少了企业所需的物理服务器和存储系统,相应地减少了电力需求。有专家指出,使用效率最高的存储就是绿色存储,而虚拟化正是提升设备使用效率的利器。
篇7:存储虚拟化:位置和方法
你可能会发现,一些应用程序及其存储要求需要结合多种技术,满足具体的需求。其中,一些应用程序采用带内虚拟化产品或基于存储系统的存储虚拟化技术,另一些利用分离路径、基于网络功能的快速控制路径等。
许多人在争论带内(在数据通道中)、带外(拥有代理服务器和元数据控制器,在数据通道之外)和分离路径(带内和带外的结合体)各自的架构优势。也有人在讨论网络中基于产品或存储服务模块的主机软件和存储系统中的软件。图?显示了三种实施存储虚拟化的方法。
带内方法主要在主服务器和存储设备之间实现虚拟功能,是传统的产品和存储系统经常采用的方法。图2就是一个简单基本的例子。实际部署时,交换器可能作为服务器和虚拟化设备之间的数据通道的组成部分,也可能作为虚拟化设备和存储设备之间的组成部分,
为你的工作环境选择最佳方案时,应考虑以下内容:
•对于分离路径技术,明确软件的选项功能,以及可以获得哪些硬件平台。
• 对于存储服务模块、切片、产品和适应器,明确其支持哪些软件,具有哪些互操作性。
• 时刻牢记存储虚拟化的黄金法则:无论采用哪种方法实现虚拟化功能,都要锁定供应商。
• 并非所有的端口都具有存储服务,例如,在需要异构复制和数据迁移的端口部署虚拟化。
• 避免出现溢出,替换不合适的技术。
• 警惕一些解决方案可能会堆积很多技术层,使其变得十分复杂,也可能加大管理难度。
• 解决方案应该在性能、连接、管理案例、功能和恢复力方面具有扩展性,而不会使系统变得不稳定。
篇8:存储虚拟化技术研究
在最基础层面上, 存储虚拟化可定义为在物理存储设备或低级逻辑存储设备之上, 能够提供简化的逻辑存储资源视图的提取层。这种提取可以发生在主机或存储阵列中, 也可以发生在SAN内部。从系统层面上看, 存储虚拟化将通过多个存储阵列对提取层进行扩展, 不但能够隐藏单个物理驱动器的复杂性, 还能够隐藏整个物理存储子系统的复杂性。智能虚拟化代理提供了简化存储系统管理的功能, 进一步放大了逻辑提取的好处, 并为更高一级的智能奠定了基础。
1 存储虚拟化的发展历程
上世纪五十年代商用计算机出现, 当时采用直接连接存储 (DAS) , 这种连接方法将磁盘存储直接通过电缆或总线附加到计算机中央处理器 (CPU) 以及RAM存储器。以后的几十年, 出现了如小型计算机系统接口 (SCSI) 标准协议, 这种连接方法延伸了设备传统磁存储器的范围, 如CD-ROM、磁带驱动器及自动装载机和JBOD (简单磁盘捆绑) 。虽然不同类型的存储大量涌现, 容错设计提高了存储可靠性, 但它们的连接方式仍然局限于单一服务器或工作站, 限制了介质的利用率。
存储虚拟化技术首先出现在缓存控制器阵列 (RAID Redundant Array of Independent Disk) 该技术诞生于1987年, 由美国加州大学伯克利分校提出。RAID是将多块硬盘通过硬件或软件方式结合成虚拟的单块大容量的磁盘来使用。首先, RAID通过多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量, 使用RAID可以达到单个磁盘的几十倍甚至上百倍的存储速度。大量磁盘以容错的方式池化到一起, 利用一个公共缓存内存池, 应用程序不使用实际数据块, 而是使用数据块的逻辑图像。这样, 可以通过消除机械磁盘寻道和旋转延迟改善性能。同时, 有助于主机使用低成本磁盘。其次, RAID通过数据校验来提供容错性。单个普通磁盘无法提供容错功能, RAID容错建立在每个磁盘硬件容错功能之上, 很多RAID模式都有较为完备的相互校验、恢复措施, 甚至是直接相互镜像备份, 大大提高了RAID系统的容错度, 提高了系统的稳定性和冗余性。
20世纪80年代初期, 一些厂商提出服务器共享存储的思想, 出现了网络附加存储 (NAS) , 它使服务器集中存储数据且不受地点限制, 提供了前所未有的灵活性。多个用户可以同时读写存储, 统一访问相同数据集, 提高用户间的协作能力, 简化部署提高可扩展性。
上世纪九十年代中后期, 随着网络技术的发展与处理能力的大幅提高, 传统的单机数据处理方式不能满足信息系统发展的要求, 被以数据为中心的网络存储所取代, 存储系统与网络系统结合起来, 产生了网络存储系统。存储区域网络 (SAN) 的出现进一步推动了存储虚拟化的发展。与此同时, 提出了存储资源整合的概念, SAN通过有效共享存储资源提高容量利用率。这样, 有助于企业整合存储资产, 便于利用通用软件工具简化管理, 并可以远距离复制关键信息, 显著提高避免数据损坏和灾难事件的保护能力。
21世纪初, 存储厂商开始将先进的虚拟化功能引入到自己的产品中。这些功能不仅提高了利用率, 而且支持异构存储外部连接, 实现不停机数据迁移和移动, 提高业务连续性, 可进行逻辑磁盘分区、多层存储以及精简预配置。利用精简预配置, 可在应用程序写入数据时, 分配磁盘或文件系统的物理容量, 而不是在配置时进行预分配。
2 典型的存储结构
基本的存储系统结构包括直接连接存储 (DAS Direct Access Storage) 、网络附加存储 (NAS Network Attached Storage) 、存储区域网 (SAN Storage Area Network) , 以及最近流行的面向对象存储 (OBS Object-Based Storage) 。
2.1 直接连接存储
直接连接存储是指将存储设备通过SCSI、线缆或光纤通道直接连接到服务器上, 存储设备可以是阵列, 也可以是磁盘。它的存储模式是以文件服务器为核心的。主机与存储设备之间通常是以块为单位数据传输。存储职能由主机和存储设备共同分担, 存储作为整个服务器系统的一部分。DAS本身是硬件的堆叠, 不带任何存储管理系统。
2.2 网络附加存储
网络附加存储是一种文件共享服务, NAS拥有自己的文件系统, 通过NFS或CIFS协议对外提供文件访问服务, 能实现不同操作系统的文件共享。NAS将分散的存储设备整合为数据存储中心进行集中管理。NAS中, 主机只用于处理数据, NAS设备独立承担数据存储。从消除了存储设备对主机的依赖, 提高了系统性能。但NAS的缺点也十分明显, 由于NAS与LAN处于同一物理网络中, NAS需要很大的网络带宽, 和很高的CPU处理能力。容易造成网络拥堵, 性能降低。NAS在网络备份和数据恢复方面性能不足。
2.3 存储局域网 (SAN)
SAN是一种以网络为中心的存储结构, 按照SNIA定义, SAN是一种利用Fiber Channel等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的存储网络系统。SAN是一种体系结构, 它是采用独特的技术 (如FC) 构建的、与原有LAN网络不同的专用存储网络, 存储设备和SAN中的应用服务器之间采用block I/O的方式进行数据交换。根据所使用交换机和数据访问协议的不同, SAN网络又可分为IP存储局域网络 (IP-SAN) 和光纤存储局域网络 (FC-SAN)
2.4 面向对象存储
面向对象存储的基本存储单元是对象而不是块。每个对象是数据和数据属性集的综合体, 他包含了文件数据以及相关属性信息, 对象可以根据应用需求自我管理数据属性。从而简化了存储系统的管理任务, 增加了灵活性。对象存储综合了NAS和SAN的优点, 同时具有SAN的高速直接访问和NAS的数据共享优势, 提供了高性能、高可靠性、跨平台以及安全的数据共享存储体系结构存储。固定内容寻址存储 (CAS Content Addressing storage) 是面向对象存储的一种形式, 固定内容是指一旦生成就不再发生改变的信息, 比如数字媒体 (图像、音视频等) 、法律和参考文档、医疗影像、电子邮件、银行票据等。SAN、NAS存储文件是按照地址存放文件, 用户找文件的时候一定要知道它放在哪个磁盘分区的哪个目录里, 否则就要搜索。而CAS没有分区、没有目录, 用户不需要记住文件路径, 只需要把数据交给CAS, CAS给用户一个数字指纹, 靠一串数字和字母组合的数字指纹来识别用户存储的数据。当用户需要找这个数据的时候, 要提交数字指纹来获取数据。一方面减少了维护系统的人工成本开销, 另一方面, 免维护性也增加了数据的安全性和可靠性。
3 存储虚拟化的层次
存储虚拟化可以在三个不同层面上实现:
3.1 基于专用卷管理软件在服务器上实现
通过与服务器直接连接的传统存储硬件设备, 实际磁盘提供给服务器及其操作系统, 磁盘排列成由许多大小固定的区块组成的扇区, 操作系统将这些区块排列成一个“文件系统”。为了解决文件系统越来越多, 将会用光物理LUN的存储空间的问题系统供应商提出逻辑卷管理器 (LVM) 的概念。LVM可以在不停机的情况下自由地对文件系统调整大小, 并方便地实现文件系统跨越不同磁盘和分区。由于内置在系统软件中, 基于服务器的存储虚拟化具有极高的可配置性和灵活性。由于大多数操作系统都将这一功能包含到自己的系统软件中, 因此非常便宜。存储基础架构不需要配置其它硬件, 并且可与操作系统识别的任何设备配合使用。基于服务器的虚拟化也有许多缺陷:虽然它有助于最大程度地提高存储资源的效率和恢复水平, 但却只能以服务器为基础进行优化。镜像、分割和计算奇偶校验任务需要另行处理, 占用应用程序的宝贵CPU资源和内存资源。
3.2 利用虚拟化引擎在存储网络上实现
基于网络的存储虚拟化在网络层嵌入存储资源智能管理, 抽象化服务器与存储阵列之间的实际存储资源。
3.2.1 带内方式存储虚拟化构架
带内方式存储虚拟化是在主机和阵列之间的网络数据通道中插入虚拟化设备。这些设备通常行使存储管理器的作用, 提供空间管理和其它配套功能, 如数据迁移和拷贝服务。控制信息和用户数据都会通过它, 而它会将逻辑卷分配给主机, 如同一个标准子系统。存储虚拟设备本身可以是一个专用的运行虚拟化软件的服务器;也可以是一个专门运行嵌入编码的应用程序, , 甚至是一个带有能连接附加阵列框架后端的阵列管理器“前端”。这种设备的最大好处是集中管理多种连接设备。带内方式最主要的缺点是在网络路径上增加了一个额外的“跳”, 这样就增加了主机和物理存储设备之间的延时。它还要求具有强大的错误和故障处理逻辑以确保经过缓存和确认的I/O被安全地存储到后端。
3.2.2 带外方式存储虚拟化构架
带外方式的设计是在带外结构中, 独立一个元数据服务器的硬件, 它存有虚拟化存储的逻辑-物理关系信息, 向每一个服务器传送信息, 分配I/O指令。这种数据传送通过一个独立的网络完成, 它与数据交流使用的光纤通道分开。元数据服务器和主机之间的传输通常是通过装在主机上的接口程序来实现的, 这台主机与修改后的、对指令重新分配的I/O驱动器共同工作。由于主机直接将虚拟化存储指令分配到目的设备上, I/O运行不再受到增加等待时间或带宽的制约。这样, 通道外方式理论上更适合于高性能应用。它还避免了通道内自有的数据完整性问题。任何“状态”或版本的数据都不会滞留在网络中。数据正确地存储入阵列之后, 主机的任务才算完成。然而, 这种通道外方式又引出了一些主机系统方式的易操作性问题, 也就是说, 需要加载、维护和修改主机系统软件。
3.3 基于存储控制器存储虚拟化
近年来各种虚拟化技术已经应用到存储控制器之中, 一些存储阵列供应商开始将这些功能扩展到设备之外的存储资源。于是基于控制器的存储虚拟化应运而生, 这种新一代存储阵列允许其它异构供应商存储阵列直接与自己的控制器连接。于是, 出现了外部存储资源可按与内部磁盘的相同方式进行管理。这种方法不需要重新映射LUN或范围, 减少了一层管理, 大大降低了网络复杂性。以这种方式虚拟化, 安装在存储控制器上的微码软件成为外部存储资源, 如同在阵列内部一样, 主机并不知道它们的实际连接位置。这种基于块的虚拟化技术, 可将虚拟化存储控制器的所有功能, 有效地扩展至外部存储。利用非常成熟的企业级功能, 数据可在不停机的情况下, 从一个池迁移到另一个池, 并可在不相似或相似存储之间复制。还可通过分区, 将端口、缓存和磁盘池等资源分配给特定的负载, 以保持服务质量和安全性, 而精简配置可缩减分配给其他资产的存储。
4 小结
存储虚拟化技术是近年来新兴的技术, 存储虚拟化技术已经得到广泛的发展, 并且成为IT界内增长最快的领域, 存储虚拟化系统在方便管理, 优化系统系统性能, 提高资源的利用率方面有无法比拟的优势。存储虚拟化技术给计算机系统结构带来了革命性的变化。
参考文献
[1]何世晓.Linux系统案例精解存储、Oracle数据库、集群、性能优化、系统管理、网络配置[M].北京:清华大学出版社, 2010.
[2]王纪奎.成就存储专家之路—存储从入门到精通[M].北京:清华大学出版社, 2009.
[3]杨宗博, 郭玉东.提高存储资源利用率的存储虚拟化技术研究[J].计算机工程与设计, 2008 (6) .
[4]冯丹.网络存储关键技术的研究与发展[J].移动通讯, 2009 (6) .