存储虚拟化整合

存储虚拟化整合（精选九篇）

存储虚拟化整合 篇1

1 数据中心的存储管理困境

在大多数企业的数据中心里,SAN存储都是主要的生产存储,随着核心应用的不断升级、应用数量的不断增加,应用层对于存储层的要求也水涨船高,主要表现在对空间、性能和功能需求的持续增长。在典型的SAN环境中,众多主机通过光纤交换机与存储设备相连,如图1-1所示:

在这个SAN环境中,光纤交换机维护着上层的主机和下层的存储之间的分区(ZONE)关系,在一定程度上提高了存储管理的灵活性和方便性。但是存储的管理不仅仅限于维护分区,当主机和存储数量比较多的时候,管理员需要花费大量的时间和精力根据应用的需求针对每一台存储设备中的磁盘组、卷、卷映射与空间分配等任务进行精细化管理。在那些采购了大量来自不同厂商的各种档次存储设备的数据中心里,这一现象尤为突出,管理员还需要付出成倍的学习成本才能完成好数据中心的存储管理任务。

传统SAN环境中存在的另一个问题是空间资源分配僵化。在复杂多变的应用环境中,空间资源使用效率难以得到保证。传统的存储设备由于技术的老化,无法实现空间资源的高效利用与灵活调整,在典型的应用环境中,考虑到未来3-5年的数据增长,一般都会超额申请存储空间,应用系统在运行期间实际占用的空间往往只达到申请空间的30%-50%,但是由于存储设备在分配卷时已经将所有空间完全映射给主机,此时如果新的空间需求超出了存储尚未分配的空间大小,就必须对存储进行扩容,这就导致存储层只能提供30%-50%的空间利用率,造成严重的资源浪费。

传统SAN环境在目前复杂的IT基础架构中也显露出一些其他的不足,比如功能单一,性能受限、数据保护成本高而且能力弱等。这些都造成数据中心存储管理的高复杂性、高成本和高风险。当持续运行的应用对存储的要求出现激增,超出原有的申请空间时,存储管理员最先想到的解决办法有两个,最简单的是在存储上对卷进行扩展,然后在主机中利用操作系统内置的卷管理软件在线扩展文件系统。目前主流的操作系统都支持文件系统的在线扩展,但是传统的存储设备并不支持此功能。第二种办法是采购新型大容量存储,将原先保存在老存储中的卷迁移到新存储中并进行扩展,然后重新映射给主机使用。这种方法看似可行,但是卷的迁移会占用大量的时间,按照传输带宽80MB计算,一个1TB的卷迁移所需的时间约为3.6小时。加上前期的停机、光纤交换机ZONE的划分、以及后期的系统恢复等工作,每迁移一个这样的卷会需要至少6个小时的停机时间。按10TB的迁移量计算则需要36小时停机,这在很多数据中心是不可接受的。

鉴于传统SAN环境在复杂的IT基础架构中存在的上述明显的缺陷,数据中心需要采用合理的方法将其进行整合,以满足不断变化的应用和管理要求。

2 存储虚拟化整合的方法

存储整合的方法有两种,一个是基于交换机的整合,一个是基于存储网关的整合。基于交换机的整合方式是在SAN交换机中增加存储管理功能,用户通过SAN整合交换机对下层存储进行统一管理,包括划分卷,配置映射等,上层主机看到的是来自SAN整合交换机的卷,而非来自存储设备,SAN整合交换机则通过IO重定向功能对主机的IO访问进行智能分配。这种方法由于灵活性较低,SAN整合交换机的实现技术过于复杂,用户并不能从整合中获得更多更灵活的功能,而且附带了整合功能的SAN交换机性能受到很大的影响等原因而未得到用户和存储厂商的广泛认同,从而逐渐淡出了存储市场。相比基于交换机的整合而言,基于存储网关的整合技术则由于圆满解决了各项限制而受到用户和厂商的普遍接受。图2-1是基于存储网关的存储整合的示意图:

从图中可见,对于主机来说,只有存储网关一个访问点,所有的卷都是由存储网关映射给主机;对于底层的存储设备来说,存储网关就是它们唯一的主机,所有的卷都分配并映射给存储网关;存储网关将底层存储设备映射的卷根据性能或其他要求统一划分为存储池,从存储池中为上层的主机分配空间。

相比基于交换机的存储整合而言,存储网关采用下面的方法提高灵活性和性能:

▪不需要交换机提供更多的功能,从而可以最大限度地利用交换机的IO性能;

▪存储网关采用工业标准的硬件,能够通过纳入最新的硬件技术提升性能,比如固态盘;

▪存储网关采用数据块级虚拟化技术,将底层存储分配的卷重整为存储支援吃,能够轻松实现空间分配的精简配置,提高存储空间的利用率;

▪能够实现逻辑卷的在线扩展,为主机的空间需求提供更加灵活的处理机制;

▪存储网关通过数据块级虚拟化,能够提供低成本、大数量和高密度的数据保护点,有效解决传统存储无法解决的逻辑故障恢复问题;

▪存储网关内置透明卷、卷镜像、卷复制等功能,能够在线实现卷的跨盘阵迁移;

▪存储网关支持各种存储网络协议,能够通过一套系统满足各类主机的存储需求;

▪存储网关往往内置高效率的远程复制功能,可以支持非对称的异地容灾;

▪兼容所有通用的存储设备、交换机、DAS盘阵和服务器主机;

▪底层存储增加硬盘或添加新盘阵不会影响原有系统的运行,可以在线扩充存储池。

3 存储虚拟化整合的特性与优势

存储虚拟化整合的特性体现在四个方面:灵活(Flexibility)、效率(Effi ciency)、整合(Convergency)和可靠(Availability)。通过这些特性,能够带来一系列的优势,满足各种复杂的应用和管理要求。

3.1 特性

灵活:存储资源池的引入,使应用系统访问存储空间时,无需关心资源具体物理位置,也无需担忧其容量限制,完全可以根据自身需求任意设定并可随时改动,从而获得极大的配置自由度。同时,现有存储设备扩容或新增存储设备等操作,也不会影响应用系统正常运行。所有存储设备的增删或配置改动,以及数据跨设备迁移,都可以在线完成。

效率:复杂应用系统中,需要为每个应用分配其专用空间资源。以往模式中,资源一旦分配便无法在线调整。因此系统不得不分配大量预留空间,以保证所有应用正常运行。在虚拟化存储系统中,只需为应用形式上分配虚拟资源。而实际物理资源,可以随实际业务运行,在各应用间动态协调或在线补充。藉此可节省大量预留空间,真正实现物理资源按需添置。

整合:虚拟化存储系统,可以将不同品牌型号,甚至不同类型的存储资源统一整合集中调度。后端支持FC、i SCSI、SAS、IB、e SATA、PCIe等各种存储设备接口,FC、SAS、SATA、SSD等各种磁盘类型。前端支持FC、i SCSI、IB等各种标准SAN协议界面。可以轻松实现跨设备资源集中,多种SAN架构无缝聚合,多种连接协议平滑转换,多级存储介质统一管理。

可靠:虚拟化存储系统,内嵌多种数据保护机制。多重数据拷贝技术借鉴海量分布式存储的保护机制,对重要数据创建多份拷贝,并分散存储于不同设备中。物理设备故障或离线时,存储资源池仍然能够保持在线,其中的数据不会丢失或坏损。虚拟化存储系统,还可以无缝扩展存储级高可用、CDP数据保护及远程容灾等数据保护手段。

3.2 优势

超物理容量预分配:按照业务系统需求分配存储空间,无需顾虑实际物理介质容量,提供在线扩容功能,系统配置灵活,管理简单,扩展性好。

透明迁移在线接管:采用透明迁移技术能够快速完成存储整合,无需改变现有IT环境,缩短停机时间,保证业务连续性。

多级存储集中调度:集中管理多级存储资源,根据不同应用系统的数据性能要求,分配不同性能的存储资源,降低存储成本,优化存储结构。

多重拷贝内禀容错:对关键数据进行块级多重冗余拷贝,数据恢复不需要重建过程,不影响应用系统,保证数据高可用性,减少系统故障。

部署快捷管理方便:统一管理所有存储设备,配置简易,用户分配存储不必考虑后端细节,提高系统效率与稳定性,降低管理成本。

广泛兼容多种设备:存储虚拟化整合平台支持多种SAN协议,无缝整合IP-SAN和PC-SAN,兼容不同类型的存储介质,兼容性高,保护既有投资,提高用户投资效益。

4 结论

绝大多数企业的数据中心在运营3-5年后,都会开始面临存储设备分散、空间资源分配僵化、存储功能单一等一系列现实情况,对于IT运维来说,这些情况会造成管理效率低下、资源使用率低下、管理成本高昂等难以解决的管理困境。基于网关的存储虚拟化整合技术颠覆了以往僵化的纯硬件存储架构,以更加先进、灵活的软件架构将原先分散的存储设备整合为一套完整的存储系统,在灵活(Flexibility)、效率(Effi ciency)、整合(Convergency)和可靠(Availability)等方面为数据中心的高效运营提供了可靠的保障。

可以看到,存储的虚拟化整合,不但能够提高原有存储空间的灵活性和利用率,还能通过高级的数据保护和容灾功能大大提升数据安全等级,满足现有和未来长期的存储需求。存储网关是存储虚拟化技术中重要的一环,由于采用了灵活的软件架构,厂商可以在未来随着技术的发展而推出更新版本,并通过系统升级的方式将更高的性能和更多新功能带给用户,从而为用户避免断代升级的昂贵成本,构建越来越优化的存储架构。

参考文献

新疆油田存储“虚拟”整合应用案例 篇2

新疆油田公司是新疆油田中国西部最大的石油生产企业，隶属于中国石 油天然气集团公司，主要从事准噶尔盆地及其外围盆地油气资源的勘探开发、集输、销售等业务。

新疆油田是新中国成立后开发建设的第一个大油田，原油产量居中国陆上油田第四位、连续25年保持稳定增长，累计产油2亿多吨。原油年产突破1000万吨，成为中国西部第一个千万吨大油田。

当前，新疆油田的发展目标是数字油田、绿色油田、人文油田，其中数字油田就是实现管理现代化、达到管理系统化、生产自动化、信息网络化、分析智能化。公司领导历来十分重视信息化建设，加大了在信息方面的投入，经过信息化持续建设，于12月31日实现了数字新疆油田。

两个数据孤岛

自20以来，新疆油田的信息化建设取得了长足进展，确立了“急用先建、边建边用、建用结合、以用促进”的工作思路，建立了由决策层、管理层、执行层和支撑层构成信息化管理体系，成功研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台。

，在《油田公司数据中心软件建设规划》指导下，油田公司数据中心软硬件建设取得了长足进展，先后购置了1台容量为6TB的HDS9585数据存储和3台Sun E4900数据库服务器，实现了中心数据库集群，数据处理能力达64个CPU和128GbMEM，公司勘探、开发、经营、管理数据已实现集中管理。

数据中心的硬件架构为SAN架构，且以数据存储为中心，所有系统都从HDS9585存取数据，服务器自身没有数据存储硬盘。目前，有10台服务器数据存储在HSD9595上，共有近70套应用系统从这些服务器上提取数据。HDS裸存容量为6TB，系统做了RAID和热备后可用容量为4.5TB，存储空间已经分配完毕，没有剩下多余的空间。

另外，由股份公司组织实施的地球科学与钻井系统和上游生产信息系统，由6台套设备组成，总价值超过3000万元。A1A2系统架构也是SAN架构，以EMC CX700数据存储为中心，所有系统皆从EMC CX700存取数据，服务器自身没有数据存储硬盘，目前有15台设备连接到该存储系统上，A1A2系统也从该存储上存储数据。EMC CX700裸存容量为24TB，系统做了RAID和热备后可用容量为16TB，存储空间也已分配完毕，已经没有剩余空间。

整体而言，目前油田公司数据中心存储设备共4套，除了容量为6TB的HDS9585和容量为24TB的EMC CX700外，还有一套IBM3584自动带库和一套IBM3494自动带库。由于HDS9585和EMC CX700分属不同的存储厂商，因而形成了两个数据孤岛，资源不能互通和有效利用，同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来了不便和困难。

集中管理“六大原则”

最近，新疆油田公司收集整理了过去五十年以来的油田生产数据，目前公司拥有78TB海量数据，各类应用系统120套及强大的数据库服务器公司和应用服务器。为了实现油田数据的共享，充分发挥数据在油田各行业的作用，各二级单位数据和应用需要逐渐实现集中管理，需要对现有资源进行整合。

但是，目前的数据资源呈现两个孤立分散的岛屿，如何通过技术途径把两者整合到一起，形成一个统一的数据资源池，成为新疆油田现实而迫切的考量。

由于HDS9585和EMC CX700存储设备相互独立，并且各个系统发展不均衡性，导致某些系统建设之初规划了很大的容量和很高的性能，但是实际运行过程中却没有那么大的需要。如中心集群数据库建设之初规划了2TB，但目前只使用了822Gb，未来3年可能使用2TB，A1A2系统中LMK项目环境服务器规划了6TB,未来3年实际可能使用1.5Tb;而另一些应用建设之初却是陷入了容量和性能不足的困境，其他系统有富裕的资源却不能拿来使用，导致HDS9585存储必须升级扩容而EMC CX700存储资源却被闲置的局面，各存储资源不能做到统一规划，协调利用。

因此，油田公司需要建设一套集中统一的高性能高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合，能够将原有的存储设备作为新存储平台的外部存储设备，使新的存储设备和原有的存储设备形成一个统一完整的存储池，由新的存储设备进行统一管理，最大限度发挥原有存储资源的再利用能力，

新的平台能够提高原有存储环境的整体运行性能，整个存储环境对各个业务透明，存储平台可以根据各个业务的特性和需要，灵活的分配存储容量、处理能力等各种资源，确保关键业务的稳定可靠运行。同时借助新的存储平台，存储设备能方便扩容，各个存储设备能够方便进行无缝的数据迁移，并且实现集中的存储备份和未来的容灾需要。

应该说，存储整合为油田公司数据的大规模集中奠定了基础，所以对整合后存储的性能、安全性、容量动态分配等指标提出了很高要求，因此在整合过程中，需要着重考虑以下六大原则。

平台整合：整合不但要满足数据中心目前和未来开展油田公司数据中心集中存储需要，还要对已有系统的存储环境进行最大限度的整合，实现服务器的集中访问、数据资源的集中存储和处理、存储设备的集中管理和维护。

高性能：新的存储平台整合了所有的应用之后，必须具备强大的处理能力，能够消除原有存储设备的性能瓶颈。

可扩充性：在系统设计时应充分考虑可扩充性，从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。

高可靠性：存储平台具有高可靠性，支持服务器平台的高可用性集群技术;具备先进的容灾的设计;充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力，提供极为充分的可靠性各项指标设计。

高可用性：在尽量不停存储和其它应用系统情况下，实现扩容、维护、升级等服务，提高性能以满足新的业务需求，具备7×24连续工作的能力，系统的可用性应能达到100%，可以实现磁盘数据的在线不停机备份。

可管理性：要求配置实时性能监测管理软件。可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。

技术先进性：系统设计采用当前先进而成熟的技术，不仅可以满足现实工作的需求，也应把握未来存储整合的发展方向。

“虚拟化”整合

基于以上要求，新疆油田采用了HDS的TagmaStore NSC55 网络存储控制器或Universal Storage Platform. V作为数据中心存储整合的核心设备，同时，配合 HDS的存储管理软件、数据快照镜像软件形成一套完整的存储整合解决方案。由于该存储系统具备嵌入式虚拟化功能，因此可以不依赖于外部交换机、设备或基于主机的软件，支持异构存储。

项目采用了存储区域网——SAN 架构进行整个存储系统的建设，整个存储网络将分为服务器层、网络交换层和集中存储平台三个层次。

服务器层：需要对现在油田公司数据中心各个业务系统的服务器进行改造，增加光纤通道主机卡——HBA，使这些主机具有访问存储网络的能力;为保证链路的冗余消除单点故障，每台主机最少配置2块HBA卡;对于那些业务特别繁忙的主机系统可以配置更多的HBA卡和多路经管理软件以实现O/I负载的均衡分配。

网络交换层：采用Brocade企业级大吞吐量的SAN交换机，保证服务器和外部存储设备到网络存储控制器的高速连接，本期配置32个4GB光纤端口。

集中存储平台：这是本次存储整合系统建设最核心的部分。在采用HDS TagmaStore USP V网络存储控制器的同时，为其配置1块前后端混合处理板，提供16个4GB的前端主机接口和8个后端磁盘接口，为其配置5GB控制缓存和16GB数据缓存，在其内部配置20块300GB FC磁盘共计6TB裸容量，作为整个集中存储环境的基础。

对于油田公司数据中心正在使用的HDS 9585和EMC CX700等设备，则通过SAN交换机直接连接到USP V的后端，作为它的外部存储设备，通过HDS UVM通用卷管理软件，可以把外部存储设备的逻辑卷直接映射到USP V上去，由USP V统一管理和使用，而对前端服务器来说所有的工作都是透明的。

通过USP V的存储整合，整个存储平台提供给服务器访问的是由USP V统一管理的存储空间，存储容量包括6Tb 的USP V内部容量和30TB外部容量，最大限度的保护了油田公司的投资。而且，未来可以根据各个业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配，实现数据分级存储和应用优化存储。

由于采用USP V进行了存储环境的整合，就可以通过USP V对原来异构的存储设备进行集中的数据备份和容灾。现在备份中心用IBM 3494作为近线备份设备，用AMS 200作为远程实时数据备份的存储设备，将AMS 200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上，并且将 AMS 200 也作为USP V的外部设备来管理和使用。

存储虚拟化技术研究 篇3

在最基础层面上, 存储虚拟化可定义为在物理存储设备或低级逻辑存储设备之上, 能够提供简化的逻辑存储资源视图的提取层。这种提取可以发生在主机或存储阵列中, 也可以发生在SAN内部。从系统层面上看, 存储虚拟化将通过多个存储阵列对提取层进行扩展, 不但能够隐藏单个物理驱动器的复杂性, 还能够隐藏整个物理存储子系统的复杂性。智能虚拟化代理提供了简化存储系统管理的功能, 进一步放大了逻辑提取的好处, 并为更高一级的智能奠定了基础。

1 存储虚拟化的发展历程

上世纪五十年代商用计算机出现, 当时采用直接连接存储 (DAS) , 这种连接方法将磁盘存储直接通过电缆或总线附加到计算机中央处理器 (CPU) 以及RAM存储器。以后的几十年, 出现了如小型计算机系统接口 (SCSI) 标准协议, 这种连接方法延伸了设备传统磁存储器的范围, 如CD-ROM、磁带驱动器及自动装载机和JBOD (简单磁盘捆绑) 。虽然不同类型的存储大量涌现, 容错设计提高了存储可靠性, 但它们的连接方式仍然局限于单一服务器或工作站, 限制了介质的利用率。

存储虚拟化技术首先出现在缓存控制器阵列 (RAID Redundant Array of Independent Disk) 该技术诞生于1987年, 由美国加州大学伯克利分校提出。RAID是将多块硬盘通过硬件或软件方式结合成虚拟的单块大容量的磁盘来使用。首先, RAID通过多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量, 使用RAID可以达到单个磁盘的几十倍甚至上百倍的存储速度。大量磁盘以容错的方式池化到一起, 利用一个公共缓存内存池, 应用程序不使用实际数据块, 而是使用数据块的逻辑图像。这样, 可以通过消除机械磁盘寻道和旋转延迟改善性能。同时, 有助于主机使用低成本磁盘。其次, RAID通过数据校验来提供容错性。单个普通磁盘无法提供容错功能, RAID容错建立在每个磁盘硬件容错功能之上, 很多RAID模式都有较为完备的相互校验、恢复措施, 甚至是直接相互镜像备份, 大大提高了RAID系统的容错度, 提高了系统的稳定性和冗余性。

20世纪80年代初期, 一些厂商提出服务器共享存储的思想, 出现了网络附加存储 (NAS) , 它使服务器集中存储数据且不受地点限制, 提供了前所未有的灵活性。多个用户可以同时读写存储, 统一访问相同数据集, 提高用户间的协作能力, 简化部署提高可扩展性。

上世纪九十年代中后期, 随着网络技术的发展与处理能力的大幅提高, 传统的单机数据处理方式不能满足信息系统发展的要求, 被以数据为中心的网络存储所取代, 存储系统与网络系统结合起来, 产生了网络存储系统。存储区域网络 (SAN) 的出现进一步推动了存储虚拟化的发展。与此同时, 提出了存储资源整合的概念, SAN通过有效共享存储资源提高容量利用率。这样, 有助于企业整合存储资产, 便于利用通用软件工具简化管理, 并可以远距离复制关键信息, 显著提高避免数据损坏和灾难事件的保护能力。

21世纪初, 存储厂商开始将先进的虚拟化功能引入到自己的产品中。这些功能不仅提高了利用率, 而且支持异构存储外部连接, 实现不停机数据迁移和移动, 提高业务连续性, 可进行逻辑磁盘分区、多层存储以及精简预配置。利用精简预配置, 可在应用程序写入数据时, 分配磁盘或文件系统的物理容量, 而不是在配置时进行预分配。

2 典型的存储结构

基本的存储系统结构包括直接连接存储 (DAS Direct Access Storage) 、网络附加存储 (NAS Network Attached Storage) 、存储区域网 (SAN Storage Area Network) , 以及最近流行的面向对象存储 (OBS Object-Based Storage) 。

2.1 直接连接存储

直接连接存储是指将存储设备通过SCSI、线缆或光纤通道直接连接到服务器上, 存储设备可以是阵列, 也可以是磁盘。它的存储模式是以文件服务器为核心的。主机与存储设备之间通常是以块为单位数据传输。存储职能由主机和存储设备共同分担, 存储作为整个服务器系统的一部分。DAS本身是硬件的堆叠, 不带任何存储管理系统。

2.2 网络附加存储

网络附加存储是一种文件共享服务, NAS拥有自己的文件系统, 通过NFS或CIFS协议对外提供文件访问服务, 能实现不同操作系统的文件共享。NAS将分散的存储设备整合为数据存储中心进行集中管理。NAS中, 主机只用于处理数据, NAS设备独立承担数据存储。从消除了存储设备对主机的依赖, 提高了系统性能。但NAS的缺点也十分明显, 由于NAS与LAN处于同一物理网络中, NAS需要很大的网络带宽, 和很高的CPU处理能力。容易造成网络拥堵, 性能降低。NAS在网络备份和数据恢复方面性能不足。

2.3 存储局域网 (SAN)

SAN是一种以网络为中心的存储结构, 按照SNIA定义, SAN是一种利用Fiber Channel等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的存储网络系统。SAN是一种体系结构, 它是采用独特的技术 (如FC) 构建的、与原有LAN网络不同的专用存储网络, 存储设备和SAN中的应用服务器之间采用block I/O的方式进行数据交换。根据所使用交换机和数据访问协议的不同, SAN网络又可分为IP存储局域网络 (IP-SAN) 和光纤存储局域网络 (FC-SAN)

2.4 面向对象存储

面向对象存储的基本存储单元是对象而不是块。每个对象是数据和数据属性集的综合体, 他包含了文件数据以及相关属性信息, 对象可以根据应用需求自我管理数据属性。从而简化了存储系统的管理任务, 增加了灵活性。对象存储综合了NAS和SAN的优点, 同时具有SAN的高速直接访问和NAS的数据共享优势, 提供了高性能、高可靠性、跨平台以及安全的数据共享存储体系结构存储。固定内容寻址存储 (CAS Content Addressing storage) 是面向对象存储的一种形式, 固定内容是指一旦生成就不再发生改变的信息, 比如数字媒体 (图像、音视频等) 、法律和参考文档、医疗影像、电子邮件、银行票据等。SAN、NAS存储文件是按照地址存放文件, 用户找文件的时候一定要知道它放在哪个磁盘分区的哪个目录里, 否则就要搜索。而CAS没有分区、没有目录, 用户不需要记住文件路径, 只需要把数据交给CAS, CAS给用户一个数字指纹, 靠一串数字和字母组合的数字指纹来识别用户存储的数据。当用户需要找这个数据的时候, 要提交数字指纹来获取数据。一方面减少了维护系统的人工成本开销, 另一方面, 免维护性也增加了数据的安全性和可靠性。

3 存储虚拟化的层次

存储虚拟化可以在三个不同层面上实现:

3.1 基于专用卷管理软件在服务器上实现

通过与服务器直接连接的传统存储硬件设备, 实际磁盘提供给服务器及其操作系统, 磁盘排列成由许多大小固定的区块组成的扇区, 操作系统将这些区块排列成一个“文件系统”。为了解决文件系统越来越多, 将会用光物理LUN的存储空间的问题系统供应商提出逻辑卷管理器 (LVM) 的概念。LVM可以在不停机的情况下自由地对文件系统调整大小, 并方便地实现文件系统跨越不同磁盘和分区。由于内置在系统软件中, 基于服务器的存储虚拟化具有极高的可配置性和灵活性。由于大多数操作系统都将这一功能包含到自己的系统软件中, 因此非常便宜。存储基础架构不需要配置其它硬件, 并且可与操作系统识别的任何设备配合使用。基于服务器的虚拟化也有许多缺陷:虽然它有助于最大程度地提高存储资源的效率和恢复水平, 但却只能以服务器为基础进行优化。镜像、分割和计算奇偶校验任务需要另行处理, 占用应用程序的宝贵CPU资源和内存资源。

3.2 利用虚拟化引擎在存储网络上实现

基于网络的存储虚拟化在网络层嵌入存储资源智能管理, 抽象化服务器与存储阵列之间的实际存储资源。

3.2.1 带内方式存储虚拟化构架

带内方式存储虚拟化是在主机和阵列之间的网络数据通道中插入虚拟化设备。这些设备通常行使存储管理器的作用, 提供空间管理和其它配套功能, 如数据迁移和拷贝服务。控制信息和用户数据都会通过它, 而它会将逻辑卷分配给主机, 如同一个标准子系统。存储虚拟设备本身可以是一个专用的运行虚拟化软件的服务器;也可以是一个专门运行嵌入编码的应用程序, , 甚至是一个带有能连接附加阵列框架后端的阵列管理器“前端”。这种设备的最大好处是集中管理多种连接设备。带内方式最主要的缺点是在网络路径上增加了一个额外的“跳”, 这样就增加了主机和物理存储设备之间的延时。它还要求具有强大的错误和故障处理逻辑以确保经过缓存和确认的I/O被安全地存储到后端。

3.2.2 带外方式存储虚拟化构架

带外方式的设计是在带外结构中, 独立一个元数据服务器的硬件, 它存有虚拟化存储的逻辑-物理关系信息, 向每一个服务器传送信息, 分配I/O指令。这种数据传送通过一个独立的网络完成, 它与数据交流使用的光纤通道分开。元数据服务器和主机之间的传输通常是通过装在主机上的接口程序来实现的, 这台主机与修改后的、对指令重新分配的I/O驱动器共同工作。由于主机直接将虚拟化存储指令分配到目的设备上, I/O运行不再受到增加等待时间或带宽的制约。这样, 通道外方式理论上更适合于高性能应用。它还避免了通道内自有的数据完整性问题。任何“状态”或版本的数据都不会滞留在网络中。数据正确地存储入阵列之后, 主机的任务才算完成。然而, 这种通道外方式又引出了一些主机系统方式的易操作性问题, 也就是说, 需要加载、维护和修改主机系统软件。

3.3 基于存储控制器存储虚拟化

近年来各种虚拟化技术已经应用到存储控制器之中, 一些存储阵列供应商开始将这些功能扩展到设备之外的存储资源。于是基于控制器的存储虚拟化应运而生, 这种新一代存储阵列允许其它异构供应商存储阵列直接与自己的控制器连接。于是, 出现了外部存储资源可按与内部磁盘的相同方式进行管理。这种方法不需要重新映射LUN或范围, 减少了一层管理, 大大降低了网络复杂性。以这种方式虚拟化, 安装在存储控制器上的微码软件成为外部存储资源, 如同在阵列内部一样, 主机并不知道它们的实际连接位置。这种基于块的虚拟化技术, 可将虚拟化存储控制器的所有功能, 有效地扩展至外部存储。利用非常成熟的企业级功能, 数据可在不停机的情况下, 从一个池迁移到另一个池, 并可在不相似或相似存储之间复制。还可通过分区, 将端口、缓存和磁盘池等资源分配给特定的负载, 以保持服务质量和安全性, 而精简配置可缩减分配给其他资产的存储。

4 小结

存储虚拟化技术是近年来新兴的技术, 存储虚拟化技术已经得到广泛的发展, 并且成为IT界内增长最快的领域, 存储虚拟化系统在方便管理, 优化系统系统性能, 提高资源的利用率方面有无法比拟的优势。存储虚拟化技术给计算机系统结构带来了革命性的变化。

参考文献

[1]何世晓.Linux系统案例精解存储、Oracle数据库、集群、性能优化、系统管理、网络配置[M].北京:清华大学出版社, 2010.

[2]王纪奎.成就存储专家之路—存储从入门到精通[M].北京:清华大学出版社, 2009.

[3]杨宗博, 郭玉东.提高存储资源利用率的存储虚拟化技术研究[J].计算机工程与设计, 2008 (6) .

[4]冯丹.网络存储关键技术的研究与发展[J].移动通讯, 2009 (6) .

存储虚拟化技术 篇4

主要从存储系统的虚拟化方面阐述了存储系统的改革，并详细分析了虚拟化技术在存储系统中的应用。

关键词：虚拟化;存储系统;存储虚拟化

0引言

进入21世纪以来，网络在现在企业的运行环境中应用得越来越普遍，各种数据也在快速增长，虽然现在企业管理数据的能力也在提高，但是已经远远跟不上数据增长的速度。

虚拟化技术的出现为企业解决这一难题提供了新的途径。

运用虚拟化技术，像备份/恢复、数据归档、存储资源分配等大量重复和消耗时间的工作，完全能够通过存储虚拟化技术运用自动化的方法进行处理，从而使人的工作量大大降低，提供企业的效率。

浅谈存储虚拟化 篇5

1 存储虚拟化简介

(1) 存储虚拟化在存储系统和应用程序之间增加了软件控制, 应用程序直接通过这个环节来进行数据调取, 无需知道数据的保存方式。

(2) 通过存储虚拟化, 物理存储程序和应用程序不会直接相连, 所以和应用程序无关的存储资源的中断不会降低此应用的可用性。

(3) 存储虚拟化可以在无需中断应用和降低应用性能的状态下进行存储的更改或升级, 减少了维护所需的存储宕机时间。

(4) 存储虚拟化带来了额外增加的复杂性。新增的存储层随着虚拟化软件的更新, 必须同时进行管理维护。另外, 维护时将应用和存储位置进行重新关联的过程非常容易出错, 实施时建议先在个别应用中局部部署, 在慢慢扩大至整个应用环境。

2 存储虚拟化的实施原因

部署存储虚拟化之前, 主机、网络和阵列三者均有各自需要注意和加强的地方, 所以除了从技术角度来衡量它们外, 再将实际的环境因素、需求与预算考虑进去, 会对存储虚拟化实施提供完整的准备工作。在哪里应用和实施都会话费大量的时间和金钱投资, 但是通过存储虚拟化技术, 可以大大提高存储利用率和存储的工作效率。

3 存储虚拟化管理存储的原理

存储虚拟化主要包括集成透明的数据迁移、异构复制和设备仿真等功能, 可以通过主服务器和网络交换机设备之间的数据通道实现这些功能。在网络层和存储层应用虚拟化, 可以用一种通用的方式管理数据中心里的物理存储设备、阵列等, 更易管理, 高性能实现用户需求。使用存储虚拟化可以给所有的存储产品应用提供一个统一管理界面, 如不同品牌存储的复制、镜像等应用, 都可以使用该管理界面进行。

原始存储环境下, 如果数据要从RAID-0转移到RAID-5, 需要先备份数据, 创建新的RAID-5 LUN, 然后再将数据传送到这个LUN, 这个过程本质上是对原来的数据进行了破坏。存储虚拟化解决了这些数据转移和整合问题, 允许在异构之间进行复制。

4 存储虚拟化实施的位置和方法

(1) 存储虚拟化的实施位置取决于实施人的偏好、现有技术以及部署存储虚拟化的对象。

(2) 应用程序及其存储要求基本基于以下3种技术:带内架构 (在数据通道中) 、带外架构 (拥有代理服务器和元数据控制器, 在数据通道外) 、分离路径 (带内和带外的结合体) , 分别有各自的优势。目前传统存储系统基本都采用带内方法来实施存储虚拟化, 主要在主服务器和存储设备之间实现虚拟功能。

(3) 选择实施方案时需要注意:哪些硬件平台支持分离路径技术;哪些软件支持存储服务模块并且具有互操作性;相关功能端口部署虚拟化;避免溢出;具有性能、连接、管理、功能和恢复的扩展性等。

5 实现存储虚拟化的方式

(1) 混合软件方式。通过存储控制器对自有和外部的存储系统做虚拟化, 是部分使用者的需求, 他们需要将多种混合的存储虚拟化和SRM软件来实现存储系统架构内的多节点虚拟化和数据管理。

(2) 基于主机的方式。虚拟化并管理存在的多种存储系统, 可以使用支持的软件系统, 通过主机端对存储资源来进行。

(3) 单一供应商方式。顾名思义, 就是指所有存储系统组件都来自于同一供应商, 通过相匹配的路径管理软件等进行统一管理使用。需要注意的是, 若想在安装某个品牌路径管理软件后, 在要加入其他品牌的存储系统或虚拟化产品就会变得非常困难。

6 存储虚拟化的发展

超融合基础架构的迅速发展使得管理员可以在更多的存储虚拟化解决方案当中进行选择。这意味着既利用了融合基础架构的现有优势, 又增加了额外的软件层, 将计算、网络和存储等资源封装在单个容器当中, 而不是以基础组件的形式提供。这种“分散可靠性性能表现式”存储架构能够降低专用存储架构和网络的复杂性。在降低本地存储开销的同时, 提供许多高级特性, 比如复制和去重复化。

从存储的角度来说, 超融合基础架构更加引人关注。从硬件角度来说, 将计算、网络和存储集中到相同的平台当中是一种理想的迁移方式。此外, 将存储控制器由硬件组件转变成为软件服务 (可以由管理员进行控制, 不需要长时间培训) 也是一种合理并且受欢迎的做法。对于存储来说, 厂商应该实现产品在成本、灵活性和性能表现之间的最佳平衡。作为用户, 不论是在存储还是超级融合领域当中, 人们有多种选择 (如表1) 。

摘要：存储资源的大幅增长对管理带来了困难, 一种解决方法就是存储虚拟化。虚拟化技术出现在了存储系统架构的各个层面:主机层、网络层和存储系统层。使用哪种虚拟化技术最合适?什么时候该采用什么虚拟化来解决问题?都取决于基础架构的规模、应用类型以及对系统的管理要求等因素。虚拟化技术有其优点但也增加了部分存储系统的管理负担, 且在故障诊断时也难以定位问题发生的根本原因。存储虚拟化可以解决需求控制、应用程序和存储设备之间的绑定关系, 跟踪可能出现的性能问题、存储空间的浪费等问题, 并且通过多种方式来实现。

关键词：存储虚拟化,实施原因,管理原理,实施位置方法,实现方式

参考文献

[1] (美) Cormac Hogan Duncan Epping, 著.VMware Virtual VSAN权威指南[M].徐炯, 译.机械工业出版社, 2014.

[2]顾景民, 李芳.云计算中的存储虚拟化技术应用[J].科技视界, 2016 (20) :237-238.

存储虚拟化研究与应用 篇6

关键词：虚拟化,存储池,数据孤岛

0 引言

随着深圳供电局有限公司供电业务需求对IT自动化要求的提高和应用服务器数量的大幅度增长, 在过去5年内为满足不断增加的服务器资源需求, 不断提高的业务可用性需求和日益严重的应用性能瓶颈, 企业不断追加服务器及存储硬件资源的投入和改善运维管理, 然而IT基础架构的战略规划也仅局限在技术或运维的范围内。

经过近年的服务器及存储基础架构的连续建设, 管理成本和管理效率成本日益上升, 如何发挥有限存储资源的作用, 实现更好的配置和管理来满足企业不断发展的商业业务需求, 成为当前深圳供电局有限公司IT运维服务器及存储管理的核心任务。

在当前系统架构不能支持在不中断业务条件下进行数据的重新分布, 更加无法满足生产和业务在线不间断运行的条件下, 实现数据的迁移和重新部署。只有使用虚拟化技术, 整合存储资源, 建立数据通路和管理通路, 才能在不显著增加存储资源的条件下实现数据的重新分布和迁移, 包括业务在线运行条件下的数据迁移, 实现投资回报的优化。

1 深圳供电局有限公司核心存储现状

深圳供电局有限公司信息部共有高、中、底端存储9套, 大部分存储空间使用率都达到了70%以上, 其中SAP营销系统核心存储XP24000空间紧张, 并且非关键数据容灾 (BC) 占了大量高性能的、高价值空间。与此同时, 生产管理信息系统存储XP512的数据迁移到新洲数据中心XP24000后, XP512将会有约7.27T的空间闲置。为了提高资源利用率, 计划采用存储虚拟化技术, 在XP512数据迁移出后, 将XP512外接到SAP存储XP24000, 虚拟化为XP24000的内部资源, 通过XP24000进行统一管理。

2 深圳供电局有限公司核心存储资源矛盾

虽然深圳供电局有限公司拥有9套高、中、底存储资源, 但9套存储资源划分在3个不同的SAN环境中, 导致各套存储资源无法共享, 部分存储资源使用率高, 而部分存储资源使用率低, 存储资源分配不均, 浪费严重。另外, 随着信息化的迅速发展, 信息系统可靠性越来越高, 在现有存储环境下, 无法保障业务系统数据在不同存储之间的不间断迁移。

3 深圳供电局有限公司存储虚拟化的研究与应用

考虑到深圳供电局有限公司存储现状和应用系统未来发展对存储空间需求, 计划将XP24000和XP512两套存储之间实现虚拟化, 实现资源的优化配置。在两套存储进行虚拟化时, 考虑到虚拟化后存储的性能、兼容性、运维管理的方便性等方面, 在进行存储虚拟化的设计时需要考虑以下因素:

(1) 存储虚拟化所支持的外部磁盘阵列的兼容性;

(2) 存储虚拟化所需的FC端口规划;

(3) 存储虚拟化后虚拟卷的LDEV规划;

(4) 存储虚拟化所需的cache分区规划。

3.1 支持的外部磁盘阵列的兼容性

由于XP24000与XP512都是HP公司的产品, 两套存储之间的兼容性没有问题。

3.2 存储端口规划设计原则

XP磁盘阵列的存储端口 (CHIP port) 可设置为四种属性中的一种:

Target:用于通常的主机访问;

Initiator:用于CA的数据发送端口;

RCU Target:用于CA的数据接收端口;

External:用于存储虚拟化的连接外部存储的端口。

每两个CHIP端口共享一个处理器, 例如CL1A/CL5A共享, CL2A/CL6A共享, 以此类推。共享处理器的两个CHIP端口只能设置为同一种属性。

在存储虚拟化设备上, 需要规划若干External属性的端口用于连接外部被虚拟化的磁盘阵列, 以及规划若干Target属性的端口用于业务主机对虚拟化存储的访问。

为了保证存储虚拟化之后的I/O访问性能, 确定了以下的存储端口设计原则:

(1) 对每一台被虚拟的磁盘阵列, 分配至少独立的CHIP端口用于对它的虚拟化;

(2) 对每一个被虚拟磁盘阵列的前端FC端口, 在XP磁盘阵列上分配一个External端口和一个Target端口用于对它的虚拟化。

3.3 存储虚拟化CU:LDEV规划设计原则

(1) 每个被虚拟化阵列, 分配一个CU#, 以区分不同配置;如果一个CU的空间不足, 再根据业务类型划分CU#。

(2) 被虚拟化磁盘阵列上的每个LUN对应虚拟化后的一个虚拟卷, 并且为每个虚拟卷之分配一个LDEV, emulation type选择OPEN-V。这样就保证了虚拟化后的卷上的数据保持不变, 大小也不变。

3.4 Cache分区规划设计原则

(1) 每台外部存储 (或者每种型号的外部存储) 分配一个Cache Partition (CLPR) , 并按照存储容量相应地分配一定数量的Cache memory。

(2) 被虚拟化的存储为中端存储时, HP存储的缓存分区按照中端存储缓存的两倍容量进行创建, 如被虚拟化存储缓存为16G, 则在HP存储创建32G的缓存分区。

(3) 被虚拟化的存储为高端存储时, HP存储的缓存分区按照高端存储缓存的等同容量进行创建, 如被虚拟化存储缓存为64G, 则在HP存储创建64G的缓存分区。

(4) 深圳供电局的被虚拟化的高端存储XP512, 其Cache为10G, 计划创建12G的Cache分区。

(5) 在实施虚拟化项目时, 相关的参数设置:

(6) Cache Mode:设置为ON, 使用XP24000存储的本地缓存。

(7) Inflow Control:ON, 即在被虚拟磁盘阵列无法写入时对主机对虚拟化存储的写操作进行限制。

(8) Mode 454:仅在划分Cache分区的存储上设置为ON, 缺省为关闭状态。

3.5 虚拟化存储空间规划设计原则

被虚拟化的存储空间首先是在被虚拟化的磁盘阵列上进行配置。为适应虚拟化的需要, 其设计原则如下:

(1) 被虚拟化的XP512和EVA4000内部空间使用Raid 5;

(2) LUN的大小要统一, 建议使用Open-E, 每个LUN约14.5GB;

(3) 配置LUN Masking, 允许XP磁盘阵列的External端口对相关LUN的访问;LUN一旦实现虚拟化, 就应禁止非虚拟化方式的主机访问;

(4) 适当调整LUN的属主控制器以便实现多个处理器之间的负载均衡;

(5) XP磁盘阵列的一个External端口上最多规划4096个虚拟化LUN。

4 存储虚拟化经济效益分析

在IT运维过程中, 当面对旧设备需要淘汰时, 就意味着必须增加适量的存储空间和性能资源满足企业数据保存和业务运行的需要及未来发展。通常对资产贬值期前的设备进行扩容, 这将追加投资和资本性支出。从财务数字分析, 折旧的系统或待资产报废系统能够通过以上虚拟化的实施获得如下经济回报:

(1) 减少扩容XP24000磁盘柜的投资资本;

(2) 因而同时减少了相关扩容带来的软件费用;

(3) 因而同时减少了相关扩容带来的服务费用;

(4) 因而同时减少了相关扩容带来的数据中心楼面空间费用、制冷和电力费用;

(5) 降低管理工作量:通过减少管理存储的界面实现简化存储管理工作内容, 继而实现存储管理工作量的降低和管理风险的降低;

(6) 降低SAN管理复杂度:通过整合存储虚拟化, 降低SAN网络上对外提供服务的存储端口, 简化存储SAN设计和实施工作, 简化日常运维中SAN管理的复杂度和工作量。

5 结论

通过存储虚拟化技术在深圳供电局有限公司IT基础平台的研究与应用, 实现了将XP24000与XP512两套高端存储的虚拟化, 使已使用7年的存储XP512 10T的存储空间作为高端存储XP24000镜像磁盘使用, 达到了资源优化利用的目的。按照当前高端存储1T/20万元的市场价格, 存储虚拟化技术的利用为企业在IT基础设施方面的投资节约了200万元。同时还实现了存储资源的动态调整, 使“闲者让资源, 忙者有资源”, 为业务平滑运行提供无缝支持。

参考文献

[1]黄达文.存储虚拟化技术在电力企业的应用.数字技术与应用, 2010, (8) .

[2]罗斌, 李树友, 宋斌恒.一种SAN存储虚拟化的实现方案.计算机应用研究, 2006, 23 (3) .

两级存储虚拟化模型 篇7

关键词：网络存储虚拟化智,能交换机,元数据服务器,带内虚拟化,带外虚拟化

0 引 言

近年来,存储虚拟化一直是存储领域的热点,也是未来存储的发展趋势。早期存储因为缺少统一的规范标准,造成各厂商的存储软硬件自成体系且互不兼容。这些历史原因造成的兼容障碍,极大地阻碍了客户存储系统的扩大和统一管理。不过,近年飞速发展的存储虚拟化技术为客户提供了解决存储系统兼容性问题的方法。硬件设备更新过快造成了很多存储环境的新旧设备并存的尴尬,存储虚拟化不仅可以解决在不同环境和不同需求情况下所采购的各种新旧异构平台的兼容问题,还可以使整合后的各种资源得到最大化的利用和实现统一化的管理。

正是因为存储虚拟化所带来的种种好处,使得它成为各大研究机构的重点研究课题,也成为各厂商的产品研究重点。然而存储虚拟化可以在存储系统各层分别实现,且实现的技术也多种多样。本文将讨论现有的存储虚拟化模型和实现方式的优劣势,并提出融合带内和带外模型的DV (Double-Virtualization)模型,该模型基于智能交换机和文件服务器,分别在块级和文件级实现存储虚拟化。

1 存储虚拟化

1.1 存储虚拟化背景

存储虚拟化技术通过对存储系统各层的虚拟化,具有以下种种优势:对新旧异构存储设备和异构客户服务器系统的资源整合统一;使企业的IT 架构能够兼容各厂商硬件,各操作系统的异构设备和环境;具有统一管理的优势和节省了人工管理的成本;在整合各种资源的同时更提升了存储环境的整体性能和可用性,从而进一步提高资源的利用率。

尽管在上述种种好处的引导下,存储虚拟化技术正在蓬勃发展,但是由于存储虚拟化技术本身多样化的实现,再加上存储行业又缺乏统一的标准规范,导致存储虚拟化呈现多元化的发展趋势。而各大厂商更是采用不同技术,在不同层面上实现虚拟化,使得原本可以比较容易解决的存储异构问题的虚拟化技术不能从根本上去解决问题。同时,各家对存储虚拟化的各种实现方式的优劣也一直争论不休。那么,存储虚拟化技术到底有哪些实现方式呢?根据存储虚拟化实现的设备分为:基于存储设备的虚拟化,基于主机的虚拟化和基于网络的虚拟化。基于存储设备的虚拟化主要通过I/0通道,RAID子系统和智能控制器将物理盘虚拟为逻辑盘。基于主机的虚拟化主要是通过逻辑卷管理来实现。基于网络的存储虚拟化主要在网路中实现存储虚拟化。基于网络的存储虚拟化因为独立于主机和存储设备,是最有可能完全实现兼容各种存储设备、服务器设备和操作系统的存储技术。

1.2 基于网络的存储虚拟化

基于网络的存储虚拟化本身开放的特性,使得它呈现多样化的发展趋势。下面将主要讨论各种各样的基于网络的存储虚拟化。

(1) 根据实现方式,主要分为两大类:带内虚拟化和带外虚拟化。这两种实现方式又各具优缺点。图1表示带内虚拟化存储系统的组成。

如图1所示,在网络带内虚拟化存储系统中,由数据通路上的智能交换机或者路由器通过对存储地址的转换来完成存储虚拟化。这种智能交换机或者路由器一般采用端口级的处理器,内嵌的虚拟化模块负责通过对数据I/O进行地址的转换来实现I/O重导向,即将原数据包中的虚拟逻辑地址转化为实际的物理地址,再转发到对应的存储系统读写数据,从而实现存储虚拟化。在传统的网络中,交换机和路由只负责数据包的转发,而内嵌了虚拟模块的智能交换机或者路由不仅负责转发数据包,并通过重导向数据I/O的请求来实现存储资源的虚拟化管理,同时还可以在数据通路上实现各种数据存储管理语义。

在带外虚拟化网络存储系统中,应用服务器和存储设备直接进行数据传输,由处于数据通路外的元数据服务器来实现存储虚拟化(如图2所示)。这种专有元数据服务器(Metadate Server)会负责管理存储逻辑与物理之间的虚拟化映射关系。主机发送I/O请求到元数据服务器读取文件,元数据服务器根据文件请求中信息来查找对应的物理存储地址信息,再将该物理地址信息返送给主机,主机最后根据元数据服务器返回的存储地址信息直接从存储系统中读取数据。一般主机端需要安装代理软件,来完成该过程。

(2) 根据SNIA 提出的存储模型(如图3所示),网络存储虚拟化可以在文件系统级别和块级别两个层上实现。

(3) 根据实现虚拟的设备,又可以分为基于交换机、路由器、元数据服务器等三种。

1.3 带内和带外虚拟化的优缺点

通过对数据传输通路的有效控制,带内虚拟化方式易于实现各种高级数据存储管理语义,如在线数据迁移、数据复制和数据版本(快照)控制等,并且容易达到块级别的存储虚拟化。另外还能满足数据缓存、I/O优化等性能要求。

但是,带内虚拟化具有先天性的不足:数据通路上I/O导向器的单点故障和性能瓶颈,这个致命的缺点决定了带内虚拟化不能大范围地虚拟存储资源。同时带内虚拟化不能充分发挥交换式存储网络的承载能力和单个存储设备的最大I/O,而且I/O导向器的I/O转发操作也会相应增加数据传输通路的I/O延迟。而带外模型因为提供存储虚拟化的服务器独立于数据传输通路外,所以不影响存储系统服务器端和存储端的大幅度扩充,甚至可以在未来支持全球范围内的扩展。但是,为了保证存储数据的统一完整性,这种模型的虚拟映射数据常常采用集中式的管理方式。集中的元数据服务器必然导致系统的不稳定和单一故障特性。所以,在目前技术支持下,为了兼顾数据的完整性和系统的稳定性,一般采用比较成熟的集群模式来避免元数据服务器的单一故障点,并采用分布式文件管理系统来保证数据的一致性。但是也决定了目前的带外模型常常都是在文件级别实现虚拟化。

相对于文件系统的虚拟存储,块级别存储虚拟化可以实现块级别的存储地址的虚拟抽象,可以提供不同粒度的数据的存取和操作。

2 基于智能交换机和带外文件服务器的两级存储虚拟化模型

通过SNIA的存储模型,可以看出存储系统各层都能实现虚拟化。但上述我们讨论的各种模型都只是在某个层上实现虚拟化,而本文提出基于网络的分别在块级别和文件系统级别都实现虚拟化的两级虚拟化模型。命名为DV模型(如图4所示)。

在该模型中,存储端的物理地址经过智能交换机和元数据服务器两层地址映射转换,来实现两级虚拟化。元数据服务器管理的地址映射关系,不再是单一带外模型中的逻辑地址对物理地址,而是逻辑地址对逻辑地址。应用服务器发出I/O请求到元数据服务器,元数据服务器根据文件请求中信息来查找对应的存储逻辑地址信息,再将该地址信息返送给应用服务器。应用服务器再根据返回的地址信息发送I/O请求到相应的智能交换机。智能交换机的智能模块再将I/O重导向到对应的存储器。

第一层:基于智能交换机的带内虚拟化,利用成熟的智能交换机技术实现基于块级别的存储虚拟化,形成一个地方虚拟存储资源池,为中央上层提供虚拟磁盘的接口。在地方虚拟池中可以简单便捷地进行各种存储管理,包括在线数据迁移、数据复制和数据版本(快照)控制,以及可以融合各种异构的存储设备,并且可以在一定范围内扩充虚拟池的容量。

第二层:基于带外服务器实现带外虚拟化。利用带外的元数据服务器整合各个地方提供的虚拟存储资源,形成一个中央统一管理的虚拟存储文件系统。在这个全局的文件系统级别上,可以无限制地扩充已经经过第一层虚拟的地方资源,这样,完全可以实现基于文件系统的全球虚拟存储系统。

通过两层虚拟化,可以整合更大范围的存储资源,并使资源得到最大程度上的虚拟化,同时可以克服带内和带外虚拟化各自的缺陷并融合各自的优势。利用带内的便捷存储操作管理和带外的全局扩充统一管理存储。通过上下两层的虚拟可以最大程度地整合各厂商的异构存储设备和服务器,甚至可以兼容异构的存储网络。

3 总结与展望

存储虚拟化本身技术多样化,实现多层次化。而各大厂商都采用不同的架构和实现方式。使得原本就缺乏标准的存储虚拟化更加地“虚拟”了。如何能够实现各个异构环境真正的完全的虚拟化,还需要走上很长的一段路。基于网络的存储虚拟化因为脱离服务器端和存储设备端能达到很好的虚拟效果,因此得到广泛的应用。但是基于网络的存储虚拟化的两种模型:带内模型和带外模型都各具优缺点。目前技术都只是采用其中一种模型来实现某一级别的虚拟化。本文提出的DV模型,采用带外服务器和智能交换机,分别在文件系统层和块层两层实现存储虚拟化。该模型可以融合带外和带内的优点,来彻底解决存储虚拟化技术多元化带来的障碍,最终实现更高效的存储虚拟化。

参考文献

[1]吴松,金海.存储虚拟化研究[J].小型微型计算机系统,2003,24(4):106.

[2]罗斌,李树友,宋斌恒.一种SAN存储虚拟化的实现方案[J].计算机应用研究,2006,23(3):214-215.

[3]刘朝斌,谢长生,张琨.存储网络虚拟化关键技术的研究与实现[J].计算机科学,2004,31(5):38.

[4]王迪,舒继武,薛巍,等.块级别的海量存储虚拟化系统[J].清华大学学报,2007,47(1):108.

[5]Farley M.SAN存储区域网络[M].孙功星,等译.机械工业出版社,2002.

[6]Aliabadi M R,Ahmadi M R.A proposed storage virtualization architec-ture for efficient information management:New Trends in InformationScience and Service Science(NISS)[C]//2010,4th InternationalConference,2010,Gyeongju.

关于存储虚拟化技术的研究 篇8

1 存储虚拟化技术的概述

1.1 存储虚拟化在主机上的应用

存储虚拟化技术功能十分强大, 并且这种功能是随着互联网络以及计算机计术共同发展起来的。在对主机的存储进行管理的过程中, 存储虚拟化技术主要以软件的应用来实现。这种软件主要的功能就是对异构磁盘进行管理, 进而产生虚拟空间, 缓解信息存储的压力。实际应用的过程中, 该技术的主要应用基础是服务器, 通过服务器达到对虚拟空间把控和监管等方面的目的。

应用于主机上的存储虚拟技术, 其最大的优点就是对硬件的依赖度不高, 可以独立的完成虚拟化的操作, 得到更多的存储空间。通常情况下逻辑卷管理软件, 是较为常用的一种虚拟技术应用软件, 该软件便于操作, 效果优越, 并且成本支出较低, 但是暴漏出的问题也较为严重。首先, 虚拟化软件的应用增大了主机的负担, 使得主机无论是在时间上、还是在工作量上都会产生变化, 影响主机性能的发挥。其次, 产生的存储虚拟空间与主机关系密切, 主机出现问题, 存储空间中数据信息的安全性和稳定性将难以得到保障。最后, 产品规格存在差异, 适配性能不足, 容易增加开销, 不利于实际的操作, 并且适用范围狭窄。

1.2 存储虚拟化在设备上的应用

存储虚拟化在设备上的应用, 主要就是指应用虚拟化技术对存储设备的空间进行虚拟, 拓展原有的存储空间, 使其可以储存并管理更多的数据信息。在存储设备上进行应用的核心是要对磁盘列阵控制器进行有效的操作, 通过软件的应用提升磁盘列阵控制器的功能, 并以列阵为单位进行内部存储的规划。通过这样的方式, 存储设备就可以顺利接受多个主机的访问。

通过对磁盘列阵控制器的改造, 存储设备的存储功能有所提升, 并且还具有着一定的独立性, 更加有利于存储方面的掌控。但是值得注意的是, 目前存储设备的生产还没有形成统一的标准, 因此会因为设备之间的差异, 而影响存储空间的虚拟化。

1.3 存储虚拟化在网络上的应用

利用网络平台设立存储虚拟空间, 是现代存储虚拟化技术主要的发展方向, 对于提升信息存储的质量有着积极的作用。将存储虚拟化技术应用于网络后, 其可以有效的避免上述两种类型存储虚拟化问题的出现, 并且在开发性和扩展性上都具有明显的优势, 可以满足现代信息存储不断发展的需要。简单的讲网络存储空间的虚拟化主要依靠智能交换器或者服务器来完成。

2 实现存储虚拟化的有效途径

2.1 注重介质连通, 合理存储管理

存储空间的虚拟化主要以存储设备为基础, 通过对多个存储设备的连通, 使得存储空间得到提升, 并形成统一的存储空间, 满足用户的访问、存储等方面的需要。具体来说物理化的存储设备, 其存储空间具有限度, 并且通过设备的操作可以得到明确的显示, 同时不同的设备在性能、容量等方面都存在差异, 所以需要进行储存虚拟化, 使得各类存储设备可以避免彼此性能上的冲突, 形成统一的集合体, 降低了管理方面的难度, 并且可以为用户提供更多的存储服务。

2.2 搞好数据共享, 保障数据完整

存储虚拟化不仅是对信息的存储与管理, 同时也肩负着数据信息共享的职能。由于现代网络技术发展迅速, 使得信息数据的共享必须遵照严格的流程, 满足具体的要求。通常情况下为了保障数据信息的准确性, 并避免数据信息出现残缺失真, 需要搞好备份分发算法、锁机制算法等方面的设计, 降低不同存储设备中的数据在拷贝流转的过程出现问题的几率。

2.3 保障访问安全, 控制访问方式

存储设备虽然支持用户的访问, 但是对访问的形式有着一定的要求。通常情况下仅支持被授权的访问请求, 一些不在授权范围内的访问将不予接受。但是有时用户出于特殊目的, 经常会采取强制性的访问, 例如, 恶意攻击、超越访问权限等等。这就对存储系统造成了严重的影响。因此存储虚拟化技术需要借助软件, 行使管理上的职能, 建立起安全访问制度, 让用户通过密码的输入完成身份上的认证, 或者对数据信息进行特殊处理, 让非法用户难以直接获取。

2.4 提升技术性能, 促进技术发展

存储虚拟化技术的核心性能就是可靠性和扩展性, 二者是该技术得以应用的基础。为了使得存储虚拟化技术可以获得更好的发展, 研究人员需要在这两个性能方面下功夫, 通过建立故障预警系统, 实现风险的预设、故障的诊断以及故障的隔离与维修, 使得存储虚拟化技术可以稳定安全的进行应用, 并在现代科技的支持下革新存储设备, 优化存储设备。

3 结束语

综上所述, 存储虚拟化技术在现代信息社会中有着重要的作用, 可以完善信息存储方面的不足, 扩大信息存储的空间。因此有关研究人员应加大对存储虚拟化技术的研发, 通过对应用类型, 实现途径等方面的了解, 促进存储虚拟化技术的不断发展。

摘要：计算机的不断普及使得信息的传播更加的迅速便利, 其不仅促进了信息传输量的增加, 同时也对信息的存储提出了新的要求。为了保障信息可以得到有效的存储, 降低信息存储的压力, 目前存储虚拟化成为了解决这一问题的主要技术, 其在拓展存储空间, 优化存储管理方面具有着明显的优势。鉴于此, 本文主要就存储虚拟化技术进行研究, 希望通过笔者的努力加深对该技术的了解, 促进该技术作用的发挥。

关键词：存储,虚拟化,网络,信息

参考文献

[1]张光.存储虚拟化技术的研究[D].北京交通大学, 2013.

[2]常征.存储虚拟化技术的研究与比较[J].安徽电气工程职业技术学院学报, 2011 (S1) .

数据存储虚拟化优势与实现 篇9

现在全球的互联网已经进入大数据时代,许多单位的信息系统存储相对分散,部分存储在服务器本地,部分存储在不同的存储设备中,存储设备类型各不相同,有IP存储,有FC存储,且各存储设备的利用率参差不齐。以上情况造成了管理上的不便和资源使用率不均衡,数据安全也不能得到很好的保证,且使得管理者无法从整个信息系统资源的角度对其进行统筹规划,致使其成长性较弱。

由于磁盘阵列划分相对孤立、分散,造成磁盘阵列的浪费以及数据的高风险性,且十分不易于维护。随着之后系统和数据量的不断增长,这一现象将会持续加剧。

另外存储设备来自不同的厂家和不同的型号,为了方便统一管理,可以通过实现存储虚拟化,将存储整合起来,可以实行对整个磁盘阵列进行总的调配和规划,充分利用磁盘阵列上的空间,提高系统的运行率,减少数据丢失的风险,并且易于管理和维护,能够优化数据备份机制。

为了提高资源使用率以及系统高性能和高安全性的保证,使用磁盘阵列,在实行存储分级时,可以将重要和需要保证高性能的系统和数据规划存放在这台高性能的磁盘阵列上。大容量在满足了基本需求以及应付各种临时性的存储申请后,可以将剩下的空闲的存储作为新系统上架的存储。

2 存储虚拟化实现的目标

通过采用Symantec存储虚拟化技术,引入以存储为中心的信息化建设理念,将各系统的数据存储集中,提高存储利用率。

本次存储虚拟化建设要求存储虚拟化软件达到以下效果:

要求存储管理软件采用开放技术,能够在Windows、Linux操作系统环境中对各家厂家、各种品牌磁盘阵列进行统一管理,本项目涉及到Windows、Linux操作系统以及HDSDELLH3C等各类存储品牌设备。

存储管理软件要求提供动态多路径技术,同时支持上述来自不同厂商的存储设备,提供主从访问和故障切换等功能、多个物理通道的并行访问,提升数据存储访问的高性能和高可用。

要求存储管理软件能够在数据访问不受影响的情况下对磁盘阵列进行在线管理,包括磁盘逻辑卷的在线尺寸调整、新设备在线扩容、以及磁盘故障在线修复。

存储管理软件能够确定不重要的文件或者旧文件,并将它们移到更经济的存储设备上,并不需要改变用户或者应用程序访问这些文件的方式。

存储管理软件能够轻松而快速地转换数据,以便在不同的操作系统上使用,使其简便迁移到新的操作系统上。

3 存储虚拟化技术架构

采用存储虚拟化管理软件Storage Foundation可解决当前遇到的存储管理难题。

Storage Foundation(SF)的核心由两个组件构成,一个是文件系统(称为Vx FS),一个是卷管理器(即存储虚拟程序,称为Vx VM)。

SF在业务一个用程序和数据之间的软件组件堆栈中的位置,如图1所示。

SF核心的第一组件是Vx VM,卷管理器控制着对连接到服务器的联机存储的访问。联机存储设备通常是直接连到服务器的磁盘驱动器,也可以是由磁盘阵列通过存储网络提供的逻辑单元(LUN)。通过适配器和主机操作系统中的设备驱动程序,Vx VM将这些设备的快存储组织起来,然后以类似于磁盘驱动器的虚拟卷的形式提供给上一层。

SF核心的第二个组件是Vx FS文件系统。Vx FS是一个功能先进、性能卓越且符合FOSIX的文件系统。Vx FS不同于原始的UNIX/LINUX文件系统的一个方面是,它从一开始即设计用于适应大规模数据的文件和巨大的存储区数据量的处理需要。Vx FS文件系统的以下几个设计特性使得它能够管理TB级容量的存储区以及上百万数量的文件。

4 存储虚拟化工作原理

VERITAS的Volume Manager是基于主机的虚拟化代表性产品,该软件是在服务器的层面实现部分的虚拟化,但它的缺点是必须要求在服务器上有软件的代理。

卷管理是VERITAS存储虚拟化的核心产品,在卷管理的作用下,分散在各处的不同厂家的存储设施被整合成一个单一的存储池,业务部门和员工可按照容量、响应时间、成本和备份频率描述各自的存储需求,它将存储环境中的磁盘划分为不同的组并进行分区,合并不同的RAID,分配空间,处理操作错误,跟踪进程,分析性能,为管理员优化存储资源提供图形界面。,系统管理员按照他们的不同需求分配存储空间,从而优化现有存储资源的使用。在利用卷管理构建的虚拟化存储环境中,只需专注于管理存储空间,系统管理员不必关心后端存储设备。

5 存储虚拟化实施

(1)对于一个全新的系统,在操作系统安装完成后进行:

1)根据需要安装操作系统补丁程序。

2)安装SF,在安装的过程中完成SF的基本配置。

3)根据用户需求进行存储空间的划分,如创建磁盘组、卷、文件系统等。

(2)对于一个已经投入生产的系统:

1)根据需要安装操作系统补丁程序,有可能需要停机。

2)安装SF,在安装过程中完成SF的基本配置。

3)迁移现有生产数据,根据具体情况可采用多种迁移方法。需要一定的停机时间。

4)将应用切换到新的数据卷或文件系统上运行。

摘要：现在全球的互联网已经进入大数据时代,由于磁盘阵列划分相对孤立、分散,造成磁盘阵列的浪费以及数据的高风险性,且十分不易于维护。随着系统和数据量的不断增长,这一现象将会持续加剧。为了方便统一管理,可以通过实现存储虚拟化,将存储整合起来,可以实行对整个磁盘阵列进行总的调配和规划,充分利用磁盘阵列上的空间,提高系统的运行率,减少数据丢失的风险,并且易于管理和维护,能够优化数据备份机制。简单介绍了存储虚拟化技术架构和工作原理,分析了存储虚拟化技术的优势。

关键词：存储设备,虚拟化,集中化管理,磁盘阵列

参考文献

[1]王国华.存储虚拟化分配技术研究[J].数字技术与应用,2015,(04).

[2]艾绍斌,魏娟.存储虚拟化的前景展望[J].信息系统工程,2014,(08).

[3]张小龙.存储虚拟化技术发展趋势探讨[J].硅谷,2013,(23).