图书馆网络中心各存储技术的应用研究

2022-09-16

几年前, 存储技术对图书馆来说关心的不是很多, 在图书馆自动化建设的初期我们主要针对的是图书馆的计算机自动化管理, 是图书馆传统的采、编、流领域的自动化, 其产生的数据不外乎是馆藏书目数据、读者数据以及流通日志数据, 这些数据经过多年的积累, 到今天也还是了了, 谈不上用什么高新技术来存储它。但如今, 图书馆作为一个信息的集散地, 已大大突破了传统的服务方式, 网上数字图书馆、网上数据库以及各种多媒体光碟在给读者带来快捷方便服务的同时, 导致的是数字资源的猛增, 传统的服务器挂大容量硬盘或挂磁盘阵列 (D AS模式) 的存储方式越来越招架不住。

1 图书馆信息存储面临的问题分析

现在图书馆遇到的问题, 一是数据多、二是滥。随着社会信息化不断深入, 各行各业的数据都在猛增, 但象银行、通讯等行业它们的数据虽然也在增加, 不过由于它们应用比较单一, 主要是一个应用系统带一个数据库, 产生的数据也比较单一, 所以问题相对还是比较好解决。而图书馆的数据是多中带滥, 不光数量多品种也多, 象国内一些大高校图书馆其数据库种类达200多种, 这么多的数据库要运行在互连网上为读者提供服务, 面临的困境可想而知。一台服务器上运行一个应用是最理想, 象一些大型数据库提供商强烈建议不要将他们的数据库和其它厂商提供的数据库安装在同一台服务器上, 因为多个数据库运行同一服务器上很容易出问题, 而且出了问题也由于相互牵扯的关系而不好解决。按以前的方式, 我们每新增数据库都要以增加服务器为前提, 考虑数据容量的不断增加, 为将来扩容作准备, 服务器的性能又不敢降低, 这无形中将增加了大量的投资。不光如此, 这种留有余地的扩容也是有限度的, 而数据的增加却是无限的, 将来的将来我们又该怎么办呢?

还有一个问题, 图书馆还有很大一部分数字资源并非是网络版的数据库, 而是一些单机版的数据光盘、应用程序光盘、随书附带的一些资料光盘, 而这些资源又如何来让网上的读者来共享呢, 这也需要存储设备做后盾。

2 NAS存储技术探讨

围绕以上遇到的问题, 下文我将剖析当今最前沿的存储技术来为其对症下药。

先来剖析NAS, 它的全称叫网络附加存储。它的技术雏形是比较传统的, 类似于我们的网络打印机被共享或网上邻居中的磁盘空间共享, 只不过传统的共享不够专业化, 而它是专门用来提供空间被大家共用的, 它其实就是一个专业化的文件服务器, 但它比传统的文件服务器又有以下优点:[1]

(1) 它从外形来看就是一个磁盘柜, 没有普通服务器的各种外部设备, 象显示、键盘、鼠标之类的东西。

(2) 它的内部结构就是一个控制器加磁盘, 操作系统集成在内部的闪存中, 不用象普通文件服务器那样必须人为的去为它安装操作系统并经常的维护器正常运行, 它是开机就能工作, 对操作系统这一层是免维护的。

(3) 对它的管理是基于WEB界面的, 在任何一台能上网的机器上通过浏览器登入到它的管理界面就能管理它。

(4) 提供NFS、CIFS协议, 满足异构平台下的文件储存, 支持跨平台的文件共享。而传统的文件服务器是很难做到这一点。

(5) 支持多个RAID, 每个RAID卷又可各自选择不同的RAID级别, 为数据的安全提供可靠的保障。

(6) 集成了磁带备份软件, 通过WEB界面就能实现数据完全或增量备份。这其中的增量备份是传统服务器很难做到的。

当然, NAS存储方式也有其局限性。NAS完成的仅是文件系统级的共享, 它对文件级的服务有着高效和快速的性能, 适合作EMAIL或FTP文件下载服务器的存储池, 更适合在局域网内提供文件共享服务。而对于数据库应用系统, 数据库管理软件对其管辖的数据库文件的操作就不是基于文件级, 而是基于块 (block) 级方式进行的, 所以NAS设备在这方面的应用有其局限性, 而这正是下文要讨论的SAN存储模式的应用领域。

3 SAN技术探讨[2]

SAN的全称叫存储局域网, 所以我们不要把SAN想成一个设备, 而是由一系列硬件设备加应用软件而构成的一种解决数据存储问题的方案。在硬件方面, 它包括存储设备、光纤交换机、光缆、光纤适配卡、应用服务器。软件方面也是多种多样, 根据我们面临存储问题的侧重点不同而选用相应的软件。

在SAN存储结构中, 各应用服务器可以共用一个存储设备, 但这种共用并非象NAS那样互通有无的共享整个存储空间, 而是可以在同一存储器各分的一块属于各自独享的空间。应用服务器通过存储局域网和存储设备交流数据, 通讯协议依然沿用传统DAS存储模式使用的SCSI协议, 但由于采用的是全光纤通道, 通讯速度大大提高, 能达到100MB/S。存储局域网是独立于传统网络之外的一个专供数据交流的网络, 所以不会NAS那样占用传统网络的带宽来进行数据通信。SAN技术有类似于传统DAS技术的延伸, 它把原附属于各应用服务器的磁盘阵列或磁盘独立出来, 集中到一块, 使存储设备和应用服务器分离, 这样存储设备的扩容将不再受到应用服务器的制约, 也不再靠服务器上的操作系统对它进行管理, 它相当于被解放了, 从此走到了可独立自主、可无限扩容的道路上。对于服务器端, 由于甩掉管理存储设备之累, 于是可以轻松上阵, 专注于应用。

SAN的运转离不开应用软件, 各种特殊功能的实现都要考软件来支撑, 目前推广SAN技术的公司很多, 都各自开发自己的应用软件, 相互之间还没有统一的标准, 产品之间缺乏通用性, 这是一个发展中的问题, 作为一种前沿的存储技术, 正处在方兴未艾的发展中必然遇到, 所以要求我们用户要识大体、看主流, 把好产品选购关。

结合各种软件, SAN存储结构可以实现磁盘的虚拟管理、在线的文件系统伸缩、数据在线增量备份、快速整体备份、异地容灾、分级存储以及多主机多应用多级切换等功能, 最大限度保证整个应用系统高速、安全、稳定、高效地运行。

SAN技术是基于块级方式对数据进行操作, 存储设备划归给每个服务器的空间在服务器端看到的就是一个逻辑卷, 相当每个服务器都挂有一个归各自独享的空间可调的虚拟的磁盘阵列, 所以它很适合用于顺序读写数据且文件很大的应用, 象服务器集群存储、服务器备份大型数据卷、数据集中备份恢复、交流视频、非线性编辑等关键应用会产生大量关键数据需要保存访问的场合, 象电信、银行、证券、气象、电子商务等行业。

4 图书馆网络中心存储问题解决模式

通过以上对NAS和SAN存储技术的剖析, 在回头看看图书室数据存储所遇到的问题, 我们脑中已有明析的思路。

对前文中提到的第二类问题, 我们可用NAS技术解决, 将NAS设备接到传统的网络主干交换机上, 将那些非网络版数据光盘、应用程序光盘、随书附盘等分门别类的存入NAS设备中, 供校园局域网上的用户直接通过共享的方式就可利用它。而对互连网上的用户, 我们可配置一台FTP文件下载服务器, 将服务器的默认访问目录指向NAS设备, 这样互连网上的用户就可通过文件下载的方式来利用这部分资源。

而对于第一个问题, 显然我们用SAN存储方案很合适。我们构建一个存储局域网, 面对众多的数据库, 我们先分分类, 对那些资金投入大、数据增长快、用户访问勤的大型数据库, 将其安装在单独的服务上比较合适, 而对那些比较小的数据库, 则可以多个数据库同装在一台机器上, 由于存储设备已不再附在服务器端, 没有为以后扩容之忧, 我们可只专注于服务器C P U的性能、内存的大小等方面, 所以服务器的选择比以前简单多了。对存储设备这一块, 为了节省资金, 我们可以采用分级存储方案, 由在线存储设备—磁盘阵列、备份存储设备—磁带库, 通过管理软件构成一个整体的虚拟的存储空间, 系统运行当中将自动根据数据的利用情况, 将比较常用的数据存于在线设备中, 而将不常用的数据迁入备份设备中, 这样不断动态地监控、调整数据存储地, 既满足用户的需要又节约了储存成本。[3]

以下就是整个解决方案图 (图1) 。

摘要：图书馆作为图书资料的服务部门, 随着服务的信息化、网络化, 在图书馆的网络中心有大量电子数据需要存储, 并随时在线供读者访问, 数据在逐年增加, 图书馆面临的存储问题将变得越来越迫切, NAS和SAN是近些年出现的新存储技术, 如何运用它来解决图书馆遇到的特殊存储问题是本文所要讨论的。

关键词：DAS,NAS,SAN