数据交换与交换平台

数据交换与交换平台（精选十篇）

数据交换与交换平台 篇1

移动业务是目前各大运营商竞争的重要领域, 对于实时性的要求很高。随着中国电信计费结算中心与各省计费结算中心之间的纵向数据传输实时性越来越高, 数据种类越来越多, 原有基于固网业务的数据交换模式已经不能适应实际要求。主要体现在:集团和省份公司两级计费系统交换数据过程中频繁出现“文件丢失、延误而责任不清晰”的情况, 由于数据交换进程长期高负荷运转, 频发“僵死”现象, 而且原有的通信前置机缺乏精确的数据管理和核对机制, 难以满足全网移动运营和上市公司的内控要求。

因此有必要建立一个全新的智能数据交换平台, 从根本上解决分散建设的运营支持系统由来已久的问题。例如信息孤岛, 资源整合, 信息的加工和增值, 系统的平滑扩展与升级等。利用信息总线, 规范化接口, 统一数据模型, 将各个业务处理系统按照网元的方式进行互联互通, 从而达到“信息资源充分共享, 新增网元系统灵活接入”的目的。

1 建设智能数据交换平台的意义

1) 解决全国计费结算中心与各省计费结算中心通信前置机目前存在的数据漏传、多传、错传, 责任不清的顽症, 解决省间、省内各计费网元没有一套标准、规范的协议接口进行数据交换的现状;

2) 实现“应用与数据分离”的目标。周边系统的数据都可以利用平台集中交换和共享, 减轻了各个系统之间做接口的开销, 节省了宝贵的主机资源、存储资源、网络资源;

3) 引入物流处理模式, 采用一套有保障的机制来规范数据的发送和接收流程, 对数据自动进行传送和复制, 并且通过严格的数据稽核和校验机制, 保证了在平台中交换的数据的一致性、可靠性和安全性, 同时对异常数据也有相应的错误处理和拒收处理流程;

4) 实现核心系统网元到通信设备的接口互联, 不仅能够被动地从通信接收数据 (如话单采集) , 还能主动地发送各种指令, 核心系统网元和MSS/OSS (管理支撑系统/运营支撑系统) 的接口互联, 实现双向的数据传输。

2 智能数据交换平台的设计思想

智能数据交换平台的建设, 引入了以下3个重要的设计思想, 见图1。

2.1 仓储物流

仓储物流是指物资实体物理流动过程及其有关活动的总称。它不仅包括货物的搬运和运输, 还包括与此相联系的包装、装卸、储存保管、配送和流通加工等过程。智能数据交换平台充分借鉴这一思想, 将数据与信息的传输过程形象地予以展示, 其中比较重要的几个概念分别是货品、仓库、货架、数据广场、工作单、调度中心。

货品对应于业务支撑网的各个网元如计费系统、营业受理系统、综合结算系统产生的, 通过智能交换平台进行接收、配送, 最后提供给接收方的数据。

仓库对应于存储业务支撑网的各网元之间交互数据的专用场所, 仓库内包含一个或多个货架。

货架对应于智能交换平台中存放货物的物理位置, 负责数据在货架和数据广场之间的交换。

工作单分为取货单、入库单、出库单、配送单、退货单、换货单、清货单等基本的工作单。智能交换平台的任务是一个或多个工作单的有机结合。

数据广场对应于货物的集散地, 是数据取货、发货和数据处理的场所。

流程调度中心对应于智能交换平台的管理核心, 它控制了仓储物流概念下智能交换平台所有工作单和执行者进程的运行过程, 决定了整个系统的正确、稳定、效率等各个方面。

2.2 Petri网参考模型

Petri网是对离散并行系统的数学表示, 目前已经成为广泛应用的离散事件的建模工具。

智能数据交换平台作为电信运营支撑体系的重要组件, 需要承担电信运营商业务支撑网内所有实体间的接口数据交换工作, 大量的数据日吞吐量对智能数据交换平台可用性、稳定性、效率和自动化水平等主要性能指标均提出了极高的要求。系统所处环境还具有交换数据种类多、数据交换流程各不相同、处理任务到达时间与数量波动明显和处理实时性要求高等特点。因此, 异步多进程并发处理的软件架构体系成为必然的选择, 而系统行为的复杂性和不确定性也随之显著增加。

因为Petri网模型具有强大的描述离散事件系统的能力, 所以智能数据交换平台采用基于Petri网的系统模型作为分析工作流模型的理论基础。另外, 对Petri网模型的深入研究也对系统业务处理工作流中的并发、冲突、资源分配、业务调度机制分析等具有较大的参考价值。

智能数据交换平台在规划求解模型基础上建立了基于Petri网图形的模型。图2的Petri网模型仅包含了智能数据交换平台的一个业务流即文件类数据交换和两个共享资源访问 (冲突) 场景。虽然在模型中还存在更多的并行和冲突环节, 但简化后的图形已足以说明业务流内部和业务流之间的关系。

2.3 控制流与数据流分离

坚持数据流和控制流分离的原则, 将智能数据交换平台视同于一种核心网元, 并参考当前传输网和信令网分离的方式, 可提高数据传输过程的及时性和安全性, 并通过调度来均衡数据流量。

智能平台的数据流与控制流采用CTP (China transport protocol) 。CTP是一种应用于智能交换平台与远端文件服务器间的网络文件传输的协议。CTP客户端与CTP服务器端的接口传输层采用TCP/IP, 应用层使用socket通信方式实现。协议层采用CTP基础协议, 规范请求信令, 传输信令, 鉴权信令的交互, 分离控制和传输的过程。见图3。

整个CTP传输过程中, 服务器端和客户端之间的协议流程整体分为两类:传输控制流程和数据传输流程。客户端与服务器端之间先后建立了两个socket通信连接, 一个控制连接和一个数据传输连接。控制连接用作客户端与服务器端之间发送控制指令和响应;数据传输连接用作客户端与服务器端之间进行文件内容数据或目录文件列表数据的传输。

控制端口和传输端口均由服务器端监听。控制连接在CTP服务器端进程启动时就建立监听端口并一直监听客户端发起的连接请求。而传输端口则是需要进行数据传输时由客户端通过控制指令向服务器请求数据连接端口信息, 由服务器端进程临时开一个数据连接的监听端口, 在建立连接数据连接并传输完成后, 连接关闭。

3 智能数据交换平台建设内容

3.1 总体流程

作为应用网元间数据通信的枢纽, 需要满足不同网元间数据交换的要求, 同时交换的数据具有种类多、时效性、优先级、数据规模、传输方式等多种特性, 智能数据交换平台通过定义取货广场、配送广场、取货、入库、出库、配送等多种不同角色, 由调度中心的调度工作单在不同角色之间的信息传递和执行过程, 实现网元间数据交换的流程。总体流程如图4所示。

1) 两个调度核心:流程调度server和管控调度server。

流程调度server主要通过对交换策略的调度, 负责工作单的生成, 工作单的分配、工作进程的并发起停等, 完成数据交换工作。管控调度server通过对管控策略的调度, 定期完成清货、盘点、安保、备份等仓储管理工作。

2) 常驻进程和动态并发进程。

常驻进程包括工作单生成、文件名校验、排重、日志告警入库、共享内存参数、系统监控查询等后台服务工作进程。动态并发进程包括取货、入库、出库、配送、下架、盘点、安保、备份等根据数据传输要求满足传输性能而实时并发启动的工作进程。

3) 广场与货架。

收货广场和发货广场是对数据打包待处理的临时场所, 所有经智能平台转发的数据都在这两个广场上中转。货架是数据备份存放的场所。

3.2 内部架构

根据系统设计思想, 在体系结构上, 智能数据交换平台采用“三层结构”的设计是指应用系统在逻辑上均应按“数据服务层、业务处理层和接入层”三层结构考虑, 见图5。

将接入层独立出来使得系统的访问和使用更灵活方便, 易于实现个性化和客户化。将业务处理层和数据服务层分开可以屏蔽业务数据的存储、组织和访问的细节, 实现业务数据的充分共享, 从而实现横向组合。

3.2.1 接入层

接入层是系统与外部进行数据交换的层, 由接入逻辑构成。接入逻辑分为界面逻辑和接口服务。对于系统使用者, 提供多样化的界面逻辑, 实现对业务逻辑的共享;对于与系统相联的外部系统, 向业务层提供一组接口服务, 业务层通过接口服务完成与外部系统的数据交换。

3.2.2 业务处理层

业务处理层是系统业务处理的逻辑层, 为接入层提供业务服务, 实现业务逻辑的共享, 完成相应的业务功能。它通过对数据层服务子层原子服务的调用访问业务数据, 实现数据存取。

业务层又有两级逻辑组件:流动调度控制逻辑和数据交换流程。

流程调度控制逻辑主要实现智能数据交换平台数据交换过程中的工作单调度、工作进程调度、仓储管理策略调度、工作单生成等逻辑控制组件, 其功能的实现是由交换调度、管控调度、工作单生成、客户端等基本功能组件完成。

数据交换流程分为两类处理流程, 分别是文件类数据交换流程 (如取货组件、配送组件、出入库组件) 和管控流程。流程流程调度模块根据具体业务流程来定义功能模块的组合、并调度各功能模块完成业务流程处理。

3.2.3 数据服务层

数据服务层是对业务数据进行统一组织、集中管理的平台, 它为业务层提供规范、高效的数据服务, 实现业务数据的充分共享, 是整个智能数据交换平台一体化的基础。智能数据交换平台的数据管理对象主要分为货架、取货广场、配送广场、数据库参数、日志告警等。

由于各个业务组件和数据服务组件等是基于标准消息总线的, 而类似于CORBA (common object request broker architecture) 的消息总线是基于网络的, 因而各个组件可以被安装到不同的主机上, 实现分布处理, 从而大大增强了系统的可扩充性, 这对于数据量增长迅速的电信行业非常重要。整个系统采用软件总线方法, 实现各类构件的插拔, 采用 (结构) 技术支持数据的分布式处理。

3.3 外部接口

智能数据交换平台由中国电信全国中心智能数据交换平台和省级智能数据交换平台两级系统组成。系统提供了省级智能数据交换平台和本地计费账务系统的接口, 以及与其他电信运营商, 决策分析系统、财务系统、OA (办公自动化) 系统、网管系统、CRM (营业受理系统) 、ERP (企业资源计划) 系统之间的接口。省级智能数据交换平台与外部的边界在图6中描述。

4 传输方式与协议

4.1 传输方式

智能数据平台的数据传输方式包括端到端的数据传输方式和仓储物流方式。

1) 端到端方式:网元间数据交换由智能数据交换平台完成, 但只在智能数据交换平台临时中转数据, 货架只起备份功能, 不经过入库和出库操作。

2) 仓储物流方式:网元间数据交换由智能数据交换平台完成, 严格执行基本的数据交换流程, 如取货、入库、出库、配送等基本操作。

4.2 传输协议

智能数据交换平台同时支持CTP和FTP (file transfer protocol) 协议两种方式, 满足不同网元不同数据传输要求, 达到及时、效率最优化的目的。数据传输流程见图7。

5 应用效果

经过一段时间的实际应用, 智能交换平台不仅适合文件类型的数据端到端的传输, 满足定时传送数据文件需求, 满足手工命令执行需求, 也适合消息类型的数据端到端的传输, 支持消息路由转发, 加密解密, 满足同级业务网元之间的消息传输, 满足异地查询、异地缴费等跨省业务实现要求。只要遵循统一的通信协议和交互流程, 智能数据交换平台可以和其他网元可以进行无缝连接。通过配置方式实现文件类传输业务的智能数据交换平台, 可以满足计费系统、营业受理系统、OSS (运营支撑系统) 、MSS (管理支撑系统) 等系统间之间的数据交互。现有系统如能遵循智能交换协议, 也能融入到智能数据交换的高速通道中。

随着智能数据交换平台的上线, 横向打通省份支撑系统内部同一层级不同网元、核心网元与企业外部其他系统之间的信息交互, 纵向打通不同层级之间的信息交互, 不仅可以适用于本省范围内的文件类数据交换, 支持不同网元间各种不同形式接口数据的交换工作, 而且承担了集团和省份公司数据枢纽平台的作用。由于实现了集团、省和本地网两级核心网元、三级应用之间的接口互联, 从而也可以方便地实现异地受理、异地缴费、异地查询、经营分析等等特性, 体现出“一点服务全网、全网服务一点”的中国电信整体优势。

6 结束语

浅谈科技数据跨平台程序交换方法 篇2

言，一般是先从工业年报字典库中导出科技年报名录库，然后再对导出的科技年报名录库进行手工操作，完成epras软件能接受的数据格式（此外还需要手工制作填报目录文件）。epras软件接收成功后才能在epras软件平台上进行录入处理。更为麻烦的是，从epras软件导出的数据需要导入到经济普查软件中进行处理，才能完成经济普查科技资料这块拼图。由于epras软件与经济普查软件数据表的结构不一样，再加上科技专业数据表的指标较多，要想依靠手工操作到达数据指标的一一对应，从而实现两者之间的数据交换无异于是在做一项巨大的工程。比如规模以上工业企业科技活动情况b107-2表，在epras软件中指标是横向排列的，而在经济普查软件中它又是纵向排列的，两者之间的指标数据结构实乃千差万别。有没有什么办法能实现科技数据在不同的软件平台中做到自动交换呢？笔者在实际工作中经过不断摸索，通过在foxpro环境下开发了两个接口模块，初步实现了上述目的，基本做到了科技数据跨平台自动无缝交换。下面就简单介绍一下这两个接口模块的使用方法：

1、下载ftp：//10.42.31.10/incoming/人口处科技专业/kjzh.rar压缩软件包，展开到硬盘上。展开后会自动生成kjzh目录，在kjzh目录下你会发现还有jq、epras、jp三个子目录，其中jq子目录用来存放从久其软件中导出的科技名录库（名称统一起为jqkjmlk，注意你导出的名称要与其一致），epras子目录用来存放从久其软件中导出的科技名录库jqkjmlk经接口模块转换后生成的填报目录文件kjmlk01.csv和名录库数据文件kjmlk02.csv（导入科技名录库到epras软件中要用到），以及从epras软件中导出的所有科技专业名录库及数据文件（转换到经济普查软件中时需用到），jp子目录用来存放将epras软件中导出的数据经接口模块转换后生成的所有文件（经济普查接收时用）。

2、epras软件接收久其软件中导出的科技名录库方法：

⑴将久其软件中导出的科技名录库放入到kjzhjq目录下，起名为jqkjmlk（csv格式）；

⑵执行接口转换模块软件jqtoepras.prg（鼠标双机即可），完成后你会发现kjzhepras目录下自动生成了两个文件kjmlk01.csv，kjmlk02.csv；

⑶进入epras软件平台“数据交换”界面，点击“文本数据导入”，点击“+”kjmlk01.csv文件，选择关联报表“填报目录”，点击自动对应（手指图形），点击执行导入（右边界面第一个图形）。完成后再点击“文本数据导入”，点击“+”kjmlk02.csv文件，选择关联报表“601法人单位基本情况表”，点击自动对应（手指图形），点击执行导入（右边界面第一个图形）。

3、经济普查软件接收epras软件中导出的科技名录库及数据的方法：

⑴从epras软件中导出科技名录库及数据（注意导出下列表的全部指标。

1、“基层表”、“601法人单位基本情况表”、“主表”；

2、“基层表”、“b107_1规模以上工业企业科技项目一览表”、“608”；

3、“基层表”、“b107_2规模以上工业企业科技活动情况表”、“主表”，具体方法在此不介绍）。导出数据放入到kjzhepras目录下，将其中最新更新的文件kj-l101_1-2009………….重命名为kj-l101_1，文件kj-l1071_l107_sub2-2009………….重命名为kj-l1071_l107_sub2，文件kj-l1072-2009………….重命名为kj-l1072。（都是csv格式）；

⑵执行接口转换模块软件eprastojp.prg（鼠标双机即可），完成后你会发现kjzhjp目录下自动生成下列文件601.......000000.00.00，b107-1.......000000.01.00，b107-2.......000000.01.00，b107-2.......000000.99.00。将以上所有文件用zip格式压缩成一个文件（文件名随便起，如kj.rar）

交换平台引爆大数据时代 篇3

目前，最活跃的领域是网络终端创新和网络基础设施创新，也就是所谓的大数据产业链的前台和后台。从人们所熟知的台式机、笔记本到智能手机和平板电脑，再到即将问世的网络电视、网络相机、网络眼镜，还有研讨中的网络灯泡，自行汽车和各种各样匪夷所思的网络终端和传感系统，将物质世界和人类社会越来越全面、越来越深入地转化进数据世界的工作正在顺利迅速地进行。

从人们所熟悉的传统云计算和数据中心到今天的公有云、私有云、开放云、封闭云，再到层出不穷的集硬件、软件、数据存储和分析工具于一身的基础设施，大数据的后台正在从软件级服务（SaaS），平台级服务（PaaS）走向基础设施级服务（IaaS）。

在这两条路上，好像看不到什么了不起的理论或实践上的障碍能够阻止这一进程。

真正的决战还是在大数据的中台，也就是网络平台方面，这方面的大创新才是大数据时代真正到来的引爆点（TippingPomt）、无论前台如何丰富多彩，无论后台如何强壮有力，毕竟还需要有一个体系、一个架构、一个服务把人与人、物与物、人与物之间产生的数据按自然逻辑和社会逻辑联系起来，对接上去，集成到一起，才能够释放潜在的经济和社会价值。这种联系，对接和集成的方式用户越喜欢、成本越低、效率越高、数据越多，这个平台的价值就越大，在大数据生态圈里的地位就越高。

就目前产业发展的状况和大数据时代的内在需要看，未来三五年内会在网络平台层面上有机会产生创新性突破的不外乎以下三大方向：

个人数据集成。这是Web2.0革命的自然深化和扩展，终极目的是创造真正的“数据人”，也就是以个人为中心，将其在互联网上的言行举止和世上一切有关此人的所产生的数据汇集起来精准描述，在保护隐私的前提下进行智能化和个性化的服务匹配。在这方面，Facebook和苹果的基础最好，走得最远。“我的数据”（MyData）、“自我量化”（0uantifiedSelf）、“纳米定位”（Nanotargeting）等一系列新概念正在业内出现，一批围绕个人完整动态数据获取的服务和机制正在尝试之中。

公共服务数据集成。过去远远落后于时代发展的网络公共数据服务近年来异军突起，从零散，滞后、粗略和被动的状态开始迅速走向集成、动态、精细和主动的新阶段。以DATA，GOV为代表的政府数据服务网站在立法、预算、舆论监督和民众督促等力量的推动下，正在成为大数据时代一股崭新而强大的力量，扩展和充实着互联网服务的空间和深度。一个国家，一个社会乃至一个城市的发展水平和竞争实力将和自身的公共服务数据集成和服务的水平紧密相连。公共服务数据集成水平的高低很快将成为“软实力”的主要标志之一。

物质生产数据集成。物质产品的设计和制造一直远离互联网，而现在正以极高的速度和极大的力量与网络业相融合。以“3D打印”为代表的第三次工业革命极大地提高了人们对网络世界和数据世界的想象力，极大地拓展了网络业的产业边界。过去，网络业只能进行完全数据化的产品和服务，或者通过网络平台帮助物质化的产品和服务进行推广销售。而新兴的网络化和数据化物质产品生产模式显示由数据到实物的转化过程开始进入低成本、大规模、打破时空界限和个性化的全新历史阶段。这将重新定义众多产品制造业的产业链和商业模式，使物质产品的设计，制造和流通过程所需的数据集成成为产业上游。

这三个方向正好是一个由个人、社会和物质世界三维所组成的空间，这个空间在大数据时代有机地融合起来，为产业发展和社会进步创造机会。在这个空间中任何一维或三维上的任意一点的显著进步都将是大数据服务产业的福音。这不是空想的神话，而是看得见的未来。

水利通用数据交换平台研究与实践 篇4

近年来, 水利信息化建设取得重大成就, 各类水利信息系统的建设也在快速发展, 各级水利部门根据自身的需要分别建设了电子政务、防汛抗旱、水利普查、水资源管理、山洪、中小河流、水土保持、农村水利等多种水利业务应用系统。通过这些信息系统的建设和投入运行, 各级水利部门均积累了大量的水利信息资源和数据。如何让这些水利信息资源和数据在不同行业之间交换、不同水利结构之间共享、不同应用系统之间融合、不同层级之间业务协同, 为更高层面的综合性业务应用及综合性分析决策提供数据支撑, 必然涉及到数据交换。基于此, 目前有些水利部门根据自身特定的数据交换需求和已有的技术环境, 陆续建设了多种不同技术体系标准的数据交换平台。但由于现有各个水利部门采用的数据交换技术标准不一致, 平台环境各有差异, 很难实现不同行业、水利部门、层级、应用系统之间数据资源的广泛交换, 大大增加了水利行业数据资源在更大范围内交换共享的代价和难度, 为更高层次地提升水利信息化应用造成了技术障碍, 将直接影响未来水利行业信息化的有序发展。

因此, 构建一个水利行业通用性的数据交换平台, 满足不同水利部门之间更大范围、更深层次的数据交换共享, 已成为水利信息化建设的迫切需要。同时, 为推进水利信息化资源整合共享, 优化资源配置, 提升投资效益, 水利部信息化工作领导小组办公室组织开展了《水利信息化资源整合共享顶层设计》的编制, 明确提出“建立通用数据交换平台, 构建统一数据交换框架, 规范交换流程和方法, 形成统一数据交换机制”[1]。基于此, 重点针对水利通用数据交换平台 (以下简称数据交换平台) 的建设展开研究, 并对其在国家水资源监控能力建设项目中的应用实践进行总结, 对其未来发展进行展望。

1 总体分析

1.1 定位与目标

数据交换平台定位于服务水利行业, 能够实现不同交换对象、不同技术条件、不同结构数据、符合统一技术标准下的通用可靠的数据交换软件。主要实现以下目标:

1) 能够形成水利行业统一的数据交换标准, 逐步规范水利行业的数据交换体系, 满足水利行业统一数据交换的总体要求。

2) 能够实现水利行业不同层级水利部门之间、交换节点之间、应用系统之间数据资源的可靠交换与共享。

1.2 技术特点与要求

1.2.1 通用性的技术要求

通用性的技术要求具体包括:

1) 能够支持不同业务应用系统、不同特征的数据源、不同数据格式的数据交换, 满足水利行业不同业务系统所产生的存储于不同数据库和文件系统的结构化、半结构化和非结构化数据的交换与共享。

2) 能够支持同级、跨级水利部门的业务系统之间的数据交换, 满足水利部、流域、省, 以及地市、县级节点同级或者跨级之间不同业务数据的交换。

3) 支持水利不同网络域之间的数据交换, 保证水利部门政务内网和外网之间的数据交换。

4) 针对既有的数据交换系统, 可按照数据交换平台的规范, 把既有的数据交换系统接入到数据交换平台中, 成为水利通用数据交换体系中的一部分。

1.2.2 扩展性的技术要求

扩展性的技术要求具体包括 [2]21:

1) 支持交换层级的灵活扩展。数据交换平台需要支持数据交换层级的快速构建, 每一个层级包含一个数据交换管理中心, 管理该层级的所有交换节点。通过交换层级的动态扩展满足水利部、流域、省、地市、县级等多级节点之间的数据交换。

2) 支持交换节点的灵活接入。在数据交换平台运行的基础环境和网络通信资源满足要求的前提下, 数据交换平台能够支持交换节点的无限接入。在每一个交换层级下均可接入无限个数据交换节点。

3) 支持同级节点应用系统的动态接入。数据交换平台可以灵活地增加需要进行数据交换的业务应用系统, 以满足不同业务系统通过统一的数据交换平台完成数据交换的需要。

1.2.3 可靠性的技术要求

可靠性的技术要求具体包括 [2]25:

1) 支持不同网络传输条件下多种交换模式的高可靠传输, 保证交换数据在不同的网络条件下均能顺利达到目的节点。

2) 具备全交换过程的高管控性, 数据交换平台能够对数据交换的全过程进行监控, 并对出现的故障进行及时预警, 以确保交换过程的可控。

3) 支持断点续传与集群应用, 以保证数据交换任务增加及出现异常之后, 仍然能够保证数据交换的可靠性。

1.2.4 智能性的技术要求

智能性的技术要求具体包括:

1) 对数据交换过程中出现异常的环节进行自动预处理, 并能够及时通知数据交换平台维护人员。

2) 自动识别目标节点, 并智能选择最合适的数据交换链路。

3) 自动构建数据交换关系, 一旦增加数据交换节点, 将按照设定的规则自动构建数据交换关系。

4) 自动同步平台基础数据, 数据交换平台将根据不同层级的管理关系和限制条件, 自动过滤和同步数据交换相关的基础数据, 以保证数据交换的顺利实现。

2 技术模型

基于总体分析, 数据交换平台从技术设计层面将遵循“强化数据交换标准的形成, 平台与业务应用系统本身松耦合, 平台本身可扩展、可配置”的原则展开。从技术模型上, 数据交换平台遵循“邮局”模式, 数据交换平台充当“邮局”的角色, 数据发送方相当于货物的“邮寄方”, 数据接收方相当于货物的“接件方”。总体技术模型如图1所示[3]11。

1) 数据发送方。即“邮寄方”, 按照邮局的要求将货物打包, 选择邮寄方式, 填写邮寄单, 并将货物及邮寄单送达到当地邮局的接收柜台。映射到平台模型, 数据发送方需按照数据交换平台的交换协议规范要求开发适配器, 通过该适配器将待发送的数据进行打包, 并按照约定的标准接口调用数据交换平台的数据交换接收服务, 将待交换的数据送达到数据交换平台。

2) 数据交换平台。即“邮局”, 将接收到的数据按照发送方的要求, 选择可靠的网络路由, 送达到接收方, 承担数据交换和传输的核心作用。映射到平台模型, 数据交换平台将提供数据的临时存储及传输与交换;通过底层的数据传输机制对接收到的数据进行解包, 并按照数据交换要求调用接收方所提供的数据接收适配器。

3) 数据接收方。即“收件方”, 接收到邮局的邮寄单后, 按照邮寄单去邮局取货或者由邮局送货上门。映射到平台模型, 数据交换平台发送服务, 按约定的标准接口调用数据接收方的数据接收适配器, 将交换过来的数据发送给数据接收适配器, 由数据接收适配器做后续处理后传递给接收系统。

3 交换方式

依据数据交换技术模型, 结合目前水利数据类型与交换需求, 数据交换平台将提供同构、异构、非结构化数据交换共3类数据交换方式。交换方式如图2所示 [3]13。

1) 同构结构化数据交换方式。该方式主要适用于交换双方所交换的数据不仅为结构化数据, 而且交换双方存储管理这些结构化数据的数据库管理软件类型、版本号、数据库表结构、数据库表约束条件完全一致的应用场景。从技术实现上该交换方式主要由数据交换平台通过消息中间件, 按照消息传递的模式将待发送的数据组织成SQL语句, 送达到接收方, 接收方接到后直接执行SQL操作, 从而完成数据交换。

2) 异构结构化数据交换方式。该交换方式主要适用于交换双方所交换的数据为结构化数据, 但交换双方存储管理这些结构化数据的技术特性并不完全一致的应用场景。从技术实现上该交换方式主要由发送方将待发送的数据按照约定好的数据格式 (如XML、字符串、数据结构等) 重新组织, 然后由数据交换平台通过消息中间件, 按照消息传递的模式送达到接收方, 接收方对接收到的数据进行解析, 并完成后续的数据操作处理, 从而完成数据交换。

3) 非结构化数据交换方式。该交换方式主要适用于交换双方所交换的数据为非结构化数据的应用场景。从技术实现上该交换方式主要由发送方将待发送的文件列表及存放地址, 传递给数据交换平台的非结构化数据交换接收服务的客户端, 采用FTP方式将待发送的文件推送到数据交换平台的临时存储区, 然后由数据交换平台将文件通过FTP方式发送到数据交换平台的接收节点的临时存储区。由数据交换平台通知数据接收方, 通过FTP客户端获取交换过来的文件数据。

4 核心功能

数据交换平台的核心功能包括以下几点 [3]:

1) 信息注册管理。信息注册管理包括节点注册、系统注册、适配器注册、交换关系管理、业务域管理、数据分类注册。节点、系统和适配器的注册功能, 对节点的编码、名称和所属网络域, 系统编码、名称、所属节点, 适配器编码、名称、类型、适配器接口地址等信息进行注册管理;交换关系管理在需要进行数据交换的2个节点之间建立交换关系的功能。

2) 信息同步管理。信息同步管理包括节点、系统、传输通道等信息的同步。建立交换关系的节点, 以及节点、系统和传输通道信息, 目的是让数据发送方和接收方能进行相应的寻址。

3) 平台交换管理。对数据交换过程的后台服务进行全程管理, 管理内容包括优先级设置、数据传输、任务调度、消息队列和数据发送/接收等管理。系统管理员根据业务对数据传输优先级不同, 针对节点、业务系统和专项业务不同粒度进行数据交换的优先级进行设置;根据通道的分配进行自动和手动的调整, 以达到最优的任务处理和资源的合理分配;根据数据传输情况进行动态的添加, 以及队列内存的动态分配等, 以便合理安排数据高效的发送。

4) 数据交换监控。数据交换监控包含数据接收、传输、发送及系统状态等监控, 并通过一定的策略进行异常信息的处理, 如:异常通知、告警和处理等。

5) 数据交换统计。交换统计包含数据发送和接收统计。通过统计能够对数据交换体系内参与交换的对象, 包括节点、系统、数据类型等进行分析, 以便对系统优化调整。

5 应用模式

数据交换平台面向使用者将提供标准化和个性化的应用模式, 如图3所示[3]40。

标准化的应用模式主要适用于数据交换平台的使用者, 只需要用到数据交换平台本身提供的通用适配器 (如通用的文件发送和接收、内外网数据交换等使用的适配器) , 即可满足数据交换实际需求的应用场景。一般情况下如果数据交换的实际需求相对比较简单, 则可采用该种应用模式。

个性化的应用模式主要指数据交换平台所提供的通用适配器已经不能满足数据交换实际需要的情况下所采用的一种应用模式。针对该应用模式, 参与交换的双方节点需要根据业务系统实际的数据交换需求, 按照标准的技术接口要求定制开发发送和接收适配器, 最终完成实际的数据交换。

6 应用实践

依据数据交换平台的技术模型、交换方式及核心功能, 目前数据交换平台已经研发完成, 并在国家水资源监控能力建设项目中, 利用水利通用数据交换平台构建了省、流域机构及水利部之间的三级数据交换体系。数据交换平台的部分交换方式 (主要指同构结构化数据交换) 已经按照个性化的应用模式进行了实际应用, 实现了水利部、流域机构、省三级水利部门不同节点之间的水资源监测和管理数据的成功交换, 及三级之间水资源日常管理业务的应用协同, 如图4所示。

在国家水资源监控能力建设项目中, 在32个省、7个流域机构、水利部分别部署了数据交换平台, 流域/省级数据交换节点统一在水利部进行注册和管控;同时按照国家水资源监控能力建设项目的数据交换特性, 分别针对不同省、流域机构开发部署了数据交换适配器。由于在国家水资源监控能力建设项目中, 三级交换的数据基本以结构化数据为主, 但各个省、流域、水利部的数据库环境不尽一致, 因此, 主要采用同构和异构2种结构化数据交换方式。另外, 为保证未来地市/县与省之间的数据交换, 在国家水资源监控能力数据交换体系中, 也预留了地市/县级交换部分, 即未来也可在地市/县分别部署数据交换平台, 从而实现县、地市、省、流域机构、水利部之间的数据交换与共享。

国家水资源监控能力建设项目目前已经成功完成了省、流域机构及水利部之间的数据交换, 交换的数据主要包括取用水、水功能区、省界断面等的监测数据, 以及水资源业务管理系统的业务管理成果数据。通过在国家水资源监控能力建设项目中构建数据交换体系的成功应用, 为数据交换平台的研究成果进行了有效的技术实践。

7 结语

数据交换平台是实现水利数据资源在各个水利部门之间高效共享, 实现水利业务在不同层级之间协同联动的必要条件, 为各个水利部门节点提供了一条标准化的数据交换通道, 使水利数据资源在各个节点之间能够畅通无阻的流动, 从而为融合贯通、综合分析水利数据资源提供了可能, 是提升水利信息化综合应用水平的基础。针对数据交换平台的研究与实践, 将是一个长期而又复杂的过程, 涉及到标准规范、数据通信传输技术、数据资源体系等多方面的研究。真正要建设一个强大的水利通用数据交换平台, 还有很多问题需要继续研究解决, 如针对半结构化数据的交换、如何更进一步提高数据交换的实时性、更加丰富数据交换方式、更加提高数据交换的智能化程度等等。

在整个水利行业要建立一个完备的通用的数据交换体系, 这才仅仅是一个起步。在今后水利数据交换平台推广应用过程中, 有序、有效地构建交换服务, 完善交换方式, 扩展通用交换适配器, 对确保水利数据资源安全、可靠的交换共享至关重要。

参考文献

[1]水利部水利信息化工作领导小组办公室.水利信息化资源整合共享项层设计[R].北京:水利部水利信息化工作领导小组办公室, 2014:24.

[2]蔡阳.国家防汛抗旱指挥系统技术丛书:应用支撑与数据汇集平台[M].北京:中国水利水电出版社, 2012:21, 25-26.

数据交换与信息共享在广西的实践 篇5

交流和网上服务的要求逐步提高，一些异构政务系统间的信息交换与共享问题，迫切需要获得良好解决途径。笔者在广西开展电子政务建设、推进政务服务跨系统、跨部门、跨地域数据交换、信息共享和业务协同中作了一些研究和实践，取得了一些经验。

业务需求与难点分析

广西在推进一服务两公开信息化中，数据交换和信息共享需求较为迫切地体现在以下三个方面：

一是自然人（人口）基础性数据和信息共享需求。在人口领域，各部门的人口信息库存在着多头采集、重复采集、信息一致性差等问题，特别是人员的死亡、失踪、出境定居等带来的户籍注销和变更的信息无法及时共享，急需通过整合公安、劳动、教育、民政、计生、司法、残联、老龄等部门人口信息，进行数据交换和共享，以便各级各部门统筹资源，更好的提供社保、司法、医保、计生、教育培训等公共服务。

二是法人基础性数据交换和共享需求。在社会管理公共服务方面，与法人相关的数据使用频率很高，在实际业务中，工商、税务、质监等部门在企业管理方面建有各自的业务系统和企业信息数据库，存在着独立运行、无法实现共享等问题，造成单部门掌握信息不完整，影响了监管和服务水平的提升，急需建立企业（法人）基础信息数据交换和共享，确保企业基础信息的准确、完整、一致，优化企业登记数据流程，减少企业重复填报，提高政府部门的监管水平和服务水平。

三是部门联合发文、并联审批等管理和服务行为需要进行数据交换和信息共享。政府在服务和管理中，相当一部分工作需要多个部门相互配合才能有效推进，如联合发文需数据信息能在部门间流转；并联审批需通过审批信息在部门之间交换，实现审批业务调度，推进跨部门协同审批办事，实现“一门受理、协同处理”。

电子政务要朝纵深发展，必须解决部门间信息数据不一致、共享程度低等问题，目前难点主要在于：

一是电子政务应用无操作性的细化标准。国家陆续出台的一系列电子政务方面的标准，大都是“关于标准的标准”，描述的是以怎样的技术和规范来做标准，即标准框架。标准框架是指导标准本身建设的，标准本身的内容才是指导信息系统项目建设的实质。信息资源整合是当前电子政务建设的主要矛盾，有标准框架而无应用标准是无法实现信息资源整合的。

二是需要建立电子政务核心组织枢纽。在各级政府大力推进电子政务建设的同时，大量存在各自为政、多头管理的问题，各地区在电子政务建设中普遍缺乏统筹组织、统一规划和集中管理，导致各级政府之间、政府各部门之间无法实现资源共享和有效协同，无法释放电子政务的潜能和体现其价值。电子政务分散建设模式和分部门管理方式本身，成为阻碍电子政务发展的重要瓶颈。

三是需要建立和完善电子政务绩效管理机制。目前电子政务重建设、轻维护的现象仍然相当突出，电子政务绩效管理体系缺失，电子政务建设实际处于一种监督缺失状态，电子政务资金投入后，难以说清其建设是否达到了预期效果。

基于数据交换和信息共享的政务服务信息化实践

广西在推进政务服务政务公开政府信息公开信息化建设中，不断深化政务信息资源在部门之间共享，逐步实现政务信息资源管理的集约化、规范化、更新制度化、共享普遍化，促进政府行政能力和服务水平的提升。

(一)明确牵头和组织实施机构

为加强组织领导，广西先后成立了广西壮族自治区政务服务工作领导小组、广西壮族自治区政务公开工作领导小组、广西壮族自治区政府信息公开工作领导小组，实行三块牌子一套人马的机制，并明确其作为信息化的牵头单位，负责指导全区政务服务政务公开政府信息公开信息化建设，实行全区统一规划，突出顶层设计，以信息共享、互联互通、业务协同为原则，逐步将一服务两公开信息化建设由传统型的碎片式、项目式的发展方式，向集约化、效能型的发展方式转变。

(二)建立标准规范，共建数据交换和信息共享平台

解决“信息孤岛”问题、促进资源共享和业务协同，统一标准规范是关键。2006年国家信息化工作领导小组发布的《国家电子政务总体框架》（国信〔2006〕2号）中提出，将政务信息资源目录体系与交换体系列为电子政务基础设施，以支持政务信息资源的共享交换。

广西以“参照、设计、整合”为出发点，从政务信息资源目录内容建设、标准规范制定、目录系统建设和管理制度制定等多方入手，启动了电子政务信息共享交换标准规范体系的建设工作。其中，政务信息资源编码作为规范体系建设的核心工作，在参照国家标准和国际相关标准的基础上，采用9位字母和数字作为前段、不定长字符串作为后段的两段码格式，对政务信息进行编码，编码形式如图所示。

各级各部门在梳理制作本单位政务信息资源目录的基础上，依照统一编码规范为政务信息资源赋予唯一标识符，以方便信息的采集、监管和使用。目前，依托编码规范，广西统一规范了政府信息公开、政务服务审批事项、政府网站信息内容保障等政务信息资源的编码方案，为进一步深化全区政务服务、政务公开和政府信息公开工作，起到了良好的推动作用。

与此同时，广西积极研究探索建立覆盖全区各级各部门业务系统的电子政务信息资源共享交换平台，平台以统一的政务信息资源编码规范、统一的信息共享交换模式、统一的信息管理方式为基础，引入数据字典概念，各级各部门在共享交换平台上注册并公布本单位政务信息资源目录和按规则编码编制的信息资源码表，信息需求者想要获取信息时，需按照信息提供方码表向其提交所需信息编码，信息提供方解析编码并从前置交换信息库中查找所需共享信息，以XML标准文档格式通过信息交换系统传递给使用者。

在具体交换共享过程中，根据信息共享范围可将应用模式划分“公共信息共享模式”和“部门信息交换模式”。其中，公共信息共享模式是指将需要长期定时定期交换的信息存储在前置共享信息库中，信息需求方通过信息码表识别共享信息，采用数据交换系统和数据自动获取的方式，实现业务系统对基础数据从“重复录入”向“核对读入”的转变，实现所有用户访问和下载。如下图：

“部门信息交换模式”交换的政务信息按照“按需交换”的原则，在指定的或事先约定的部门之间进行交换的信息，信息在传输交换过程中需要共享交换平台对交换信息内容进行加密,同时根据信息提供方的设定范围，判定信息需求方是否有权限获得所需信息。“部门信息交换模式”又可划分为“协同交换”和“请求交换”两种模式。“请求交换模式”需要信息需求方根据信息码表发送请求，经共享交换平台验证后方可传递请求到信息提供方，信息提供方通过解析请求中的信息编码回送反馈信息，见下图。

与“请求交换模式”中信息需求方主动提出交换申请不同，“协同交换模式”不需要上图中①—⑤的过程，信息提供方需主动提供交换信息，并将交换时限纳入电子监察，在规定时间内, 对外交换的信息仍未发送,电子监察系统就会督促信息提供方尽快发送信息，该种模式主要应用在多部门应用系统的协同办公中。

(三)建立基于业务协同的数据交换和基于审批结果的信息共享

为加强全区政务服务信息共享工作的组织领导，推动全区各级各部门行政审批和政务服务事项信息共享，2011年自治区人民政府决定成立自治区政务服务信息共享和窗口服务扁平化工作领导小组，负责组织、指导、协调、监督全区政务服务信息共享和窗口服务扁平化工作。并于同年针对全区各级各部门行政审批业务需求，联合自治区人力资源和社会保障厅、自治区商务厅、自治区工商行政管理局、自治区质量技术监督局等多个部门，整合政务服务资源，实现了“全区高级职称信息”、“全区参保人员社保信息”、“全区外商投资企业注册登记信息”、“工商企业注册登记信息”、“全区组织机构代码证信息”等信息资源的全区政务服务试点共享工作。

自治区政务服务信息共享试点单位通过前置机方式，提供完整、准确、实时更新的项目信息作为自治区政务服务信息共享数据信息。全区各级政务服务中心窗口在办理行政审批事项时，可以通过自治区政务服务业务通用软件的“信息共享”功能实现共享校验，从而减少申请人提交材料，降低审批工作强度，提高审批工作效率。

(四)建立数据交换和信息共享评估机制，纳入绩效考核

随着“一服务两公开”信息化工作的推进，广西依托全区统一的绩效考核体系，对“一服务两公开”信息化项目建设单位、共建部门进行考核，细化考评指标，不断完善、创新信息化建设绩效考核方式方法，使考核工作制度化、常态化。以制度机制来规范和引导“一服务两公开”数据交换和信息共享，把绩效评估结果与政府部门业绩挂钩，发挥绩效评估的正面导向作用，更好地控制和引导一服务两公开信息化的发展方向，提高建设实效，避免重复建设，保证“一服务两公开”数据交换和信息共享目标的实现。

数据交换平台的数据交换模式浅析 篇6

这些年来我们国家的的信息化建设已取得很大成果, 从20世纪90年代初至20世纪90年代末为信息化建设的发展阶段, 为适应全球建设信息高速度公路的潮流, 中国政府正式启动了“三金工程”, 部分政府部门的网络基础设施建设和应用层面的信息化得到了较大发展。1999年至2001年为推进阶段, 中国政府国务院40多个部委的信息主管部门共同倡议发起了“政府上网工程”, 目的是实现政府信息资源共享, 建立政府管理机构的Web站点, 使其成为面向公众服务的窗口。从2002至今为整合阶段, 政府信息化由各自为政转向电子政务整合的过程。

上述是从大的国家电子政务方面来讲, 从具体的小范围来讲, 我们学校的信息化建设也取得了一定的成果, 学生可以通过网络选择全校的选修课, 教师通过网络可以录入并查询学生的成绩, 教务处可以通过网络向省里上报学生名单, 教师可以通过排课系统进行自动排课等。虽然从一定的角度来说我们学校的信息化建设跟以前相比, 进步很大, 但这里面也存在一定的问题, 这个问题也是普遍存在的问题, 那就是各个应用系统相互独立, 应用系统之间的数据信息不能进行共享与交换。

所以打破目前这种局面, 连通各个孤立的应用系统, 把分散的信息资源整合起来, 实现这些不同系统、不同环境下的信息的实时共享和双向交流, 是下一步信息化建设的中心任务, 也是必走之路。

要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心相连, 应用系统之间要进行数据交换与共享必须通过数据交换中心;也可以建立共享信息库供应用系统共享。在这里主要讨论数据交换平台中数据交换模式。

二、数据交换模式

在信息系统中, 各应用系统之间的联系是比较密切的, 各部门的信息要保持一致, 数据交换可以保持数据的一致性。在数据交换平台中, 任意系统之间的数据交换过程可以采用不同的交换策略, 主要有三种数据交换模式:主动发送、请求/应答、订阅/发布交换模式。

1、主动发送模式

主动发送模式是通过数据交换平台的中心交换服务器进行的。发送方的数据发生变动时, 通过数据交换平台直接将数据发送到应用数据的相关单位。比如大通关就涉及海关、工商、税务、质检、公安等部门, 为了更好地为进出口企业服务, 有效打击逃税、骗汇、走私等犯罪活动, 海关、工商、税务、质检、公安等部门就要掌握进出口企业信息, 而且这些信息要一致。当进出口企业的信息发生变化时, 就直接将信息发送到海关、工商、税务、质检、公安等部门, 这样保证信息的一致性及实时性。下面以A局向B局和C局发送数据为例, 分析主动发送模式的数据流程:

(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并将数据置入所在单位前置节点的服务器相应文件夹中, 所发送的数据标明要发送的地址。

(2) 数据交换中心通过时间轮询的方式将数据接收到中心服务器。

(3) 数据交换中心解析数据, 得到数据要发送的目的地。

(4) 数据交换中心删除发送方前置服务器中的数据, 保证文件夹的内容是空的。

(5) 接收部门接收数据, 并放入数据库中保存。

2、请求/应答模式

请求/应答模式通过数据交换平台的中心交换服务器进行请求和应答的。和主动发送模式的区别在于数据发送前先要向数据交换心发送请求消息, 数据交换中心响应后才能进行数据的交换操作。下面以A局向B局和C局发送数据为例, 分析请求/应答模式的数据流程:

(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并生成数据交换请求消息传送到数据交换平台。

(2) 数据交换中心接收到请求消息后, 进行响应, 与A部门建立连接。

(3) 数据交换中心接收A局封装成XML格式的数据。

(4) 数据交换中心对接收到的信息进行解析, 知道数据要发送到B部门和C部门。

(5) 数据交换中心向B部门和C部门发送请求消息, 要求发送数据。

(6) B部门和C部门响应请求, 并与数据交换中心建立连接。

(7) 数据交换中心将数据发送到B部门和C部门。

(8) B部门和C部门的业务系统接收到数据后, 分析本部门的应用系统, 并把数据存入相应的数据库中。

3、订阅/发布模式

订阅/发布模式基于SOA服务架构思想提出来的。W3C将SOA定义为:“一种应用程序体系结构, 在这种体系结构中, 所有功能都定义为独立的服务, 这些服务带有定义明确的可调用接口, 可以以定义好的顺序调用这些服务来形成业务流程”。

面向服务的架构包含三个部分:服务请求者 (Service Requestor) , 服务提供者 (Service provider) 、服务注册中心 (service Registry) , 如图所示[1]。

(1) 服务提供者

服务提供者是一个可通过网络寻址的实体, 它接受和执行来自消费者的调用, 它将自己的服务和接口契约发布到服务注册中心, 以便服务使用者可以发现该服务。

(2) 服务请求者

服务请求者可以是一个请求服务的应用、服务或者其它类型的软件模块, 它从注册机制中定位其需要的服务, 并通过传输机制来绑定该服务, 然后通过传递契约规定格式的请求来执行服务功能。

(3) 服务注册中心

服务注册中心是一个包含可用服务的网络可寻址的目录, 它是接收并存储服务契约的实体, 供服务请求者定位服务之用。

订阅/发布模式就是由服务提供者提供服务, 也就是发布操作;服务请求者请求服务, 也就是订阅服务;并且服务提供者提供的服务在服务注册中心进行注册。这样服务请求者就可以通过服务注册中心的目录资源进行查找。

订阅/发布是通过数据交换平台的中心交换服务器进行订阅和发布的。信息请求者向中心交换服务器订阅服务, 信息发送者将数据发布到中心交换服务器, 中心交换服务器接收到发布数据后, 将信息发送给请求者。

用户订阅此服务后, 一旦信息发送方的数据发生增加、删除、修改等变化, 数据交换中心会自动将更新的信息发送给信息订阅者。

三、数据交换模式的分析

上述三种数据交换模式都有由特点, 主动发送模式比较适合于几个部门之间有固定业务关系的, 一旦一个部门的信息发生变化, 其它几个部门的信息也要实时发生变化, 比如上述的大通关, 进出口企业的信息更新后, 就要及时的通知海关、工商、税务、质检、公安等部门。

请求/应答模式每次进行数据交换时, 都要有请求应答消息, 数据的及时性没有主动发送模式性强, 因此这种模式比较适合于小范围部门间小量数据的交换。

订阅/发布模式是几种数据交换模式中最具有松藕合性的, 用户只要把要共享的信息发布, 其它事情都可以由数据注册中心完成;用户要访问共享信息时, 只要向注册中心订阅该信息就可以了, 其它也由数据注册中心完成。

四、小结

上述分析了数据交换平台中的三种数据交换模式, SOA服务架构体系是一个不断发展的过程, 数据交换模式也在不断的发展中, 我们可以根据不同的情况选用不同的交换模式。

摘要：我国的信息化建设已取得一定的成果, 但也存在各个应用系统孤立, 应用系统之间不能进行数据共享与交换的问题。要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心连接, 通过数据交换中心进行数据交换与共享。

关键词：数据交换平台,数据交换模式,SOA

参考文献

数据交换与交换平台 篇7

关键词：企业服务总线,数据共享与交换,面向服务架构

电子政务在多年的发展过程中, 已经取得了一定的成果,在设施建设方面得到了很大的完善, 但在一些公共服务信息系统设计方面仍存在很多问题, 仍未实现信息资源 的共享 ,建设力度远远不够, 引发严重的信息孤岛问题, 影响政府办公系统中业务和信息的处理效率。本文通过基于企业服务总线的数据共享与交换平台的设计研究, 为电子政务逐渐向着面向服务、规模应用的方向发展提供给术研究基础, 从而达到提高电子政务系统工作效率的目的, 为相关研究提供参考意见。

1 概述

1.1 ESB 架构

建立在面向服务的体系结构 (SOA) 基础之上的企业服务总线 (ESB) 本质上属于电子行业设备应用集成模型, 其内部集成式软件构件具有紧密的联系, 相互影响和作用。面向服务的体系结构的组装和集合是构建ESB的前提, 包括多种功能元件, 能够满足不同层次目标的要求。

1.2 ESB 特点

在面向服务的体系结构下, 企业服务总线可以实现企业应用的集成。ESB特点体现在事件驱动、面向消息和面向服务3个方面, 其中, 在不同应用间进行的消息接收、产生均属于事件驱动, 面向消息及服务则分别指的是利用ESB进行消息的接收/发送和重复利用服务组合而成的分布应用[1]。

由Web服务、可扩展标记语言及中间件技术共同构成的ESB, 可以起到传递企业应用信息数据的作用 , 改进了传统的传输模式, 在性能上具有显著的优势。在企业构建数据共享与交换平台的过程中, 应用ESB技术可以大大降低成本的投入, 避免了因应用技术差异较大而导致的服务不统一的问题。

1.3 ESB 功能

在研究技术不断完善的过程中, ESB具备的功能逐渐增多, 这些功能的发挥能够以开放标准或专项技术为基础, 主要涉及消息处理、建模、集成、通信、 安全、质量服务和服务交换等。但不同技术的综合运用也可能会带来潜在的问题,例如 : 采用标准 不一致、 技术安全 和灵活程 度差异大 等[2]。ESB核心功能简介如下 : (1) 服务交换。可实施替代服务 ,可以高效地完成应用服务代码的提取工作, 具有一定的开放性特点;(2) 集成。能够使适配器、Web服务和Java2连接器等不同集成方法正常运行;(3) 通信。应用普遍性的传输协议, 通过进程间通信的重要途径, 管理命名服务、网络服务寻址, 将有关位置透明性的寻址服务、路由的信息进行收集。

1.4 ESB 的组成及适配器技术

适配器组 件、管理 控制组件 、转换组 件及通信 组件是ESB的关键组成部分 , 在发挥连接 应用系统 功能的过 程中 ,需要借助适配器技术, 从服务组件、应用及数据库系统等方面实现整合系统与被整合系统应用的统一。多种连接方法为应用系统的联系提供了技术保障, 其中数据库连接、开放数据库互连为应用数据库系统的连接提供了标准规范。ESB的架构图如图1所示。

为了保障系统的高效连接而研制的适配器, 可以使多种系统的接口整合为一个, 并在此基础上实现业务数据的交换,减少了系 统数据传 输的繁琐 性[3]。ESB适配器技术的优 势如下: 改善面向对象、以组件为基础的模块网络应用性能; 提升数据相关操作和处理的工作效率; 将应用系统同管理系统的连接、数据共享变为现实, 可以管理各项事务。

2 信息共享交换平台

2.1 平台的层次结构

用户交互层→流程整合层→应用整合层→应用接口层→信息系统基础设施是组成数据共享与交换平台的5个层次结构,流程整合层又分为业务间整合、业务行为监控和业务流程管理, 而应用层又包括消息路由、数据转换及数据格式定义。

应用接口层是数据共享与交换平台构建的基础, 该平台需要在信息系统基础设施的支持下发挥作用, 可以针对系统间的数据传输提供解决路径。应用整合层作为应用接口层的上一级, 尤其适用于整合系统应用数据信息转换方面, 企业系统数据的应用都应通过该层的数据模型来完成。二者的上一层次为流程整合层, 是确保不同系统高效运作的重要前提,可以整合不同系统, 具有管理业务流程、设计流程、监管控制流程等多项功能[4]。位于数据共享与交换平台的最高层次是用户交互层, 主要面对的广大用户, 使用户能够进入应用系统中, 满足不同用户的需求。用户交互层可以对系统内、外部的信息进行融合。企业服务总线技术在流程整合层及以上层次结构占据着较高的地位, 提供了坚实的技术保障。

2.2 平台功能

数据共享与交换平台的功能包括多种内容, 如:(1) 连接和运行各种数据库, 通过适配器的作用, 对系统进行全面的管理;(2) 建立在可扩展标记语言 基础上的 集成服务 模式, 高效传输应用系统及业务间的数据信息, 结合实际需求,对系统应用功能进行优化配置;(3) 包含测试、监管控制、动态观察和整体部署等功能, 实现远程管理控制;(4) 平台互用性较强, 可以发挥传递数据、数据定位、数据包封装的作用, 根据相关标准, 整合多种应用系统的整合;(5) 转换多种数据格式, 如: 可扩展标记语言同文本文件间 的转换、可扩展标记语言同其他可扩展标记语言间的转换、 短消息服务同可扩展标记语言间的转换等。此外, 还能利用不同的函数关系, 映射异构数据[5]。

2.3 平台架构

就企业中基于ESB的数据共享与交换平台的管理原则来说, 其属于一种集中、统一式的管理, 但在运行角 度来看 ,则归为分布式运行的范畴, 平台架构的设计和实现参考的原则为松耦合原则。应用系统平台包含着大量的节点, 不同节点的自身运行环境相对独立, 均支持数据集成、服 务交换 ,在应用系统的大环境下, 这些节点能够通信联系, 承担着服务总线系统负载。

如图2基于面向服务的体系结构的企业服务总线体系架构所示, 在中央服务器的统一约束管理下, 企业服务总线服务网络呈现分布式的特征, 共包括6大部分, 都是由多个节点整合而成。各层功能独立而统一, 既确保了自身系统扩展性, 同时也存在协作关系, 共同实现企业业务需求。

3 数据共享与交换平台系统实现

3.1 集中式的服务总线的管理

各节点适配器、运行环境的管理均利用的是JMX (JavaManagement Extensions) 技术 , 适配器及SOA解决方案的分布式JBI (Java Business Integration) 环境的管理控制阶段位于企业服务总线体系架构核心的中央服务层, 应用标准为JMX。集中管理层、代理层及设备层是组成JMX代理服务的基本模块, 不同应用层中分布的节点, 可以将涵盖所有注册MBean的仓库、JMXUrl进行连接, 获取有关管理对象的数据信息 , 并向MBeanServer发出一系列的执行命令 , 最终落实和完成相应的操作。

3.2 日志管理

具备日志收集服务功能的数据共享与交换平台, 在Java日志框架的支撑下, 通过多种管理工具, 向用户提供大量的日志信息, 并采取嵌入式数据库的途径, 将不同种类的日志进行存储和管理, 在系统伸缩性方面具有独特的优势, 避免了企业服务总线争用的问题。在当前应用系统中, 开放源码的嵌入式数据库的程序库有着极其广泛的应用, 方便了工作人员和用户进行管理和操作, 性能更加优化[6]。通过设置日志记录表的途径, 可以在平台数据库中对日志的内容、时间和级别进行记录, 还可以查询到日志创建者的网络之间互连的协议。

3.3 节点

各节点运行环境均符合分布式JBI规范要求, 允许适配器组件的接入和运行, 大量节点在基于ESB的数据共享与交换平台中的位置对等, 平均承担着系统总负荷, 大大提高了节点资源的管理和应用效率。

3.4 适配器

数据共享及交换平台的功能实现, 依靠的关键部件就是适配器, 适配器种类繁多, 是应用系统功能整合的根本所在。适配器实现技术包括DBIn、DBOut, 二者均属于数据库适配器, 前者具有接受、解析数据信息的作用, 能够将可扩展标记语言形式的信息转化为结构化查询语言形式, 并执行Sql语句; 而后者根据数据库应用记录查询相应的操作, 进行实时性的监测和控制, 实现数据增量抽取。

4 结语

数据交换与交换平台 篇8

2002年以来, 我国省市地方的电子政务建设取得了很大的进展, 为推动政府改革和廉政建设, 加强对企事业单位和公众的服务, 发挥了很大的作用。在当前总结“十一五”、规划“十二五”之际, 研讨地方电子政务建设的一个重要问题——如何建设地方电子政务数据中心和数据交换平台, 具有重要的理论意义和现实意义。

我国地方电子政务建设的基本问题

我国“十五”和“十一五”期间, 省市电子政务建设的基本内容, 是政府门户网站建设和一些业务应用系统的分散开发。由于缺乏统一的规划和统一的数据标准, 各种应用系统所形成的“信息孤岛”和“信息烟囱”比比皆是, 政府部门各自为战、独立建设、重复投资等问题时有发生。这些问题不解决, “十二五”期间, 要求政府创新与电子政务互相促进, 实现跨部门业务协同, 全面提升公共服务水平, 是办不到的。

“信息孤岛”产生的原因是多方面的, 但就认识根源来说, 是长期以来的一个普遍性的认识误区在作怪——总以为可以通过做数据接口来实现应用系统的集成;或者以种种数据接口的变种, 如数据库中间件、企业服务总线和数据交换平台等技术, 来实现多个“信息孤岛”的整合。例如, 许多地方在经济管理信息服务网建设方面, 为了实现工商、国税、地税和质监等政府部门的协同监管和服务所建立交换平台, 虽然投入巨大, 但如期效果并没达到。

信息工程方法论 (IEM) 已经彻底地从理论论证和实践检验上澄清了这一认识误区, 指出靠做数据接口不能实现多个孤立应用系统的集成;只有建立统一的数据标准, 面向业务主题建立共享的数据库, 实施数据环境的重构 (DER) , 才能解决信息资源整合与应用系统的集成问题。地方电子政务数据中心 (GDC) 建设的目的, 就是实施数据环境重构, 一体化地解决一个时期以来各种“信息孤岛”问题, 加强政务信息资源整合, 提升政务协同能力的重点工程。

数据中心与数据交换平台统一建设的可行性

事实上, 已经有些省市在进行电子政务数据中心建设的探索了, 取得了一些成果, 也出现了一些问题, 主要有:

◆某些地方立项目标任务定位不正确, 重叠立项“数据中心”和“数据交换平台”, 将两和本来是紧密联系、不可分割的统一建设任务, 划分为两个建设项目, 不仅重复投资浪费, 实际整合的效果还不好;

◆大部分停留在物理建设层面, 只注重解决数据集中存储、备份与安全等问题, 不注意解决数据标准化建设、信息资源整合与支持应用集成问题;

◆没有发挥业主方的主导作用, 将数据中心建设项目承包给系统集成商或软件开发商, 政府部门既不积极参与需求分析, 又不注重培养自己的数据管理人员;

◆数据中心和交换平台设备先进, 也购买安装一些数据抽取、加载和展现软件, 但业务实用数据贫乏, 开发商只给加载、调通少量数据, 项目验收后并不能投入实用。

为避免上述问题的发生, 电子政务建设的主管领导、信息中心负责人和骨干人员, 需要加强学习, 调整思路。首先要全面、正确把握电子政务数据中心和交换平台建设的总体任务。研究表明, 按数据中心建设所涵盖的业务范围, 可以有不同类型的数据中心:省市为经济管理信息服务的数据中心 (涵盖发改委、财政、工商、国税、地税、质监、统计等政府管理部门的业务) ;为社会保障管理信息服务的数据中心 (涵盖医疗保险、养老保险、失业保险、工商保险、生育保险、劳动就业等政府管理部门的业务) , 还是一些专业性信息服务的数据中心 (如省市财政数据中心、区域物流数据中心、电子口岸数据中心、文化教育数据中心等) 。我们的研究发现, 从基本构成上来说, 所有电子政务数据中心和交换平台建设, 都包括如下五项总体任务:

1、整合网络资源, 完善通信-计算机网络基础设施;

2、建立信息资源管理基础标准——数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准和逻辑数据库标准;

3、重整数据结构, 建立共享的空间图形信息库、主题数据库和支持辅助决策的数据仓库;

4、建立信息资源元库和信息资源目录与交换体系, 科学有效管理各种业务数据和交换数据;

5、以数据中心支持核心业务系统的集成化开发和运行, 支持首长信息系统 (EIS) 的开发和运行。

某些地方重叠立项数据中心和数据交换平台建设的重要原因, 是受信息资源整合与应用系统集成问题的复杂性所困惑, 片面理解数据中心和数据交换平台建设任务, 不掌握数据中心共享数据库重建的关键技术, 对数据交换平台建设的“企业服务总线 (ESB) ”技术期望过高。按信息工程方法论 (IEM) “以数据为中心”的基本观点, 在数据中心建设的业务范围内, 已经堆积、并且正在堆积一些交错复杂的“系统”和冗余无序的“数据库”, 如果不从数据标准化和共享据库建设入手, 以“保护已有投资”为名, 完全靠数据交换平台来解决两类堆积问题, 不仅其复杂性会超过数据标准化和共享据库建设, 而且至今没有完全成功的先例。这里, 有一个简单的事实是ESB推行者所避而不谈的:你说将一些应用系统 (“信息孤岛”) 用前置机或适配器 (Adepter) 联到服务总线上, 就可实现这些应用系统的互联互通, 它们之间的数据就可以自动交换。可是, 适配器里的信息内容是什么?——设想王某人在工资系统里的编码是0134, 在社保系统里的编码是021045736, 在银行卡中的编码是130034, 这些数据不分别装载到三个系统的适配器里, 系统怎么能自动比对识别呢?而需要整合的业务范围内, 要建立多少个这类的数据对照表?谁来做这些数据对照表, 能跟得上业务的变化吗?

我们说, ESB技术还是可以用的, 数据交换平台还是需要的, 但不是实现信息资源整合与应用系统集成的主体技术;实现信息资源整合与应用系统集成的主体技术是数据标准化和共享据库建设。以某市社会保障信息系统的优化提升为例, 按照金保工程总体规划, 他们设立了生产区、交换区和决策区三个逻辑工作区, 现在面临三个区的升级改造。我们的研究认为, 生产区多个应用系统的升级改造, 要着力数据标准化建设, 构建共享的主题数据库, 使核心业务通过存取共享数据库, 实现最便捷、最经济、最高效的信息共享。交换区要逐渐将重点转向核心业务数据与外部的交换, 即通过建立信息资源目录与交换体系, 实现核心业务数据与外部 (工商、质监、银行等) 的数据交换;核心业务之间的数据交换, 如过去统筹与医保、失业保险与劳动就业等业务之间的数据交换, 要改为通过共享数据库的存取实现信息共享, 而不再是数据交换。这就是说, 核心业务之间不通过数据接口 (或变相的数据接口) 进行数据交换, 即消除核心业务的“信息孤岛”, 以支持社会保障业务协同和综合服务。决策区除了建立与生产区同步更新、只读的查询数据库外, 还要建立面向社会保障指标体系的数据集市, 改变面向报表的统计为面向指标的统计, 以支持广大企事业单位和公众的信息查询;建立由主题数据库升档的数据仓库, 而不是由应用数据库抽取形成的数据仓库, 以支持社保局、政府有关部门和领导的辅助决策工作。交换区建设在采用企业服务总线 (ESB) 技术时, 要根据左右、上下、内外数据流的分析, 分类指导信息资源目录与交换体系的建设, 科学规划当前、近期和远期的自动化数据交换的实施步骤。

数据中心与数据交换平台统一建设的可行性和必要性, 在于它们的建设目标和建设策略的统一性。数据中心建设的目标, 是通过对业务数据集中采集、集中存储、集中管理、集中使用, 一体化地解决信息资源整合与应用系统集成问题, 支持核心业务集中统一管理, 实现跨地区、跨部门业务协同和综合服务。数据交换平台建设目标, 主要是解决与上下、外部的数据自动交换;而核心业务之间的数据交换, 随着共享数据库的建设, 会逐渐减少, 因为核心业务将以对主题数据库存取, 取代以往的核心业务之间的数据交换。由此可见, 数据中心的共享数据库与数据交换平台两大机制建设是不可分割、紧密联系、相互依存的。两平台的统一建设, 要遵循“四统一原则”:统一规划——统一进行信息资源规划;统一标准——统一建立数据标准化体系;统一设计——统一搞好总体设计;统一实施——根据信息资源规划方案 (IRR) 和信息工程总体方案, 统一进行数据中心和交换平台的建设。

基于信息资源规划的总体设计

我国自1993年全面推进国民经济与社会信息化以来, 在电子政务和企业信息化建设过程中, 不断出现重复投资、重复开发、各自为战、条块分割、先出现“信息孤岛”后考虑整合的被动局面, 到2004年, 国信办领导和信息化专家一致认为, 信息化建设的主要问题已经不是网络构建、应用开发和软件选型问题, 而是首先搞好总体设计或顶层设计问题。

这时, 一些专家学者和研发机构开始引进介绍美国联邦政府业务框架 (FEA) 和企业架构 (EA) 等参考模型, 军内信息化专家王保存少将介绍了《美国如何进行军队信息化顶层设计》。到2007年, 国家出台《电子政务系统总体设计要求》 (GB/T21064-2007) , 使电子政务建设的总体设计, 有了可参考的指导意见。该意见指出, 电子政务总体设计的目标, 是确定系统所支撑的政务活动的范畴, 明确系统在其所属电子政务框架中的位置与作用, 给出满足系统需求的一种解决方案, 确保电子政务系统的无缝集成和预期目标的实现。一些总体设计的要素, 如需求分析、业务功能、信息资源和系统体系结构等, 可以作为总体设计的参考要素予以关注。

钱学森在《论系统工程》中对总体设计有精辟的论述:总体设计部由熟悉系统各方面专业知识的技术人员组成, 并由知识面比较宽广的专家负责领导。总体设计部设计的是系统的“总体”, 是系统的“总体方案”, 是实现整个系统的“技术途径”。总体设计部一般不承担具体部件的设计, 却是整个系统研制工作中必不可少的技术抓总单位。钱老指出了谁做总体设计、总体设计做什么和总体设计有什么用等关键问题。

我们以钱老的系统工程思想为指导, 学习运用信息工程方法论 (IEM) , 创新提出了基于信息资源规划总体设计的整套技术方法, 简单说就是“三大模型、五项标准和三大信息工程总体方案”。现以某市“金财工程”数据中心与数据交换平台建设基于信息资源规划的总设计为例, 简述要点如下:

1、全面梳理和优化业务流程, 建立应用系统功能模型。信息资源规划是以“职能域” (Function Area) 为基本单元进行数据流分析的, 职能域是指组织中的一些主要业务活动领域的抽象, 它不是当前机构部门的翻版, 但会覆盖当前的机构部门。该市财政职能域界定为:预算编制、国库支付、收入管理、政府采购和财务核算等十个职能域。对每一职能域分析识别业务过程 (Process) , 再对每一业务过程识别定义业务活动 (Activity) , 从而形成稳定的三层结构“职能域-业务过程-业务”表达的业务模型 (Business Model) 。然后, 通过对每一业务活动做计算机化可行性分析, 确定程序模块或组件 (Component) , 形成由三层结构“子系统-功能摸块-程序模块”表达的逻辑子系统功能模型 (Function Model) 。

2、调研并规范用户视图, 进行数据流定性和定量分析。用户视图 (User View) 是指最终用户对数据实体的看法, 是对单证、报表、帐册、屏幕表单等的综合。数据流就是用户视图的流动。采用软件支持工具, 对10个职能域约1000多个用户视图做规范化处理 (达到1-NF) ;基于用户视图, 通过数据流程图做数据流的定性分析, 进而做数据流的定量分析, 全面搞清楚各职能域之间, 以及与外部应用系统的数据流关系。

3、基于用户视图分组和数据流分析, 建立应用系统共享数据模型。数据建模是信息资源规划核心、也是难度最大的工作。借助于专业支持工具软件, 可建立由若干主题数据库 (35个) 、若干基本表 (140个) 所构成的数据模型, 采用简化E-R图来表达全域数据模型和各子系统数据模型。

4、基于数据存取分析, 建立应用系统体系结构模型 (C-U矩阵) 。体系结构模型是功能模型和数据模型的关联, 采用C-U矩阵来表达数据库的共建共用关系和程序模块研发顺序的控制机制, 是应用系统开发过程中确定数据分布的重要依据。每个子系统一个C-U矩阵, 反映子系统内程序模块与基本表的关联, 全域一个C-U矩阵, 反映各子系统与主题库的关联。

5、统一数据标准, 建立信息资源管理基础标准。该市财政核心业务所涉及到的数据标准规范, 在采用和借鉴现有的国际、国家、行业标准的同时, 还需要根据实际需要, 来建立统一的信息资源管理 (IRM) 基础标标准, 包括数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准、逻辑数据库标准 (共5项) 。在此基础上, 建立与外部进行数据交换的信息资源目录与交换体系。

6、采用软件支持工具, 建立信息资源元库系统。信息资源规划工作是由多个小组、众多业务人员与IT人员密切合作完成的信息化工程, 就需要有能够集“理论指导、标准规范和操作方法”为一体的专业软件工具的支持。我们研发并具有自主知识产权的规划工具软件——信息资源规划工具IRP2000net与信息分类编码工具IRP3-icc, 能够对信息资源规划工作过程中的分析调研、建模和数据标准化过程和结果, 都统一保存在信息资源元库 (Information Resource Repository, IRR) 之中, IRR是后续应用系统开发工作所依据的核心资源。

以上就是基于信息资源规划总体设计的第一部分工作——信息资源规划的三大模型和五项数据标准, 而且由工具系统建立和存储, 即形成活化的计算机文档。在此基础上, 做基于信息资源规划总体设计的第二部分工作——

7、信息工程总体方案编写。通信-计算机网络工程总体方案、数据标准-数据中心工程总体方案和应用软件工程总体方案等三大信息工程总体方案, 将用来指导、控制和协调该市“金财工程”数据中心与数据交换平台有序成功的建设。

实践表明, 我们创新提出的电子政务总体设计方法论——基于信息资源规划总体设计, 不仅完全覆盖GB/T21064-2007的总体设计要素, 而且更为科学、简明和实用。

要在实践中推进两化融合

工业和信息化部副部长杨学山

2010年7月1日, 全国首个推进两化融合高级培训班 (第一期) 在上海开班。工业和信息化部副部长杨学山出席开班仪式并发表重要讲话。

要充分认识两化融合。第一, 推进两化融合是党中央国务院的重大战略决策。第二, 两化融合是历史发展的必然趋势。第三, 无论是从企业或国家竞争力的角度、从微观或宏观经济效率的角度, 还是从发展转型的角度, 两化融合的本质就是材料、能源、信息三种社会发展的基本资源综合、协调、高效利用和均衡优化, 中国应该加快创新步伐, 实现科学发展。第四, 推进两化融合是转变发展方式的重要抓手。两化融合在各个方面支撑发展方式的转变:两化融合促进战略性新兴产业发展, 在宏观和微观两个方面提升生产效率, 是节能、减排、降耗、治污的重要抓手, 是提升创新能力的重要基础, 是产品和产业升级的内在动力, 是产业布局调整的技术支撑。

要在实践中推进两化融合。首先, 在战略层面, 第一要提升经济运行整体效率:发展电子商务, 降低贸易成本;发展现代物流业, 降低物流成本;发展诚信体系, 降低交易成本;发展创新平台, 降低研发成本, 提升研发质量;加强预测预警, 引导平稳发展。第二要在三大产业结构调整、产业内结构变化、产业布局、生产技术选择方面着手, 构建现代产业体系, 转变经济发展方式。两化融合是构建现代产业体系的重要抓手, 在构建现代产业体系中发挥着重要作用。

其次, 在重点工作层面, 要大力发展企业信息化、行业信息化、区域信息化。

最后, 要高度重视创新与延续的关系, 两化融合在创新发展的同时, 要高度重视发展的延续性。传感网、物联网、泛在网、云计算、智慧地球等一系列新概念正在发展, 并影响着两化融合进程。但万变不离其宗, 不能就概念论概念, 要正确认识技术的发展, 正确认识技术发展与两化融合的关系, 要切实做到重本质、讲延续、求效果。

摘要：本报告在总结我国地方电子政务建设基本问题的基础上, 提出了地方电子政务数据中心与数据交换平台统一建设的目标、任务和策略, 论述了基于信息资源规划总体设计是其成功建设的基础保障。

关键词：电子政务,信息资源,数据中心,信息资源规划,总体设计

参考文献

[1]中共中央办公厅.关于加强信息资源开发利用工作的若干意见[S].2004.

[2]中国工程院“十二五”规划信息化专题组.我国“十二五”信息化发展的思路[M].2009.

[3]高复先.信息资源规划——信息化建设基础工程[M].北京:清华大学出版社, 2002.

数据交换与交换平台 篇9

关键词：XML,数据交换,银行系统

0 引言

随着改革开放和社会主义现代化建设的进一步推进,我国金融行业推出的服务也越来越丰富。同时随之而来的是银行系统数量的迅速增加,而且在银行中提出的“小核心、大外围”的思想,核心系统不断“瘦身”的同时也一定程度上将非记账功能的系统外置。核心与众多的且各不相同的外围系统进行数据交换就是一个重大问题。数据交换主要需要解决的是两个问题,一是定义数据标准的问题,二是解决非标准数据和标准数据之间的转换问题。XML(Extensible Markup Language,可扩展标记语言)是用来存储数据的,重在数据本身。XML的简单使其易于在任何应用程序中读写数据,这使XML很快成为数据交换的公共语言,虽然不同的应用软件也支持其它的数据交换格式。

1 数据平台架构简介

1.1 通讯接口层

通讯接口层负责和外部系统进行通讯,进行原始报文数据的传输。

对数据交换层来说,通讯接口层屏蔽了所有的通讯细节。数据交换层只知道从某个外部系统获得了或者发送了一个数据报文,至于该数据报文是如何获得或者发送的,和数据交换层本身无关。

1.2 数据交换层

数据交换层完成原始通讯数据和系统标准数据之间的相互转换。

对服务整合层来说,数据交换层屏蔽了数据的具体物理表示和组织,服务整合层只知道收到了一个服务请求需要处理,至于该服务请求是从哪个系统发起的,原始的请求数据是什么,和服务整合层没有关系,只和数据交换层有关。

1.3 后台服务层

数据交换层完成一个服务的具体实现,该服务对交换以后数据的处理。

具体数据平台架构如图一所示:

2 标准数据

2.1 设计原则

数据标准的定义是数据交换的第一个核心问题,数据标准的定义需要在以下几个方面进行权衡:

(1)适应性

适应性是指定义好的数据标准能够支持各种数据模型,从简单的线性模型到复杂的结构或者嵌套层次型的数据。

(2)易理解性

无论是从应用开发的角度还是从程序实现的角度,数据标准应当是易于理解、易于使用、易于实现的。

(3)高效性

由于数据标准是整个系统运转的数据基础,所以数据标准实现的高效性是保证整个系统性能的重要前提。

2.2 标准数据构建

统一数据是为了统一平台的数据描述而设计的,包括结构、数组、域、结构和数组可以嵌套其他数据。通过这3种基本类型的组合嵌套可以描述各种各样复杂的数据。

原子数据(AtomData)是各种数据的抽象,CompositeData、Array、Field都从AtomData继承,它们分别对应3种原子数据类型:结构、数组、域。

域是基本数据类型中的最小单位,不能再包括其他数据。域包括两部分:值和域属性定义。域没有名称,只有值。值的数据类型可以是int、short、long、byte、float、double、byte[]、String。

结构是一个Key/Value映射集合,集合中的每个条目的Key是名字(字符串),Value为原子数据。添加和获取结构元素时,名字可以支持层次和数组,如a.b.c[0][0]。

结构中有个级联创建属性,当添加a.b.c[0][0]时,如果a、b、c、c[0]都不存在时,可以按名字中的层次关系来创建父对象,缺省是disabled。那么添加子对象时,如果父对象不存在会抛出运行期异常。

数组是一个顺序结构,通过下标来添加和获取数组元素。数组元素的添加必须按顺序,即不能在没有第1个元素的情况下添加第2个元素。与结构一样,数组也有级联创建属性。

3 数据交换

数据交换的第二个核心问题是如何屏蔽非标准数据之间的技术实现的差别,从而向应用开发人员提供一个面向业务数据的开发界面。也就是说,数据交换平台开发一个交易或者服务的时候,可以采用统一的界面进行开发,而不必关心各种系统对各种非标准数据之间的底层技术差异。

数据交换的第一步就是打包数据。打包的功能是将一个字节流组成的标准数据报文,拆分成一个标准的数据接口,而数据交换最后的拆包功能正好相反,是将一个标准数据接口按既定的方式组合成一个标准数据报文。拆包是打包的一个逆过程,为简单起见,以下主要以拆包为主分析打包拆包的功能。

在具体讲述如何打包拆包之前,我们先有几个假设,这些假设是具体打包拆包如何实现的一个基础:

假设1:数据报文是由一个或者多个域组成;

假设2:数据报文中如果存在数组,那么数组的个数可以通过某种方式获得。

字段拆分是数据拆包的第一个步骤,所谓字段拆分实际上就是将一个数据报文拆分成一个一个的数据字段。

要进行字段拆分,首先必须知道该报文是如何组织的,即报文的组织模式(又称包模式),所谓报文的组织就是该报文中的字段是按什么方式组合在一起的。我们来举例说明,假设现在有两个字段,一个是帐号字段,另一个是金额字段,字段的值如下:

以上四种方式组织的报文在业务的角度含义是一样的,但是其技术上的表现形式却是大相径庭。因此如果我们要将数据打包,首先必须知道该报文的组织模式是什么。一般来说,从报文本身提供的信息量出发,从大的方面来看,有两种类型的报文组织模式,一种报文是知道了其组织模式后,就能够将报文中的字段一个一个的分开,我们称这种组织类型的报文叫自描述型报文,例如以上的类型1、类型2报文,前置格式报文等。比如类型1的报文,看到报文后我们立刻可以知道该报文中有一个acct字段和amt字段,类型2也是;另一种类型的报文是即使我们知道这是什么组织类型的报文,但还是无法知道该报文中究竟有哪些字段,如果分开这些字段,我们称这种组织类型的报文为非自描述型报文。如上面的类型3,尽管我们知道这是主机格式的报文,但如果只有报文本身,根本无法知道该报文中存在什么字段,还需要一些相应的辅组信息,才能将这个报文拆分成一个一个的字段。

根据以上的分析,在得到一个报文的时候,首先我们必须确定该报文的组织模式,如果是自描述型报文,那么根据该组织模式的特点,就可以将字段拆分;如果是非自描述型报文,那么再根据该报文的配置信息进行字段拆分。

在打包过程中,对应字段拆分是字段组合步骤,就是根据报文的组织模式将一个一个数据字段组织在一起形成一个完整的数据报文。

4 结束语

通过银行数据交换平台架构的实现可以最大程度地屏蔽各个系统在通信方面的差异,同时也对核心系统的数据进行规范化和标准化,对未来新的外围系统快速地接入银行的整体系统体系提供了有效的保障。

参考文献

[1](美)H.M.Deitel,P.J.Deitel等著.康博等译.XML编程技术大全[M].北京:清华大学出版社,2002.

[2]唐晓波,黎朝辉.XML Web服务在电力企业信息系统集成中的应用框架[J].华中电力,2004,(17):8-10.

[3]魏建香,罗军舟.一个基于XML数据交换系统的研究与设计[J].计算机工程与应用,2004(,36).

数据交换与交换平台 篇10

关键词：运动会系统 电子数据表 服务

1 电子数据表的特性

电子数据表作为运动员信息的集合，是一组具有完整信息的集合，它的最终目标是存储运动员完整的个人信息和比赛记录。因此电子数据表应该是持续性的、具有良好可读性的通用性文档。

①广泛共享的电子数据表描述必须遵循一定的标准， 采用原始XML文档形式存储。②广泛共享的电子数据表数据必须安全可靠、真实反映运动员信息，并有一定的保密性。③电子数据表数据要实现持久性，它应不受社会或技术的演化而变得无法使用，它应该是独立于计算机平台、软件以及数据库技术的。

2 交换框架设计

就现有网络与存储、计算机处理技术水平，在整个赛场范围内实现电子数据表集中存储是可行的，本文根据电子数据表的特性设计了一个基于Web服务的电子数据表数据交换框架，电子数据表数据的处理包括XML文档的转换以及数据的访问都是通过服务来实现的，并在这些基础上实现了电子数据表数据内网和外网的无阻交换。在电子数据表发送方数据时要先通过XML文档构造服务转换成XML文档后再发送，在集成平台的数据接收方，采用XML文档直接存储到数据库的方法。在对数据进行访问时，通过调用集成平台提供的服务进行访问。从整个设计过程来看，集中存储的电子数据表数据是安全可靠，而且提高了数据访问的友好度和安全性。

集中电子数据表数据交换框架实现主要包括四个关键技术：基于XML的数据库、XML文档转换处理、数据接收处理，以及数据访问服务的设计。

2.1 基于XML的数据库设计 原始XML存储数据库（Native XML Database， NXD）保持XML文档的树形结构，省掉了XML文档和传统关系数据库的数据转换过程。市面上也有不下几十种NXD产品，其中IBM的DB2 9是一种支持XML文档和关系型数据的混合数据库，DB2 9 中新的XML支持包括纯XML存储、XML 索引、XQuery、SQL/XML 和高级的 XML 模式处理等，本文即采用DB2 9的数据库来存储电子数据表数据。

数据库存储的是各种用XML标准描述的数据表单，为了提高数据库的管理，本文为各种类型的数据文档设计一个数据表，可以通过文档类型标识的判别将文档插入到相应的数据表中。数据模型如图1所示。

电子数据表首页是运动员每次报名参赛的开始，并且记录了一些运动员的关键信息为系统发生的其它表单的填写提供参照。运动员电子数据表首页是运动员在报名时由组委会填写，内容包括运动员基本信息，参加比赛的一些情况：身体状况、既往成绩、比赛信息等。

电子数据表首页表和其它比赛用文档表是一对多的关系，关系属性为XML文档中的和元素中的属性。

2.2 XML文档转换处理 XML技术实现规范（Implementation Technology Specification， ITS）可以用来实现消息的构造，它能恰当的运用对象、属性和数据类型来表达文档。

准备工作：一，通过文档建模得到图表格式化的层级描述（Hierarchical Description， HD），并存储到模型库中。HD是构建文档的基础，是文档生成的模版，定义了文档里有哪些数据项以及数据项的顺序；二，使用XML Schema Generator （XML 的模式生成器）将HD的声明， 以及数据类型声明转化成XML的模式声明，并存储到XML模式库中。

有了具体文档模型的HD表和Schema，就可以针对具体的业务数据进行文档构造了，主要通过三步来实现文档构造：一，发送方取出业务数据，从模型库中找到对应的HD表，通过程序代码将数据映射到表中并对文档号作唯一性处理，以保持文档之间的关系。因为电子数据表要实现运动员所有历史和更新的数据，以便提高法律效力，所以在文档中也反映了文档替换、附加、转换的关系。二，借助于ITS定义的构造算法将HD表与相关数据转换成XML文档；三，进行文档的Schema验证，以确保文档的有效。

2.3 数据接收处理 本文采用文档转换的服务程序中直接生成运动员信息文档的唯一编码，因此在接收文档的时候不用对该文档的编码的唯一性处理，也不用考虑文档之前的关系。数据库服务器只要对文档的类型进行判断，然后选择合适的表进行插入就可以了。此外还要考虑文档的转换格式与其关联的方法，文本中XML是采用xsl套用格式声明实现的，因此，要将其插入到文档中。

下面表1列出了部分与文档类型相关的编码集。

表1 文档类型例子

■

2.4 数据访问服务

集中的电子数据表数据通过其前台的集成控制平台提供的服务来实现共享，因此从接入系统的应用层上限制了一些数据的访问，可以在一定程度上保证数据的安全和保密性。服务开发有很大的灵活性，可以根据需求逐步地开发服务，然后发布到服务总线上，就可以等待服务请求者调用。

3 结束语

本文设计了基于电子数据表数据交换的框架，并对数据库与具体的数据处理进行了分析和设计。本框架是基于服务来实现的，保证了数据的安全与可靠，对其它的电子数据表区域化存储的实现有一定的参考价值。

参考文献：

[1]PRakesh Agrawal、Tyrone Grandison、PChristopher Johnson、Jerry Kiernan. Enabling the 21st century health care information technology revolution. In： ACM 2 Penn Plaza， Suite 701 New York NY USA. 2007：34～42.

[2]Jeng， JJ； An， Lianjun. System Dynamics Modeling for SOA Project Management. In： IEEE International Conference on Volume ， Issue， 2007，6：286-294.

[3]刘小琳，郑有才.面向服务的工作流技术[J].计算机工程与应用，2006.27.

[4]王远，范玉顺.基于时序逻辑的工作流建模与分析方法研究[J].高技术通讯，2006，2.

[5]Andreas J.Dietrich，Stefan Kirn，and Vijayan Sugumaran. A Service-Oriented Architecture for Mass Customization-A Shoe Industry Case Study. IN： IEEE TRANSACTIONS ON ENGINEERING MANAGEMENT，VOL.54，NO.1.2007，2.