数据仓库再造银行业（精选八篇）
数据仓库再造银行业 篇1
VGOP (Value-added Service General Operation Platform, 中国移动增值业务综合运营平台) 是面向中国移动数据部, 支持移动增值业务运营管理的综合运营平台。笔者参与了某省VGOP项目的一期建设工作, 该阶段建设工作主要是针对历史遗留平台的数据来源梳理, 数据口径梳理以及在此基础上的对VGOP项目数据仓库进行建模, 是一个典型的通信行业数据仓库建模过程。
本文以该系统中个别增值业务的仓库建模过程为例, 结合数据仓库建模理论详细描述移动通信行业的数据库建模流程以及注意事项。
2. 数据仓库设计原则
2.1 用户获取数据过程简单清晰
数据开发人员的所有操作要对前台业务人员屏蔽, 使前台能直观、清晰、简单地获取所需数据, 包括切片、汇总等操作, 并能在尽量短的时间内响应业务人员请求。
2.2 统一组织机构信息
VGOP数据仓库来自多个平台, 这些平台的基础维度数据分别建立, 各个系统的业务数据将在VGOP系统中汇总处理, 只有统一这些基础数据才能保证数据质量, 因此这部分数据需要通信公司业务人员的有力配合, 从而保持这些数据的一致性。
2.3 广泛性和适应性
随着市场变化, 业务、需求、数据内容及技术方面的变化是一个必须的过程, 在数据仓库设计上, 需要广泛地支持当前数据要求, 并一定程度地控制和保留数据粒度, 当客户提出新的业务需求及需要建立新的目标模型时, 有足够支撑力。
2.4 数据安全控制
如此庞大的业务分析系统, 必不可少地涉及到用户的隐私, 这部分数据需要严格控制, 因此对数据进行脱敏, 对基本用户信息中的身份证、住址等具体信息屏蔽。
2.5 后期业务人员培训
数据仓库的生命在于业务人员的有效使用。对客户业务人员进行有效培训, 并体现出系统同以前业务处理方式的优势, 简化业务人员工作。
3. VGOP系统业务建模设计原则
VGOP系统是给移动业务运销提供支撑, 在这之前该公司有多个系统联合提供该服务, 但由于系统间缺乏统一的接口和数据口径, 对数据的准确度造成了一定影响。因此VGOP系统产生了如下需求:
(1) 综合所有增值业务, 涵盖了以前多个系统的业务范围, 提供统一的业务口径。由于历史原因且业务设计到多家公司接口, 老的数据接口不能更改, 需要平移到新系统中。
(2) 统一口径, 比如某地市、区县、乡镇、片区的手机用户数应该统一, 某业务中计算该业务的使用率 (该业务用户数/总用户数) , 由于总用户数的不同而产生数据质量问题。
(3) 部分业务需要提供日、周、月时间周期, 同时要提供同比、环比。基于不同维度的业务分析数据。
为了成功实施企业数据仓库, 需要采用螺旋形的开发方法, 快速、多次、迭代的方式完成数据仓库开发。
4. VGOP数据仓库系统设计与实现
遵照以上数据仓库设计原则和VGOP设计原则, 仓库的设计模型如图2所示。
4.1 维表层
DWF划分为维表层, 单独维护。主要包括以下信息:
4.2 ODS (源数据层)
该层与各个业务平台数据保持一致, 数据量大, 传送周期为日、周、月, 传送类别有增量传送, 如当天的业务订购、退订数据;全量传送:如所有用户基本信息。常用FTP文件加载数据。该层数据命名规则为ODS_XXX, 传送平台如未加时间戳则需要添加时间戳字段。
4.3 DWD明细数据层
该层数据与ODS相比, 主要保留有效字段和对数据进行基本规则的清洗。在业务系统数据库中, 存在许多字段为业务系统所需但在VGOP业务分析中不需要的字段, 这部分字段在ODS到DWD时需要过滤掉, 同时针对业务系统的部分数据汇总, 比如电话通信记录表中有开始时间、结束时间这样的字段, 我们需要的数据为通话时间=结束时间-开始时间。在有些模型中需要记录每人每天当天通话次数或者短信条数。
4.4 DW深度汇总层
该层数据需和数据仓库的主题域紧密结合, DWD层可以认为是我们的输入数据, 这一层则是数据仓库的输出层, 输出数据已经是生产成品。比如针对渠道主题, 我们将设计到短信、飞信、彩铃、手机上网的日数据分析不同渠道 (营业厅、网上营业厅) 等的销售订购情况。
4.5 DM层
该层数据针对产品做优化, DW层的数据已经是数据库中的成品, 但是从数据仓库用户使用体验上考虑, 不宜多表关联查询, 因此会将多表查询结果在这层汇总, 从而提高用户访问时的即时响应。
5. VGOP数据仓库特点
(1) 基于业务主题的数据仓库模型设计, 提供给移动公司统一、最新并且全面的数据视图, 通过该系统能方便查询检索各个主题域的详细数据。
(2) 该系统同时提供高度抽象和高性能的信息管理平台, 并且完成了来自业务系统的包括数据抽取、清洗、加工等过程。模型为后期数据挖掘提供了坚实数据基础, 可以为企业提供决策分析, 方便企业高层及时作出战略决策。
6. 结束语
VGOP系统是以客户为中心, 数据为基础, 依托数据仓库处理技术, 及时、有效地提供了高一致性、高准确性的经营分析系统, 综合了以前移动公司的多个系统功能, 有效地促进了企业管理人员对企业业务信息的掌握和分析, 是企业决策分析系统应用中的一个优秀案例。
参考文献
[1]W.H.INMON.数据仓库[M].北京:机械工业出版社, 2003.
[2]尚斌, 王彦.以VGOP为核心构建移动数据增值业务营销支撑系统[J].通信世界, 2011, 2;36-37.
[3]林向阳, 高展.数据建模在数据仓库中的应用[J].微计算机信息, 2010, 1-3:183-185.
数据仓库再造银行业 篇2
电信行业数据仓库建设情况概述
从上世纪90年代开始，随着电信行业垄断格局被打破，电信行业的市场竞争越来越激烈，在2000年左右，电信企业间的竞争已经不满足于单纯的价格战手段，迫切需要提升竞争的手段和方法，提高企业的市场竞争力。
国际上的电信运营商在经历了传统的价格战之后，为了提升企业的竞争力，充分使用了各种信息化手段，其中，数据仓库技术是主要的手段。据统计，国际上资产排名前十名的电信运营商，均建设了数据仓库系统。
以中国移动为典型代表，从2001年开始进行了数据仓库的设计和准备工作，在建设数据仓库的同时，也在逐步构筑完整的数据仓库业务应用内容。2002年完成了系统的详细的设计过程，2003年中国移动完成了数据仓库系统的建设工作，2004年建立并完善了初步的应用体系，2005年开始进行专项的数据质量整改工作。中国联通也从2003年开始陆续启动了数据仓库系统项目的设计、建设和应用等工作。
与国外电信运营商相比，国内电信行业数据仓库项目有如下的特点：
1．数据量更加庞大
中国移动已经发展成为世界最大的无线运营商，拥有近3亿的客户，话务量大，数据量也十分庞大。目前中国移动的数据仓库设备容量已经超过上千个TB，而在国外的电信运营商，最大的仅300TB。庞大的数据量对数据仓库的处理能力等多个方面构成了挑战，对系统的性能提出了更高的要求。
2．业务管理不规范，导致数据仓库较复杂
由于国内电信企业的业务管理仍不规范，导致各省公司之间的产品差别很大，业务模式也有很大区别，这使数据仓库的设计十分复杂，同时对数据的梳理工作也变得十分艰巨。
3．业务应用水平仍有差距
从总体而言，国内的数据仓库在应用水平方面，较国外的先进水平仍有差距。国外在数理统计等多个方面积累了很长时间的经验，数据分析人员水平也比较高，而国内仍靠技术人员进行分析为主，对业务知识仍比较欠缺。
综上所述，国内部分电信企业已经完成了大型数据仓库的建设工作，而逐步转向为丰富业务应用的过程，只有通过深入的业务应用工作，才能保障数据仓库系统发挥效果，并真正提升企业的精细化管理、精细化营销能力。
电信行业的数据仓库应用特点
数据仓库的应用是满足对数据进行整理和分析的需求，与其它的IT系统相比有如下的一些区别。
1．业务应用范围比较零散，内容丰富
数据仓库的业务应用，不仅会涉及到企业外部的市场营销，也会涉及企业内部的各项管理工作，因此范围十分广泛。同时，内容也十分丰富，可以细到对某类客户的详细分析，也可以包括对电信企业宏观发展的决策等。
2．针对数据的分析为主，业务水平要求较高
数据仓库业务应用以对数据的分析为主，而这种分析的过程要求分析人员能够具备较丰富的业务知识，才能得出理想的分析结果。即使是同样的数据，技术人员和业务人员也可能会得出不同的结论。
3．业务应用是建立在保证数据质量的前提下
数据仓库的数据质量涉及到多个方面，在系统建设之初，主要是围绕系统本身的问题。经过一段稳定时间之后，问题常常集中在统计口径方面，需要对业务系统的很多业务规则进行梳理。应该说，很多的数据质量问题都是由上游系统产生的，但通过数据仓库系统暴露出来了。如果数据质量无法保障，分析的结果也会无法保证准确性，因此数据质量对数据仓库的业务应用是基础。
数据仓库业务应用的分类方法
数据仓库的业务应用，从不同的角度有不同的划分方法。
1．从技术角度划分的应用分类
从技术角度，对有关的业务应用内容可以分为：
（1）KPI应用
主要是反映外部市场和内部管理的主要关键指标，如总收入和客户数等内容。这些关键指标能够直观地反映出企业运营管理的基本情况。
（2）报表应用
这是目前应用最多的形式，目前国内大部分的数据仓库业务需求，都是通过报表的形式提出来。业务人员使用报表比较熟悉，也比较方便。由于对使用人员的技术素质要求不高，报表在几年内仍将是主要的业务应用形式。
（3）OLAP应用
OLAP分析方法是对报表分析能力的一次提升，跳出了传统报表的二维信息的局限性，能够灵活地提供多维度、多角度的分析方法，并能灵活地进行上钻、下钻等操作。OLAP能够更加丰富地展现数据仓库中的相关数据，提高了分析的过程，丰富了分析的视野，但对操作人员的技术水平要求也越来越高。
（4）数据挖掘应用
数据挖掘是在大量数据的基础上，通过数学的方法，发现有价值信息的过程。数据挖掘能够提升人类对数据的分析能力和深度，但对操作人员的技术和业务方面的素质要求也十分高，国内目前仍处于起步阶段。
2．从业务角度划分的应用类型
从业务角度，目前数据仓库业务应用可以分为两类。
一种是通用性的应用，即在进行业务分析过程中基本都会使用到的分析内容。例如，围绕客户、市场等方面，提供一些客户基本信息、基本行为的一些共性分析，供所有使用者进行分析。
另一种是比较专项的应用，即针对特定的部门或者特定的角色提供的个性化的业务应用内容。例如，主要是面向不同的业务领域，针对不同的业务部门，提供有关的分析内容。
3．数据仓库自身的业务应用
在数据仓库的业务应用内容中，也会包括对数据仓库自身进行管理的一些业务应用内容。这些内容会围绕数据质量管理等方面，如接口数据的变动干扰分析，指标的血缘分析等内容。这些应用的目的是为了提升数据仓库自身的准确性等方面的功能，提升自身的相关管理水平。
电信行业数据仓库具体应用举例
数据仓库项目包括了两个层面的价值。
首先，在建设数据仓库的过程中，对现有的数据资源进行了一次完整的梳理，对相关的业务系统的数据质量进行了同步的检查和监督。这是对企业内部IT系统进行梳理的过程，要解决很多业务方面的问题。该过程十分庞杂，但也为企业内部的业务系统进行了一次完整的整理过程，为企业的IT应用发展奠定了扎实的数据质量基础，这方面的工作对企业的长久发展意义十分巨大。
其次，是建立在数据仓库基础上的各种业务应用，这些应用过程是从数据中，发现有价值信息的过程，也为企业的各个环节的管理，提供了数据分析的依据。这种数据分析的过程，结合企业相关的管理手段的提升，会转化为巨大的生产力，提升企业的精细化管理和精细化营销的能力。
下面，以客户离网分析为主，提供有关的具体分析例子。
客户离网是生产经营面临的一个基本问题，也是影响经营状况的一个重要因素，一方面会造成收入的下降，市场占有率下降，营销成本增加、收入降低的问题；另一方面，恶意离网会造成客户欠费，带来不必要的经济损失。离网分析的目的就是要通过特定算法，分析出哪些客户具有较大的离网概率，从而对这些客户进行有目的的挽留工作，尽量减少客户流失带来的损失。通过离网模型可以提高对高价值客户挽留成功率，降低客户离网率，降低挽留服务的成本，做到有的放矢，减少由于客户离网带来的收入损失。
在这种情况下，如何挽留住客户成为一个非常重要的问题，而挽留的前提一方面要有好的市场经营策略，另一方面要能够预测那些客户有离网动向，有目的的、有针对性的进行挽留。
1．分析方法描述
分析方法主要采用：聚类、因子分析、决策树。
2．实现方案
（1）建立离网预测的分析模型，配合离网分析的客户信息库，建立离网分析模型基础挖掘数据；
（2）根据数据仓库中现有信息和历史数据，对客户进行各种信息进行归纳、分类，将客户进行分群；
（3）根据客户分群的结果，采用不同的算法对不同群体的离网客户的信息进行分析，探索离网规律；
（4）根据离网规律对当前客户的离网倾向进行预测，分析客户离网倾向，同时根据客户的离网倾向程度进行打分；
（5）根据离网倾向从高到低给出客户清单信息。
3．应用方案
（1）离网原因分析，采用聚类的方法来分析客户的消费行为，即根据客户的通话等消费情况、离网特征信息将客户分成多个群，同一群客户的消费行为具有较高的相似度，而不同群的客户间消费行为差异较大。分析每群客户的离网原因，有针对性地提出挽留建议。
（2）依据客户属性分组，制定相应的营销政策与客户进行沟通，在沟通的过程中，确认客户是否具有流失倾向，以及有流失倾向的客户真正流失原因。
（3）挽留任务分解，根据提取具有离网倾向的客户按归属客户经理进行分配，对没有归属客户经理，安排电话经理进行外呼，根据相应的挽留策略实施离网挽留。
（4）客户经理根据外呼挽留实际情况进行反馈。
5．应用效果
某省电信运营商的离网模型效果如下：
目前离网分析的命中率为30％左右，查全率为70％，其中离网率为2.1％，预测结果中的命中率为31％，LIFT提高了14.8倍。通过LIFT指标可以看到，离网模型帮助缩小了挽留客户群，减少了挽留工作量和降低了挽留成本。
命中率：被准确预测为离网（预测离网并且真正离网）的客户占客户总数的百分比。查全率：被准确预测为离网的客户占实际离网客户总数的百分比。
Lift＝客户的命中率/不使用模型时的离网率。
电信行业数据仓库应用发展展望
随着数据仓库系统功能的不断丰富，涵盖的数据源范围也会越来越多，数据仓库将发展成为企业的信息中心，是企业内部、外部数据的汇集之地。最终，数据仓库将发展成为企业内部的神经中枢系统，是企业进行各项活动的判断依据，成为企业管理的核心。
在针对企业各方面的管理内容之外，也可以发展成为电信企业的重要赢利手段。随着竞争的激活，价格会越来越低，电信企业传统的提供通信通道方面的价值会越来越低，利润也会越来越低，电信企业必然面临转型问题。
如果建立了比较全面的数据仓库系统，电信企业可以获取用户在各个方面的数据信息，围绕这些信息，可以发展成为“客户需求”的管理门户，及时发现客户的需求，然后根据客户的需求，联系零售等领域的供货商，为客户提供满意、低廉的产品服务。
数据仓库再造银行业 篇3
Teradata刚刚举行了2010年数据仓库峰会, 会议吸引了Teradata在全球银行、电信、制造以及物流等领域的重要合作伙伴, 这些公司的高层主管交流了数据仓库与商业智能的发展趋势、最新动态以及最佳应用实践。在这次会议上, 波兰Alior银行首席信息官Henryk Baniowski表示, “我们之所以决定将我们的数据仓库环境迁移到Teradata专用平台, 是因为它是一种能让我们实现高效扩展的技术, 我们每天都可以通过它完成更多的分析和报表工作。”
Teradata客户范围很广, 在中国大陆, 中国电信和中国移动也是它的重要客户。据了解, 福建移动等9家省级移动公司, 湖南电信等10多家省级电信公司, 还包括中国移动和中国电信的集团公司, 都在使用Teradata的数据仓库产品。在中国移动, 正在建设中的项目叫做经营分析系统。福建移动相关负责人告诉记者, 该公司从2005年开始引入Teradata的数据仓库产品, 目前已将梦网业务的所有数据迁移到这个平台, 这些后台信息帮助福建移动做出了许多成功的营销方案。另据介绍, 福建移动今后打算有步骤地将MM等平台的数据也迁入经营分析系统, 而中国移动总部也通过奖励优秀案例等方式推广这种系统。
“企业若能充分利用好他们的数据, 就能在这个充满挑战的商业环境中获得竞争并制胜的最佳机遇。”Teradata亚太及日本地区总裁汉彼得接受记者采访时表示, “许多企业的高管都在寻找获取全面、完整、透明的企业视图, 以便制定更加及时的决策, 采取更快的行动, 从而提升企业的市场竞争力, Teradata的数据架构、技术和解决方案等产品和服务可以帮助他们。”
数据仓库在证券行业的建设规划 篇4
关键词：数据仓库,证券,建设,规划
1 研究背景与意义
证券公司经过了多年的发展, 特别在经过之前牛市的井喷, 业务量的迅猛扩大, 各家都在积极的建设各套系统, OA系统、集中交易系统、统一开户系统、CRM系统及ERP财务系统、风险监控系统等等。这些系统为证券公司提高工作效率、加强管理水平起到了重要的作用。但是, 随着业务的不断发展, 数据量的
快速增加, 当前的数据管理方式将受到进一步挑战:大量数据对存储体系、响应时间形成了挑战;分散的数据和相对独立的数据格式给数据的统一管理、后续的数据挖掘和决策分析带来了一定的困难, 业务系统变化导致数据源系统的混乱。基于这种情况, 急需建设一套数据仓库系统, 来有效的管理和应用各类数据。
2 建设目标
2.1 建设公司级数据仓库
将数据逻辑模型固化, 形成存储结构合理、层次明确的数据仓库层级。对各类数据进行统一采集、存储、清理、转换、汇总, 形成公司统一数据字典以及统一数据口径。涵盖结构化数据以及非结构化数据的整合。
2.2 构建公司级数据仓库模型
以金融行业为蓝本, 兼顾证券行业特点, 具有稳定性、可扩展性、灵活性以及前瞻性。数据仓库模型具有清晰的主题结构, 主题域涵盖证券公司各项业务, 能够支撑运营管理、风险管理、财务管理、客户管理、咨询服务等, 囊括证券公司现有以及目前可预见的全部业务。
2.3 形成统一的数据调度、监控平台
主要实现EE作业、SE作业、命令行程序、PL/SQL程序等作业的定义、调度管理和运维监控。利用可视化的作业流程集成管理, 实例化各种作业组件并通过拖拽方式设计业务处理的各个环节和触发机制。通过统一的监控平台, 可以监测整个数据仓库的各程序运行情况、系统CUP和磁盘等资源占用情况以及数据库表使用情况等。
2.4 建立统一的数据管控平台
实现在数据ETL过程中的元数据管理、数据标准管理和数据质量管理。元数据管理通过对相关的技术、业务元数据进行统一的归集, 实现数据间的血缘分析和影响分析;数据标准管理主要实现数据层面的代码数据标准化和业务层面的作业标准化;数据质量管理主要涵盖数据质量检查定义、数据质量检查、数据质量检查分析、数据治理问题管理和数据质量知识管理。
2.5 打造规范的数据服务平台
在数据仓库模型层统一、规范的数据基础上, 按照业务的特性整理出通用的指标数据, 为业务管理系统提供数据服务。
3 建设规划
数据仓库数据处理的流程主要包括:通过数据采集, 将各基础业务系统数据集中、非结构化数据, 同步到贴源数据层;再经过清洗、变换、转换、标准化, 依据企业的统一标准和规则对来自企业内外分散在不同系统的数据进行消除非一致性的集成和标准化的处理, 数据按照一定的主题域进行组织存储在核心层;通用指标汇总层按照业务数据的通用性汇总形成各种通用数据指标;业务指标层则根据各业务部门的不同需求对通用指标再加工, 形成业务指标层;第三方应用集市根据应用要求, 对数据进行预处理, 并最终为应用层提供数据服务。
源数据层:源数据层是数据仓库的数据来源, 包含各种交易类和管理类的业务数据以及大量的非结构化数据。
数据存储层:包括缓冲层、贴源数据层、规范存储层、汇总层和第三方应用集市层。
缓冲层:即源数据中间层, 用于存放部分基础业务系统的数据文件并可作为基础数据源对外提供数据直传服务;
贴源数据层:用于存放从源数据中间层经过基本清洗转换后的数据, 贴源数据层的数据模型与业务系统基本保持一致;
核心层:从贴源数据层经过清洗、转换和整合后可靠的、一致的、规范的数据, 按金融数据模型对贴源数据层的数据进行标准化的统一, 解决信息孤岛
通用指标层:按照业务的特性整理出通用的指标数据;
业务指标层:按照各业务条线对指标的特殊要求, 形成业务指标层直接供业务部门使用;
第三方应用集市层:数据集市层是以具体应用为主题, 所存储的数据都是根据具体应用进行运行和汇总的各类指标数据。
数据调度平台:包括数据采集、清洗、转换以及数据转换的调度管理。
数据服务平台:为业务管理系统提供数据服务, 包括数据直传、数据推送、API接口、Web Service接口等。
数据管控平台:包括数据质量与标准、元数据管理、数据脱敏管理。通过统一的管控平台, 可以监测整个数据仓库的各程序运行情况、系统cpu和磁盘等资源占用情况、数据库表使用情况等;可以了解数据源采集、数据入库、数据转换、关键后续任务运行等数据处理状态;并可以通过信号灯、声音、邮件或短信等形式报告系统的运行情况和数据的处理状态;为数据仓库的运行维护保驾护航。
应用层:包括中间服务层和访问控制层。中间服务层主要是生成数据集、各种报表和数据分析, 并提供各种查询和分析功能;门户作为访问控制层实现统一的用户管理、权限管理和安全认证访问体系。
展现层:根据对数据仓库的需求, 来进行报表界面的开发。一般可分为普通用户、技术用户和高级用户三类, 普通用户主要访问一些静态的报表, 技术用户主要是通过展现工具生成一些动态报表, 满足业务的急迫需要。高级用户是关注决策有关的一些关键指标和报表。
4 结论
本文针对目前数据在证券公司的业务可持续发展中起到越来越重要的地位的战略思想, 通过分析数据仓库的建设规划来阐述如何更好的帮助证券公司建设统一的数据仓库平台。为未来各种新兴业务的开展、客户的挖掘、企业决策等提供了一套思路, 从而达到公司的良好健康的可持续发展。
参考文献
[1]陈京民.数据仓库与数据挖掘技术[M].电子工业出版社, 2002.
[2]祝峰.数据仓库在现代企业中的应用[J].当代经济, 2010 (5) .
数据仓库技术在零售行业中的应用 篇5
一、数据仓库 (D W)
数据仓库用于支持决策, 面向分析型数据处理, 它不同于企业现有的操作性数据库;数据库是对多个异构的数据源有效集成, 然后按主题重组, 并包含历史数据, 而且存放在数据仓库中的数据一般不再修改。数据仓库具有以下几个特点:
1. 面向主题的
操作型数据库的数据组织面向事务处理任务, 各个业务系统之间各自分离, 而数据仓库中的数据是按照一定的主题域进行组织, 如顾客、商品、供应商、销售组织。数据仓库关注决策者的数据建模与分析, 而不是集中于组织结构的日常操作和事务处理。数据仓库排除对于决策无用的数据, 提供特定主题的简明视图。
2. 集成的
数据仓库中的数据来自多个外部应用系统或本系统中不同的使用部门, 数据的组织结构会有所不同, 因此需要对来自多个数据源的数据进行清理和集成, 确保命名约定、编码结构、属性度量等的一致性, 有力地克服了基于关系数据库决策支持数据分散且不易集成的缺点, 并支持联机分析处理。
3. 数据仓库中的数据是不可更新的
数据仓库中的数据主要提供企业决策分析之用, 主要的操作是查询, 一般不执行修改, 但在需要进行新的分析决策时, 可能需要进行更新或删除数据, 这是由数据篡改库管理员后台实现, 终端用户不允许操作。
4. 数据仓库中的数据随时间不断变化
可以进行增加新数据、删除旧数据、更新与时间有关的一些综合数据。
数据仓库不同于数据库, 两者的应用层次不同, 传统数据库用于事务管理, 数据仓库用于决策支持、决策分析, 是建立决策支持系统 (D S S) 的基础, 数据库为数据仓库提供数据是数据仓库的基础。
二、联机分析处理 (OLAP)
如果要有效地利用D W中的信息资源, 必须有强大的工具对信息进行分析和决策, OLAP就是一个得到广泛应用的数据仓库技术。它专门用于支持复杂的决策分析, 是支持信息管理和业务人员决策活动的一种决策分析工具, 它可以根据分析人员的要求, 迅速、灵活地对大量数据进行复杂的查询处理, 并以直观、容易理解的形式将结果提供给各种决策人员, 使他们迅速、准确地掌握企业的运作情况, 了解客户和市场的需求。
OLAP是多维数据存储, 通常将三维立方体的数据进行切片来显示三维的某一个方面。OLAP的多维分析突破了三维概念, 采用旋转、潜逃、切片、钻取和三维可视化技术并在屏幕上展示多维视图的结构, 使用户直观地理解和分析数据以及进行决策支持。
OLAP有两个特点, 一是在线, 表现在对用户的请求快速响应和交互操作, 由客户机/服务器体系结构完成的;二是多维分析, 这则是联机分析处理的核心。
三、多维数据模型
数据仓库的数据组织方式可以是关系数据存储的也可以是多维数据立方体, 最常用的是多维数据模型。数据仓库和O L A P工具都基于该模型, 该模型将数据看做数据立方体形式, 由维和事实定义, 提供多维视图, 并允许预计算和快速访问汇总的数据。
通常多维数据模型围绕中心主题组织数据, 包括事实表的名称、度量以及每个相关维表的关键字。当利用数据展现工具确定要观察的维和度量值后, 展现工具利用事实表与维度表的关联字段找到各维表的相应值, 把它们作为用户分析数据的角度, 再根据事实表中的度量值进行统计, 最后得到用户想要得到的数据。
在零售决策支持系统中, 多维数据库是建立在数据仓库之上, 是实现O L A P的数据引擎, 确定多维数据库的维数和维的内容是多维数据库设计的关键。根据决策需求, 可以设计如下:分类、品牌、供应商、时间、地区, 实际是对数据仓库主题域的局部细化, 各维汇总层次的划分可以根据零售决策需求灵活定义, 形成多层系的汇总。
四、实例说明
以普通商场为例, 研究几个数据仓库技术的主要环节。
1. 需求分析
(1) 销售毛利分析:可以从商品分类或柜组的角度, 对销售额、成本、毛利、毛利率进行分析。
(2) 商品销售与毛利排行:将某分类或柜组的商品进行销售或毛利指标排序。
(3) 销售趋势分析:从商品分类或柜组的角度, 分析在一个时间阶段内, 销售额、毛利、毛利率的走向趋势。
(4) 供应商销售分析:按照商品供应商的角度, 对各供应商的销售、毛利进行分析, 并对供应商的指标以分类逐步深入钻取, 比较一个供应商的经营业绩是由哪些分类的商品组成。也能比较同类或同柜组的商品有哪些供应商在供货以及经营状况。
2. 设计方法
数据仓库的建立是在原有数据库的基础上进行的, 设计可以采用自底向上的应用驱动方法来实现:选择来自不同事务系统的数据源通过整理和传送, 加载到数据仓库数据库, 并不断根据不同的应用, 向混合数据载体中添加越来越多的数据源, 最终达到覆盖所有数据资源而完成数据仓库数据库构筑的目的。
3. 数据仓库的建立
(1) 概念模型的设计。概念模型主要是对原有数据库中数据进行分析, 界定系统边界和确定主要的主题域。数据仓库是面向主题的, 零售系统数据仓库的主题可以从销售主题、库存主题和采购主题这三方面来考虑。
(2) 逻辑模型的设计。逻辑建模是数据仓库构筑中的重要环节, 在本零售系统的中, 包括粒度的选择、关系模式定义和提炼表中数据。逻辑结构模型主要有星形模型和雪花模型。本例中, 笔者认为应采用星形模式建模, 这种模型交叉点少, 通过使用一个包含主题的事实表和多个维度表来执行典型的决策支持系统查询, 同时它针对“维”做了大量的预处理, 查询速度非常快。事实表可分为商品进销事实表, 维度表为商品维度表、时间维度表、供应商维度表、地区维度表、品牌维度表和柜组维度表。
(3) 物理模型设计。包括确定数据的存储结构、确定索引策略 (对大记录数的表如商品销售明细、分类销售明细表等建立索引, 以获得最大的查询功能) 、确定数据存放位置和确定存储分配。
4. 数据仓库的生成
数据仓库中存有大量的历史数据, 以及当前细节数据、轻度综合和高级综合数据, 以满足决策者对不同时间和不同力度层次的要求。数据的来源可以是企业内部或外部, 常常是由不同的数据系统、操作系统及应用生成, 因此, 生成数据仓库时, 最关键的是数据质量, 使数据整齐一致。使用DTS工具进行数据转换或数据导入/导出到数据仓库中时, 需要考虑数据提取、转换、清理、加载和汇总这几个过程。
5. 基于数据仓库的决策支持系统
基于数据仓库的决策支持系统设计的具体的步骤是:存放于各柜组 (店铺) 的数据通过DTS被抽取到ETL数据库 (SQL Server) , 数据在ETL数据库中完成清洗和转换, 再通过DTS加载到仓库数据库 (DB2) , 数据进入仓库数据库后按维度和事实存放, 通过DTS调用把仓库数据按主题装载到多维数据库 (ESSBASE) .TONGUO HPs Server发布编译好的决策支持分析系统脚本, 通过Web服务器, 用户就可以使用浏览器访问决策支持系统并分析浏览数据了。
可以采用DB2数据库作为仓库数据库, ESSBASE产品作为OLAP分析工具, 微软DTS工具作为ETL工具, 开发模式选择B/S模式。
五、结束语
数据仓库的根本任务是把数据加以整理归纳, 并及时提供给相应的管理决策人员, 供他们做出改善其业务经营的决策, 使信息发挥作用, 支持决策。在零售系统或电子商务中, 根据企业自身的发展需求建立数据仓库, 将数据仓库、联机分析处理和数据挖掘技术相结合, 有助于发现客户购买模式和趋势、提供可靠的货物进销比率、控制库存及降低商业成本等, 对企业经济效益的提高具有举足轻重的作用。
摘要：随着零售行业的迅猛发展, 竞争日益激烈, 如何降低运营成本、最大限度满足消者购物需求成为大多数企业面临的考验。通过对数据仓库、OLAP及多维数据模型的论述, 实现了基于零售系统决策支持的数据仓库, 使其能够更充分地了解客户需求, 协助企业做出决策, 以提高其自身竞争力。
关键词：数据仓库,OLAP,多维数据模型
参考文献
[1]牛莉:中小企业数据仓库的构建与应用[J].华南师范大学学报, 2007, (02)
某银行的企业级数据仓库设计探究 篇6
按照软件工程划分软件的生命期, 一般分为四个阶段, 即需求分析、系统设计、系统开发、上线与维护。
2 需求分析阶段
2.1 业务调查
业务调查阶段主要任务:确定业务部门的要求;准备业务访谈与调研计划;通过业务访谈确定业务目标和方向;对应用系统进行策略性规划;业务需求调研;进行可行性研究, 提出可行方案, 包括资源、成本、效益、进度等, 并制定粗略的实施计划。业务调查的关键是业务人员积极参与和可行性研究。
2.2 需求编写
编写人员要求:各部门的资深业务人员。
编写前准备:数据仓库基本概念培训、数据仓库应用范围、应用案例培训、业务部门内部沟通。
需求编写工作:确定模板, 确定需求, 对每个需求描述目的与用途。
2.3 业务需求分析
召开业务需求分析会议;确定软件功能、性能、可靠性、接口标准等要求, 根据功能要求进行数据流程分析;提出初步的系统逻辑模型, 并据此修改项目实施计划;在数据调研的基础上, 分析需求对数据的要求, 判断数据的支持程度。数据决定了需求实现的可能性, 也决定了需求实现的优先级。
3 设计阶段
3.1 逻辑数据模型设计
3.1.1 逻辑数据模型在仓库中定位
逻辑数据模型设计是数据仓库项目的核心基础。在概念模型设计中, 已经确定了几个基本的主题域, 即所谓概念模型。它们是对真实世界中的概念的描述, 是实实在在的事物概念。数据仓库的设计方法是一个逐步完善的过程, 所以逻辑数据模型设计阶段需要进一步扩展概念模型设计中所确定的主题域。把业务需求用规范化的模型和关系表进行描述, 并编制成文档, 以解决定义上的冲突, 为数据仓库物理数据模型的设计奠定坚实的基础。
3.1.2 逻辑数据模型构成
逻辑数据模型反映的是系统分析设计人员对数据存储的观点, 是根据业务规则确定的, 关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。逻辑数据模型的内容包括所有的实体和关系, 确定每个实体的属性, 定义每个实体的主键, 指定实体的外键, 需要进行范式化处理。逻辑数据模型的目标是尽可能详细的描述数据, 并不考虑数据在物理上的实现。
对于银行的企业级数据仓库设计来讲, 为满足不同业务需求, 一要在作为基础数据平台设计基础的逻辑数据模型中存储重要的数据元素及其相互关系, 并在设计过程中保持一个统一的业务定义;二要体现清晰、严谨的结构化、模块化设计思想, 能够以一种清晰的表达方式记录、跟踪重要数据元素以及变动。
逻辑数据建模不仅会影响到数据仓库设计的方向, 还会影响到数据仓库的性能效率。如果在实现逻辑数据模型时投入得足够多, 那么在物理数据模型设计时就可以有许多可供选择的方法。
数据仓库的每个主题都是由多个表实现的, 这些表之间依靠主题的公共码键联系在一起, 形成一个完整的主题。用关系型数据库实现数据仓库信息模型时, 目前较常用的两种建模方法是所谓的第三范式 (3NF, 即Third Normal Form) 和星型模式。
范式是数据库逻辑模型设计的基本理论, 一个关系模型可以从第一范式到第五范式进行无损分解, 这个过程也称为规范化。在数据仓库的模型设计中目前采用第三范式, 它有着非常严格的数学定义。如果从其表达的含义来看, 一个符合第三范式的关系必须具有以下三个条件:每个属性的值唯一, 不具有多义性;每个非主属性必须完全依赖于整个主键, 而非主键的一部分;每个非主属性不能依赖于其他关系中的属性。因为星型模式查询效率要比雪花模式高的多, 所以比较多的是采用星型模式设计多维数据关系。
4 物理数据库设计
4.1 物理数据库设计的概念
物理数据库是在逻辑数据模型的基础上, 考虑各种具体的技术实现因素, 进行数据库体系结构设计, 实现数据在数据库中的存放。首先要全面了解所选用的数据库管理系统, 特别是存储结构和存取方法。了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等。了解外部存储设备的特性, 如分块原则, 块大小的规定, 设备的I/O特性等。
4.2 物理数据库设计的流程
确定数据的存储结构
确定索引策略
定义外键用于确定表之间的关系
基于用户的需求进行范式化
4.3 索引策略
数据仓库的数据量很大, 因而需要对数据的存取路径进行仔细的设计和选择。由于数据仓库的数据都是不常更新的, 因而可以设计多种多样的索引结构来提高数据存取效率。
在数据仓库中, 设计人员可以考虑对各个数据存储建立专用的、复杂的索引, 以获得最高的存取效率, 因为在数据仓库中的数据是不常更新的, 也就是说每个数据存储是稳定的, 因而虽然建立专用的、复杂的索引有一定的代价, 但一旦建立就几乎不需维护索引的代价。
5 总结
数据仓库再造银行业 篇7
近年来随着银行业的不断发展, 竞争日趋白热化。外部监管机构、银行管理层、业务部门对决策、管理信息的需求也在不断提高, 各种管理信息系统不断引入如:客户关系、绩效考核、管理会计、贷后、风险管理等。银行一方面希望通过先进的技术及管理思想提高自身的管理能力, 增强银行在市场上的竞争力, 而另一方面, 在系统的建设过程中, 内部多个业务系统之间又缺乏统一的规范和数据接口标准。因此, 在系统建设中经常需要重复建设业务数据的加载功能, 这不仅浪费了网络及存储资源, 而且会给系统造成过大的压力, 甚至产生风险。同时, 这些有针对性的数据集市很难做到面向整个银行的全面性、标准性与统一性。面对业务部门及外部监管部门各式各样的数据需求, 科技部门的数据提取工作往往会出现一团乱麻, 东拼西凑的情况。因此, 建立一套统一标准的数据平台已显得非常必要。
余姚农村合作银行是浙江省的一家区域性银行, 在浙江省农信联社实现全省核心业务系统与数据大集中后, 由省农信联社下发核心业务数据包到辖内各行社, 供行社数据分析使用。2012年, 为进一步加大对辖内农信系统行社的数据支撑, 浙江省信用联社建立了新的业务数据统一下发平台, 增加了重要的外挂系统数据源, 对下发数据结构进行了优化调整。但由于各行社的规模、管理水平参差不齐, 各行社对数据的利用程度也千差万别。我作为合作银行一名数据平台开发人员, 根据近几年的工作经验和对农村合作银行数据平台建设的了解, 从开发人员的视角提出适用中小银行统一数据平台的建设的思路, 力求建立一套全面、标准、统一的基础数据平台, 从而解决在以往的工作中所面临的诸多问题, 以供同行参考。
二、解决方案的选择
如何建设或到底建设什么样的数据平台才是真正符合小银行自身发展的数据平台, 是我们首先需要考虑的问题。明确的目标将指导我们在建设过程中正确的面对应用范围、系统架构、数据结构、开发技术、应用产品、软硬件等一系列问题。通常在明确这些需求时很多人会引入“数据仓库”这个名词, 在这之后便是很多高层次的问题, 高投入、高性能、高扩展、高冗余、面向主题模型重组、历史性等一系列的问题, 当这些问题考虑过之后你将面对的将是一个庞大的、高投入的系统, 这要求银行在这方面不单是庞大的资金投入, 同时还需要有配套的科技力量予以支撑。
一是Tear Data、IBM等都是在金融领域有着不错口碑的解决方案提供商, 国内很多软件厂商通过这些年与之在大中型银行项目中的积累对于数据仓库的解决方案也都是驾轻就熟。但通常这种概念的数据仓库却并不适用于小型银行。第一是从系统的整体资金投入出发, 通常这种系统软硬件合计动辄数百万上千万的投入让小型银行望而却步。其次是从科技投入出发, 小型银行的科技力量相对来说比较薄弱, 要想深入到数据仓库核心就必然需要有相关科技人员的深度参与, 而往往由于科技力量的不足导致系统在建设完成之后难以独立维护, 需要依赖于科技公司, 甚至被科技公司所绑架。
二是通过对国内几家大中型银行数据仓库模型的分析来看 (Tear Data或IBM解决方案) , 整个银行的数据系统构成并不单是一个数据仓库 (DW) 能够解决的。与之配套的必然有业务历史数据库系统 (Sys His) 、ODS多层次标准化后的业务数据系统等。而数据仓库建设在这些系统之上, 是将业务数据模型拆分或重组之后行成星形或雪花形的模型, 并且统计与综合业务数据之后才进入仓库。其数据仓库的建设更是着眼于若干年后, 通过Sys His+ODS+DW等多系统配合使用来完善企业整体的数据系统。如图1所示:
图1所示, 银行的整个数据系统的完善过程必定要耗费大量的人力物理投入, 小型银行在资金及人力投入上几乎不可能达到以上的程度, 很难建设一套完整的数据系统。但如果从开始就以标准的数据仓库模型架构去建设, 随着时间的推移历史数据将大大的丧失其集中的业务属性特性, 那么在以后系统的使用过程中将会非常麻烦。所以在这里我的出发点或者说目标就并不是标准的数据仓库, 而是适合小银行自身发展的基础数据平台。省去Sys His及DW部分, 而通过扩展后ODS系统 (图1中第 (2) 部分) 作为全行统一的基数数据平台。
三、数据平台建设思路
就我所看到的几家大中型银行的标准数据仓库借据方案都来自TD或IBM。从模型设计特征来看, 业务数据进入仓库后按照维度被拆分为星形或雪花状。从海量业务数据的角度出发, 这种模型设计在数据检索和响应效率上有绝对优势, 但同时也因为拆分使得原始的业务系统所下发数据的集中业务属性特征也不再存在。以往在一张数据表中存在的数据将被分拆到以事实表为主题的若干个数据表中, 从操作层面来看日后的操作效率将会大大降低。接下来我将根据自己的经验, 从系统目标和系统架构方面阐述符合小型银行特点的基础数据平台设计思路。
(一) 建设目标
区别于大中型银行, 小型银行的数据规模远远低于大中型银行。只要系统架构合理, 数据层次清晰, 数据效率和存储的问题在小型银行几乎不会存在, 我认为小型银行的系统建设重点目标要围绕着以下几点:规模全+标准化+便捷性+历史性+适当的资源投入。
1.规模全。是指系统的数据范围要涵盖各业务系统数据, 通过筛选将各业务系统中有用的数据都纳入到数据平台之中。小型银行的数据规模虽然较小, 但目前所开展的业务种类却日益丰富, 以往单纯的核心系统取数已经很难满足业务部门的需要。因此在平台建设初期就必须要考虑多业务系统并入的原则。
2.标准化。标准化要做到模型标准化、代码标准化以及开发标准化。
模型标准化:各业务系统的数据结构以及命名规范一般都不相同, 那么我们需要在数据平台内对其进行统一整改, 包括模型名称、字段名称、字段类型等, 最终所要达到的效果是在不参照数据字典的情况下能够读懂数据模型中的数据内容。
代码标准化:不同的业务系统会定义自己的代码含义, 如同样一个客户状态代码有可能在核心系统与外围业务系统中所表示的意义是不同的, 这样我们就需要定义一套标准的代码, 尽量在数据进入数据平台之后使用相同的代码。
开发标准化:开发标准化是指在开发过程中需要有一套完整并且标准的开发规范, 整个系统的建设都依照规范中定义的规则进行开发, 这样在新的人员进入后能很快的进入开发角色。
3.便捷性。便捷性是指要做到开发便捷、使用便捷、维护便捷、拓展及改造便捷。
开发便捷:最主要的是值要逻辑清晰, 等级架构层级低, 开发语言简单便捷。
使用便捷:指要求最终用户在使用系统时界面友好、操作简单、易上手。
维护便捷:通常在项目上线后能由一个后台+一个前端维护人员即可完成日常的维护工作及小量的开发工作。
拓展及改造便捷:要求能够在外部系统数据结构发生变化是只修改接口模型就能完成绝大部分的改造工作, 能便捷的向其他应用系统提供增量或全量数据以及一些基础的加工汇总数据, 如账户日均, 客户资产负债等。
4.历史性。历史性不仅要求整个系统的历史周期长, 同时还要保证历史模型对需求应用的响应效率。
5.适当的资源投入。主要指合适的资金和人力投入。整个系统的设计必须围绕资金投入去考虑, 如投入100万的软件费用就需要清晰的认识这100万 (40~50人/月) 所能够完成的工作目标。否则会对项目的既定目标产生影响。
(二) 系统架构
整体数据流向:
业务系统数据文件→到基础数据平台→各个应用系统。基础数据平台采用多层次的具有历史性的ODS系统架构思想, 在整个基础数据平台部分对上文中目标所关心的点加以实现。如下图:
1.基础模型层。如图2所示, 其中基础模型层保持与业务系统数据结构基本相同, 通常只扩展必要的业务日期及系统来源字段, 模型采用面向主题的命名规则对模型名称重新统一命名, 将各个业务系统中对应的模型划分到不同的主题下 (如账户余额、主挡、合同及签约信息、登记簿等划分到协议主题;客户相关如客户信息、地址联系信息等划分到团体主题;交易、流水相关划分到事件主题……) , 以便于以后使用。
图2中的基础模型层将所有的业务系统数据按照数据特征划分到公共、协议、团体、事件、产品、渠道、总账、其他这8大主题当中, 这种主题划分为银行业内使用较多的划分方式。各家银行也可以根据自身的需要进行相应的补充拓展。同时基础模型除数据表名称、字段名称、类型标准化外还应进行必要的代码标准化处理。代码标准化尽量以核心系统代码为主同步到其他业务系统中。以达到在不参考数据字典的前提下能够读懂大部分模型内容的效果。
2.加工模型层。加工层为整个基础数据平台的通用整合层, 合理地进行一些基础的业务汇总统计 (如账户日均、月均) 、模型整合和拆分、分户合并 (储蓄、定期存款合并) 、全行统一客户视图整合、相关交易流水整合等。完成后的加工层模型力求将常用的数据查询范围由多表向单表进行整合, 这样将极大的方便科技人员应对业务部门繁多的数据提取工作。
平台应用层为建立在平台之上的统计分析报表层。这一部分也可以独立BI应用。
3.数据交互。整个系统具有开放性, 这三个层次均可对外围应用数据及时提供数据, 出于系统整体逻辑性的考虑, 基础数据平台与外围系统的数据交互均采取落地文件交互的形式, 以避免各系统之间的依赖程度。
4.历史机制。历史性是建立基础数据平台中的关键点, 好的历史数据存储机制配合当前性能较高的服务器, 对于小型银行来说一般至少能够满足5年以上的历史数据存储。图2中基础模型层采用普通的增量数据模型保存由业务系统下发的每日增量数据, 除明细、登记簿及一些公共应用等模型以外的主挡、余额及客户相关数据采用当日模型+历史模型的形式存储, 当日模型中储存全量的最新的数据, 历史模型中保存每日增量。这样能够使正常业务处理过程中避免直接使用历史数据以保证系统的性能。加工层中尽量整合常用的数据模型后采用拉链历史存储机制进行历史数据存储。这样既能保证基础模型层与业务系统的切合度, 又能保证历史数据的使用效率。如下图:
注:拉链历史表的处理过程较为复杂, 有严格的关链开链过程, 集中使用在日常使用平率高的模型中即可。同时若数据异常重新处理的过程也比较麻烦, 建议在数据进入拉链历史表之前进行数据检核, 确保当日的数据准确性及完整性之后再入库。故上图中基础数据平台拉链历史表一般使用在模型加工层。
(三) 优势及风险
小型银行的科技信息系统正处于发展阶段, 很多银行亦在初期阶段, 我认为标准的基础数据平台的建设必须着重考虑, 无论是独立建设还是依托某一具体的系统建设都需要经过系统的分析, 其目标一定要围绕企业发展的需要开展。以上文章中所描述的设计思路的主要优势为:
1.从系统层面来吸收DW数据仓库的优点, 按主题划分数据模型, 结构清晰、业务贴合度高, 科技人员容易且比较好接受。
2.从投入成本来看因为其设计简单, 无论从资金投入还是人员投入都要比建设标准数据仓库所要投入的资源低。同时建设周期短, 能让企业很快的投入使用, 及早的完成更多管理分析系统的建设, 以体现其价值。
3.从长远使用来看其在外围业务系统发生变化之后改造成本低, 只需要改造接口基础数据层结构即可, 同时因为整个基数数据平台采用的标准化的模型设计其更能为企业打造出一套标准化后的基础数据, 为日后的DW及应用系统打下坚实的基础。
通过系统整体的实施经验来看, 在系统的建设过程中需要注意以下几点:
1.小型银行在建设企业统一数据平台的过程中切不能贪大, 在企业自身没有标准的基础数据时尽量避免业务数据模型的拆分。否则将会给日后的系统升级改造及使用埋下严重的隐患。给企业带来不必要的麻烦。
2.数据准确性的保证是整个基础数据平台至关重要的一步, 在系统建设过程中一定要有完整的数据校验机制, 如总分核对、逻辑层次间核对以及数据完整性检查等, 每日的数据批处理完成之后进行上述检查, 否则一旦出现数据丢失或完整性缺失而重新处理历史数据将会是一个漫长及痛苦的过程。
3.从系统架构上尽量降低或避免基础数据平台与其他依赖应用集市的紧密程度, 如基数数据平台所有与其他依赖的应用系统的交互都采用落地文件的形式, 这样可以保基础数据平台不受其他业务系统的影响能够按时完成业务数据处理工作。
以上内容是作者根据多年在银行数据领域所积累的经验之谈, 水平有限, 考虑问题难免有疏漏, 谨供同行参考。
名词解释
ODS:Operational Data Store, ODS具备数据仓库的部分特征, 它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。
Sys His:业务系统历史数据库。
数据仓库再造银行业 篇8
1 银行数据仓库的现状分析
银行数据仓库与业务处理系统应当存在着明显的差别, 这两者之间也不可能保持着平行的关系, 银行数据仓库应当处在全部业务系统的基础之上的, 对于实际业务数据信息实行采集、分析、整理与发布等处理, 进而能够提供防范危机风险、拓展金融业务与提高经济效益等方面的经营管理辅助决策数据信息, 应当是一个具有稳定性质的数据集合。目前阶段我国银行业的计算机业务处理系统技术已经基本趋于成熟的阶段, 并且已经积累了许多的客户业务数据与经营管理数据。构建银行数据仓库需要实现对银行全部的经营数据信息与客户业务信息进行有效存储, 并且对于各个不同部门的管理决策需求实现多层次的数据加工操作处理的目的, 从而能够满足银行管理决策与客户分析的实际需要[2]。
2 银行数据仓库的经营理念
(1) 实行个性化服务。一般情况而言, 银行业存在着“二八定律”, 即为银行经济效益的80%是来自于20%的最优客户群。优质的客户可以为金融机构带来理想客观的利润收入, 然而不良的客户则可以导致金融机构产生经济损失, 银行业之间的竞争实质上为争夺客户, 一方能够掌握客户的数据信息则表示其能够控制客户关系。建立银行数据仓库可以有效地识别客户的类型, 辅助银行准确发现当前阶段为银行创造经济效益的客户与具有创造效益潜力的客户群体, 作为银行成功实行市场营销的关键环节[3]。经济发达国家的高端银行为了能够实现客户科学分类的目的, 投入了巨资构建数据仓库, 将客户的历史数据信息作为重要可利用的实质资源, 通过计算机来进行客户对银行贡献度的相应计算分析, 从而确定战略客户群体, 将有限的资源集中于具有价值意义的客户群体身上。
(2) 提高银行资产质量。银行资产的保值与升值是作为银行发展的重要基本保障, 然而不良资产的出现主要来自于银行资金管理、贷款授权与统一授信机制, 其缺乏完善性, 从而导致银行的管理决策层信息发生滞后现象, 不能够有效预测与防范危机风险。应用计算机数据仓库技术进行分析与强化银行的风险管理在现代银行经营体系中充当着十分重要的角色, 包含授信权限、信用风险、汇率敏感度、流动资金风险、不良贷款、使用组合风险分析与安全性分析等方面内容。经过构建银行数据仓库与数据挖掘的实行, 能够对全银行的信贷资产实行有效化的管理, 及时、准确且全面地掌握资产数量分布状况、头寸调度状况、信贷资产分布状况与客户信用状况等各个方面, 并且构建集中统一模式的授信机制, 促使管理层对于信贷客户有着更为深入与全面的了解, 从而能够从资产优化的角度来实现全面综合管理的目的, 能够有效地减少内部的经营危机风险, 有利于提升银行的资产质量与利润率。
(3) 改善银行经营管理水平。商业银行相应的经营管理方案确定与未来阶段战略决策的形成, 都应当对现实状况进行分析与对未来情况做出预测, 都应当依靠准确的数字信息作为重要依据。银行数据仓库包括银行拥有的从各种不同类型的数据库与文件系统中获取的各种数据信息, 这部分数据信息能够全面系统地反映出银行当前的实际经营状况, 通过构建数学模型与应用计算机数据挖掘技术, 能够迅速且准确地分析出经营管理中存在的各种问题。所以在很大程度上可以改善银行各级管理部门的管理、控制与协作的方法, 促使整个银行的经营管理体现出效率、科学与规范的特点[4]。同时银行数据仓库的构建能够实现对产品、部门、机构的利润和成本进行相应分析, 通过强化成本的管理措施, 对于成本进行事前、事中与事后控制来达到增加效益的目的。
3 结语
各大商业银行应当建立符合自身实际需要的银行数据仓库系统, 这样可以确保银行企业自身得到最大程度的收益与最优的发展, 并且能够为客户提供最优的服务[5]。尽管计算机数据仓库技术在我国银行业的实际应用仍然处于初步探索与需要不断前进发展与改进完善的地步, 然而只要银行管理与决策层人员可以在真正意义上认识到数据信息分析的重要性, 并且能够积极地推广银行数据仓库的经营观念, 相信在不久的将来, 计算机数据仓库技术的实际应用成果会延伸到商业银行更多的业务领域之中。
摘要：应用计算机数据仓库技术实行银行数据仓库的构建, 对目前阶段的银行业务数据信息实行多层次的数据加工操作处理, 相应地分析出各种类型数据之间的联系, 充分地发掘出深层次的有意义数据信息, 从而满足银行管理决策与客户分析的实际需求。
关键词：银行数据仓库,经营理念,数据挖掘
参考文献
[1]胡浩青.中小商业数据仓库实施之道和应用价值[J].中国金融电脑, 2012 (12)
[2]黄兆斌.商业银行数据仓库建设[J].软件导刊, 2012 (2)
[3]王帅.未来数据仓库在银行的应用[J].中国金融电脑, 2012 (12)
[4]吕梁, 金淳.数据仓库和数据挖掘在我国中小商业银行中的应用初探[J].海南金融, 2013 (1)