SQL Server 中的商务智能和数据仓库(2)数据库教程

2024-08-19

SQL Server 中的商务智能和数据仓库(2)数据库教程(精选6篇)

篇1:SQL Server 中的商务智能和数据仓库(2)数据库教程

例如,设想一个“客户”维度,关系型源表有八列: •

客户键

客户名称

年龄

性别

电子邮件

城市

地区

国家

相应的 Analysis Services 维度应具有七个属性:

客户(整型键、以“客户名称”作为名称)

年龄、性别、电子邮件、城市、地区、国家

数据中存在一种自然层次结构,{国家、地区、城市、客户}。出于导航目的,应用程序开发人员可以选择创建第二个层次结构:{年龄、性别}。商务用户并没有看到这两个层次结构行为方式之间有何区别,但是,自然层次却可以从深谙层次关系的索引结构(对用户隐藏)中受益。

新维度结构的最大优势在于:

维度不需要加载到内存中。因此,维度可以非常巨大(经测试,Beta 2 可支持上千万名成员)。

用户可以添加和删除属性层次结构,而不必再重新处理维度。属性层次索引结构属轻型结构,在后台计算,并不影响多维数据集查询。

重复的维度信息被去除;使得维度更加轻巧。

由于引擎为并行处理创建了机会,因此维度处理信息性能得到了改进。

维度类型

Analysis Services 中包括两种维度类型:常规层次类型和父子类型。Analysis Services 2005 新增了一些重要的新维度结构。其中有些结构的名称是临时的,但是,这些名称都是 BI 文献中较为通用的。

角色扮演:维度扮演着一些重要角色,具体哪些角色要依上下文而定。例如,[时间] 维度可能会被 [订购日期] 和 [发货日期] 重用。在 2005 中,扮演着某些角色的维度只需存储一次,便可多次使用。这样便可使所需的硬盘空间和处理时间降至最低。

事实:事实或“退化”维度与事实(如事务编号)具有一一对应的关系。从本质上讲,退化维度不能用于分析,但可用作标识,以定位特定的事务,或识别组成聚合单元的事务。

引用:维度并不能够直接和事实数据表发生联系,但可通过另一维度间接发生联系。这方面的原型示例有 [地理位置] 引用维度,它同时关联了 [客户] 和 [销售团队] 两个维度。引用维度可能由数据提供程序提供,并包括在多维数据集中,不必再修改事实数据。

数据挖掘:数据挖掘维度支持从数据挖掘模型(包括群集、决策树和关联规则)生成的维度。

多对多:这些维度有时被称为多值维度。在大部分维度中,事实能且只能连接一个维度成员。多对多维度解决了多维度成员问题。例如,银行储蓄客户可以有多个帐户(支票、储蓄);一个帐户可以有多个客户 (Mary Smith、John Smith)。[客户] 维度有多个成员,这些成员都与一个帐户事务相关联。在维度不能够直接关联事实数据表时,2005 多对多维度支持复杂的分析,并扩展了维度模型,使之超越了传统的星形架构。

量度组和透视

Analysis Services 2005 引入了“量度组”和“透视”,以用来简化分析数据库的设计和部署。在 Analysis Services 2000 中,鼓励用户构建多个物理多维数据集。每个多维数据集相当于一个特定的维度,通常还相当于一个特定的关系事实数据表。虚拟多维数据集以一种对商务用户透明,而对开发人员设计又不太复杂的方式,合并多个事实数据表。

在 2005 中,最通用的方案将具有一个包含一个或多个“量度组”的物理多维数据集。量度组中的事实数据具有特定的细化程度(由维度层次的交叉点定义)。查询根据需要被自动定向到不同的量度组。在物理层上,分区(与 Analysis Services 2000 分区类似)在“量度组”上定义。

大型应用程序将为用户提供大量的维度、量度组,而且还会给导航带来难度。在“多维数据集编辑器”的“透视”选择卡中定义的“透视”可以创建一个多维数据集的子集“视图&rdqu

关 键 字:SQL2005

篇2:SQL Server 中的商务智能和数据仓库(2)数据库教程

电信企业参与竞争的利器-数据仓库和数据挖掘

基于Sybase的广东电信数据仓库解决方案

广东电信科学技术研究院

1 概述

随着电信市场的开放,竞争将越来越激烈,利润的降低使得必须从粗放的经营转变到集约的经营,同时经营决策需要尽可能多的定量的依据和尽可能快的速度。所有这些需要技术上的支持----数据仓库和数据挖掘广东省电信科学技术研究院是华南地区通信技术支持及科研开发的最高技术部门,围绕保障通信大网运行安全、高效和通信市场的需求而进行系统维护支持、网管系统开发、多媒体研究、网络技术与市场研究、计费系统研究与开发、人员培训和计量检测等七个方面的工作。研究院目前拥有一支900多人的年富力强、实力雄厚的研发队伍。

研究院开发的Thinker-BC多媒体网综合业务管理系统是一套统一的综合业务管理系统。它为电信运营商以及各级ISP提供一个稳定而灵活的业务支撑平台。该平台能够提供所有的多媒体数据通信基本业务及各种增值服务,该平台具备极强的可扩展性,具备快速的新业务生成、推广能力。系统能够灵活地定义各项服务的资费政策,及各项业务的捆绑销售优惠策略,并对各项服务提供准确、实时的计费功能。其中的数据仓库决策支持系统是基于Sybase的数据仓库解决方案开发的。业务经营决策者可以利用这个系统快速准确地了解到各项业务的发展情况、为进一步的决策支持工作提供坚实的基础。

2 需求主要特点

数据量庞大

目前,广东公众多媒体通信网拨号用户总数已达到70万。根据业务需求分析,广东省163/169网到底的用户总数将达到800万以上,其中拨号注册用户达400万,主叫用户300万,卡用户100万,专线用户也将达到1万户以上。在这些大量的数据背后隐藏着许多重要的信息。

业务结构复杂

系统的最终用户是电信内部的各个部门,因此最终用户的需求不尽相同。

经常变化

业务策略不断变化。表现为资费政策的不断变化。

3 方案介绍

Thinker-BC2000多媒体网综合业务管理系统的数据仓库系统模型如下图所示:

3.1 系统软件平台

数据仓库的实施是一个相当复杂的过程,主要包括五个部分的内容:数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展现和数据仓库的维护和管理。

Sybase提供了覆盖整个数据仓库建立周期的一套完整的产品包:Warehouse Studio,它包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。以下说明了我们是如何结合Sybase的产品来做数据仓库的设计与开发。

数据仓库的设计、建模

数据仓库的设计工作对于决策支持系统起着至关重要的作用,它需要根据决策需求确定主题,从数据源到数据提交,对数据仓库的数据组织进行逻辑结构的设计,还要按照业务用户最能理解的方式组织和提供信息。

在这个阶段,我们使用了PowerDesigner WarehouseArchitect。WarehouseArchitect是个高度优化的数据库工具,广泛用于数据源的逆向工程、建模、数据仓库方案设计,以适应每个业务需求。通过对逻辑设计、物理设计和应用建模进行集成,WarehouseArchitect方便了数据仓库的开发和实现。

数据转换与集成

在进行数据仓库的建立时,最大的挑战之一是如何将原始业务数据转化为一致的格式,使之更好地为决策支持服务。这包括对已有数据的准确性和一致性进行检验、净化,将数据进行转化、提取、转换、装载到数据集市或数据仓库以及对其进行定期更新和管理。PowerMart作为数据抽取工具,从各种异够的数据源中抽取数据,在数据抽取过程,用户可以根据不同的抽取阶段,灵活定制各种数据抽取流程,并定时地将数据加载到数据仓库中。

PowerMart是一个集成的软件产品套件,用于建造和管理数据集市和分析应用。PowerMart交付了一个开放的可伸缩的解决方案,主要定位于数据集市完整的生命周期和分析应用开发及产品化的管理,能够支持多种平台上快速变化的大量数据作为数据来源,进行复杂的转换处理以及支持高速的数据加载。其metadata repository 能够协调并驱动一系列的核心功能,包括抽取、转换、加载和管理等。

PowerMart的图形化用户接口帮助数据仓库管理人员很容易的设计复杂的source-to-target的映射,然后可以由PowerMart强大的服务器来自动地执行,

数据存储与管理

数据仓库的存储可以选用多维数据库,也可以选用关系型数据库或其它特殊的存储方式。数据的存储要保证数据的安全性、完整性、一致性,同时还要具有复杂的分析查询的高效性。

我们选用了Sybase的数据仓库产品Adaptive Server IQ。Adaptive Server IQ是一个关系型数据库,为高性能决策支持和数据仓库的建立而进行了优化。IQ中的关键技术是纵向数据存储(通过列而不是通过行来进行)、Bit-Wise查询索引和数据压缩。

数据分析和展现

联机分析处理(OLAP)是一个分析处理技术,它从企业的数据集合中收集信息,并运用数学运算和数据处理技术,灵活、交互式地提供统计、趋势分析和预测报告。通过多种OLAP工具对数据仓库中的数据进行多维分析、汇总,形成图表或报表的形式,使决策者可以清晰、直观地看到分析结果,这正是数据仓库系统所要达到的目的。

数据仓库的开发应用主要有结构设计、数据集中组织和管理、数据的快速高效访问等。其中数据的访问一般都是由较为成熟的业务智能工具完成,因此不同于OLTP系统,数据仓库系统的前端开发编程量是比较小的,但是其维护工作的时间跨度要大,因为决策支持应用的随意性较强,不可能再象业务系统那样固定一个统一的操作模式。

BusinessObjects作为较早进入中国市场的业务智能提供商,其产品操作精简、功能丰富,并且有直观易懂的前端展现元数据管理部分,在这个解决方案中与IQ的高速查询效率相得益彰。

数据仓库的维护和管理

元数据是关于数据的数据,能够表示、定义数据的意义及系统各组成部件之间的关系的数据,它包括关键字、属性、数据描述、物理数据结构、源数据结构、映射及转换规则、综合算法、代码、缺省值、安全要求及数据时限等。管理好元数据是管理数据仓库的关键。

Sybase的Warehouse Control Center通过对元数据仓库的集中管理,提供了数据仓库解决方案的保证技术。从设计和开发到实现到最终用户访问,由工具和数据库产生的对元数据的密集型集成和管理保证了真正企业级数据仓库的建立。Warehouse Control Center是基于Intellidex技术的为数据仓库开发人员提供的数据仓库元数据管理工具,能够在数据仓库环境下进行数据采集、捕捉、存储、管理和发布逻辑的、物理的以及上下文相关的信息,而不用去管它的物理存储位置是在联合数据仓库上、分布式数据仓库上还是二者兼有。业务用户可以浏览根据其需求而生成的元数据对象,甚至可以使用发布和登记性能请求或选择附加性能。

3.2 系统硬件平台

数据仓库服务器:

sunE5500 / 8 cpu/4G RAM/18G硬盘

运行Sybase IQ。 数据迁移服务器:

IBM Netfinity7600 intel PIII550/ 4 cpu/1G ram/ 36.4 G hd NT4

运行PowerMart Server 管理Web服务器两台:

IBM Netfinity7600 intel PIII550/ 4 cpu/1G ram/ 36.4 G hd NT4

分别运行BO Web Intelligence和Warehouse Control Center Server。 存储网络:

采用Veritas的SAN系统

3.3 系统主要功能

数据仓库与决策支持系统对在线事务处理应用和在线统计分析应用进行有效地隔离。保证了业务管理系统在线事物处理的安全、稳定、可靠、高效地运行,也确保了决策支持系统能够快速及时地获取统计数据。 省中心和地市业务管理人员能够每月按照要求生成预先定义好的标准统计报表。业务分析人员通过非常简单易用的图形界面,能够快速准确地进行语义层查询并把所需的业务数据、信息和分析结果以丰富的形式快速地展现出来,为领导的决策提供准确的依据。 提供数据挖掘功能,挖掘出潜在的影响业务发展的因素。

为客户管理系统提供服务,为客户提供快速的账单及各种服务清单查询。并提供挖掘大客户的手段。

4 结束语

我们已经在广东视聆通和福建163网上,使用Sybase的数据仓库解决方案,成功实施了数据仓库系统,并且基于BO(Business Object)开发了统计分析报表系统。

篇3:SQL Server 中的商务智能和数据仓库(2)数据库教程

随着信息技术的高速发展,电脑和网络成为企业办公必不可少的一部分。信息技术已经使企业的经营环境发生了革命性的变化,各大企业已经开始寻找利用信息技术提高竞争力的方法。各种信息系统如客户管理系统(CRM)、企业资源企划(ERP)、主管信息系统(EIS)等开始活跃在各大企业[1]。这些系统在满足企业日常事务性工作需要的同时,也给企业产生了海量的历史数据并难以利用。目前,众多公司开始着眼于如何利用历史数据为公司的发展服务,提高公司的竞争力[2]。

1 系统需求分析

通过与报表上报系统的合作,报表上报系统负责同公司外部的公司进行业务交流,实现企业外部办公信息化、自动化;商务智能系统则对报表上报系统中的数据进行抽取和分析,挖掘出企业高层决策者所需决策数据,系统架构如图1所示。

战略规划部、投资部、财务部等公司各部门以及各项目公司通过网络将报表数据填报到新建立的数据管理平台[3]。然后数据经过处理后被上传到数据仓库中,经过挖掘分析变成可供决策的信息,展示到公司决策者面前。商务智能系统主要分为以下三个部分:

(1)数据源,在现有的设计中,数据源是报表上报系统的数据库。报表上报系统从公司的各个部门以及下级单位填报的报表中获取经营数据,存储到报表上报系统的数据库中。

(2)数据仓库,报表上报系统数据库中的数据经过ETL工具的抽取、清洗和转换,加载到数据仓库中。

(3)应用服务层,该层负责与用户进行交互,通过OLAP和数据挖掘工具,获取相关的经营数据和决策信息,并通过图形、报表、数据等方式为用户提供决策支持服务。

商务智能系统实现对收集到的数据进行有效的统计分析,对公司决策工作起到辅助决策作用。整个系统的功能划分如图2所示。

从图2可以看到,整个系统功能划分为八个部分。综合分析是对公司整体数据进行分析展示的模块;接下来的BT/BOT在建项目分析、BOT运营项目分析、房地产项目分析、城市综合开发项目分析、安全质量分析都是针对公司经营的某一个板块进行分析;资料文件下载是一个文件共享模块,用户可以从该模块下载公司经营资料或者相关的政策文件;系统管理模块是为系统管理员设定的一个模块,管理员可以利用系统管理模块对系统进行维护、更新操作。

2 系统的设计

2.1 数据仓库设计

2.1.1 概念模型

概念模型是从客观世界到主观认识的映射,是客观世界到计算机世界的一个中间层次,通过概念模型将客观世界的问题用适合计算机世界的语言和模型描述[4],该阶段的任务主要有界定系统边界、确定主要的主题域。

(1)界定系统边界。公司进行决策时,不同类型的投资审查需要查看不同的数据,例如,进行地产投资审查时,需要对项目基本信息、项目周期计划表、项目经营情况表进行分析。

系统边界定位为公司所经营范围内各项目公司的经营信息,包括项目公司基本信息、资产信息、经营计划、经营情况、财务数据和安全生产信息等。

(2)确定主要的主题域。界定了系统边界后,根据业务类型的不同,将项目公司进行归类,确定了四个主题:BT/BOT在建、BOT运营、房地产开发和城市综合开发[5]。另外,根据用户需求和冗余考虑,将财务数据和安全生产信息单独存放,作为另外两个主题域,即财务报表和安全质量。

2.1.2 逻辑模型

在逻辑模型设计阶段,主要进行分析主题域、确定粒度、确定数据分割策略、维度建模、定义记录系统五项工作。

分析主题域,经过研讨分析,按照BT/BOT在建、BOT运营、房地产开发、城市综合开发、财务报表、安全质量的顺序进行需求分析、设计和开发。

确定粒度,在进行粒度设计时,主要考虑时间粒度和板块粒度。时间粒度划分为年、季度、月、周和日;板块粒度划分为板块、分项目(例如运营项目划分为公路项目和港口项目)、项目公司。

确定数据分割策略,大的数据分割策略选择按板块进行划分,也就是按BT/BOT在建、BOT运营、房地产开发、城市综合开发、财务报表、安全质量这六个大的板块进行分割存储。然后,在板块划分的基础上,考虑到业务以及数据分析的需求,按照报表进行分割。

维度建模,在BT/BOT在建主题中维度表有时间表、单位表、四级指标表以及BT/BOT在建项目表;事实表较多,有在建项目基本情况表、全项目周期计划表、经营计划表(分为年度、季度和月度)以及经营情况表(分为年度、季度和月度)。

定义记录系统,数据源只有报表上报系统,数据仓库中的表名和字段名已经和报表上报系统数据库中的表名和字段名对应,通过名称可以定位。

2.1.3 物理模型

综合考虑服务器的存取速度、购置成本、存储空间利用率以及维护代价后,选择使用目前比较常用的数据存储结构RAID(Redundant Array of Inexpensive Disk,廉价冗余磁盘阵列),级别1。通过磁盘镜像技术,将一个磁盘的数据镜像到另外一个磁盘[6],该存储结构的优点是容错能力高、读取速度也比较快。

2.2 联机分析处理

在目前设计的数据仓库中,每个主题都存在四个维度表:时间、单位、指标和项目(房地产主题没有项目维度表)。一般每一个单位对应一个项目,所以,项目维度被单位维度所取代。公司决策者最常使用的是经过汇总的一级指标值,但是二到四级指标也会偶尔用到,因此,在构建基本立方体时采用的维度是四级指标值、月度、项目公司,数据立方体如图3所示。

2.3 数据挖掘设计

(1)数据挖掘的对象和目标

通过数据仓库的设计,确定了数据仓库的主题及其关键属性项,通过分析发现数据挖掘的对象有数据类型单一性、数据变化相对稳定性、数据关系复杂性等特点。

根据对公司决策者的调查发现,进行决策时主要将一级指标项作为参考决定是否继续对该项目投资,投资多少。一般,根据自己的经验,结合相关政策事件预测该项目的发展趋势。如果能够对重要指标项目进行趋势预测分析,那么对于决策的帮助是巨大的[7]。所以,将数据挖掘的目标确定为对指标项进行趋势预测分析。

(2)数据挖掘方法的选择

根据公司数据特点的分析结果,选择预测性数据挖掘作为商务智能系统的挖掘方向,同时,选择二次指数平滑法[8]。二次指数平滑法通过历史数据的加权平均对未来时刻进行预测。它计算简单、样本要求量较少、结果较稳定,而且适应性较强,比较符合对数据挖掘算法的要求。

3 系统的实现

3.1 ETL工具

在系统中,ETL分为三个处理过程:准备过程(ZJ_WF_DW_LOAD_REPORT),处理和装入过程(ZJ_WF_DM_LOAD_REPORT),特殊处理过程(ZJ_WF_LA-OD_FLOAT_REPORT)。

(1)准备过程。在准备过程中,ETL工具从数据源中抽取数据,进行一定的处理(统一格式、消除重复行等)后存放到临时表中,以便进行进一步的处理和转换。

(2)转换过程。在转换过程中,将临时表中的数据分离,存入各个板块的主题中,以供分析决策之用。转换过程分为三步:基本数据导入、数据计算和数据转换。

(3)后续处理过程。对于浮动表中的数据,存储格式与固定行的表有差别,因此,单独弄一个过程处理浮动表。对于每一个浮动表都有相应的Query语句进行处理。

3.2 联机分析处理

(1)物化视图的具体实现

系统对业务数据采用部分物化策略。经过对决策者的实际需求和思考习惯进行分析发现,客户经常查看的维度有时间维的年、季度和月度;指标维的一级关键指标和部分二级指标;单位维(项目维)的板块维度、分项目维度以及公司维度。因此,在这些维度上进行预计算减少系统的响应时间。CUBE计算将产生以下多维聚集表,如表1所示。

在时间维上进行年、季度聚集,在单位编码上进行板块、分项目聚集,在指标维上进行关键指标聚集(新签合同额、完成投资额、利润总额等)。

(2)数据立方体的优化

(1)利用底层聚集计算高层聚集。通过事实表计算可以得到底层聚集。高层聚集不再通过基本的事实表进行计算,而是基于依赖关系,利用已经存在的底层结果获取高层指标聚集结果。

(2)建立索引。在聚集计算过程中,在表上建立索引可以提高记录的搜索能力,提升系统的响应速度。

(3)缓存结果。通过缓存分组结果,其他分组可以从缓存中进行计算,进而减少I/O次数。

(3)数据立方体的计算

采用基于依赖关系的计算方法:CUBE计算利用了计算的相互依赖关系简化CUBE计算,提高性能。整个CUBE计算过程中,主要产生了两个多维数据集,即V1和V2。V1主要是在指标维度的网点级上对其他维度进行聚集(根据指标进行汇总);V2主要是在项目维度上对其他维度进行聚集(根据项目对指标进行聚集)。基于依赖关系的思想,利用V1的计算结果计算V2。

3.3 数据挖掘

3.3.1 数据预处理

(1)数据清理。首先通过各个主题域和财务报表主题存在的勾稽关系,对各个主题域中的错漏数据进行纠正;另外,在填写报表过程中,对于没填的项目,将其值设置为0。

(2)数据集成。通过将多个数据源中的数据合并存储,能够有效地减少数据的冗余和不一致性。ETL工具承担了数据集成的任务。

3.3.2 二次指数平滑算法

要进行二次平滑指数法预测,首先要进行一次指数平滑预测。一次指数平滑预测的计算公式为:

式中:Y为时期t的实际值;St(1),S(1)t-1分别为t期和t-1期的一次平滑值;a为平滑系数,又称为加权因子,取值范围为(0,1)。

将St(1),S(1)t-1,…,S2(1)的表达式逐次代入S(1)t+1中,得:

对于一次平滑指数法的初值S1(1)一般取第一期的实际值或者取最初几期的平均值。

二次指数平滑法的计算公式为:

式中:St(2),S(2)t-1分别为t期和t-1期的二次平滑值;a为平滑系数。在St(1)和St(2)已知的条件下,二次指数平滑法的预测模型为:

式中T为预测超前期。二次指数平滑法的初始值一般选取一次指数平滑法的初始值即S1(1)。

3.3.3 数据样本

以系统中的实际数据作为样本进行算法预测研究。选取BOT运营主题域下的营业总成本指标作为算法的数据样本。BOT运营板块分为公路项目和港口项目两种,其中公路项目下有两家下属项目公司:FS公司和SX公司;港口项目下有两家下属项目公司:YY公司和CQ公司。

根据项目种类的不同,营业总成本的下属汇总项存在区别。对于港口项目,营业总成本下属二级指标项为营业成本、营业税金及附加、营业费用、管理费用、财务费用和其他费用,共由115个四级指标项汇总获得;对于公路项目,营业总成本下属二级指标项为营业成本、营业税金及附加、管理费用、财务费用和其他费用,共由111个四级指标项汇总获得。

获取的实验数据为2014年FS公司的营业数据(公路项目)。对于每一个四级指标项,均选取第一个实验值为初始值,根据式(1)~式(5),首先对所有四级指标利用二次平滑法进行预测,获得所有的四级指标预测值后,经过求和运算获得一级指标的预测值。

3.3.4 结果分析评估

由结果可以看出,二次指数平滑的预测结果误差比较稳定,虽然数据结果有一些波动,但是整体情况还是令人满意的。二次指数平滑预测法计算简单,样本要求少,适应性很强,可以降低对服务器性能的要求,基本满足决策者对于指数趋势走向的预测需求。

4 系统测试

4.1 测试设计

(1)测试准备

文档资料:《公司生产经营管理系统需求分析报告说明书》、《公司生产经营管理系统需求调研总结》、《公司系统概要设计说明书》等。

测试环境:IBMX5服务器一台,Windows Server2008 R2 SP2 64位系统,4*双核CPU 3.0 GHz,16 GB内存,硬盘1 TB。

(2)测试过程

功能测试。验证系统功能是否正常:链接是否正常工作,是否有无法显示的页面,图表是否显示正常,文件能否成功下载等。

数据验证。验证系统数据是否正常:数据从获取、存储、计算到显示是否显示正确。

压力测试。验证系统在最坏情况下的表现:当所有用户一起登录时系统的运行情况等,因为该系统不会被发布到Internet,所以,这里进行的性能测试都是在局域网的环境下。

4.2 测试结果与分析

整个测试工作历时2个月,共有4位测试人员参与。测试需求总数45个,设计测试用例102个,需求覆盖率98%,测试用例已通过的覆盖需求总比率为95%,缺陷情况如表2所示。

系统性能方面,经过Imeter自动化测试软件测试,系统平均响应时间为418 ms,响应时间中值为211 ms,90%的transaction的响应时间都小于2 355 ms,最小响应时间为44 ms,最大响应时间为2 355 ms,出错率仅为1%。

经过对整个系统的测试,除了在浏览器兼容性方面尚存在一些问题,整个系统不管是功能还是性能均已符合要求,能够正常上线使用。

5 结论

商务智能经过一段时间的发展,已经度过了从知到行,从概念到实践的阶段,商务智能已然成为企业信息化下一个发展点。本文通过对公司实施商务智能系统过程的分析,围绕数据仓库、联机分析处理和数据挖掘这三个商务智能核心技术,对商务智能在投资企业的应用进行了探索,为其他类似企业应用商务智能系统提供参考。

参考文献

[1]夏国恩,金炜东,张葛祥.商务智能在中国的现状和发展研究[J].科技进步与对策,2011(1):173-176.

[2]孙海侠.商务智能系统的构架及技术支持[J].情报杂志,2012,2(1):22-25.

[3]宋丽丽,王嵘冰.商务智能系统的数据体系结构研究[J].辽宁大学学报,2009,36(1):55-59.

[4]李静.基于数据挖掘技术的电子商务CRM研究[J].现代电子技术,2015,38(11):126-128.

[5]王茁,顾洁.三位一体的商务智能(BI):管理、技术与应用[M].北京:电子工业出版社,2004.

[6]李萍,张道宏.论商务智能的应用与架构[J].西安:西安邮电学院学报,2005(4):8-11.

[7]章建功.基于Web服务商务智能应用研究[D].辽宁:辽宁工程技术大学,2007.

篇4:SQL Server 中的商务智能和数据仓库(2)数据库教程

关键词:大数据;商务智能;管理会计师

1.大数据有多大

据IBM公司统计,网络上的每天新增数据2.5千万亿字节(2.5TB),相当于国家图书馆绝版收藏的25万倍,并且它会继续以指数的速度增长。大数据被描述为是一个具有庞大的数据量和时刻更新变换且具有多种格式的数据的一个超大型数据库。大数据概念的复杂性

决定了企业要面临的严峻考验,因为这要求数据的使用者能够在大数据中过滤掉不可用的其他数据,确定有价值的数据并进行分析利用,但这项工作相当于在虚拟数据的大海捞针。正如你所知,在大数据时代一个企业想要增加自身价值,管理会计师的表现是其中关键之一。所以让我们看看如何从大数据中获取价值。

2.资产版图的新成员

以往我们所说的资产,包括现金、存货以及实际存在并能创造价值的企业固定资产。现在,这张传统的资产版图必须扩大到包括大数据的价值主张以及其后续分析价值。即使不像传统资产一样具有有形的价值,大数据具有潜在的“虚拟资产价值”。这种新资产代表了企业的未来的价值,这是传统资产价值定义之外的,因为这项新资产是无形的。如果一个企业可以识别并分析得出有用数据,并将此数据加以商务智能化处理后运用于企业的战略性决策,那么该数据被认为是一项资产——虚拟资产。由企业收集而来的大数据在审查时应思考:收集的数据是否具有可分析性,怎样分析,能否能给企业帶来价值。如果没有抱有明确的目的性,不考虑数据的可分析性而盲目的去收集数据,那么数据的绝对数量将是无法管理的,且所进行的数据收集工作也是徒劳无功的。虽说企业必须为大数据的收集和分析工作制定投资回报(ROI)模型并进行数据分析,但其要面临的一个重大挑战是数据及其来源已经发生了巨大变化。

3.无国界的数据

在管理会计师以往传统的管理和分析数据中,数据主要来自于他们企业内部,重点是财务信息。大数据的到来彻底打破了数据来源仅限于企业内部的规则,使得数据来源多样化,并为包含财务数据和非财务数据的全球数据世界打开了一扇窗。互联网为企业提供了访问海量结构化和非结构化数据数据源的途径。例如,轻点几下鼠标就可以访问超过10万篇美国证券交易委员会(SEC)用可扩展商业报告语言(XBRL)编写的财务报告。其他数据格式包括视频、电子邮箱、推特、声呐波等。让人不解的是,企业如何甄别这些信息并把其运用于对自身有利的方面,这就是商务智能要解决的问题。

4.商务智能

商务智能(BI)涵盖范围广泛,包括对大数据的分析过程,利用工具去访问,开采过程。其目的是为了分析得要有用数据用于决策,因为更好的信息和分析是企业能否提升自身竞争力、获取更多经济利益的关键所在。然而很多企业将会采取顾客导向的商务智能解决方案,新一代的商务智能工具操作简单并且成本低效益高,并且可用于桌面办公非常方便。例如,微软的商务智能工具Power BI for Excel和Office 365,这些工具可以从云端获取数据,进行商业建模,与Office 365进行协作可以提供实时的可视化功能。5年前,就可以用很小的成本使用这个工具。最重要的是,管理会计师可以不用通过IT手段去进行数据分析。商务智能的出现,意味着管理会计师数据分析时思维方式的转变以及预测分析的崛起。

5.预测分析

会计师根据从前的财务业绩进行仔细剖析,得到结论并以此作为制定未来战略规划的基础。后见之明已经被淘汰了,而充分利用商务智能和大数据作出预测分析才是当代管理会计工作的核心。预测分析改变了整个“游戏规则”,它允许企业通过数据质量解决方案(Datalens)来进行分析和管理策略。高德纳(Gartner)公司认为,预测分析具有以下四个优点:注重预测,分析快速,相关业务分析和用户界面友好。预测分析对实时分析的需求作出了说明,并且是连接其与做出明智决策之间不可或缺的桥梁。预测分析不是基础的电子表格分析,而是一个复杂的、精心设计的,通过利用企业数据集筛查商业信息和数据从而达到提升企业洞察力的规划工具。其复杂性和分析质量可以降低管理会计师做出错误决策的风险。高德纳公司预测,使用预测分析的企业到2017年时可以将他们的投资回报率提高20%。但是没有一个放之四海而皆准的预测分析解决方案。管理会计师将会在企业定制指标的发展中扮演一个至关重要的角色,成为企业数据模型开发和评测中的关键性因素。

6.适者生存

管理会计师应该遵从海伦·布兰德的明智建议。随着大数据、商务智能和预测分析的不可阻挡的增长,委托信息技术部门进行数据收集和数据分析的时代一去不复返了。管理会计师必须成为精通这三项强大手段并能利用它们为企业增加效益的复合型人才。海伦·布兰德指出,“会计的未来在于资金,技术,信息的交集,你能准备好么?”(作者单位:广东财经大学)

参考文献:

[1] 陶雪娇,胡晓峰,刘洋.大数据研究综述[J].Journal of System Simulation,2013.

[2] 城田真琴.大数据的冲击[M].人民邮电出版社,2013.

[3] 马晓娜.基于ERP系统的会计业务流程重组研究综述[J].中国证券期货,2012,8:094.

[4] BigData.Nature,2008,455(7209):1-136.

篇5:SQL Server 中的商务智能和数据仓库(2)数据库教程

Waterxp 从oracle版本转化为sqlserver版本

1,系统安排

为了oracle版本和sqlserver版本能很方便的转化,也为了两个版本能同步修改,特别是业务逻辑层,现决定如下:

A,两个版本的业务逻辑层都放在source目录下。在该目录下有两个目录:

sql 和ora。这两个目录有三个文件:

common.pbl,water_modi.pbl,dw_version.pbl。

这三个 文件里面绝大部分是数据窗口,主要是因为sql server 和oracle的语法有差别。如果只是因为数据窗口有双引号在sql server里不能用,那么把数据窗口的select语法的字段引号去掉即可,因为没有引号的select语句在sql server和oracle下面都是可用的。修改的过程中注意update属性。

B,不同的数据库将使用不同的目录。

2,系统环境的建立

每台机器上建立下面的磁盘映射:

P指向oraservrp237

V指向oraservr ql237或者是 oraserverora237

源代码在 oraservercodewater237 ource 里面。

P盘是肯定要有的, V盘由使用什么版本决定。

3,源代码的修改

业务层的修改尽可能的在源代码处,因为这样修改能让两个版本同时修改。

P盘是类库可以不需要修改。

V盘里的数据窗口都需要改。

改sql237里面的数据窗口,要修改和要注意的地方:

替换的方法

oracle里面使用sql server 里面使用

to_char(readingdate,’yyyymm’)convert(char(6),readingdate,111)

to_char(readingdate,’yyyy/mm’)convert(char(7),readingdate,112)

decode( ,,,,)case when then end 或者 isnull(x,0)

左右连接 (+)left outer join

修改过程中要注意数据窗口的update属性,

4,工作计划

4,1先修改sql237目录下的三个pbl里面的数据窗口的语法。为了照顾数据窗口的update属性,建议使用edit source的方法,而且select语法字段的引号在sql server版本建议去掉。使用pb的replace功能即可。

4,2 修改某些数据窗口的内嵌式sql 的语法。因为有一些内嵌式sql 也使用了decode ,或者是to_char(),这些语法在sqlserver也是必须代替的。

修改方法:

if gs_database = ‘ORACLE’ then

………………decode()……………;

else

…………………case when then end ………..;

end if

4,3 最后的工作是测试。这是最繁琐的最重要的。在测试的过程会发现有一些数据窗口在sql server不能用:修改方法是将字段的引号去掉或者是移到sql 和ora目录里面的dw_version.pbl文件里面,在那里进行修改。

篇6:怎样去宣传数据仓库?数据库教程

主 题:怎样去宣传数据仓库?

作 者:hem

所属论坛:数据仓库

问题点数:300

回复次数:1

人气指数:6

发表时间:-9-13 16:38:32

数据仓库是 面向主题的、集成的、随时间变化的非易失的数据集合,用于支持管理层的决

策分析,

数据仓库对历史的数据做分析,以得出所分析主题的发展趋势,来支持决策层的决策分析。用于联机分析处理。

数据库 普通关系型数据库 大多用于联机事务处理,处理当前的事务、交易。

集成的例子:

就拿一家百货公司来说, 公司有好多的分公司,每个分公司有自己的日常交易纪录数据。

有真实的详细的交易历史纪录、也有月度、年度归总数据。总公司需要了解公司的运营状

况,以决定以后如何拓展业务,了解客户购物趋势,推广新产品等系列决策。试想想,如果

每个子公司将所有的历史数据都送到总公司,请问,总公司需要多少磁盘、多少资源来存储

这些数据? 总公司要这些数据干什么?总公司不需要这些详细的数据,如果子公司根据一

定的周期归总之后在送到总公司,这样一来,数据量小了,有利于分析了,

但是,这么多子

公司里面,每个公司的数据结构定义可能不相同。需要统一数据定义。

送到总公司来的数据是比较全面的。这样一来,公司可以对用户购物趋势、购物能力等主题

做一个比较全面的分析,以发掘客户、扩大公司规模。

面向主题:

通讯公司可能只是纪录用户的应收款、预付款、通话纪录、费率。如果建立一个客户主题区

域,用来纪录用户所购买的服务、用户所在地域。这个主题区域可以帮助通讯公司预测客户

增长率、客户的地域分布、客户购买服务的倾向以增加新的服务,在那些区域出售什么通讯

产品等等的决策。

随时间变化:

上面两个例子都提到这个。百货公司的记账系统、通讯公司的记账系统都是随时间变化的最

好的例子,记账系统定期归总数据,然后将归总数据不断加到数据仓库里面来,这样数据仓

库也就是随时间变化的。

非易失性的:

一般的,追加到数据仓库里面的数据是不允许更改的,它不同于联机事务处理系统,允许修改数据库纪录。这样数据仓库的数据一般不会丢失。

数据仓库有几个要点:

集成 (抽取、转换、装载) ETL

元数据 (描述数据的数据)MetaData

主题星型结构

数据仓库中 数据的查询是最重要的。 视图、索引是提高查询的选择。

上一篇:办公室副主任竞聘上岗演讲稿下一篇:(人事专员)岗位说明书