数据仓库

数据仓库（精选9篇）

篇1：数据仓库

数据仓库论文：渤海海洋防灾减灾数据仓库的构建与快速访问技

术研究

【中文摘要】本文研究了渤海海洋防灾减灾数据仓库构建过程中涉及到的一些关键技术,包括数据仓库设计,OLAP快速访问策略,以及序列OLAP系统设计。关于渤海海洋防灾减灾数据仓库的设计,分别进行了体系结构设计和数据模型设计。(1)数据仓库的体系结构设计：采用分层的思想,以及数据仓库和数据集市相结合的方式,设计数据仓库的体系结构,提高了大数据量数据仓库的访问速度。(2)数据仓库的数据模型设计：以防灾减灾数据仓库中的赤潮数据集市为例,从需求分析、主题提取,到概念、逻辑和物理模型设计,探讨了数据仓库的建立过程。关于OLAP快速访问策略,采用OLAP查询结果缓存技术,对内存中有限的Cache空间进行优化利用,尽量保留用户最感兴趣的临时结果,在用户下次访问相同结果时,不必要重新去数据仓库中查询,而是直接把临时结果返回,提高了数据仓库的访问速度。关于序列OLAP技术研究,针对实际应用中存在的序列数据,开展了序列OLAP系统的形式化描述、系统架构以及系统实现等方面的研究。

【英文摘要】This paper study many key technologies involved in the process of building Bohai marine disaster prevention and mitigation data warehouse, including design the Data Warehouse, OLAP quick access policy and sequence OLAP system design.Bohai marine disaster prevention and mitigation Data warehouse

design including two aspects, one is the architecture design and the other is data model design.(1)Design the architecture of Data warehouse:Adopted the idea of stratified as well as combination data warehouse with data mart to design the data warehouse architecture, and improved the access speed of the data warehouse with a large amount of data.(2)Dign the data model of Data warehouse:take the red tide data mart design as an example to illustrate the needs analysis, theme extraction, concept, logical and physical model design to discuss the process of building the Data warehouse.On the aspect of quick access policies for OLAP, which adopt OLAP query results cache technology to optimize the capacity use in a limited memory space and preserve the most interest results for the user, when the user access to the same results next time it is not to re-query the data warehouse, but returned the provisional results for the user directly, so as to save the time of accessing data warehouse.On the research of sequence OLAP technology, for the sequence data in practical application to carry out the several aspects research includes formal description of sequences OLAP systems, system architecture design and other aspects of system implementation.【关键词】数据仓库 数据集市 OLAP 序列OLAP 防灾减灾

【英文关键词】Data Warehouse Data Mart OLAP Sequence OLAP Disaster Prevention 【备注】索购全文在线加我：139938848

....同时提供论文一对一写作指导和论文发表委托服务

【目录】渤海海洋防灾减灾数据仓库的构建与快速访问技术研究摘要2-3论文选题6-8义6-78-12

Abstract3

第一章 绪论6-17

1.1

1.1.1 支撑课题61.1.2 研究目的和意1.2 相关概念和技术8-10

1.2.2 联机分

1.3.1 1.1.3 研究内容7-81.2.1 数据集市与数据仓库析处理(OLAP)10-121.3 国内外研究现状12-16海洋数据仓库研究现状12-14研究现状和发展14-1515-16

1.3.2 OLAP查询结果缓存技术

1.3.3 序列OLAP系统研究现状和发展

第二章 数据仓库体

2.2 体2.4 本章

3.1 3.1.2 1.4 论文的结构安排16-17系结构设计17-21系结构设计17-19小结20-21

2.1 防灾减灾主题域设计172.3 访问方式设计19-20

第三章 数据仓库数据模型设计21-3621-24

3.1.1 数据源21-23数据源与需求分析需求分析23-2424-35计25-3435-36

3.2 数据集市数据模型设计

3.2.2 逻辑模型设3.3 本章小结3.2.1 概念模型设计24-253.2.3 物理模型设计34-35第四章 基于缓冲技术的OLAP快速访问策略研究

36-39策略37-384.1 数据结构设计36-37

4.3 本章小结38-39

4.2 CACHE数据的替换第五章 序列OLAP系

5.2 序

5.4 6.1 全参考统研究39-485.1 序列OLAP形式化描述40-42

5.3 序列OLAP系统实现42-47第六章 全文总结与展望48-496.2 存在的问题与今后展望48-49攻读学位期间的研究成果52-53列OLAP系统架构42本章小结47-48文工作总结48文献49-5253-54

致谢

篇2：数据仓库

摘 要 决策树学习是人们广泛使用的一种归纳推理形式。先就决策树和决策树学习算法进行介绍，然后用实例阐述决策树在教育信息处理中的应用，主要以在教学评价中的应用为例来加以介绍。

关键词 决策树；数据挖掘；教育信息处理；教学评价

当今社会处于一个信息爆炸的时代，海量的数据可以用来选择和发掘信息，然而有时却让人无从下手，因此数据挖掘技术受到人们的高度关注。数据挖掘是从大量的、不完全的、有噪声的、模糊的或者随机的数据中提取人们事先不知道的但又是有用的信息和知识的过程。它的方法很多，其中决策树是一种解决实际应用分类问题的数据挖掘方法。在教育教学中，根据决策树算法的实际特点，它可以在教育信息处理中的信息采集上发挥很大的作用。决策树介绍

决策树学习是人们广泛使用的一种归纳推理形式。决策树起源于概念学习系统，其思路是找出最有分辨能力的属性，把数据库划分为许多子集（对应树的一个分枝），构成一个分枝过程，然后对每一个子集递归调用分支过程，直到所有子集包含同一类的数据。最后得到的决策树能对新的例子进行分类。它一般是从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。它一般需要给定一组训练例子，训练例子一般被看成用于创建模型的数据集。由此可以看出，决策树是一个类似于流程图的树结构，其中每一个内部结点表示对一个属性的测试，每一个分支代表一个决策输出，而每个叶节点代表一个目标分类。决策树通过把实例从根节点排列到某个叶子节点来分类实例，叶子结点即为实例所属的分类，树上每个节点说明对实例的某个属性的测试，节点的每个后继分支对应于该属性的一个可能值。假如需要根据人员的外貌特征对人员进行分类，用于人员的外貌特征有3个，外貌列表={高度,发色,眼睛}；各属性的值域分别为：高度={高,矮}，发色={黑色,红色,金色}，眼睛={黑色,棕色}。分类结果有两种：种类={+,-}。提供的训练例子集为：T={<(矮,金色,黑色),+>,<(高,金色,棕色),->,<(高,红色,黑色),+>,<(矮,黑色,黑色),->,<(高,黑色,黑色),->,<(高,金色,黑色),+>,<(高,黑色,棕色),->,<(矮,金色,棕色),->}。上述文字可构造图1所示决策树。决策树学习算法

决策树算法有几种，如ID3、C4.5、CA RT等。其中ID3算法是最经典的算法，该算法从根节点开始，这个根结点被赋予一个最好的属性。随后对该属性的每个取值都生成相应的分支，在每个分支的终点上又生成新的节点。然后按照该属性的取值将每个训练例子都分别赋给一个相应的新节点。如果没有任何训练例子能赋给某个节点，那么该节点连同相应的分支都将被删除。这时，将每一个新节点都视作一个新的根节点，重复执行整个过程。这里，最好属性的选择要基于信息增益这个统计特性。在定义信息增益前，先要了解另一统计特性：熵。

给定一组有c个分类的训练例子，对属性a来说，它有值v，其中pi是在第i类中属性a取值为v的概率。为了能选出最好的属性，需要使用度量信息增益。一属性的信息增益就是按照该属性对训练例子进行划分所带来的熵的减少量。其中，T是训练例子的集合，Tj是属性A取值为j的训练例子集合，为T的一个子集。决策树在教育中的应用

在教育教学中，尤其是在高等教育体系中，学校的数据库中存贮着大量的教育教学信息，其中一部分和教学有关，如学校的开课排课情况、教师情况；一部分和学生有关，如学生历年的考试、测验成绩等。这些大量的数据后面隐藏着大量的信息，只要加以分析，就能得到许多有用的信息，如教育规律、学生的培养模式、学生学科间的差异性和相关性的一些规律。这些规律对教育管理决策来说是相当重要的，对教育教学改革有指导性的意义。

3.1 决策树在教育信息处理中的应用

决策树表示的是一个离散值函数，树中每一个节点表示一个属性，同时目标分类具有离散的输出值信息。教育中的大量信息，一般都是对一些离散的数据进行分析，比如学习成绩一般分成优、良、中、差，外语六级成绩分成过与未过，这些信息都可以用决策树来加以分类归纳，对于连续的属性值，也可以进行离散化处理后再利用决策树来加以分析。

3.2 决策树在教学评价中的应用案例

决策树在教育信息处理中的应用很广泛，下面以决策树在教学评价中的应用为例，来说明在教育信息处理中是如何使用决策树来分析的。教学评价在教育中是一个重要的问题，它是指依据一定的教学目标与教学规范标准，通过对学校教与学等教育情况的系统检测与考核，评定其教学效果与教学目标的实现程度。教学评价具有复杂性、多因素性和模糊性等特点。如何客观、科学、全面地对教学进行评价，是教学评价中一个重要的课题，下面尝试将决策树应用于教学评价。

在评价之初要有一个数据采集的过程，之后可以用决策树来加以分析。课堂教学评价指标体系分为若干项，从教师的角度可以分为授课态度A1、授课方法A2、授课内容A3、授课效果A4、教学评价A5，可以取训练例子如表1所示。

对给定的训练例子数据是把连续的数据离散化的结果，A为评分90～100，B为评分80～89，C为评分70～79，D为评分60～69，E为评分<60，N1为教师编号，表中的A5为目标分类。

如果利用前面的ID3算法建立决策树，先检验所有信息增益的特征属性，选择信息增益最大的属性作为决策树的结点，由该特征的不同取值建立分支，对此分支的实例子集递归该方法建立决策树的结点和分支，直到某一子集中的例子属于同一类。

对给定训练例子的熵为：E(T)= 1.295 46。

表1 训练例子

N1 A1 A2 A3 A4 A5 1 B B B B 良 2 B B B B 良 3 B B B C 良 4 A A A A 优 5 B C C C 中 6 C C C C 中 7 B C B B 良 8 B B C C 良 9 C B C C 中 A A B B 良

以属性A1为例，A1的值={A,B,C}，由表中可以看出A3的信息增益最大，所以选A3属性作为根节点的测试属性，并根据其值向下分支，利用ID3算法进一步划分，当根节点到当前节点的路径上包括所有属性或当前节点的训练样本同属一类时，算法结束。根据以上分析给出图2所示决策树。

图2 决策树

可以根据生成的决策树，方便地提取其描述的知识，比如授课内容A3在这里产生的信息增益最大等信息。小结

在教育信息中存在隐藏在数据中的规则，这些规则可以用不同的方法被挖掘。本文只是对决策树中的分类ID3算法在数据处理中的应用进行研究，目的是得到教育教学中存在的规则，利用发现的规则对教育管理决策提供有参考意义的信息。

参 考 文 献

篇3：基于数字校园数据平台的数据仓库

数字化校园的构成可以用图1表示, 计算机网络是数字化校园的基础设施;网络基本服务是数字信息流动的基础, 包括电子邮件、文件传输、域名服务、身份认证、目录服务等;在此基础上要建立各类基于网络的数据仓库, 包括职能信息库、课程资源库、数字化图书资源等;应用支撑系统包括办公自动化系统、各类管理信息系统、网络教学系统以及数字图书馆管理系统等等;在此之上的信息服务系统是校内用户的主要使用界面, 为师生提供各种服务, 如信息交流、信息查询、决策支持、电子商务等。五个区域分别表示数字化学习环境的功能领域:组织管理、教学活动、学术研究、公共服务和学校社区服务等, 各个功能领域之间是密切相关、相互促进的。

以选课系统为例解析数据仓库的构建与应用

数据挖掘, 又称为数据库中的知识发现 (Knowledge Discovery in Database, 简称KDD) , 是指从大型数据库中提取人们感兴趣的信息, 提取的知识表示为概念 (Concepts) 、规则 (Rules) 、规律 (Regularities) 、模式 (Pattems) 等形式。数据挖掘可以应用于各个领域, 包括商务管理、生产控制、市场分析、工程设计和科学探索等。利用数据挖掘技术, 挖掘选课系统中积累的有用信息, 可以使学校的相关部门有弹性地调节所开的课程, 调整热门课程和冷门课程的人数, 调节相关课程的学分, 通过选课率及相关信息做出正确决策, 鼓励和引导学生选择互补的课程, 这有利于学生整体素质的提高, 也有利于教师、教室等资源的合理分配。

1. 确定数据仓库和OLAP模型

OLAP (Online Analytical Mining或OLAP Mining) 是基于数据仓库的信息分析处理过程, 其基本特点是能够从多种角度对从原始数据中转化出来的信息进行快速、一致、交互地处理, 从中获得对数据更深入地了解。OLAM将二者结合起来, 发展一种建立在OLAP和数据仓库基础上的新的挖掘技术, 它兼有OLAP多维分析的在线性、灵活性和数据挖掘对数据处理的深入性, 是数据库应用工具未来发展的方向之一。

通常要先分析原有业务数据库, 确定待建的数据仓库主题。再根据用户的需求来确定各个级别数据仓库的存储主题。这里选取学生选课管理这一典型业务为主题。为了保证数据的正确性和一致性, 还要确保这些数据是按同样的方法记录的同一件事情, 需要对选课的原始数据进行预处理, 转换成适合数据挖掘的数据。数据预处理 (Data preprocessing) 包括三个步骤:数据清理 (Data cleaning) 、数据集成 (Data integration) 和数据变换 (Data transformation) 。完成数据的预处理之后, 便可确定待建的数据仓库模型, 实现OLAP建模, 生成多维数据集 (CUBE) 。可以建立以ROLAP方式存储的选课数目分析多维数据集 (以时间维、学号维、院系专业维为维度, 选课数目为度量值) 、选课学分分析多维数据集 (以课程类别维、课程开课部门维、学号学历维为维度, 学分为度量值) 等许多个不同的多维数据立方体。

2. 数据挖掘关联算法的实现

关于关联规则的挖掘算法主要有循环式扫描算法、增量式更新算法、并行挖掘算法、元模式制导、基于约束挖掘等等。目前大多数研究集中在频繁数据项的挖掘方法上。其中比较典型的关联规则挖掘算法有Apriori算法和FP-growth算法。

篇4：数据仓库与数据挖掘技术

关键词：数据仓库；数据挖掘

中图分类号：TP392文献标识码：A文章编号：1009-3044(2007)15-30631-02

On Data Warehouse and Data Mine

SHENG Wei-xiang1,LONG Jia-li2

(1.Department of Science & Law,Jiangxi Vocational College of Politics and Law,Nanchang 330013,China;2.College of Automation, Nanchang Hangkong University,Nanchang 330036,China)

Abstract:The Data Mine is a burgeoning technology,the research about it is developing flourishly.In this paper,it expatiates and analyses the concepts of Data Warehouse andData Mine.Together,discussing the connections of how to expand the two technologies,and combining the two technologies with prospect.

Key words:Data Warehouse;Data Mine

随着信息时代的不断进步，社会正处于数据技术飞速发展的良好状态。但是，在数据信息极度膨胀的同时，并非所有的数据都可被利用，大量的数据浪费，造成各种损失，所以有必要将这些数据转化为有用的信息。而传统的数据处理方法越来越不能满足使用要求，迫切需要一种从大量数据中搜索集中并去伪存真的技术。20世纪80年代后期至今，高级数据分析——数据挖掘(Data Mining，简称DM)发展起来，是开发信息资源的一套科学方法、算法以及软件工具和环境，是集统计学、人工智能、模式识别、并行运算、机器学习、数据库等技术为一体的一个交叉性的研究领域[1]。

1 数据挖掘

1.1数据挖掘定义及实现过程

数据挖掘就是用来发现隐含的、事先未知的、潜在的有用知识，提取的知识可以表示成概念、规律、模式等形式。其挖掘对象不仅可以是数据库，也可以是文件系统或组织在一起的数据集合，更主要的是数据仓库[2]。简单的说，数据挖掘是提取或“挖掘”知识。目前，数据挖掘是可以从统计学、数据库和机器学习等三个方面进行定义。从统计学的角度，数据挖掘是指分析所观察的数据集以发现可信的数据间的未知关系并提供给数据拥有者可理解的、新颖的和有用的归纳数据[1]。从数据库的角度来看，数据挖掘是指从存储在数据库、数据仓库或其他信息仓库中的大量数据中发现有趣的知识的过程[1]。从机器学习的角度，数据挖掘定义为从数据中抽取隐含的、明显未知的和潜在的有用的信息[1]。可以理解为，数据挖掘是一个从已知数据集合中发现各种模型、概要和导出值的过程。图1表示的是典型的数据挖掘系统的结构。

过程表述如下：从数据库或数据仓库等资源库中收集数据，并进行信息的初步筛选；根据用户对数据信息的要求，由服务器提取并传输有用的数据；为了对已经采集到的数据进行更有效的分配，数据挖掘引擎对数据进行特征化、关联、分类等操作；然后将精确划分的数据信息进行模式评估，从而使搜索仅限制在感兴趣的模式上，通过图形用户界面，用户可以方便的与数据挖掘系统之间通信，实现对数据的使用。

1.2数据挖掘分类

数据挖掘是一个交叉性的学科领域，涉及数据库技术、统计学理论、机器学习技术、模式识别技术、克视化理论和技术等。由于所用的数据挖掘方法不同、所挖掘的数据类型与知识类型不同、数据挖掘应用的不同，从而产生了大量的、各种不同类型的数据挖掘系统。掌握数据挖掘系统的不同非类，可以帮助用户确定最适合的数据挖掘系统[1]。

图1 典型的数据挖掘系统的结构

(1)根据所挖掘数据库类型的不同来分类：有关系型数据挖掘系统、对象型数据挖掘系统、对象-关系型数据挖掘系统、事务型数据挖掘系统、数据仓库的数据挖掘系统，等等。

(2)根据所挖掘的知识类型来分类：分为特征化、区分、关联、分类、聚类、孤立点分析(异常数据)和演变分析、偏差分析、相似性分析等分类。

(3)根据所采用技术的分类：有自动数据挖掘系统、证实驱动挖掘系统、发现挖掘系统和交互式数据挖掘系统。

(4)根据数据挖掘方法来分类：如面向数据库的方法、面向数据仓库的方法、机器学习方法、统计学方法、模式识别方法、神经网络方法等。

(5)根据数据挖掘应用的分类：有金融数据的数据挖掘系统、电信行业的数据挖掘系统、DNA序列数据挖掘系统、股票市场数据挖掘系统、WWW数据挖掘系统等等，不同的应用通常需要集成对于该应用特别有效果的方法。因此，普通的、全功能的数据挖掘系统并不一定适合特定领域的数据挖掘任务。

1.3数据挖掘任务

数据挖掘任务有6项：关联分析、时序模式、聚类、分类、偏差检测、预测[3]。

关联分析是从数据库中发现知识的一类重要方法。若两个或多个数据项的取值之间重复出现并且概率很高的时候，就存在某种管理，可以建立起这些数据项的关联准则。

通过时间序列搜索出重复发生概率较高的模式。这里强调时间序列的影响。

数据库中的数据可以划分为一系列有意义的子集，即类。在同一类别中，个体之间的距离较小，而不同类别的个体之间的距离偏大。聚类增强了人们对客观现实的认识，即通过聚类建立宏观概念。

分类是数据挖掘中应用最多的任务。分类是找出一个类别的概念描述，它代表了这类信息的整体，即该类的内涵描述。一般用规则或决策树模式表示。该模式能把数据库中的元组影射到给定类别中的某一个。

数据库中的数据存在很多异常情况。从数据分析中发现这些异常情况也是很重要的，应该引起足够的重视。偏差检测的基本方法是寻找观察结果与参照之间的差别。观察常常是某一个领域的值或多个域值的总汇。参照是给定模型的预测、外界提供的标准或另一个观察。

预测是利用历史数据找出变化规律，建立模型，并用此模型来预测未来数据的种类、特征等。近年来，发展起来的神经网络方法，如BP模型，实现了非线性样本的学习，能进行非线性函数的判别。分类也能进行预测，但是分类一般用于离散数值；回归预测用于连续数值；神经网络方法预测两者都可用。

2 数据仓库概述

数据仓库对不同的使用者、不同的操作范围，它有不同的意义。被誉为数据仓库之父的W.H.Inmom将数据仓库(Data Warehouse)定义为[4]：是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。对于数据仓库的概念可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。

数据仓库具有以下特征：

(1)数据是面向主题的

传统的数据仓库只是单纯的数据的集中，在处理不同事务时执行不同的操作。而现今的数据仓库是有较强主题组织性的，高层次地将数据归类，去除无用的数据。

(2)数据的集成性

因为数据的来源是多方面的，必须根据一定的规则将所有的数据进行重新构造，即数据的集成。

(3)数据的相对稳定性

数据仓库中的数据是历史数据，具有一定的借鉴性，不会有大的变动。

(4)数据的不易失性(长期性)

数据仓库只是物理式的、筛选式的存放数据，不会改变数据本身的性质，那么其数据结构必定包含有时间效果，这样才能更好的体现历史数据的趋势预测性。

3 数据仓库与数据挖掘的关系

既然数据仓库的唯一功能是向终端用户提供信息以支持决策者，数据挖掘体现了数据仓库的一个最重要的应用。与其他查询工具和应用系统不同，数据挖掘过程向终端用户提供提取隐藏的、非同等常的信息的能力。这种信息虽然很难提取，但能提供更大的商业和科学利益，也能使对“数据仓库和数据挖掘”的投资产出更高的利润[5]。

从数据仓库的观点，数据挖掘可以看作是联机分析处理的高级阶段。但是作为更高级的数据分析技术，数据挖掘比数据仓库的汇总分析要详细和深入的多。数据仓库技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘越来越热门的原因之一。但是，数据挖掘并不一定要有数据仓库的支持，即数据仓库并不是数据挖掘的必要条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息，同时，数据挖掘仍然经常被看做是数据仓库的后期市场产品，因为那些努力建立起来的数据仓库有最丰富的数据资源可供挖掘。显然，数据仓库被更为广泛地接受将使人们对数据挖掘更感兴趣。

从数据仓库中直接得到进行数据挖掘的数据有许多好处。数据仓库的数据清理和数据挖掘的数据清理差不多，如果数据在导入数据仓库时已经清理过，很可能在做数据挖掘时就没必要再清理一次了，而且所有的数据不一致的问题都已经得到解决了。

数据挖掘库可能是数据仓库的一个逻辑子集，而不一定非得是物理上单独的数据库。但如果数据仓库的集中资源已经很紧张，那最好还是建立一个单独的数据挖掘库。

为了数据挖掘库，也不是一定要建立一个数据库。因为建立一个巨大的数据仓库，要把各个不同资源的数据集中在一起，并解决所有的数据冲突问题，然后把所有的数据导入一个数据仓库内，是一项非常巨大的工程，比较麻烦，需要时间和金钱的花费。如果只是为了数据挖掘，可以把一个或几个数据库导到一个只读的数据库中，就把它当作数据集合，然后在这上面进行数据挖掘。其中如何抽取、集成、筛选并准备数据以解决其最为紧迫的业务问题，将是分析人员在进行数据挖掘时所面临的最大挑战。解决这些问题，不仅是数据挖掘过程中的一个艰巨任务，而且需要耗费大量的时间。尽管在数据挖掘中并非一定要有数据仓库的支持，但数据仓库的确为数据集成和准备提供了一个好办法。

4 总结

构造在数据仓库平台的数据挖掘具有很强的实用性，效率很高，节省资源。目前，数据仓库和数据挖掘技术在科学研究、市场流通、企业管理等应用方面已经达到了一定的水平。随着信息化的加强，数据仓库的多维化和数据挖掘的效率化将更有效的结合起来，促进整个信息产业的发展。

参考文献：

[1]焦李成.等.智能数据挖掘与知识发现[M].西安:西安电子科技大学出版社.2006.8:1-7.

[2]Dustin R Callaway.精通Servlets[M].北京:清华大学出版社.2002:20-45.

[3]陈文伟.等.数据挖掘技术[M].北京:北京工业大学出版社.2002.12:1-6.

[4]钟飙等.数据仓库与数据挖掘技术概述[J].计算机与网络.2003.2:11-15.

[5]夏火松.数据仓库与数据挖掘技术[M].北京:科学出版社.2004.:26-29.

篇5：数据仓库与数据挖掘结业论文

参考题目：

1.数据挖掘技术在数据仓库中的应用

2.关联规则在数据仓库中的应用

3.Aproior算法及其改进

4.决策树算法综述

5.聚类技术在XXX中的应用

6.XXX分类算法在XXX中的应用

7.分类算法的比较

8.聚类算法的比较

9.……

10.……

要求如下：

1.最上面内容为：姓名、学号、专业和成绩，见模板。

2.题目居中，宋体4号字加粗。

3.正文：首行缩进2个汉字，宋体小四号，行间距为1.25，页面设置为：左-2 右-1.5 上-2 下-2.左侧装订。

4.若包含图或表，则居中。

5.至少4页，并在每页下面的中间加上页码。

模板如下：

姓名___________ 学号____________ 专业______________ 成绩_____________

题目

1.引言

2.XXX

3.XXX

4.…

篇6：怎样去宣传数据仓库？数据库教程

主 题：怎样去宣传数据仓库?

作 者：hem

所属论坛：数据仓库

问题点数：300

回复次数：1

人气指数：6

发表时间：-9-13 16:38:32

数据仓库是 面向主题的、集成的、随时间变化的非易失的数据集合，用于支持管理层的决

策分析，

数据仓库对历史的数据做分析，以得出所分析主题的发展趋势，来支持决策层的决策分析。用于联机分析处理。

数据库 普通关系型数据库 大多用于联机事务处理，处理当前的事务、交易。

集成的例子：

就拿一家百货公司来说， 公司有好多的分公司，每个分公司有自己的日常交易纪录数据。

有真实的详细的交易历史纪录、也有月度、年度归总数据。总公司需要了解公司的运营状

况，以决定以后如何拓展业务，了解客户购物趋势，推广新产品等系列决策。试想想，如果

每个子公司将所有的历史数据都送到总公司，请问，总公司需要多少磁盘、多少资源来存储

这些数据? 总公司要这些数据干什么?总公司不需要这些详细的数据，如果子公司根据一

定的周期归总之后在送到总公司，这样一来，数据量小了，有利于分析了，

但是，这么多子

公司里面，每个公司的数据结构定义可能不相同。需要统一数据定义。

送到总公司来的数据是比较全面的。这样一来，公司可以对用户购物趋势、购物能力等主题

做一个比较全面的分析，以发掘客户、扩大公司规模。

面向主题：

通讯公司可能只是纪录用户的应收款、预付款、通话纪录、费率。如果建立一个客户主题区

域，用来纪录用户所购买的服务、用户所在地域。这个主题区域可以帮助通讯公司预测客户

增长率、客户的地域分布、客户购买服务的倾向以增加新的服务，在那些区域出售什么通讯

产品等等的决策。

随时间变化：

上面两个例子都提到这个。百货公司的记账系统、通讯公司的记账系统都是随时间变化的最

好的例子，记账系统定期归总数据，然后将归总数据不断加到数据仓库里面来，这样数据仓

库也就是随时间变化的。

非易失性的：

一般的，追加到数据仓库里面的数据是不允许更改的，它不同于联机事务处理系统，允许修改数据库纪录。这样数据仓库的数据一般不会丢失。

数据仓库有几个要点：

集成 (抽取、转换、装载) ETL

元数据 (描述数据的数据)MetaData

主题星型结构

数据仓库中 数据的查询是最重要的。 视图、索引是提高查询的选择。

篇7：数据仓库

根据Informix数据仓库系统实施方法学，我们可以将数据仓库的实施分为以下几个步骤：

1.业务需求分析

业务需求分析是数据仓库建设的基础，应该同用户进行充分沟通，了解用户的真实需求，避免理解的误差，同时，应该界定好项目开发范围。

在此阶段，主要工作包括：

(1)设定可以达到的目标并明确所有需求

(2)确定系统体系结构

从实施的角度来看，设计数据仓库系统体系结构有多种方式：

构造部门级的数据集市DataMart

直接构造企业级的数据仓库DataWarehouse系统

先建立部门级数据集市，然后发展成企业级数据仓库系统

(3)确定数据源

列出向数据仓库提供数据的数据源清单。源数据的复杂性、规模、完整性对建立数据仓库的影响比其它因素要大。要格外注意哪些数据源的数据类型、粒度和内容是兼容的。

(4)容量规划

除了体系结构之外，硬件和软件资源对数据仓库也至关重要。作为需求定义的一部分，估计数据仓库将要存储的数据量以及将对数据进行的处理很重要。

(5)技术评价

在选择软件和硬件平台时，最好听取专家的建议，尤其是对与您相似的环境有经验的专家。InformixDecisionFrontier数据仓库实现套件，为用户提供了快速、集成、完整的数据仓库实现工具。

2.逻辑模型设计

逻辑模型设计主要是指数据仓库数据的逻辑表现形式。从最终应用的功能和性能的角度来看，数据仓库的数据模型也许是整个项目最重要的方面。为数据仓库和数据集市定义数据模型是一项复杂的工作，需要领域专家的参与。

3.物理模型设计

在进行物理模型设计时，主要是将数据仓库的逻辑模型转换为在数据库中的物理表结构。在物理模型设计时，可以采用ERWin等辅助设计工具。

Informix采用ROLAP方式，数据仓库数据的存储主要采用InformixIDS(InformixDynamicServer)数据库，

InformixIDS数据库是业界领先的数据库引擎，它具有并发性、可伸缩性、多进程/多线索等特性，是Informix数据仓库应用的核心。

4.数据抽取、清洗、集成、装载等

数据抽取是数据仓库建立中的一个非常重要的步骤。它负责将分布在用户业务系统中的数据进行抽取、清洗、集成。

(1)定义数据载入和维护策略

(2)数据抽取/清洗/转换/装载

Informix提供了一系列工具访问存储在异构数据库中的业务系统数据。Informix还提供了数据复制产品，这样，系统会通过同步或异步方式自动将符合规则的数据定时进行传递，保证数据的完整性、一致性。

用户利用Informix的InfoMover可以轻松定义数据抽取、清洗、集成、装载过程，并可以对该过程进行定期调度，减轻数据增量装载的复杂度。同时，Informix数据装载策略支持第三方厂家丰富的工具，如Prism、Carleton、ETI等。

5.数据仓库的管理

数据仓库元数据的管理也是极为重要的环节。Informix的MetacubeWarehouseManager提供GUI，用户只须使用鼠标托拽方式即可对元数据进行管理。

6.数据的分析、报表、查询等数据的表现

用户分析、报表、查询工具是用户进行分析决策使用的工具。因此，其所有操作要非常简单，但提供的功能却要十分强大。Informix相应地提供了一套完善的工具。

此外，数据挖掘技术也是数据仓库系统中一个重要部分。Informix提供RedBrickDataMine以及第三方厂商产品，支持数据挖掘应用。

7.数据仓库性能优化及发布

数据仓库性能的好坏直接影响系统查询、分析响应速度。Informix提供MetaCube等工具支持汇总查询、抽样查询和后台查询，以提高数据仓库查询效率。

总之，Informix为用户数据仓库应用提供了一个快速、完整的解决方案。采用Informix数据仓库解决方案可以使您的数据仓库系统具有高性能、高可扩展性，高开放性，可以自己进行定制等特性，同时，Informix还提供专业数据仓库咨询服务，这将充分保证您的数据仓库系统建设快速、及时，保证它能真正发挥作用。

篇8：浅谈数据挖掘与数据仓库

1.1 数据挖掘与传统数据分析的区别

数据挖掘与传统的数据分析, 如查询、报表、联机应用分析的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。即数据挖掘是要发现那些不能靠直觉发现的信息或知识, 甚至是违背直觉的信息或知识, 挖掘出的信息越出乎意料就可能越有价值。而传统的数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件。因此数据挖掘与传统分析方法有很大的不同。

1.2 数据挖掘的应用价值

(1) 分类:首先从数据中选出已经分好类的训练集, 在该训练集上运用数据挖掘分类的技术, 建立分类模型, 对于没有分类的数据进行分类。 (2) 估计:与分类类似, 不同之处在于, 分类描述的是离散型变量的输出, 而估值处理连续值的输出;分类是确定数目的, 估计是不确定的。 (3) 聚类:是对记录分组。聚类和分类的区别是聚集不依赖于预先定义好的类, 不需要训练集。中国移动采用先进的数据挖掘工具马克威分析系统, 对用户wap上网的行为进行聚类分析, 通过客户分群, 进行精确营销。 (4) 关联规则和序列模式的发现:关联是某种事物发生时其他事物会发生的这样一种联系。例如:每天购买啤酒的人也有可能购买香烟, 比重有多大, 可以通过关联的支持度和可信度来描述。与关联不同, 序列是一种纵向的联系。例如:今天银行调整利率, 明天股市的变化。 (5) 预测:通过分类或估值得出模型, 该模型用于对未知变量的预言。 (6) 偏差的检测:对分析对象的少数的、极端的特例的描述, 揭示内在的原因。

除此之外, 在客户分析, 运筹和企业资源的优化, 异常检测, 企业分析模型的管理的方面都有广泛使用价值。

2 数据仓库

2.1 数据仓库的特征

(1) 面向主题 (Subject Oriented) 的数据集合。数据仓库围绕一些主题如顾客、供应商、产品和销售来组织。数据仓库关注决策者的数据建模与分析, 而不是组织机构的日常操作和事务处理。 (2) 集成 (Integrated) 的数据集合。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的, 必须消除源数据中的不一致性, 以保证数据仓库内的信息是关于整个企业的一致的全局信息。 (3) 时变 (Time Variant) 的数据集合。数据存储从历史的角度提供信息。数据仓库中的数据通常包含历史信息, 通过这些信息, 可以对企业的发展历程和未来趋势做出定量分析和预测。 (4) 非易失 (Nonvolatile) 的数据集合。数据仓库的数据主要供企业决策分析之用, 所涉及的数据操作主要是数据查询, 修改和删除操作很少, 通常只需要定期的加载、刷新。数据仓库里的数据通常只需要两种操作:初始化载入和数据访问, 因此其数据相对稳定, 极少或根本不更新。

2.2 数据仓库的类型

数据仓库的类型根据数据仓库所管理的数据类型和它们所解决的企业问题范围, 一般可将数据仓库分为下列3种类型:企业数据仓库 (EDW) 、操作型数据库 (ODS) 和数据集市 (Data Marts) 。 (1) 企业数据仓库为通用数据仓库, 它既含有大量详细的数据, 也含有大量累赘的或聚集的数据, 这些数据具有不易改变性和面向历史性。此种数据仓库被用来进行涵盖多种企业领域上的战略或战术上的决策。 (2) 操作型数据库既可以被用来针对工作数据做决策支持, 又可用做将数据加载到数据仓库时的过渡区域。与EDW相比, ODS是面向主题和面向综合的, 易变的, 仅含有目前的、详细的数据, 不含有累计的、历史性的数据。 (3) 数据集市是为了特定的应用目的或应用范围, 而从数据仓库中独立出来的一部分数据, 也可称为部门数据或主题数据。几组数据集市可以组成一个EDW。

2.3 数据仓库与传统数据库的比较

二者的联系既有联系又有区别。数据仓库的出现, 并不是要取代数据库。目前, 大部分数据仓库还是用关系数据库管理系统来管理的。可以说, 数据库、数据仓库相辅相成、各有千秋。二者的区别可以从以下几个方面进行比较:

(1) 出发点不同:数据库是面向事务的设计;数据仓库是面向主题设计的。 (2) 存储的数据不同:数据库一般存储在线交易数据;数据仓库存储的一般是历史数据。 (3) 设计规则不同:数据库设计是尽量避免冗余, 一般采用符合范式的规则来设计;数据仓库在设计是有意引入冗余, 采用反范式的方式来设计。 (4) 提供的功能不同:数据库是为捕获数据而设计, 数据仓库是为分析数据而设计。 (5) 基本元素不同:数据库的基本元素是事实表, 数据仓库的基本元素是维度表。 (6) 容量不同:数据库在基本容量上要比数据仓库小的多。 (7) 服务对象不同:数据库是为了高效的事务处理而设计的, 服务对象为企业业务处理方面的工作人员;数据仓库是为了分析数据进行决策而设计的, 服务对象为企业高层决策人员。

3 数据仓库与数据挖掘的关系

当然为了数据挖掘你也不必非得建立一个数据仓库, 数据仓库不是必需的。建立一个巨大的数据仓库, 把各个不同源的数据统一在一起, 解决所有的数据冲突问题, 然后把所有的数据导到一个数据仓库内, 是一项巨大的工程, 可能要用几年的时间花上百万的钱才能完成。只是为了数据挖掘, 你可以把一个或几个事务数据库导到一个只读的数据库中, 就把它当作数据集市, 然后在他上面进行数据挖掘。

摘要：数据挖掘与数据仓库是当今新的技术热点, 数据仓库是一种解决数据使用的高效技术, 数据挖掘为之提供了更好的决策支持和服务, 同时促进了数据仓库技术的发展。本文简单介绍了这两者的概念和应用。

篇9：大数据让数据仓库更具价值

谈到大数据，首先想到的是数据管理，在数据管理方面，人们想到的是Hadoop和MapReduce等新兴技术，但是这些新兴技术并不能解决所有的数据管理问题。数据仓库作为一种传统的数据技术在大数据时代依然焕发着自己的活力。

数据仓库：从技术角度看问题

说到数据仓库，就要从数据仓库的概念提出说起。数据仓库概念最早诞生于1983年，然后就出现了商务智能，直到20世纪90年代开始成熟，并出现了提取、转换和加载（ETL），ETL的出现大大促进了商务智能（BI）的发展。以后，数据仓库出现了各种扩展，出现了多维的联机分析处理（OLAP）、数据集市、探查型数据仓库和ODS。

有了ODS即便更新和业务处理遇到集成数据问题，系统还是能够进行处理。其后，星型模型和事实表等都有了容身之地。有了探索型数据仓库，统计学家有了一个数据基础，可以支撑从数据管理员到统计分析员等不同角色的数据挖掘分析需求。一直到后来，数据仓库变成了企业的信息工厂，进而数据仓库也被称为企业数据仓库（EDW）。

随着EDW环境复杂性的增加，企业越来越认为需要一种监控机制来管理数据仓库，而这种监控机制与事务处理的监控机制本质上存在着各种差异。与此同时，商务智能的发展也随着数据仓库技术的发展而不断演进，商务智能的发展要求其不仅仅为决策层提供支持，同时，也要给普通的业务人员提供支持。不仅要能从整个战略层面进行综合分析，还能够在具体的战术层面进行详细指导，这些是商务智能未来的发展趋势。随着信息量的快速增长，产生了如网页文本等信息数据分析的需求。进而衍生了对大数据的分析技术。

事实上，大数据和数据仓库是同一个问题的两个方面，大数据是业务视角，需要汇聚各类数据，建立客户全景视图，实现客户深度洞察，而数据仓库是技术视角，需要汇聚各类数据，全景实现数据全生命周期管理、元数据管理和数据监视管理。

数据仓库和大数据的结合就是通过技术手段来解决业务问题。随着大数据时代的发展，数据仓库对于企业决策的支持作用将会越来越大。由此，数据仓库也成为了各大数据解决方案厂商着力开展的业务领域。IBM、甲骨文，惠普、Teradata等厂商纷纷部署了自己的数据仓库技术和产品。绝大多数的数据仓库厂商能够利用网格或者云架构将他们的产品扩展到PB级别，而且他们能够完成数据库内分析，即在大规模并行数据仓库网格或者云环境中实现。他们还可以在企业数据仓库之内来支持数据转化和数据清洗功能。

数据仓库发展迎挑战

目前，大量的数据运行的企业中，新兴的数据类型层出不穷，数据量增加的速度越来越快，越来越多的业务提出实时的需求，所有这些都让数据仓库在企业运营和领导决策支持中显现出“疲态”。

数据仓库遇到的第一个挑战是对大量数据的存储和管理。现在的数据量已经大大超越了传统事物处理的数据量，而且随着时间的推移，数据量还将不断增加，数据类型还将更加多元化。

第二是数据仓库要解决并行处理的问题。在传统联机事务处理应用中，用户访问系统的特点是短小而密集。对于一个多处理机系统来说，能够将用户的请求进行均衡分担进行并行操作是非常关键的。在数据仓库系统中，用户访问的特点是庞大而稀疏，每一个查询和统计都很复杂，但是访问频率很低。

最后，对于企业级数据仓库而言，数据源的 ETL操作是另一个挑战，特别是实时的ETL操作。传统的数据工具不能解决高容量和低延迟的需求，而能够满足这些需求的技术正是企业需要的。要解决这项需求所面临的主要挑战是，是否可以在给定的时间内移动必要的数据量。传统的批量处理过程需要几个小时甚至几天的时间才能够完成这样的操作，这就不能满足业务实时决策的要求。其他相关的挑战在加载到数据仓库时要减少操作系统上的影响，因为在数据仓库中运行大的查询会降低操作系统对使用者和客户的服务。

另外，从各种各样用户设备上访问数据仓库中的业务信息，也影响到了数据仓库的工作量以及它所支持的信息。从工作量的角度来看，用户设备需要大量的小查询，就需要在很低的延迟下跨越地域进行回答。从信息的角度来看，用户使用移动设备希望实现随时随地的即时访问，用户需要的是最新的信息。而且需要很快地加载信息，以便用户可以和历史内容一起访问数据。

三把利剑破解数据难题

Forrester高级数据管理分析师James Kobielus曾表示，数据仓库可以通过三种方式帮助企业处理好数据问题：第一，在企业数据仓库中，给不同的数据一个比较稳定的主题划分，按照主题来组织企业数据，比如，数据仓库架构中的OLAP cube，客户数据是一个分区，财务数据是一个分区，人力资源数据是一个分区。不管是物理上的实现还是逻辑上划分，这些数据主题都会比较稳定。这样有利于根据数据的关联性来匹配下游的应用和用户。这是数据仓库管理的核心所在，也是通过数据仓库处理大数据的重要方式。

第二种方式是通过数据库内分析，也就是在数据仓库内部执行数据挖掘。利用数据仓库执行数据清洗、数据挖掘和回归分析。因为使用数据挖掘或者回归分析可以从根本上了解数据建模式，所以这种方式可以很好地处理数据。然后使用数据库内挖掘来填充下游的分析数据集市，数据挖掘和统计模型专业人士可以利用它将复杂的模式实现可视化。

第三种方式就是将数据仓库作为数据治理的核心，可以合理地在数据仓库中维护主数据。当数据仓库作为数据治理与数据清洗的核心时，它将有助于搞清楚所有的信息。在整个企业架构中，数据就像是洪水一般涌入数据仓库，数据仓库作为数据的枢纽，可以确保大数据在下游的应用。

有了这三种方式，然后结合Hadoop、MapReduce等大数据新兴技术，企业就可以处理好大数据难题。

总之，数据仓库是一项基于数据管理的综合性技术和解决方案，数据仓库是企业不可或缺的关键性组成部分，它将成为数据库市场的新一轮增长点。作为下一代应用系统的重要组成部分，数据仓库可以把企业方方面面产生的数据汇集起来，然后分门别类，并最终对这些繁复复杂的信息进行分析处理，让其成为了解企业运营、进行企业决策的宝贵资料。