烟草行业大数据应用

烟草行业大数据应用（共6篇）

篇1：烟草行业大数据应用

烟草专卖管理局数据综合分析应用

解决方案

xxxx电子科技有限公司

2013年7月

目录

一、建设背景........................................................3

二、建设思路........................................................3

三、建设目标........................................................3

四、总体设计........................................................4

4.1、设计原则...................................................4 4.2、设计思路...................................................5 4.3、总体架构...................................................6

五、系统实现........................................................6

5.1、整合内容...................................................6 5.2、采集处理方式...............................................7

5.2.1、数据采集..............................................7 5.2.2、数据整合..............................................9 5.3、数据应用..................................................15 5.3.1、应用定制.............................................15 5.3.2、数据展现.............................................21 5.3.3、应用主题数据.........................................21 5.4、主要功能..................................................22 5.4.1、数据来源管理.........................................22 5.4.2、主题和指标管理.......................................22 5.4.3、报表定制.............................................23 5.4.4、图表定制.............................................23 5.4.5、热点定制.............................................23 5.4.6、连接资源管理.........................................23 5.4.7、页面定制.............................................23 5.4.8、用户及角色管理.......................................24

六、系统价值.......................................................24 5.1、企业报表..................................................24 5.2、主题分析..................................................25 5.3、运营监控..................................................25

七、成功案例.......................................错误！未定义书签。

7.1、河北省省级卫生数据整合共享和综合信息管理平台错误！未定义书签。7.2、国药乐仁堂信息采集整合展现管理平台........错误！未定义书签。

八、公司及产品优势.................................错误！未定义书签。

8.1、公司优势..................................错误！未定义书签。8.2、产品特色..................................错误！未定义书签。

一、建设背景

近几年，中国烟草行业信息化飞速发展，各个企业目前己经基本完成了基础设施建设和业务系统建设，如营销系统、专卖系统、物流系统、财务系统、0A系统等。这些信息系统之间相对独立，缺乏有机联系，形成了信息孤岛，无法做到信息资源的共享，进而影响了许多正常业务的效率。由于各单位前期在实施信息系统过程中分别采用了各自的系统标准，因而导致了现有各信息系统之间很难做到“无缝连接”，并且在各系统间存在大量的“手工连接”，进而造成大量的信息失真和信息延时，这种情况还对信息管理部门增加了很多工作量，每天为数据而忙碌。同时各业务系统侧重于业务处理，不能进行充分的价值挖掘，缺乏为企业领导或业务处室的综合分析、宏观决策提供有力支持。因此，在烟草企业数据综合分析应用系统的建设与完善就显得尤为重要。

二、建设思路

三、建设目标

通过建立烟草数据综合分析应用系统，实现收集目前的营销系统、专卖系统、物流系统、财务系统、0A系统等以及其他业务系统的相关数据，并对数据进行整合，加工形成涵盖管理、采购、客服、物流、质管、运营、财务七大领域的信息域，并对信息进行多维度的综合展现，提供各业务所需的综合报表，从而充分挖掘利用现有信息资源，为领导提供决策支持，并更好的为各业务科室和一线业 务人员服务。

四、总体设计 4.1、设计原则

本项目在系统设计、软硬件采购、应用开发、系统集成和服务过程中应采用已有的国家标准、行业标准和主流国际标准，遵循但不仅限于下列标准体系和要求：

《烟草行业信息化标准体系》及其有关标准 《烟草行业信息化建设统一技术平台要求》 《烟草行业数字证书应用接口规范》 《烟草行业信息系统安全等级保护定级指南》 国家《SOA标准体系》

除了遵循上述标准，在整个项目设计开发过程中，需要遵守下面的5项原则。

1.技术的先进性

 系统应采用先进成熟的技术，以保证投资的有效性和延续性。 支持常用的操作系统平台、常用的数据库系统、常用的应用服务器平台和常用的开发工具，与XX烟草现有系统互联互通，以保证系统的兼容性。2.系统的稳定性

 保证系统能够正常运作, 系统应能够7×24小时连续稳定工作。 软件版本升级或改进应在不影响业务的情况下进行，保证系统可以稳定、平滑过渡。3.系统可维护性

 系统应能使系统管理员集中方便地配置、监视、控制、诊断整个系统，并且能够监视和控制用户情况、提高效率、消除隐患。

 对于系统各功能模块的配置、控制、监视、诊断等工作能够通过专用的系统管理工具方便的进行，无须进行专门的编码工作。

 数据中心系统将按照集中的模式进行部署，因此对系统处理并发任务的 能力提出了很高的要求，投标方需要提供大规模并发流量的处理机制以及发生性能问题时的解决方案；并提供实时交易量(并发交易量及其硬件配置)和并发用户量(并发用户数及硬件配置)的相关测试报告和案例说明； 4.系统安全性

 系统应保证信息的安全性，即保证此系统中的信息能够安全存储，并有良好的数据备份和快速恢复方案；

 采用分级的安全体系，保证数据在处理和传输全过程的安全性。系统支持对关键的信息（如：用户密码）进行加密保存，同时支持对一些比较重要的业务数据在传送和存储过程中进行加密保护；

 保证系统中的信息不被非授权用户访问，按组织结构划分操作人员的操作权限，使用烟草办公自动化系统的用户身份认证系统，且各种使用权限所能调用的应用软件模块可按要求灵活配置；

 系统在身份认证方面支持多种的认证手段，如：口令认证、数字证书认证等；

 系统支持基于角色和基于资源的授权方式，支持用户到角色的映射，并采用角色的身份来控制对特定操作的访问权，支持层次化，结构化和区域化的角色设定；

 系统需要有对系统数据的关键操作（如授权操作、流程环节变更）进行追踪和回溯的能力；

4.2、设计思路

1、模块化的系统结构

系统结构采用三层（3-tier）或多层（N-tier）设计模型；设计模式为B/S 模式。由合理分划、边界清晰的子系统和模块组成，形成组装式、插件式的体系结构，以利于系统的升级、扩充和发展。支持业务流程的可调整性；支持业务信息的可调整性和延续性。

2、面向服务的整体架构（SOA）

系统模块都是向系统内部和外部提供服务的逻辑单元；采用标准的协议提供 服务。采用松耦合的机制与外部系统进行信息交换和系统之间的互操作。

3、无缝集成的应用

提供与其他相关信息系统的数据接口、支持开放的XML 标准接口规范。不同的异构系统之间可以无缝地实现数据集成，也可以无缝地实现业务流程的集成。

4.3、总体架构

系统基于SOA设计理念，架构信息采集、整合、展现信息系统，为增值服务管理奠定总体架构基础，并以“服务”方式，扩展将来主题业务数据分析、服务系统。

五、系统实现

5.1、整合内容

数据来源主要为营销系统、专卖系统、物流系统、财务系统、0A系统以及其他业务系统。5.2、采集处理方式

5.2.1、数据采集 5.2.1.1、功能设计

通过整合完善数据采集系统，更加高效的接收和处理来自各系统的数据，实现数据采集工作的灵活设置和快速部署，使数据采集工作更专业化和规范化，减轻数据提供单位的负担，提高数据采集效率和质量。支持基于事件发生时接收数据消息、支持数据库改变时数据同步、支持定时提取数据、支持外部文件导入、支持异地全局数据库。并且支持基于消息的数据传输，在前置机感知数据改变后，通过WebService机制项服务器传递消息；支持通过各类数据传输中间件进行消息的传递。

数据采集方式包括：自动采集、定时采集。

自动采集是指通过系统接口，自动实时从数据源采集数据，适用于实时性要求较高的数据信息。

定时采集是指在设定好的时间点对数据源数据进行采集，适用于数据源有规范的数据传输技术架构。

数据审核：在数据加载到数据库前对采集的数据的格式及数据内容进行校验和审核，保证数据采集平台采集的数据质量。

自动采集：支持自动采集和定时采集方式，实现采集系统自动获取数据源数据的功能。

数据加工处理：包括数据信息清洗、信息转换、信息加载等功能，将从数据源获取过来的数据进行规范化处理，实现多源数据组合、冲突数据处理、数据格式检查等功能。并将其转换成数据仓库需要的格式。数据加载功能是将经过规范化处理后的数据存放到数据仓库中。需要定义数据的加载频率和加载方式。数据的加载频率根据数据的产生频率和数据仓库对数据的分析粒度决定，可以根据需要来定义加载的间隔。

采集平台系统功能结构如下图：

5.2.1.2、技术实现

1、技术架构

通过各种采集方式把现有各部门、企业的诸多系统通过数据交换平台抓取进入数据中心，并可以通过业务报表填报的功能补充信息，支持暴扣文档、多媒体、XML、文件以及数据库等多种方式的数据采集。

2、数据接口

本系统采集通过建立数据口的方式与现有的营销系统、专卖系统、物流系统、财务系统、0A系统以及其他业务系统进行数据采集，并将采集数据进行审核与加工处理。与此同时考虑到与新系统的整合，系统将预留数据交互模块并建立数据交换机制，为新业务系统的接入提供准备。

5.2.2、数据整合

利用完善的ETL工具，通过节点控制库、信息共享与管理库把采集来的数据按照业务内在关联形成能够表述完整业务链信息的整合信息，并为下一步的数据应用打定基础。

5.2.2.1、技术架构

1、ETL工具介绍

ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际项目应用。所以从项目应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行 一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。

ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。

实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。规范化数据格式 可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。拆分数据：依据业务需求对字段可进行分解。验证数据正确性：可利用Lookup及拆分功能进行数据验证。数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。Lookup 查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。建立ETL过程的主外键约束 对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

2、整体结构

系统将各个业务系统中采集到的销售、财务、物流、仓储等基本业务数据进行整合，形成节点前置库，并进行数据加载，形成结构化的综合信息共享库与管理数据库，最后通过加工处理形成数据集市，并通过综合分析、统计报表、智能分析、决策支持等方式展现给用户。如下图所示： 5.2.2.2、数据资源整合

主要功能是实现将分散、异构的数据和记录进行规范化整理并实现聚合处理，生成基本数据集所规范的、全面动态的企业业务综合数据信息（宏观或个案级别综合业务视图）共享库，该综合共享库支持动态、交互、智能的综合业务管理，可发布（提供）综合集成的“全景业务信息”以支持全局性同步信息共享。主要功能模块包括数据规范化整理（数据校验、语法学清洗、语义学清洗等）和数据聚合处理（数据解析、整合存储/主数据管理、展现预处理等）。

流程如下图：

1、数据校验清洗 数据质量问题分类：

根据处理的是单数据源还是多数据源以及问题出在模式层还是实例层我们将数据质量问题分为4类:单数据源模式层问题、单数据源实例层问题、多数据源模式层问题和多数据源实例层问题，具体的质量问题表现如下：

1）缺少完整性约束,糟糕的模式设计，2）数据记录的错误,3）异质的数据模型和模式设计,4）冗余、互相矛盾或者不一致的数据,5）唯一性约束,⑾引用约束,6）拼写错误,7）相似重复记录,8）互相矛盾的字段,9）命名冲突,10）结构冲突,11）不一致的汇总,12）不一致的时间选择。

问题数据处理：

单数据源情形中出现的问题在多数据源的情况下会变得更加严重.多数据源没有列出在单数据源情形中就已经出现的问题.模式层次上的问题也会体现在实 例层次上.糟糕的模式设计、缺少完整性约束的定义以及多个数据源之间异质的数据模型、命名和结构冲突等,都属于该类问题.可以通过改进模式设计、模式转化和模式集成来解决模式层次上的问题.实例层次上的问题在模式层次上不可见,一些可能的情况有数据拼写错误、无效的数据值、重复记录等。

对于第1种情形,由于在数据输入时不知道电话字段的值,因此在数据库中以存放一个无效值来表示.如果针对电话字段定义一个规则存放在数据清洗库中,清洗工具就能够根据这条规则判断出哪些是无效值.对于第2种拼写错误的情形,需要在数据清洗库中建立一个存放所有城市名的查找表,通过与该查找表中的城市名相比较,就可以判断出数据库中存放的本来应该是哪个城市.对于第3种情况,一般也需要利用外部的查找表才能检测出来并加以改正.在数据清洗工具中,一些典型的查找表应该是内建的,此外也应该具备可扩展性,允许用户加入新的查找表.对于第4种情形,在一个自由格式的文本类型的字段里包括了很多部分,每个部分都可以单独作为一个字段.如果每个部分的先后顺序一定,且互相之间有分隔符或者保留字,比如Street,Road等等,就比较容易处理.但是,实际中的情况往往不是这样,因此要通过机器学习或者其他办法来解决.由领域专家选定学习样本(相对于所要处理的数据集,样本数量少得多)来训练系统,等训练好了以后,再由系统自动处理大规模的数据集.由于采用机器学习的办法,因此一般来说,需要折衷考虑记忆率和准确率.我们将利用隐马尔科夫模型(HMM)的解决办法.第6种情形的问题是字段之间不对应.为了改正,需要知道哪个字段更可信,这必须利用其他信息才能决定。

第8种和第9种情形表示的是相似重复记录的情况.在第8种情形里,一个记录的name没有简写,而另一个记录的name被简写了,通过定义合适的编辑距离函数,或者内建常用的缩写规则,清洗工具可以检测出这类重复记录.在第9种情形中,同一个现实实体(两个记录的name值相同),但是两个记录的bdate值不一样,在合并这两条记录时,如何选择一个合适的bdate值,是一个棘手的问题.相似重复记录的匹配和合并,是数据清洗过程中一个很重要的问题.首先,选择一个好的距离函数很重要.另外,记录的匹配过程非常耗时.如果采用最简单的方法,所有记录之间两两进行比较,以此来决定是否匹配,其计算复杂度为O(n2),这里n为 数据库中的记录数.对很大的数据库来说,这样的时间开销是无法忍受的。

在检测相似重复记录之前,需要先对数据进行一些处理.典型的处理操作包括: 字段分裂.从自由格式的文本字段中抽取结构,分离各个部分.验证和改正.根据查找表来验证字段值的正确性,若发现错误,则加以改正.如果提供合适的领域知识,该过程也可以验证字段之间的依赖关系.数据标准化.将同一类型的数据用统一的格式来表示,比如日期、电话号码、性别等.在完成大部分的数据转化和其他清洗步骤以后,就可以执行相似重复记录的匹配和合并了。通常情况下,指向同一个现实实体的两条记录的信息是部分冗余的,它们的数据互为补充。因此,通过将其合并,能够更准确地反映该实体.相似重复记录清除可以针对两个数据集或者一个合并后的数据集.首先,需要识别出标识同一个现实实体的相似重复记录,即记录匹配过程.随后,将相似重复记录合并成一个包含该实体的更多属性,而且无冗余信息的记录,同时从数据集中删除多余的记录。

最简单的情况是,数据记录具有这样的属性集(或者属性),它总能够惟一标识一个实体.这时,只要对两个记录集在该属性集上作等值连接,就完成了记录匹配过程.对单个记录集的情形,先根据该属性集进行排序,然后通过检查相邻的记录,就可以判断出它们是否为相似重复记录.如果不存在这样的键属性集,而且数据中可能还存在错误,例如拼写错误等,上面的简单办法就不合适了.这时可以通过引入匹配规则来完成模糊匹配,规则是描述性的,而且可以利用用户自定义的函数.例如,可以有这样的规则:如果name字段相同,而且address字段相似度也很大,那么这两条记录是重复记录.字段之间的相似度,一般用0~1之间的数值来表示,而且不同的字段对记录之间总的相似度的贡献,具有不同的权值.相似度的定义和权值的分配,要由领域专家来确定.对字符串类型的数据,精确匹配或者基于通配符、词频、编辑距离、键盘距离和发音相似度的模糊匹配是很有用的,我们还考虑了字符串的缩写形式并结合信息检索的向量空间模型来定义文本元素之间的相似度。

在处理大的数据集时,匹配重复记录是一个非常耗时的过程.因为是模糊匹 配,所以整个过程相当于要对两个记录集做笛卡尔积.然后,根据相似度进行排序,那些相似度超过某一阈值的记录被认为是重复记录,低于某一阈值的记录则不被认为是重复记录，而相似度介于这两个阈值之间的记录是候选的相似重复记录,需要用户作出决定。因为这类记录的数量不多,所以由用户来决定是可行的。

2、数据聚合处理

根据信息采集整合展现信息系统的建设需求，把清洗后的数据抽象为采购、客服、物流、质管、运营、财务6个业务域。

5.2.2.3、数据分类存储

1、标准数据

标准数据是系统运行的数据基础。标准数据包括业务数据的所有数据标准规范，通过这个库和数据校验机制对数据中心的数据进行标准化保障。由于数据标准存在着时效性，因此针对有时效性的数据进行版本控制，不同的版本有各自的生命周期，不同生命周期中的业务数据对应不同版本的数据。

2、业务数据

业务数据是指从各业务系统中各环节收集上来的业务数据，如财务信息、物流信息、采购订单信息等等。这些数据将会存储到相应的业务域中进行统一管理。

3、主题数据

业务数据以主题的方式进行整合和预处理，本系统主要包括的数据主题有：采购、客服、物流、质管、运营、财务。

5.2.2.4、中间库存储服务

是承接信息获取服务所加载的数据集并实现按数据提供将原始数据集归档。根据业务需求和技术能力其具体实现可做多种策略选择：“基于自定义建模的关系数据存储”，或“基于自定义建模的关系数据存储+基于主数据管理模式的操作数据存储”。区别在于对业务需求变化扩展的适应性和实施成本效益，另外基于主数据管理模式的操作数据存储可以直接支持面向全局同步信息共享视图展现，同时可相当程度支持数据利用业务需求变化。数据仓库存储服务是面向决策支持、基于决策模型的信息展现引擎。

当综合数据信息共享库（综合数据存储服务）包含基于主数据管理的操作数据存储和基于决策模型的面向主题存储时，综合管理信息平台对因业务需求变化（决策模型变化或信息共享规范扩展）的适应性和支持能力得以提高。

5.2.2.5、数据聚合

数据仓库是为了系统建立的数据库,其用来对业务进行统计分析、业务监督、绩效考核、应急指挥及决策支持等。其是通过从各系统数据中抽取归纳出来的，主要包括共享资源数据库和主题数据库。

5.3、数据应用

数据应用模块采用SOA构架,统一了Web应用构架，统一了元数据，能够访问企业资源系统的所有数据源，为所有用户提供了基于纯浏览器的全面的BI功能。

5.3.1、应用定制

系统主要应用定制方式为：报表定制、热点定制、图形定制、数据挖掘四部分，主要实现技术路线为下图： 5.2.1.1、定制类型

1、热点定制

定制文本数据混合的输出方式，简称热点定制。可提供可编辑页面，支持从WORD或网页直接黏贴内容以规范文本输出。提供指标选择功能，让用户可以自行选择汇总指标到编辑页面，并在选择时指定汇总指标的各种条件的默认值。保存热点名称和用到的汇总指标定义到数据库，把可编辑页面的HTML代码保存到数据库，并可以进行修改。如下图：

2、报表定制

通过指定汇总指标及其分组项、条件，形成各种类型的报表。树形结构列出所有的汇总指标以备用户选择，可以多选，并可以选择上月数、去年同期数。综合选择的汇总指标，列出其共有的分组因素，并分为三栏显示。根据用户指定的纵向分组因素和横向分组因素生成预览表。并可保存所有用户定义到指定的报表名称。如下图:

3、图形定制

通过指定汇总指标及其分组项、条件，形成各种类型的图形。树形结构列出所有的汇总指标以备用户选择，只能单选。分析用户用户选择的汇总指标并将其分组因素列为两栏。其一为输出分组项选择，选择后可以预览报表和图形、其二为条件或默认条件指定区域，在分组因素外多出时间范围条件。允许用户选择输出图形的类型——包括比例图、直方图、日线趋势图或月线趋势图，如果用户选择的是趋势图则分组项选择失效，只能按照时间进行分组。允许用户预览输出结果（不含数据或随机数据），并对图表位置进行调整。如下图：

4、数据挖掘

对展现的数据进行深入挖掘探索，一直到基础数据或相关链接系统。上级中规定了在数据输出的同时把每个数据项的元数据属性同时输出，该属性包括：该数据项对应的汇总指标的指标ID；该数据项已经包含的条件；该数据项已经包含体现的分组因素；该报表、图形或热点本身定义中规范的链接方向（可以为空）。

依据以上元数据的定义，有两种分支：

（1）如果该报表、图形或热点本身定义中规范的链接方向不为空，则 1）如果链接方向为本系统中的其他数据资源则把元数据属性中的1、2、3部分分别传递给该数据资源，并把当前点击的数据项的值和其分组项关系也作为条件传输给目标数据资源，然后调用数据输出功能对目标数据资源进行输出。

2）如果链接方向为其他业务系统中的页面资源，则利用单点登录功能模拟出登录效果，并打开该页面资源。

（2）如果该报表、图形或热点本身定义中规范的链接方向为空，则 1）分析该汇总指标已经体现了哪些分组因素，条件中考虑了哪些分组因素，从而获得没有涉及到的分组因素列表，并用弹出菜单的方式请求用户选择向下展开至哪个分组因素，菜单末尾为“基础数据”；如果没有未涉及到的分组因素则直接进入基础数据查询。

2）如果进入的还是汇总指标的查询，则系统形成新的临时图形分析定制，依据用户选择的分组项和原数据项含带的元数据生成，如果是绝对数指标则默认以比例图方式展现，如果是计算指标则默认以直方图展现。

3）如果进入的是基础数据查询，则判断该汇总指标通过哪些基础数据视图的数据汇总得来，并提取这些基础数据视图中列表显示的基础数据指标，配合汇总指标的分组因素（本次涉及到的）形成基础数据列表的输出表头，同时依据汇总指标的条件设置和基础数据视图的关联关系形成SQL语句，从而得到数据。

5.2.1.2、数据分析支撑

实现应用定制的支撑工具包括元数据模型设计和管理工具、多维分析服务器、报表工具、多维分析工具、数据管理工具

1、元数据模型设计和管理工具

本系统采用统一的元数据模型。应用统一的元数据模型设计和管理工具，通过图形化的界面，就可以对多数据源进行描述，并且能够同时描述DB，OLAP等各种数据源。为应用提供统一一致的数据访问。同时元数据模型设计和管理工具支持通用的CWM标准能够和各种第三方的工具实现元数据交换。可直接使用第三方工具生成的元数据模型。从而：

1、减小了开发工作量；

2、减小了系统维护 和修改工作量；

3、提高了应用开发效率；

4、具有良好的元数据的层状扩展性。

是应用和数据库之间的语义层，他封装数据库底层表和字段，建立表连接，为后续开发人员和最终用户提供一个贴合业务术语的数据库结构视图。在元数据模型中可以对已有的数据库结构进行描述，加入各种计算字段，绑定数据的过滤器等，同时可以采用动态SQL，使查询的语句根据不同的条件和情况灵活的适应数据库结构。他可以连接多个数据源，能够连接OLAP,DB等各种数据源。提供对元数据的定制和管理以及安全性控制等相关控制。可直接使用各种标准工具制作的元数据模型。

2、多维分析服务器

从各类数据源（数据库、数据仓库、平面文件）中精心筛选出来的“黄金”数据创建成称为PowerCubes的多维数据立方体。立方体是按探察业务的OLAP多维因素分析模型的设计创建，通过对多维数据立方体的OLAP分析，用户可以辨明趋势、跟踪业务运作、创建高效的统计汇总报表。

支持异构数据源访问，能够适应用户从简单到复杂的应用数据环境，支持虚拟Cube技术(可按时间生成不同的子Cube，可针对单个子Cube进行增量更新，通过虚拟Cube访问多个子Cube,支持虚拟Cube的各子Cube维度不同，以适应变化)。Cognos OLAP Modeling生成的Cube为压缩方式，通常为原始数据占用空间的十分之一甚至更小。同时具有足够的灵活性，支持手工自定义层次和节点，支持维度中不同层次节点之间的计算，支持指标层次灵活设计。

3、报表工具

可以通过其制作各种类型的报表，制作报表时不仅能够连接数据库，还能连接OLAP服务器，能够同时连接数据库，OLAP数据源。用户直接通过在没有插件，没有Applet的纯浏览器界面中鼠标托拽就可以实现各种列表，交叉表，图表，分段报表，主从报表等各种常用报表,以及中国特色的非平衡报表，动态仪表盘，KPI报表等各种高级报表报告。报表可以分页面设计，每页可以有多个查询，每个查询可以连接多个数据源，甚至异构数据源。报表的内容采用的是化繁为简的方式，可以精确控制报表中每一个对象的各种属性。可以通过鼠标拖拽方式将包括声音，视频，图形，表格，文字，关系型数据库内容，OLAP等任何有用的信息集成在报表中。还可以方便实现报表数据和GIS地图数据的无缝集成。报表布局可以精确控制和排版，支持所见即所得的打印。报表设计好之后可以批量生成，也可以通过用户交互条件生成，甚至基于时间以及事件等进行调度，也可以通过Email等方式主动推送给用户。同时采用直接保存即发布的方式，大大简化了报表的发布和管理。

对于报表应用，主要由即席报表工具和即席查询工具来实现。通过报表工具可以制作各种固定格式的报表报告等，通过即席查询工具用户可以方便的进行自助式报表的制作。工具提供了一个完全基于Web方式的交互式数据查询、报表定制和报表浏览界面，能够实现各种复杂的报表，并提供定时运行、报表数据监视预警、多渠道报表分发（如通过Email）等功能。本工具还提供了强大的仪表盘，多媒体报表，地图报表等各种报表报告功能。

工具支持用户直接在没有插件，没有Applet的纯浏览器界面中通过鼠标拖拽的方式进行报表的制作，同时报标志制作完成后，直接通过点击鼠标，就能够将报表进行发布，实现信息的共享。

由于系统采用统一的元数据，能够同时访问国药乐仁堂医药有限公司的各个数据源，所以用户在进行报表制作的过程中不需要了解数据源的具体结构，而只需要从业务的角度出发，通过鼠标拖拽就能够将多数据源的数据整合在一张报表中展现

通过统一的元数据模型设计之后，就可以支持用户直接通过纯浏览器界面，进行从简单到复杂的各种报表的制作，制作的过程中通过各种对象的拖拽，属性设置，不需要编写代码，同时用户通过点击鼠标就能实现报表的发布，真正做到了端对端的报表的展现。

4、多维分析工具

联机分析处理主要指的是多维分析。它提供将数据组织成多维立方体(不论逻辑的还是物理的)，而用户可以对这些数据立方体进行切片、旋转、汇总等多角度的查询和统计。这种查询和统计可完全出自用户对业务的考虑，而不必关心数据的物理结构和技术上的组织形式。联机分析应用是业务智能应用中最主要，也是最广泛应用形式。

本方案中的OLAP应用主要由多维分析工具来实现。多维分析工具提供完全基于Web方式的OLAP应用界面，能实现不同主题Cube之间的钻取，并能与报表 工具构成穿透钻取环境，融合查询报表和OLAP应用，为用户提供一个贯穿宏观和细节的全景数据视图。

该工具是面向最终用户的多维分析展现，进行方便的多维度，多层次，多指标的分析。用户只需要在Web界面中通过简单的鼠标拖拽等操作，就可以进行各种OLAP分析，如上钻，下钻，切片，旋转，切块等，另外可以支持图表一起展现和图表联动，支持柱图，饼图，折线图，堆积图，面积图，散点图等各种二维、三维图形，支持用户自定义子集功能，支持同比，环比，百分比等各种比例分析，支持TOP N/ Bottom N 分析，支持2/8分析，支持压缩零。支持排名排序功能，支持维度中不同粒度的混合分析，支持不同维度的非平衡混合分析，支持不同层次维度节点之间的计算，支持用户在纯浏览器界面上进行各种OLAP分析，不需要安装插件，不使用Applet，确保数据安全性，支持用户使用简单的拖拽的方式进行多角度分析，支持从Cube和Cube信息之间的钻取支持Cube和关系型数据库信息之间的钻取，支持将分析结果导出EXCEL, PDF等各种格式，采用保存即发布的方式，不需要另外的发布工具它能够让系统中的每一位用户都能够轻松自如地访问对应权限的数据，从而更有效地管理其业务，作出正确决策。

5、数据管理工具

是个数据抽取、整合、传输、加载的(ETL)工具。它对所有的数据源提供唯一地点来定义元数据和业务规则，定义描述用户业务特征的信息目录，创建数据集市或数据仓库，形成数据中心。通过有效的单结构模型，实现了多种异构数据源、多数据源或多个应用的元数据定义。本工具主要提供数据转换、传输和加载服务，它能快速生成BI应用的信息目录，以及面向主题的数据集市。这种数据集市既可是关系型的数据库表也可是多维数据结构存储的数据立方体—OLAP数据源。这些数据将是信息系统用户在网上做数据访问分析的基础数据。它确保了所有用户能够迅速访问一致性的数据，进行全业务指标整体分析、报表制作和决策支持。

用来自任何普通关系型格式、ERP数据源、平面文件格式的数据或者可以通过ODBC（开放数据库连接）应用协议接口访问的数据。基于数据的集成性，本工具可以采用各种格式提供数据结果，例如维度框架、关系型表格等，用户还可以将数据从一个环境移动复制到另一个环境。可以简化IT部门的数据抽取、转换和加载工作。DataManager使用单一的界面，该界面具有用来架构数据仓库的生动的构造流程（build）图形，可以让穿透钻取关系更加清晰直观，使属性的显示和修改更加方便。自动化向导可以帮助开发人员分步骤的创建一个维度构造流程（dimension build）或事实构造流程（fact build）以及众多的转换函数。自动化的维度管理过程和支持汇总和合并的强大引擎可以简化IT的工作，为IT工作提供支持。

成功的数据仓库项目建立在维度框架结构基础之上。维度设计可以消除在数据集市或数据仓库环境的设计、实施和维护过程中最常见也是最重要的困难。

跨部门、流程和业务领域的共享或一致维度的使用意味着可以将分布式数据源集成到一个一致的视图中。为了实现这个目的，本工具会将公共描述符（descriptor）组织成维度表并将事实内容组织成事实表。

5.3.2、数据展现

系统展现采用基于JAVA平台、B/S应用模式，支持图、文、表集成输出，易于用户理解，同时有利于用户从多维度分析数据。系统数据挖掘简单易用，并支持形成动态报表，自动从后台提取数据，及时更新。

数据展现终端分为页面端展现与移动端展现。即用户可以通过PC机了浏览器获取数据，同时可以通过手机端安卓系统浏览数据。对于移动端展现系统同样支持图、文、表集成显示，并保证数据所产生的单位流量最低。

5.3.3、应用主题数据

系统可以根据用户的实际需求，快速建立应用主题数据库，将相关某一主题的数据进行集成展现，既方便高级管理者从公司全局层面获取数据，又方便针对公司某一业务线路进行数据挖掘。

以卷烟销售、财务管理、经济运行、专卖监管等业务领域为主线，满足公司中层以上对报表统计、业务分析、多维分析、辅助决策支持的需求。针对地市级用户的业务需求应用分析主题内容侧重较微观的业务操作层面。其应用主题主要包括：

 客户主题分析  供应商主题分析  销售主题分析  库存主题分析  成本毛利主题分析  商品主题分析  市场投放主题分析。

5.4、主要功能

5.4.1、数据来源管理

数据来源是指系统的每一项基础数据的来源途径，包括逻辑概念的数据来源和物理概念的来源服务器，逻辑概念的数据来源包括各种系统、以及机构，例如专卖系统、营销系统、物流系统等；而物理概念的来源服务器主要是指服务器、数据库或应用服务等，例如位于192.0.0.2上的端口为1521的数据库；或者位于192.0.2.3上的端口为8020的getData服务等。

1、数据来源

提供对数据来源的增、删、改、查的功能，逻辑数据来源的信息项应当至少包括：名称、资源说明、注册者、注册时间、发布者、发布时间、失效时间等。

2、来源服务器

在数据来源下管理来源服务器，提供注册，修改和删除的功能，来源服务器的管理信息应当至少包括：名称、地址、端口、类别等信息，注册后作为系统实际的数据提取来源被管理起来。

5.4.2、主题和指标管理

提供树形关系的主题和域的管理，包括增加下级、增加同级、删除、修改等各种操作，管理的信息内容包括名称、说明信息、注册者、注册时间、发布者、发布时间、停用时间的基础信息。

作为对信息分类的基本管理单元，本功能应当能够把所有的指标——包括基础数据指标和管理指标均注册到分别的主题和域，系统支持注册基础数据指标、注册管理指标以及相应的反向操作。其中包括：主题树和主题管理、基层数据指标管理、管理数据指标管理、数据来源、来源服务器、基础数据视图等，如下图所示： 5.4.3、报表定制

主要实现报表定制，通过选择报表要查询的管理指标项，对报表的数据行的分组项，并且选择报表的查询条件和该查询条件的默认值进行定制，同时支持报表表样预览区域，可以根据业务变化方便快捷的调整所需要的报表，不需做任何程序改动。其如下图所示：

5.4.4、图表定制

通过设定图表要查询的管理指标项、图表的查询条件和默认值、图表关联的热点、图表展现的形式等条件进行图表的制定。其如下图所示：

5.4.5、热点定制

对热点内容进行编辑，并且进行定义，如定义“想得到门急诊人次是多少，选择门急诊人次，选择时间范围”等。

5.4.6、连接资源管理

本功能应用环境为应用端管理人员为信息资源本身进行编目管理，从而内接系统的主题和域等范畴，外连门户中的目录体系。

具体管理内容包括：

1、管理者能够对信息资源目录进行管理，建立目录、增加目录节点、修改节点名称等。

2、管理者能够对注册的信息资源进行审核，规范化注册内容，统一信息资源名称及唯一合法出处。

3、管理者能够对信息资源做发布、作废等管理处理。

为了实现以上功能，系统应能够进行：目录结构管理、编目、注册、发布、查询、维护。

5.4.7、页面定制

对于要展现的图表或报表在页面中的位置及结构进行设定，可以根据客户实 际需求，进行自定义。

5.4.8、用户及角色管理

实现系统用户的增、删、改操作，并且根据用户所需分配其角色和权限等。

六、系统价值 5.1、企业报表

数据综合分析应用系统提供的企业级报表定位为企业报表类数据信息发布的统一出口，企业级报表将为发布各类报表提供数据服务，包括上报国家局的报表，互通工商企业的报表，面向所属各级单位发布的报表，以及面向社会发布的报表等。原各业务系统报表将作为业务明细查询，辅助数据综合应用系统使用，并逐步减少使用，最终淘汰。

企业级报表可自定义各类业务报表，进行灵活展现。例如，对各类常用业务指标，诸如购进量，购进金额，销量，销售金额，毛利，毛利率，库存量，库存金额，需求量，协议量，单箱毛利，单箱毛利率，存销比，动销率，回转率，交叉比率，占有率、覆盖率的算法进行预定义，支持报表查询指标自由组合。5.2、主题分析

以卷烟销售、财务管理、经济运行、专卖监管等业务领域为主线，满足公司中层以上对报表统计、业务分析、多维分析、辅助决策支持的需求。针对地市级用户的业务需求应用分析主题内容侧重较微观的业务操作层面。

（1）客户主题分析。包括客户观察、市场细分、客户评价、客户关系、贡献度、客户保留度、规范度、信用度、客户获利性分析。

（2）供应商主题分析。包括进货分析、库存与未到货合同对比分析、厂商库存分析、库存与未执行合同对比分析、厂商毛利分析、厂商库存走势分析。

（3）销售主题分析。包括销售分析、销售趋势分析，采购分析、调拨分析、获利分析、进销存分析。

（4）库存主题分析。包括库存总量及资金占用分析、库存总量二八分析、库存资金占用二八分析、库存总量变化分析、库存资金占用变化分析、库存分布分析、库存结构分析、库存报警。

（5）成本毛利主题分析。包括毛利分析、毛利分布分析、毛利结构分析、销售毛利分析、配送成本分析、购进成本分析、营销成本分析、库存成本分析。

（6）商品主题分析。包括商品进销存分析、商品的竞争能力分析、卷烟（品牌）购买走势分析、商品销售分析、商品毛利贡献分析、卷烟促销分析、TOP（畅销）卷烟（品牌）分析、卷烟（品牌）末位淘汰分析。

（7）市场投放主题分析。包括市场需求总量分析、社会零售库存分析、价格档次投放分析、品种投放分析。

5.3、运营监控

通过实时监控，以便于采取相应措施，保证部门、个人的执行与公司的整体战略目标一致。

1、为企业决策层提供宏观层面关键指标监控和预警。利用驾驶舱和仪表盘，对企业关注的指标，通过生动而明确的图形和数据进行显示，使决策层和管理层领导能够有效了解当前经济运行的总体情况，并进行监控和预警，为制定和调整企业的战略提供依据。驾驶舱主要围绕KPI指标，通过电子地图、仪表盘、电子 报告、图表等方式给决策层和管理层提供最直观的数据展现。

2、为企业管理层提供业务经营层面的指标监控和预警。设置经营指标监控，对异常情况进行报警。从数据的角度，宏观监控企业运营状态，包括采购（合同个数、合同数量、合同金额、已到货数量）、库存（库存数量、库存控制线）、销售（预测销量、销量、销额、毛利）等，同时点击某一阶段指标可以进入到具体的分析中，使分析的数据更直观、更全面，也更容易帮助管理层发现问题。

篇2：烟草行业大数据应用

在未来，各个产业都将成为数据产业，汽车也将如此。目前，互联网所掌握的消费者喜好、生活习惯等数据信息如果应用到汽车行业，将使汽车产品更加智能，大数据的应用甚至能够影响到汽车产业的生产制造，帮助汽车企业生产出更加符合消费者需求的产品。

凯文凯利认为：“在未来，各个产业都将成为数据产业，汽车也将如此。目前，互联网所掌握的消费者喜好、生活习惯等数据信息如果应用到汽车行业，将使汽车产品更加智能，大数据的应用甚至能够影响到汽车产业的生产制造，帮助汽车企业生产出更加符合消费者需求的产品。”

在贵阳大数据论坛上，马凯副总理提出：大数据是国家战略资源，部分公共数据资源也将逐步开放，让企业用互联网+更好的服务社会。

基于汽车行业超长的产业链，从不同的层面看，汽车大数据必然是多维度的，有不同的理解和看法，我们试从各行业角度试加分析：

先看一组数据：

中国有3亿驾驶员，1.5亿车主，100多个品牌6000多款车，24000多家4S店，44万家维修厂，600万家洗车行......主机厂：汽车大数据的顶层和基础

主机厂是汽车的制造者，他们领先的设计、技术及制造能力和知识产权，使其在整个汽车生态链中起绝对主导作用——所有的零部件设计及软件系统，都由主机厂主导，所有衍伸产品都以主机厂的产品设计规格为标准（适配软件、模具、型号、规格尺寸乃至汽车改装和汽车电子产品以及汽车用品等等）。

同时，主机厂有完善的零部件配套、物流配送、销售体系，所有该体系内的企业都要按照其标准化模式运行；原始汽车维修技术资料以及CRM和ERP系统：4S店的后台管理系统由主机厂提供，能够调取车主的姓名、住址、行驶证数据及通联、保险、维修保养记录（车主脱离4S店体系之前）。

主机厂零部件数据包括包括字段：配件名称、配件代码、品牌、型号、年代、替代配件、替代关系、图示、价格等等。

机动车整车信息及价格数据：车型代码、车型名称、车型分类、排量、核定载客、核定载质量、整备质量、厂商名称、品牌名称、车系名称、价格、上市年份、备注等全面的车辆信息。

大数据在主机厂的角色定位是在生产制造领域提升生产效率，降低成本。在客户需求层面，打造未来C2B模式的电商平台，4S店需要做针对性更强的精准营销：即利用现代计算机技术搜集、处理、分析企业的客户资料，包括现有客户情况、产品购买和使用情况分布(客户购买时间、方式、金额，以及维修保养频率和花费等)，还通过对数据库信息的分类、筛选、匹配和运算等技术手段，实现销售线索挖掘、客户价值细分和客户管理等功能，寻找销售线索、找到最有价值的客户群体，通过个性化营销策略，配合直复营销的手段，在降低大众传播营销成本的同时，与客户建立稳定、长期的关系，从而达到企业商业目标的实现以及企业利润的增长。

零部件厂

作为技术和资本密集型的生产性企业，传统的零部件企业成功的模式，是产品质量达到主机厂要求，成功进入主机厂的配套体系。

例如对车载电子企业来说，就是车机或云后视镜进入前装系统。零部件配套企业在生产的同时也得到了主机厂的数据支持。由于历史原因和主机厂的垄断，相当多的配件厂只为主机厂配套，甚至没有销售部门。

《关于征求促进汽车维修业转型升级 提升服务质量的指导意见》明确规定，鼓励原厂配件生产企业向汽车售后市场提供原厂配件和具有自主商标的独立售后配件，允许4S店向非授权维修企业或终端用户转售原厂配件。

对零部件厂的而言，借助关键数据的取得，建立独立的售后体系以及完善的销售网络，自建或与第三方电商平台合作打通汽车零部件的O2O销售环节正当其时。

配件商：链接配件的生产者和使用者

作为最终与维修厂直接打交道的配件商来说，其数据包括两个范畴，私有云—电脑中的的进销存和销售渠道或平台。

对于动辄数万种库存的配件商来讲，汽配城开店+在线QQ模式的传统营销模式必然被取代，移动互联网时代，需要结盟或连锁，依靠第三方电商平台或建立完善的数据检索平台，将私有云转化为能被维修厂快速检索的公有云平台是必须经历的过程和唯一途径。

配件电商：零部件和价格数据库（非常有前景的大数据）

需要能提供包含6000余款车型、千万条配件和价格数据，特别是常用车型易损件，需要全面覆盖。配件价格数据库需要要具备以下特点：

（一）配件数据量大

将庞杂的汽车配件数据进行标准化管理，将配件名称、编号、图片进行对照，涵盖进口、合资、国产全部品牌能够满足维修厂日常查询需求。

（二）专业性强

1、配件信息：配件分类、配件属性、配件图，与原厂匹配和同步。

2、配件价格体系：正厂参考价、4S店参考价、同质配件价。

3、配件价格时效强：配件价格实时维护，与市场同步，能够做到有价有货。

4、覆盖面广：系统使用者包括配件商、修理厂，需要在双方建立简单易查询和交易的逻辑关系平台。

5、易用性强：提供了定型查询、简易查询、易损件查询、模糊查询等多种查询方式。

智能引擎：智能标准化引擎需要有智能化自动名称匹配。可将零配件的各种名称进行识别及标准化处理：通过多维度智能化处理手段，解决配件查询的复杂性和瓶颈。提高数据管理效率和准确性。

商业价值的实现：建立完善的数据库，仅仅是服务汽车后市场O2O的基础，而最终用配件编码直接关联到当地的配件商且能实现在线下单、支付乃至配送并且有质量保证和追溯体系才是汽配大数据商业价值转化的终极核心。

维修厂

作为直接与车以及车主打交道的维修厂包括4S店，能够记录车辆的维修、保养情况，行驶里程，其数据对未来进入二手车交易时，起精准评估的作用。

除配件查询，维修厂还需要使用汽车维修技术数据以及工时数据库。数据库包含大部分常见车型的标准工时、工时单价、拆装逻辑及总成包含关系。支持实际使用过程中，各类影响因素的动态参数较正。能够准确计算事故维修中的拆装、钣金、喷漆等主要工时项目金额。

除了使用第三方数据，维修厂在汽车维修中，也记录了大量数据：以高端豪华车维修的华胜和中鑫之宝为例，通过大量维修数据，可以精准的做出某款车型的养护成本及使用可靠性的数据分析报告。

保险公司

希望通过大数据分析了解车主的车价、年龄、性别、车型、住址、驾龄、历史赔付记录、历史违章记录、个人消费信用、安全气囊等保护装置和防盗装置等多个维度，他们甚至愿意免费送OBD给车主，目的是读取车辆行驶轨迹、行驶里程、驾驶习惯、油耗、速度，以便对车险进行评估。

车险经营将从保额定价过渡到车型定价，对保险业而言，是一个很大的挑战。甚至驾驶员的驾驶习惯和性格，都对保险定价有很大的影响，“零整比”的研究报告，告诉汽车消费者，不同品牌车辆的零整比最高达到了12.7倍，不同车型，不同的年代同样都数据支持对车险进行精算，再比如事故查勘时，也需要有原厂配件的数据做一个价格比对进行理赔估算，保险的行业内部数据都相对有限，所以，需要更多利用外部数据。

车联网

车与车、车与路、车与人、车与传感设备等交互，实现车辆与公众网络通信的动态移动通信系统。它可以通过车与车、车与人、车与路互联互通实现信息共享，收集车辆、道路和环境的信息，并在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，根据不同的功能需求对车辆进行有效的引导与监管，以及提供专业的多媒体与移动互联网应用服务。

第一层（端系统）：端系统是汽车的智能传感器，负责采集与获取车辆的智能信息，感知行车状态与环境；是具有车内通信、车间通信、车网通信的泛在通信终端；同时还是让汽车具备IOV寻址和网络可信标识等能力的设备。

第二层（管系统）：解决车与车（V2V）、车与路（V2R）、车与网（V2I）、车与人（V2H）等的互联互通，实现车辆自组网及多种异构网络之间的通信与漫游，在功能和性能上保障实时性、可服务性与网络泛在性，同时它是公网与专网的统一体。

第三层（云系统）：车联网是一个云架构的车辆运行信息平台，它的生态链包含了ITS、物流、客货运、危特车辆、汽修汽配、汽车租赁、企事业车辆管理、汽车制造商、4S店、车管、保险、紧急救援、移动互联网等，是多源海量信息的汇聚，因此需要虚拟化、安全认证、实时交互、海量存储等云计算功能，其应用系统也是围绕车辆的数据汇聚、计算、调度、监控、管理与应用的复合体系。

汽车联网后产生的大量数据，最终数据的使用和分析者：

保险公司（用于风险和价格评估）

主机厂（用于智能驾驶）

政府（用于智慧交通乃至智慧城市的管理）

附上中汽协信息委员会的一份文件，目前商用车已经有了车联网的强制要求，乘用车方面，中汽协信息委目前在联合电信运营商、保险公司、主机厂和车联网企业制定行业标准，将北斗应用推广到汽车前装市场。重点开发高清视频。电子后视，卫星导航，卫星通讯广播，安全引导，无线宽带，多屏互联，智能语音和集成ETC等功能。

咨询公司（舆情分析）

对某一时段互联网搜索量进行分析，确定市场人气、关注车型、地域关注度等信息，同时，通过对论坛、微博、微信等社交媒体的分析，判断出这款汽车在市场上的受欢迎程度。运用工具建模，做舆情分析和用户画像，提供给4S店导流以及主机厂做评估参考，同时兼具营销的功能，例如销售线索挖掘，帮助企业获得新客户：通过客户数据分析，找出客户的共同的特征，再利用这些特征到潜在客户数据库里去筛选出可能成为目标客户的名单，作为营销人员推销的对象。营销人员就可以针对这些名单发送定向窄众广告资料或进行营销活动，既可以降低成本，又提高了营销的成功率。

最后提到后市场的O2O及洗车和上门养护企业等等。

汽车后市场的O2O互联网公司，经过积累，有了相当的底层数据，但不是数据公司，其商业模式仍是通过各种方式集客和导流及线下服务，从增加车主黏性出发增加服务性收入。

政府是所有的大数据最顶层的记录者和管理者：

1）公安部交管局

交管局有3亿驾驶员，1.5亿车主数据，出行轨迹，违章记录，每月车辆上牌数据等等，例如做数据分析，可以分析出每月的200多万台新上牌车的概况：国产车、进口车乃至二手车，车辆品牌、型号、颜色、车主年龄、性别、地域分布，由此可以对车主与车型的关联情况进行精准画像：

各品牌车主的地域分布和年龄、空间地理位置、消费习惯，二手车或进口车的交易量和品牌型号分布等等多个维度。

2）海关

海关的进出口数据包括了汽车及零部件的进出口国别、数量、型号、价格。

3）税务总局

汽车全产业链价格信息和成交记录

4）高速公路管理局

车辆的出行记录

基于汽车的大数据应用场景很多，未来，汽车联网后的从出厂到报废的全生命周期，都将时时产生和上传数据，车辆的：空间位置、速度、时间、影像等等，总而言之，在不同的维度，从汽车的生产销售、维修保养、金融服务需要大数据支持，未来的智能交通、智慧城市管理更离不开大数据的支持，随着互联网+战略的推进，一个个信息孤岛的联通，相信未来，大数据将成为更多企业的营销利器、在带来效率提高的同时，也带给普通百姓更多的出行便利！

移动互联网，把我们从IT时代带到DT时代，汽车作为互联网时代的第四块屏幕，未来改变的将不仅是汽车行业的商业模式，还将改变很多消费类行业的营销渠道。

读书的好处

1、行万里路，读万卷书。

2、书山有路勤为径，学海无涯苦作舟。

3、读书破万卷，下笔如有神。

4、我所学到的任何有价值的知识都是由自学中得来的。——达尔文

5、少壮不努力，老大徒悲伤。

6、黑发不知勤学早，白首方悔读书迟。——颜真卿

7、宝剑锋从磨砺出，梅花香自苦寒来。

8、读书要三到：心到、眼到、口到

9、玉不琢、不成器，人不学、不知义。

10、一日无书，百事荒废。——陈寿

11、书是人类进步的阶梯。

12、一日不读口生，一日不写手生。

13、我扑在书上，就像饥饿的人扑在面包上。——高尔基

14、书到用时方恨少、事非经过不知难。——陆游

15、读一本好书，就如同和一个高尚的人在交谈——歌德

16、读一切好书，就是和许多高尚的人谈话。——笛卡儿

17、学习永远不晚。——高尔基

18、少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。——刘向

19、学而不思则惘，思而不学则殆。——孔子

篇3：烟草行业大数据应用

1 大数据技术概述

大数据是指数据量十分庞大,数据类别特别多的数据集。大数据技术是利用一定的数据处理工具对数据进行收集、分析和处理等,使杂乱的数据转化为有效的数据资料,为企业的生产发展和决策提供有效的数据支持。

2 大数据技术在烟草行业中应用以及作用

2.1 有利于烟草企业长远营销策略的制定

随着我国控烟政策的实施,烟草行业的发展面临着前所未有的困境。烟草产品的替代品的出现也给烟草行业营销策略的制定造成了巨大的困难。传统的数据收集方式对营销策略的制定所起到的帮助作用较小,而使用大数据技术之后,能够为烟草行业制定营销策略提供充足的数据资料和有效的分析方案,有利于长远营销策略的制定。

2.2 有利于烟草企业掌握消费者需求

充足的数据资料对于烟草行业掌握消费者的消费需求和变换具有重要的作用。而大数据的应用恰好满足了行业的这项需要,基于大数据技术的应用能够收集到充足的、具有层次的目标消费者资料,因此烟草行业能根据数据分析结果又针对性的制定一系列的经营策略,提升烟草行业的经济利润。

2.3 有利于烟草行业开发新的市场需求

烟草产品的消费者属于特殊的消费群体,如果烟草企业在发展的过程中能够精准的定位消费者目标群体,就能依据该群体的需求制定相应的经营策略。使用大数据技术能够有效地对烟草产品的消费者进行分析,为烟草企业创新产品,开发新的市场去求提供有效的数据资料和分析结论,有助于烟草行业的进一步发展。

3 大数据技术在烟草行业中应用的风险

3.1 封闭的数据平台

大数据技术中的封闭性数据提供平台在实施对短缺数据和断层数据分析时带来巨大的风险。对于该类数据本质上属于环境封闭额小型数据,数据资料的不协调与不匹配给大数据技术的应用带来的巨大的风险。

3.2 错误数据的混入

当错误的数据资源混入到大数据资料库中时,就很难发现数据中的错误。由于数据苦衷的数据资料数量十分庞大,再加上对数据的价值定位的歪曲,就很容易出现数据判断结果失真的结果。在烟草行业中对客户资料的错误收集就会造成烟草产品销售与消费群体之间的数据资料断层。

3.3 网络连接的紧密型带来的风险

在大数据技术的应用中计算机的计算功能不再是传统应用方式,手机、平板电脑能移动数据存储设备也是大数据技术应用的主要平台,而由于黑客的入侵给烟草行业中的大数据网络带来了很大的风险。

3.4 数据保密问题

随着大数据技术的应用,对行业数据的收集、分析和使用也逐渐增多,因此也给数据资料的保密工作带来了相当大的困难。各种移动存储设备应用于数据的收集、分析和存储过程中,一方面为数据的应用提供了便捷性,另一方面也增加了安全隐患,因此,烟草行业应该对数据的保密工作引起足够的重视,提升行业发展的安全性。

3.5 云中数据服务问题

随着信息技术的发展,云技术的应用成为可能。云服务的应用一方面为烟草行业的发展提供了极大的便利,另一方面也给烟草行业在应用大数据技术的过程中带来了风险挑战,因为云服务的应用提高了数据应用的频率,在数据存储和处理中包含着诸多的风险因素,是烟草行业发展中面临的重要问题。

4 大数据技术在烟草行业中应用的风险防范措施

4.1 加快烟草行业资源共享平台的自主建设

目前国内烟草行业中所使用的大数据技术平台主要都是由国外生产的,我国的大数据技术应用平台发展还相对缓慢,因此我国政府应该加强对于建设大数据技术平台进行资金、人员和管理方面的支持,推动我国烟草行业中资源共享平台的建设。

4.2 建立烟草行业大数据技术的网络防火墙

由于网络技术的发展,网络中的不安全因素给烟草行业大数据技术的应用带来了巨大的风险,因此加快建设烟草行业大数据技术的网络防火墙有助于风险的降低。同时做好数据加密工作,做好数据备份工作来提升数据的安全性。

4.3 完善大数据技术应用的法律法规

目前我国的大数据技术应用还处于发展的起步阶段,相关的法律政策规范还比较缺失,也为大数据技术的应用造成了一定的风险。因此相关部门应该加快行业法律法规的制定,为烟草行业的大数据技术应用提供良好的法律环境。

5 结论

烟草行业中制定完善的管理制度并实施严格有效的管理,才能够实现烟草行业发展中的趋利避害。大数据技术在烟草行业中的应用在给其发展带来巨大帮助和基机遇的同时也存在一定的应用风险,烟草行业如果不实施有效的措施应对,就会对该行业的发展造成巨大的损失,因此烟草行业必须加强相关技术层面的大数据技术应用风险控制,充分发挥大数据技术的积极作用,促进我国烟草行业的快速发展。

参考文献

[1]彭志勇.谈大数据技术在烟草行业应用与发展的风险与防范[J].企业家天地(下半月刊),2014,08(06):51.

[2]张亮.大数据和数据挖掘技术在烟草行业的应用[J].电脑知识与技术,2014,09(22):5375-5376.

[3]马超,陈曦,朱金峰.大数据技术对垄断行业的影响与应用——以烟草行业为例[J].电脑知识与技术,2016,06(11):222-224.

[4]王梦洁,陈昊,何小舟.论大数据技术在医院管理应用的风险与防范[J].江苏卫生事业管理,2016,05(02):13-15.

篇4：烟草行业大数据应用

关键词：大数据；数据挖掘；烟草；分析

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2014）22-5375-02

1 大数据和数据挖掘

随着互联网和信息技术的快速发展，数据量出现爆炸式增长，但要到多大级别才称得上是大数据呢？根据大数据研究的先驱麦肯锡公司，发布的一篇名为《大?数?据?的?下?一?个?前?沿?：?创?新?、?竞?争?和?生?产?力》的报告中是这么说的：大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它还同时说明，并不是说一定要超过特定TB （1TB=1024GB，1PB=1024TB，1EB=1024PB）值的数据集才能称作大数据。维基百科中给出的大数据的定义是这样的：“巨量资料（big data），或称大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯”。国际数据公司（IDC）则从大数据的四个特征来定义，即四个V：Volume（体量大），Velocity（快速化），Variety（类型杂），Value（价值大）。大数据的概念是比较宽泛的，见仁见智，智者见智。但前面的三种定义无一例外地都突出了“大”字，但“大”还远远不是全部。笔者比较肯定的一个对大数据的定义是：大数据是“在多样的或者大量数据中，迅速获取信息的能力”。这个定义里更关心大数据的功用，大数据能帮助大家干什么？在这个定义中，重心是“能力”二字，大数据的核心能力就是：发现规律和预测未来。

大数据之所以具备这样的核心能力，关键在于数据挖掘。如果把大数据比作矿石的话，那么数据挖掘就是在矿石中淘金。数据挖掘（Data Mining）就是从海量的数据中提取、转换、分析，从中获得潜在的、有价值的信息，这些信息是隐含的、事先未知的，它可以表示为概念、规则、模式等形式。数据挖掘也是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。从商业角度来看，数据挖掘是一种商业信息处理技术，即是按照企业既定的业务目标，对大量的业务数据进行转换、分析，从中提取出有商业价值的信息，使得企业可以更合理地进行销售分析与预测，帮助企业做出更有利的决策，提高市场的竞争能力。

2 数据挖掘技术在烟草商业企业的应用分析

目前在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。烟草商业企业信息化经过这么多年的发展，已经建立了营销、专卖、物流、OA等各类经营管理的支持系统，这些信息系统每天都会产生大量的多种多样的经营管理数据，为了进一步提高企业生产经营管理水平，提升零售客户和消费者的满意度，有必要将先进的信息技术手段融入到企业的管理理念当中。通过对这些数据进行分析挖掘，提炼出对经营管理有效和有用的信息，为制定合理有效的经营策略提供数据支持。

数据挖掘的分析方法有很多，常用的几种介绍如下：

· 关联规则：用关联规则挖掘隐藏在数据间的相互关系。对于给定的一组项目集和一个数据集，通过分析数据找出项目之间的关联规则，那么其中一个项目就可以通过其他项目进行预测。

· 分类和聚类：分类定义了一种从属性到类别的映射关系，通过这种映射关系可以把数据库中的数据项映射到特定的类别中。聚类是根据一定的规则，按照相似性吧样本分成若干类别的分析过程，与分类不同的是，它要划分的类是未知的。

· 孤立点分析：经常存在一些数据对象，它们不符合数据的一般模型，这样的数据对象就是为孤立点（outlier），它可能是度量或执行错误所导致的，也可能是固有数据变异性的结果。孤立点分析就是找出数据中的这些孤立点。

· 分类树：分类树是决策树的一种类型，它输出的是样本的类标。分类树的目标是连续的划分数据，使依赖变量的差别最大。分类树的真正的目的是将数据分类到不同组或分支中，在依赖变量的值上建立最强划分。

2.1 卷烟营销领域的应用

1） 用于精准营销。卷烟精准营销是现代营销理论在烟草行业的创新发展，是推动卷烟市场营销上水平的重要途径。传统营销模式下，市场把握更多停留在感性认识，营销决策主要依靠经验判断，货源投放“供非所求、供不应求、供过于求”等现象时有发生，客户需求无法有效满足。为此通过数据挖掘技术的探索和研究，运用聚类分析、相关分析和决策树等工具，它将有利于解决服务资源“怎么分”、卷烟品牌“谁来卖”、“卖多少”、“怎样卖好”等问题。通过数据挖掘技术的深入研究和探索，来进一步提升货源精准投放和客户精细服务水平，为行业精准营销提供了一条可深入探索的路径。

2） 用于消费者分类。目前商业企业所收集的数据是以零售客户为主体，终端消费者的数据未被收集。这是一项庞大的工程，未来可以考虑通过销售终端来实现。收集到数据后，我们可以通过生活型态（时间和金钱的处理态度）指标对所有消费者进行分类，描述现阶段主要消费群体特征，以便在营销措施上迎合这部分消费者需求，提高营销效率。我们还可以通过卷烟低焦指标对消费者进行分类，分析支持卷烟低焦的消费群体是主要的还是次要的，以决定是加速卷烟低焦化的步伐还是减缓。

2.2 专卖稽查领域的应用

真烟非法流动是商业企业面临的难题，给企业带来很多不利影响。通过孤立点分析法可用于确定极低或极高以及品牌高集中的客户的进货行为。孤立点是数据集中与其它数据对象显著不同的数据，它可能是度量或执行错误所导致的，也可能是固有数据变异性的结果。孤立点分析法就是找出数据中的这些孤立点。这些客户的实际经营能力值得警惕，我们要采取相应对策做提前预防。采用孤立点分析技术对客户群进行分析，找出与其他客户明显不同的客户进行重点关注和防范。例如某卷烟零售客户在当地烟草专卖批发企业进货量比较少，但是经营规模比较大，则有可能从其它渠道购进卷烟或销售假烟。

2.3 物流配送领域的应用

目前的物流配送仍是按照行政区域的方式为主，以后打破行政区域规划后的配送中心选址问题属于最优成本问题，即求解是固定成本、运输成本和变动成本和等之和为最优的问题。

配送中心的选址需要考虑两方面因素，一是中心点数量，二是中心点分布情况。单一中心点的选址问题较为简单，这里我们主要讨论多个中心点选址的问题。多个中心点的选址需要在打破行政区域的限制，订单统一采集并集中处理的基础上才能实施。多中心选址可以在一些已知的备选地点中选出一定数目的地点来设置配送中心，从而使形成的物流网络的总成本最小，其中包括各种投资费用、不可变费用和可变的费用。而在实际操作中，当这类问题的规模变得很大或者要考虑一些市场因素（比如顾客需求量）时，数学规划就存在一些困难。不过，这个问题可以通过数据挖掘中的分类树方法来解决。

分类树的目标是连续的划分数据，使依赖变量的差别最大。用分类树的方法解决这种问题时，需要四个方面的数据：中心点的位置、备选点的位置、中心点的业务需求量及中心点和备选点之间的距离。通过这种方法，不仅能确定中心点的位置，同时也能确定每年各个地址物品的运输量，使销量得到保证。

3 前景展望

数据挖掘技术的方法很多，不同的方法适用的范围和目的也不一样，单一的算法往往都有其局限性，因而需要不断改进或者将多种方法结合运用，才能很好地发挥数据的作用。我们期待数据挖掘技术可以在可以应用、可以拓展的地方应用它、拓展它，同时让不断发展的数据挖掘技术在烟草行业得到广泛应用，它也必将发挥出巨大能量，为提高我国烟草行业竞争力提供强有力的保障。

参考文献：

[1] 田临卿，许自成.数据挖掘技术在烟草行业中的应用[J].中国农业科技导报，2012（6）.

篇5：烟草行业大数据应用

作者：盛瀚 北京银行股份有限公司无锡分行，长期从事信息化安全建设和IT服务管理的研究。

摘要：本文从对大数据产业发展进行分析，介绍大数据金融的相关应用及场景案例，并阐述了大数据金融存在的挑战。

关键词：大数据，金融

1.大数据概述

1.1.什么是大数据

大数据（Big Data）是一个宽泛的概念，业界没有统一的定义，大数据概念的兴起可以追溯到2000年前后，最初理解为一类海量数据的集合。2011年，美国麦肯锡在研究报告《大数据的下一个前沿：创新、竞争和生产力》中给出了大数据的定义：大数据是指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。根据Gartner的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据在通信、金融、教育等各个领域存在已有时日，近年来随着互联网和信息行业的发展进入了快速推广阶段。

1.2.大数据的特征

大数据不仅有传统数据定义的“三个V”，即数量（Volume）、速度（Velocity）和种类（Variety），还包含了更重要的第四个V，价值（Value）。

浅谈大数据在金融行业的应用与挑战

阿姆斯特丹大学提出了大数据体系架构框架的5V特征，在原有4V基础上增加了真实性（Veracity）特征，包括数据可信性、真伪性、来源和信誉、有效性和可审计性等特性，如图1所示。

图 1大数据体系架构框架5V特征

1.3.大数据的发展趋势

随着大数据产业的不断发展，各行业的应用解决方案不断成熟，大数据产业迎来了井喷式发展。Wikibon 数据显示，2014年全球大数据市场规模达到285亿美元，同比增长53.2%。大数据成为全球IT支出新的增长点，如图2所示。Gartner数据显示，2014年数据中心系统支出达1430亿美元，比2013 年增长2.3%。大数据对全球IT 开支的直接或间接推动将达2320亿美元，预计到2018年这一数据将增长三倍。

浅谈大数据在金融行业的应用与挑战

图 2Wikibon全球大数据市场规模测算

全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，如图3所示。

浅谈大数据在金融行业的应用与挑战

图 3Wikibon全球大数据市场结构测算

2.大数据金融

随着大数据技术的应用，越来越多的金融企业也开始投身到大数据应用实践中。麦肯锡的一份研究显示，金融业在大数据价值潜力指数中排名第一。以银行业为例，中国银联涉及43亿张银行卡，超过9亿的持卡人，超过一千万商户，每天近七千万条交易数据，核心交易数据都超过了TB级。

一直以来，金融企业对数据的重视程度非常高。随着移动互联网发展各种务和服多样化市场整体规模扩大。对于数据分析带来的主要业务价值，大量参加调研的金融企业表示，大数据分析的价值是可以根据商业分析实现更加智能的业务决策，让企业战略制定更加理性化。依靠有前瞻性的决策，实现生产过程中资源更优化的分配，能够根据

浅谈大数据在金融行业的应用与挑战

市场变化迅速做出调整，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。

2.1.金融数据的类型

金融数据从数据类型上进行划分，大致可以分为结构化数据、半结构化数据与非结构化数据三大类。

（1）结构化数据。结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务，ODS主要实现企业数据整合、共享和准实时运营监控等功能。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为金融企业用户打造立体用户画像提供最全面的数据支撑。

（2）半结构化数据。半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。

（3）非结构化数据。金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻，视频，图片以及社交网络等数据。

浅谈大数据在金融行业的应用与挑战

2.2.大数据金融的技术实现

金融数据一般具有“流数据”的特征，需要在短时间内快速处理。与其他行业相比，金融具有逻辑关系紧密、处理实时性要求高、可展示性需求强等特征，通常需要以下几类关键技术。

（1）数据分析技术。包括数据挖掘、机器学习等人工智能技术，主要应用在用户信用分析、用户聚类分析、用户特征分析、产品关联分析、营销分析等方面。金融系统安全性、稳定性和实时性要求比较高，对大数据计算处理能力也要求非常高。

（2）数据管理技术。包括关系型和非关系型数据管理技术、数据融合和集成技术、数据抽取技术、数据清洗和转换等技术。金融行业对数据的实时处理能力要求非常高，需要灵活地进行数据转换配置和任务配置。

（3）数据处理技术。包括分布式计算、内存计算技术、流处理技术等。通过新型数据处理技术更有效地利用软硬件资源，在降低IT投入、维护成本和物理能耗的同事，提供更为稳定、强大的数据处理能力。

（4）数据展现技术。包括可视化技术、历史流展示技术、空间信息流展示技术等。主要用于金融产品健康度监视、产品发展趋势监视、客户价值监视、反洗钱反欺预警等方面。

2.3.大数据金融的场景应用

任何技术的应用都是基于需求产生的，大数据金融的应用也是由

浅谈大数据在金融行业的应用与挑战

金融行业的业务驱动而衍生出来的。具体的应用分类也没有统一的标准。以金融行业最具代表性的银行为例，根据业务驱动应用场景大致可分为精准营销、风险控制、改善经营、服务创新和产品创新等五个方面，如图4所示。

（1）精准营销： 互联网时代的银行在互联网的冲击下，迫切的需要掌握更多用户信息，继而构建用户360度立体画像，即可对细分的客户进行精准营销、实时营销等个性化智慧营销。

（2）风险控制：应用大数据技术，可以统一管理金融企业内部多源异构数据与外部征信数据，可以更好的完善风控体系。内部可保障数据的完整性与安全性，外部可控制用户风险。

（3）改善经营：通过大数据分析方法改善经营决策，为管理层提供可靠的数据支撑，使经营决策更加高效、敏捷，精确性更高。

（4）服务创新：通过对大数据的应用，改善与客户之间的交互、增加用户粘性，为个人与政府提供增值服务，不断增强金融企业业务核心竞争力。

（5）产品创新：通过高端数据分析和综合化数据分享，有效对接银行、保险、信托、基金等各类金融产品，使金融企业能够从其他领域借鉴并创造出新的金融产品。

浅谈大数据在金融行业的应用与挑战

图 4金融大数据业务驱动

2.3.场景实例

2.3.1.客户全景画像

客户画像应用主要分为个人客户画像和企业客户画像。其中个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等。以银行为例，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论，所以还需要引入外部数据源，包括：运营商数据、主流电商网站数据、上网痕迹数据、SNS软件、生活圈子、网络应用等，从而丰富用户标签，构建一起全面的客户画像，如下图5所示。

浅谈大数据在金融行业的应用与挑战

图 5大数据客户全景画像

2.3.2.客户服务优化

通过大数据，金融企业可监控各种市场推广运作情况，将客户行为转化为咨询流，从中分析客户的个性特征、风险偏好，了解客户的金融往来习惯及使用行为，进一步分析及预测客户潜在的需求，将精准行销扩展至服务的创新与优化。

图 6 个性服务优化过程

浅谈大数据在金融行业的应用与挑战

以银行为例，通过大数据资料库，可对下辖分子机构服务柜台及摆设、理财区装饰、甚至座位的设计，依照资料库中机构所在地的人口特征、年龄及交易量复杂度等数据，以及客户在网站、手机银行、微信银行等软件使用习惯进行分析，为客户提供个性化的服务。如：

 针对高领客户比例偏高的机构，即考虑新增矮柜服务窗口并提供大屏幕显示器提醒；

 面对顾客对网银、手机银行的使用习惯，将浏览率高的栏目与浏览率低的栏目进行重新排版设计，以提升客户使用率及忠诚度的目的；

 根据不同人群在网络、手机APP访问的记录行为，分析其关注资讯的不同（页面浏览时间，次数，频率等），提供不同需求的咨询和服务。

2.3.3.交易欺诈侦测

大数据的分析对于风险控制有着重要意义，金融机构可通过对企业的生产、流通、销售、财务等相关信息的数据挖掘，进行贷款风险分析，量化企业的信用额度，更有效的开展企业贷款。

浅谈大数据在金融行业的应用与挑战

图 7 企业征信体系

同时，在交易欺诈防控中，可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易）进行实时的交易反欺诈分析。

3.大数据金融存在的挑战

3.1.数据的几何级增长，整合困难

目前，全球各行业数据量的增长速度惊人，再我国尤其集中在金融、交通、电信、制造业等重点行业和医保、社保、海关等重要领域，信息化的不断深入正在进一步催生更多新的海量数据。据统计，2015年中国的数据总量达到1700EB 以上，同比增长90%，预计到2020 年这一数值将超过8000EB。以银行业为例，每创收100万元，银行业平均产生130GB 的数据，数据强度高踞各行业之首。但在金融企业内部数据处于割裂状态，业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者，缺乏顺畅的共享机制，导

浅谈大数据在金融行业的应用与挑战

致海量数据往往处于分散和“睡眠”状态，虽然金融行业拥有的数据量“富可敌国”，但真正利用时却“捉襟见肘”。

3.2.数据安全的保障

安全与隐私问题是大数据发展过程中的一个关键问题，多项实际案例表明，即使无害的数据被大量收集后，也会暴露个人隐私。实际上，大数据安全含义更为广泛，人们面临的威胁并不仅限于个人隐私泄露，保护对象不仅包括大数据自身，也包含通过大数据分析得到的知识。

与当前的其他信息一样，大数据在存储、处理、传输等过程中面临安全风险，主要包括数据管理风险和数据运营风险。这里一方面需要技术手段的保护，同时需相关法律法规的完善和金融企业自身的自律。

3.3.大数据标准规范的制定

要实现数据的互联互通，必须包含两个条件，其中互联是技术体系标准，互通是数据体系标准。实现互联可以要求系统使用标准化接口，而实现互通则需要围绕产业链建立跨行业的数据标准结构。目前，各行业的发展长期各施其政，行业间存在较高的壁垒，即使金融行业内部，如银行、证券、保险等行业也采用了不同的标准，遵守不同的行业规范。如何加快元数据、数据交换、数据交易、数据质量、安全保密等重点共性标准的制定是大数据建设的关键。

浅谈大数据在金融行业的应用与挑战

3.4.人才梯队的培养

与信息技术其他细分领域人才相比，大数据发展对人才的复合型能力要求更高，需要掌握计算机软件技术，并具备数学、统计学等方面知识以及应用领域的专业知识。目前金融行业在可承担分析和挖掘的复合型人才、高端数据科学家以及管理人才都存在很大缺口。

5.结束语

党的十八届五中全会“十三五”规划提出：“实施国家大数据战略，推进数据资源开放共享”。2015年12月16日在第二届世界互联网大会开幕式上，总书记提出：“十三五”时期，中国将大力实施网络强国战略、国家大数据战略、“互联网+”行动计划。大数据已成驱动经济发展的新引擎，大数据应用范围和应用水平将加速我国经济结构调整、深度改变我们的生产生活方式，大数据金融应用正是改变金融业态，引发金融行业经营模式创新的催化剂和助推器。

参考文献

[1]陈利强 梁如见 张新宇 著.《金融大数据-战略规划与实践指南》.电子工业出版社.2015年

[2]陈云 著.《金融大数据》.上海科学技术出版社.2015年

[3]BCG.《回归“价值”本源：金融机构如何驾驭大数据》.2015年

篇6：烟草行业大数据应用

大家好！今天，我演讲的题目是：《奉献的真谛》。

记得伟大的教育家陶行知先生曾经讲过：“捧着一颗心来，不带半根草去。”寥寥数语，讴歌了人类伟大的奉献精神。对于我们烟草专卖执法人员来讲，什么是奉献？《烟草专卖法》第一章第二条的规定指出：为了维护消费者利益，保证国家财政收入，制定本法。——朋友们，“两个维护”的立法原则，无疑是指引我们执著追求的航标，无疑是召唤我们拼搏奋进的灯塔！

今天，相聚在这里，抒发烟草专卖战线的奉献情怀，我心潮澎湃，难以抑制自己心中的激情。下面，请允许我为大家讲述在平凡工作中的一两件亲身经历，让我们一起探求奉献的真谛。

2004年底，浓郁的年味儿已经飘逸在古城的千家万户。年关岁尾，正是不法分子营私舞弊的高潮期，我们这些专卖执法人员高度警觉，严阵以待。就在腊月二十六这天，我接到市局专卖管理科古科长的电话，要求截获一辆非法贩运假烟的货车。

案情就是命令！我立即带领专卖人员前往指定地点。隆冬的塞北，雪花漫舞，道路光滑，我们花了近45分钟才到达目的地。埋伏、守候，一番紧张的部署之后，大家开始耐心地等待。时间一分一秒过去了，天色渐渐暗下来，此时雪花越飘越大，气温降到零下二十多度。由于临近春节，路边的小饭店都关了门，队员们不得不躲到车上御寒，但为了避免暴露，却又不敢打开车上的暖气设施。恶劣的天气使我们不得不由半小时换一次班变成二十分钟换一次，最后十分钟换一次。

夜深、人静、车少，偶尔听到汽笛的声音都能引起大家的一阵骚动。由于没有接到撤退命令，我们饿了就啃几口冻得发硬的面包，渴了就舔一下冻成冰块的矿泉水，冷了就只能搓搓手掌、跺跺脚。就这样，大家坚守了两天两夜，直到腊月二十八早晨七点多接到最后的撤退命令，才拖着疲惫的身躯回到家。面对街市上来来往往忙着过年的人们，大家只有一个心愿——美美的睡上一觉。后来我们才知道市局稽查大队和广灵县局的专卖人员也是这样在各自的路段上苦守了两天两夜。尽管我们饱受了饥寒，但大家无怨无悔，因为震慑违法行为，是我们烟草专卖人的天职！

春节过后的2月25日，那是元宵节后的第二天，我再次接到同样的命令，迅速带领专卖人员赶到指定地点。晚上九点半左右，我们刚吃过晚饭，市局领导就带领人员从另一条路上赶来增援。节后的塞外，夜风刺骨般凛冽，尽管队员们穿着棉大衣，但在零下二十五度的严寒中依旧冻得发颤。站岗的队员每半个小时换一次班，其余的队员埋伏在路边的一家小饭店里。一个小时过去了，没有发现可疑车辆；上半夜过去了，可疑车辆还是没有出现。此时，许多同志心里都在犯嘀咕：“是不是线索出了问题？”，“不知道又要等到什么时候？”，大家的内心非常的焦虑。市局古科长发现了这个苗头，及时开导大家：“线索绝对准确，大家一定要沉住气，特别是下半夜，同志们绝不能麻痹大意，绝不能让不法之徒从我们眼皮底下溜了。”也就恰在此时，前线的队员打来电话：“烟车已经冲过第一道防线，正向你处驶来！”。闻听此讯，市局杜局长果断下令出击，所有队员立刻冲出饭店，一字排开组成人网。前方出现的大车灯光，分外刺眼。杜局长手拿停车牌示意前方车辆停下，但来车并没有减速停车之意，50米、40米、30米、20米、10米，千钧一发之际，大家迅速闪开，烟车带着风声呼啸而过，夹杂着冰雪的泥沙打在了每一个人的脸上。追，队员们开足马力向烟车逃窜方向急起直追。山陡路滑、道窄车急，狡猾的烟车根本不给超车的机会，不时地摆动车尾，不让我们迫近。紧紧咬住，咬住烟车不放松，看你往哪儿跑。经一个小时锲而不舍的尾追，凌晨三点半左右，烟车终于在疲惫的喘息声中抛了锚。下车包围，烟车下来三个人，其中有两人手持明晃晃的砍刀，露出穷凶极恶之相，要和我们决一死战。“不准行凶，把刀放下”，晴天一声霹雳，杜局长大喝一声挺身而出，直逼不法之徒。也许是被刚才的虎胆震吼 慑了胆儿，更也许是被眼前这凛然正气吓了魂儿，就在三个不法之徒一楞神儿之际，队员们一拥而上，将他们一举拿下。整整一车烟啊，294件假冒卷烟，15万元的案值，大家已经忘记了刚才的紧张和惊险，每个人的脸上都洋溢着胜利的微笑。是的，在专卖执法工作中，象这样的行动我们经历过不知多少次，又不知道多少次面对着生与死的考验，但每一次风风雨雨的考验我们都含笑走过。是什么给了我们力量？是一种信念；是什么给了我们勇气？是一种责任；又是什么给了我们决心？是国家和人民！

姜成康局长曾经说过：“真正践行‘两个维护’，就是要求我们行业内部每位同志必须自觉地让这个共同的价值观成为我们行动的指南。将维护国家利益和消费者利益作为一切工作的出发点和落脚点，作为检验一切工作的根本标准”。

2004年，我们烟草专卖执法人员为了切实“贯彻两个维护”，掀起了一轮又一轮攻势凌厉的打假打私风暴，严厉打击了制假贩私的市场暗流，有力地震慑了不法烟贩的嚣张气焰，使大同的卷烟市场激浊扬清，广大消费者拍手叫好。去年全年共查处违法案件5323起，其中5万元以上的大案15起，查扣假冒卷烟3855件；捣毁黑窝点27处；捣毁地下烟厂一处。全年全市行业共实现利润1.46亿元，完成税收7479.6万元！今年上半年，全局又查扣各类卷烟6961件，移送司法机关的大案就有25起，19名不法分子被刑事拘留。有力的打击了贩售假烟的不法行为，努力践行着“两个维护”的光荣使命。

时光荏苒，岁月匆匆，在打击不法烟贩的斗争中，我们不知熬过了多少个风雪交加的寒夜，多少个暴雨滂沱的黎明；不知牺牲了多少与亲人团圆的假日，顶住了多少次金钱的诱惑和嚣张的恐吓！然而，为了国家的利益、为了消费者的利益，我们全体专卖人员将一如既往，永不退却。这就是我们奉献的真谛。

朋友们，让你，让我，让我们大家共同携起手来吧！牢固树立国家利益和消费者利益至上的价值观，立足本职工作，争创一流业绩，用青春和热血谱写烟草事业的新篇章！