大数据经典案例

2024-07-27

大数据经典案例(精选8篇)

篇1:大数据经典案例

近两年,“大数据”这个词越来越为大众所熟悉,“大数据”一直是以高冷的形象出现在大众面前,面对大数据,相信许多人都一头雾水。下面我们通过十个经典案例,让大家实打实触摸一把“大数据”。你会发现它其实就在身边而且也是很有趣的。

“互联网还没搞清楚的时候,移动互联就来了,移动互联还没搞清楚的时候,大数据就来了”。近两年,“大数据”这个词越来越为大众所熟悉,“大数据”一直是以高冷的形象出现在大众面前,面对大数据,相信许多人都一头雾水。下面我们通过十个经典案例,让大家实打实触摸一把“大数据”。你会发现它其实就在身边而且也是很有趣的。

啤酒与尿布

全球零售业巨头沃尔玛在对消费者购物行为分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今,“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例,被人津津乐道。

数据新闻让英国撤军

2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件,鼠标点击红点后弹出的窗口则有详细的说明:伤亡人数、时间,造成伤亡的具体原因。密布的红点多达39万,显得格外触目惊心。一经刊出立即引起朝野震动,推动英国最终做出撤出驻伊拉克军队的决定。

Google成功预测冬季流感

2009年,Google通过分析5000万条美国人最频繁检索的词汇,将之和美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较,并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。

大数据与乔布斯癌症治疗

乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此,他支付了高达几十万美元的费用。他得到的不是样本,而是包括整个基因的数据文档。医生按照所有基因按需下药,最终这种方式帮助乔布斯延长了好几年的生命。

奥巴马大选连任成功

2012年11月奥巴马大选连任成功的胜利果实也被归功于大数据,因为他的竞选团队进行了大规模与深入的数据挖掘。时代杂志更是断言,依靠直觉与经验进行决策的优势急剧下降,在政治领域,大数据的时代已经到来;各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋不已,无数公司和创业者都纷纷跳进了这个狂欢队伍。

微软大数据成功预测奥斯卡21项大奖

2013年,微软纽约研究院的经济学家大卫·罗斯柴尔德(DavidRothschild)利用大数据成功预测24个奥斯卡奖项中的19个,成为人们津津乐道的话题。今年罗斯柴尔德再接再厉,成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个,继续向人们展示现代科技的神奇魔力。

超市预知高中生顾客怀孕

明尼苏达州一家塔吉特门店被客户投诉,一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿——一个高中生。但没多久他却来电道歉,因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据,然后通过相关关系分析得出事情的真实状况。

意料之外:胸部最大的是新疆妹子

淘宝数据平台显示,购买最多的文胸尺码为B罩杯。B罩杯占比达41.45%,其中又以75B的销量最好。其次是A罩杯,购买占比达25.26%,C罩杯只有8.96%。在文胸颜色中,黑色最为畅销。以省市排名,胸部最大的是新疆妹子。

篇2:大数据经典案例

2015-03-05 CSDN大数据 CSDN大数据

csdnbigdataCSDN分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点,提供云计算和大数据技术、平台、实践和产业信息等服务。本文所有涉及到的数据挖掘代码的都放在了github上了。

地址链接: https://github.com/linyiqun/DataMiningAlgorithm 大概花了将近2个月的时间,自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现,涉及到了决策分类,聚类,链接挖掘,关联挖掘,模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结,后面都是我自己相应算法的博文链接,希望能够帮助大家学习。

1.C4.5算法。C4.5算法与ID3算法一样,都是数学分类算法,C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断,而C4.5采用的是增益率。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42395865 2.CART算法。CART算法的全称是分类回归树算法,他是一个二元分类,采用的是类似于熵的基尼指数作为分类决策,形成决策树后之后还要进行剪枝,我自己在实现整个算法的时候采用的是代价复杂度算法,详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42558235 3.KNN(K最近邻)算法。给定一些已经训练好的数据,输入一个新的测试数据点,计算包含于此测试数据点的最近的点的分类情况,哪个分类的类型占多数,则此测试点的分类与此相同,所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点,远的点自然就小点。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42613011 4.Naive Bayes(朴素贝叶斯)算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法,用到了一个比较重要的贝叶斯定理,用一句简单的话概括就是条件概率的相互转换推导。详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42680161 5.SVM(支持向量机)算法。支持向量机算法是一种对线性和非线性数据进行分类的方法,非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42780439 6.EM(期望最大化)算法。期望最大化算法,可以拆分为2个算法,1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架,在每次计算结果之后,逼近统计模型参数的最大似然或最大后验估计。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/42921789 7.Apriori算法。Apriori算法是关联规则挖掘算法,通过连接和剪枝运算挖掘出频繁项集,然后根据频繁项集得到关联规则,关联规则的导出需要满足最小置信度的要求。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43059211 8.FP-Tree(频繁模式树)算法。这个算法也有被称为FP-growth算法,这个算法克服了Apriori算法的产生过多侯选集的缺点,通过递归的产生频度模式树,然后对树进行挖掘,后面的过程与Apriori算法一致。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43234309 9.PageRank(网页重要性/排名)算法。PageRank算法最早产生于Google,核心思想是通过网页的入链数作为一个网页好快的判定标准,如果1个网页内部包含了多个指向外部的链接,则PR值将会被均分,PageRank算法也会遭到Link Span攻击。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43311943 10.HITS算法。HITS算法是另外一个链接算法,部分原理与PageRank算法是比较相似的,HITS算法引入了权威值和中心值的概念,HITS算法是受用户查询条件影响的,他一般用于小规模的数据链接分析,也更容易遭受到攻击。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43311943 11.K-Means(K均值)算法。K-Means算法是聚类算法,k在在这里指的是分类的类型数,所以在开始设定的时候非常关键,算法的原理是首先假定k个分类点,然后根据欧式距离计算分类,然后去同分类的均值作为新的聚簇中心,循环操作直到收敛。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43373159 12.BIRCH算法。BIRCH算法利用构建CF聚类特征树作为算法的核心,通过树的形式,BIRCH算法扫描数据库,在内存中建立一棵初始的CF-树,可以看做数据的多层压缩。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43532111 13.AdaBoost算法。AdaBoost算法是一种提升算法,通过对数据的多次训练得到多个互补的分类器,然后组合多个分类器,构成一个更加准确的分类器。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43635115 14.GSP算法。GSP算法是序列模式挖掘算法。GSP算法也是Apriori类算法,在算法的过程中也会进行连接和剪枝操作,不过在剪枝判断的时候还加上了一些时间上的约束等条件。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43699083 15.PreFixSpan算法。PreFixSpan算法是另一个序列模式挖掘算法,在算法的过程中不会产生候选集,给定初始前缀模式,不断的通过后缀模式中的元素转到前缀模式中,而不断的递归挖掘下去。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43766253 16.CBA(基于关联规则分类)算法。CBA算法是一种集成挖掘算法,因为他是建立在关联规则挖掘算法之上的,在已有的关联规则理论前提下,做分类判断,只是在算法的开始时对数据做处理,变成类似于事务的形式。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43818787 17.RoughSets(粗糙集)算法。粗糙集理论是一个比较新颖的数据挖掘思想。这里使用的是用粗糙集进行属性约简的算法,通过上下近似集的判断删除无效的属性,进行规制的输出。

详细介绍链接:http://blog.csdn.net/androidlushangderen/article/details/43876001 18.gSpan算法。gSpan算法属于图挖掘算法领域。,主要用于频繁子图的挖掘,相较于其他的图算法,子图挖掘算法是他们的一个前提或基础算法。gSpan算法用到了DFS编码,和Edge五元组,最右路径子图扩展等概念,算法比较的抽象和复杂。

篇3:大数据经典案例

一、大数据及其主要技术

大数据的起点和终点都是数据,其海量的数据规模,让它具有不同于一般数据的特殊价值,挖掘和发挥大数据中的价值是关键所在。大数据的大,表现为4V特征:Volume,即海量的数据规模,从计算机诞生以来,人类所产生的数据总量已经达到50 亿GB,而随着社会化媒体的迅速发展、移动数字终端的日益推广,人类所产生的数据,至少每两年就将翻一番;Velocity,即处理速度快,海量的数据必须借助高效率的数据挖掘技术;Variety,即数据类型多样,既包括传统的结构化数据,也包括各种半结构化甚至非结构化的数据类型,例如视频、音频、图片、位置信息等;Value,即数据是有丰富价值的,但相对于数据而言,价值的密度偏低[1]。

《互联网进化论》一书中提出“互联网的未来功能和结构将与人类大脑高度相似,也将具备互联网虚拟感觉,虚拟运动,虚拟中枢,虚拟记忆神经系统”,并绘制了一幅互联网虚拟大脑结构图来直观的表达大数据,云计算,物联网和移动互联网与传统互联网之间的关系。其中,物联网对应了互联网的感觉和运动神经系统;云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽;大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础;而物联网、传统互联网、移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据[2]。

二、大数据时代应急案例信息资源管理

1.大数据时代应急案例信息资源收集的新思路。传统的应急案例信息资源收集的来源主要包括文件、档案纪录、访谈、直接观察、参与观察及实体的人造物。在大数据时代,互联网、物联网、云计算、移动互联网等技术使得案例收集的来源更加丰富、资源类型更加多样、收集更加高效。

(1)应急案例信息资源更加丰富。首先应急案例信息资源的收集突破了国家、地区、时间的限制。通过运营商,可以获得突发事件参与者的手机号、操作系统、MAC地址、地理信息等;通过布局移动互联网入口的软硬件,可以获得手机硬件,MIUI等定制版系统,无线路由器,各种APP,各种第三方SDK嵌入等信息资源;还可以获得在各种APP中、移动WEB站点中嵌入JS、图片等能执行获取信息或直接发送请求附带信息的元素;以及通过购买的方式,获得互联网大公司、第三方统计工具、移动互联网广告、数据公司的数据信息资源。其次应急案例信息资源的种类更加全面。案例的种类可以包括:交通事故、危化品事故、失火、核事故、煤气中毒、爆炸、电气水事故、矿难等其他事故灾难案例;农药中毒、流感、狂犬病、病毒性肝炎、登革热、食物中毒等其他公共卫生事件案例;恐怖袭击、抢劫、涉外、空袭、绑架、金融危机、群体性事件等其他社会安全事件案例;台风、地震、干旱、森林火灾、洪灾、火山、泥石流等其他自然灾害案例;以及旅游应急案例。此外,应急案例信息资源类型更加多样。既包括传统的结构化数据,也包括各种半结构化甚至非结构化的数据类型,例如图片、博客、图书、媒体新闻、视频资源、论文资源、预案资源、GIS数据资源等。同时案例数据收集的渠道也更加通畅,案例数据收集更加高效,相对于过去的以人工收集为主的收集方式,使用网络能够在突发事件酝酿、发生的第一时间获取信息。

(2)以网络突发事件案例信息资源收集为例。大数据时代,案例资源的类型不再以文本为主,各种类型的案例资源贯穿突发事件的不同阶段。通过网络,可以方便的针对事前、事发、事中、事后搜集到各类直观的、有决策参考价值的案例资源。1网络突发事件事前的酝酿往往发生于各类社会化媒体,社会情绪通常以微博、微信、论坛发帖为载体存在于传统互联网和移动互联网。内容上,大多表现为流露过多的负面情绪,过多关注、引用或评论负面报道,言论偏激或背离主流价值观。又以图片、文本、博客、视频、音频等形式进行传播,这些资源往往比较直观,比纯文字的叙述更能影响他人,同时这些信息更值得去研究,对网络突发事件的事前预防与控制有重要的参考价值。2在事发阶段,网络突发事件借助传统互联网或移动互联网快速传播,所以短期内可以收集到海量的、与事件相关的文本、视频、音频及其媒体属性信息资源。其中的媒体属性信息资源包括发布时间、发布地点、发布终端、视频音频资源的来源信息等,根据发布时间、发布地点、发布终端,可以显示网络突发事件对社会的影响状况,网络突发事件传播的深度、广度,有效地研判社会情绪的变化,对网络突发事件的预警、研判具有重要的参考价值。3在事中阶段,事件已升级为网络突发事件,在网上、网下都会产生巨大影响。此时事件传播的深度、广度已经扩大,公众会通过传统互联网、移动互联网及现实生活,参与事件的转发、评论及其他形式的互动交流来对事件进行传播。事件的传播多以文字表述/ 转发/ 评论、图片/转发/ 评论、视频/ 转发/ 评论等形式为主,能够收集的与事件相关的信息、数据的数量呈几何倍数增长,难以从其中找到能够进一步影响社会情绪变化的关键信息或数据,此时需要有适当的分析方法及数据挖掘技术,来对海量的数据进行有效的整理、分析。4在事后阶段,网络突发事件一旦平息,仍会有大量的相关报道、新闻评论、新闻汇编,以及与事件相关的论文等形式的应急案例信息资源。这些资源的分布相对集中,收集相对容易,但信息、数据的来源有别,需要做进一步的价值鉴定。

此外,应急案例信息资源的丰富资源,为案例所涉及到的突发事件原因分析、突发事件处置经验总结打下坚实的基础。传统的案例分析,只能在有限的信息和数据基础上进行,对案例的分析不够透彻,给案例使用带来各种局限性,为之后案例使用带来各种不便。大数据时代,凭借着丰富的信息、数据资源就可以使用根本原因分析法对突发事件进行分析。根本原因分析(RCA)英文全称是Root Cause Analysis,是一项结构化的问题处理法,用以逐步找出问题的根本原因并加以解决,而不是仅仅关注问题的表征,通过确定问题的根源来解决问题。根本原因分析可以针对单个错误进行根本原因分析,也可以检查多个事件。根本原因分析是底层故障或失败分析的过程,一旦解决根本原因就可以防止问题再次发生。2013 年,C.Klinger,S.Bohraus使用RCA对1992 年的诺特海姆火车相撞事故进行根本原因分析,通过对补丁修复材料在破碎附件左侧缓冲区的最新调查,最终发现微结构的不完善导致了补丁的层状撕裂是诺特海姆火车相撞事故发生的根本原因[3]。通过把应急案例信息资源、事件原因分析以及事件处置经验进行整理汇编,最终形成完整的案例,为之后的突发事件应急处置提供参考。

2.大数据时代应急案例信息资源保管的思路。如同档案保管,应急案例信息资源保管是对案例信息资源进行系统存放和安全保护的工作,是应急案例信息资源管理中的一项重要内容。基本任务和要求是维护案例的完整与安全,便于调用。在大数据时代,云计算技术的发展为案例保管提供了便利。

(1)应急案例信息资源保管在云中,使用快捷,易于共享。云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供[4]。应急案例信息资源作为突发事件应急决策、应急管理教育培训的重要参考资源,一方面对及时性有特别高的要求,需要能够在第一时间调用案例,把案例保管在云里,可以通过网络快速获取应急案例信息资源;另一方面云里的应急案例信息资源易于共享,各地方既可以把自己编写的案例发布到云里,也可以从云里获取案例。此外,云里有足够的空间来存储应急案例信息资源,在大数据时代,应急案例信息资源包含的数据类型多样,既有数据量较小的文本,又有数据量巨大的视频,这使得案例体量庞大,云可以满足案例的存储需求。

(2)应急案例信息资源保管在云中的两点建议。1包括应急案例信息资源保管在内的应急案例信息资源管理的各个环节,需要有相应的法律法规及相关政策来规范应急案例信息资源管理行为,为合法、有序、合理地进行收集、保管及使用提供保障。应急案例信息资源管理涉及多重法律关系、多部法律规定,其各环节的行为必须遵守相应的法律法规及政策。2鼓励政府购买安全可靠、服务一流、商业运营成功的第三方云服务。由政府提出需求,由第三方企业提供云服务,让服务更加及时、有效。与应急案例信息资源保管相关的云服务应至少能够满足以下两点要求:云是安全可信的,有稳定的案例管理信息系统,用户间相互隔离,有相应的数据完整性保护技术、加密技术、授权技术,能够防止案例被恶意篡改、泄露或是非授权访问;云是可靠可控的,有容错、容侵、容灾、备份等手段来保障应急案例信息资源完整。

3.大数据时代应急案例信息资源使用的思路。如同档案使用,应急案例信息资源使用也受社会制度、开放范围、保密要求和技术手段等方面的制约。应急案例信息资源使用贯穿于突发事件事前培训演练,事发事件接报信息发布、预测预警综合研判,事中指挥调度、现场跟踪信息反馈,事后事件评估与总结,四个阶段不同环节,是突发事件应急决策、应急管理教育培训的重要参考资源。大数据时代,凭借着信息技术的不断发展,应急案例信息资源的获取更加快速,使用更加便捷。

(1)大数据时代应急案例信息资源使用终端。大数据时代突发应急案例信息资源使用渠道多样,计算机、手机、车载视频终端、户外大屏幕等其他媒体终端都可以用来获取和展示案例。在这些媒体终端上,可以通过媒体终端自带的互联网浏览器登陆案例管理信息系统直接使用案例信息资源,也可以通过计算机应用软件、手机APP来实现对案例信息资源的专业化管理。

(2)信息技术的不断发展有助于提高应急案例信息资源使用质量。1通过技术手段可以对用户进行隔离,可以确保案例用户之间是相互独立的。用户在使用案例信息资源过程中,其操作不会影响到其他用户。2使用访问授权和身份认证技术,可以防止非授权访问,对应急案例信息资源使用权限进行分级。许多应急案例信息资源涉及国家安全、个人隐私、外交机密,这些资源不可能完全开放给所有的用户,通过技术手段建立相应的机制或安全策略,就可以为不同的用户进行授权。用户使用终端设备,通过身份认证进入应急案例信息资源管理信息系统,按着其所授予的权限,访问与其权限相应的应急案例信息资源。3对应急案例信息资源、用户信息采用加密技术,可以防止使用过程中资源信息或用户信息被篡改或泄露。在面对突发事件时,用户通常使用移动数字终端设备通过无线网络下载信息资源,上传突发事件现场信息、数据,这些信息、数据很多情况下是敏感的、机密的,一旦被篡改或窃取,后果不堪设想。在信息、数据传输过程中采用加密技术,可以在应急案例信息资源保管的云端与使用终端设备间建立起一条安全的通道,能够防止恶意篡改,防止各类信息、数据的泄露。

篇4:大数据经典案例

在当前的互联网领域,大数据的应用已十分广泛,尤其以企业为主,企业成为大数据应用的主体。随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。当前,大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。

大数据仿如昨天的云计算一样,扑面而来。无论是重新思考数据的存储、还是数据管理,还是利用新的技术与工具对数据进行分析与挖掘,各家所言其长,让人眼花缭乱。而作为大数据领域的领导者,IBM、微软、Oracle、英特尔、SAP等国际巨头在全球范围内已经将大数据与分析带进各行各业,并开花结果。

面对中国大数据市场的蓬勃发展和实际需求,IBM不断加大对中国市场的投入,以领先的大数据与分析技术促进大数据在零售、银行、电信、医疗、制造和互联网等诸多行业落地,这与企业对大数据应用的热情形成良性互动,加速了最有说服力的、实打实的案例的先后涌现。

局限于大数据较高的技术门槛,目前在大数据领域展开竞争的IT企业多是在数据存储、数据分析等领域有着传统优势的厂商。当下,软硬件一体化设备在大数据解决方案中占据重要地位,IBM、Oracle、微软、惠普、EMC等IT巨头纷纷推出面向大数据的一体化产品和解决方案,稳固其在大数据时代的发展地位。包括,IBM推出PureSystems 专家集成系统和各细分的系统,甲骨文大数据一体机、微软与惠普等合作的并行数据仓库一体机、惠普融合基础设施、EMC Greenplum大数据一体机、SAP HANA等等。

而国内的服务器厂商也及时地跟上大数据一体机的国际节奏,如华为云计算FusionCube一体机、浪潮云海大数据一体机、曙光大数据一体机等等。如:华为大数据一体机服务于北大重点实验室;浪潮大数据平台大大提升了济南的警务工作能力;农行采用曙光XData大数据一体机系统,满足系统对于并发用户数和性能的要求,能够支撑农业银行历史数据查询和分析业务。

据归纳总结,不难看出这些厂商在大数据战略上都具有以下特点:

1. 对所有收集的重要数据信息进行正确的分析,建立信息中心文化;

2. 保持不断追求技术创新的动力;

3. 收集一切数据,并进行集中式存储,之后再决定是否需要这些数据;

4. 使用数据驱动的产品,确保可以收集到可用的数据;

5. 聘请专家,注重培养大数据专业人才。

除此之外,Google、亚马逊、百度、腾讯、阿里等互联网巨头也正着手建立完善的大数据服务基础架构及商业化模式,从数据的存储、挖掘、管理、计算等方面提供一站式服务,将各行各业的数据孤岛打通互联。

去年,百度大脑依托大数据在高考作文预测中命中了全国18卷中12卷作文方向,淘宝数据魔方用大数据技术锁定了用户喜好等等。

当然对比国外,国内大数据解决方案提供商实力还相对较弱,产品在一些关键行业还未形成影响力,新兴大数据解决方案初创企业也属凤毛麟角。

但毫无疑问,大数据的市场前景广阔,对各行各业的贡献也将是巨大的。目前来看,大数据技术能否达到预期的效果,关键是在于能否找到适合信息社会需求的应用模式。无论是在竞争还是合作的过程中,如果没有切实的应用,大数据于企业而言依然只是海市蜃楼,只有找到盈利与商业模式,大数据产业才可持续。

大数据已经渗透到各个行业和业务职能领域,成为重要的生产因素,大数据的演进与生产力的提高有着直接的关系。随着网速的大幅提升,数据也将迎来爆发式增长,快速获取、处理、分析海量、多样化的交易数据、交互数据与传感数据,从而实现信息再价值化,对大数据的利用将成为企业提高核心竞争力和抢占市场先机的关键。大数据因其巨大的商业价值正在成为推动信息产业变革的新引擎。

此前,互联网周刊发布了《大数据应用案例TOP100》。

该榜单的完成分两步:

一. 通过对大数据应用市场的全方位调研,以及平日素材的沉淀积累,编辑推荐,提供商自荐,最终入围的案例总数200个;

二. 由评委会对入围案例名单围绕创新能力、技术水平、价值体现等维度进行再次甄选,最终评选出100个最具代表性的案例。其中,创新性对排序的影响权重较大。

该榜单也是互联网周刊历年推出的大数据应用案例评选中最前沿、最全面、最精致的榜单系列之一,将引领推动创新的价值取向贯穿始终,以行业创新突破为宗旨,强有力的见证大数据的应用之路。

通过表单,对大数据应用的几大热门行业进行分类汇总,如:

通过饼图,可以看出大数据应用最多的行业是零售(24%)、金融(17%)、城市(14%)、医疗(8%)、体育(6%)、教育(4%)、电信(4%),当然还有航空制造业、社交娱乐、影视、农业等(其他)领域。

nlc202309041802

以下是大数据应用热门行业解读:

大数据正在改善我们的生活

大数据不单单只是应用于企业和政府,同样也适用我们生活当中的每个人。我们可以利用穿戴的装备(如智能手表或者智能手环)生成最新的数据,这让我们可以根据我们热量的消耗以及睡眠模式来进行追踪。而且还可以利用大数据分析来寻找属于我们的爱情,大多数时候交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。

“用户画像”精准营销

在如此激烈而又庞大的市场中,电商们迫切想知道的想必就是用户需求。当这个用户登录网站的瞬间,就能猜出来这个用户今天为何而来,然后从电商的商品库里面把合适的商品找出来并推荐给他,进而展现出符合客户需求的产品都有哪几款。这种服务是消费者想要的,但是谁能帮助电商们做到呢?

随着互联网和电子商务的快速发展,“用户画像”这个概念悄然而生,它抽象地描述了一个用户的信息全貌,是进行个性化推荐、精准营销、广告投放等应用的基础。如京东用大数据技术勾勒用户画像,给用户以友好舒适的购买体验,能很大程度上提高用户的购买转化率甚至重复购买,对提高用户忠诚度和用户黏性有很大帮助。

健康医疗 防患于未然

大数据分析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。并且让我们可以制定出最新的治疗方案。同时可以更地去理解和预测疾病。就好像人们戴上智能手表等可以产生的数据一样,大数据同样可以帮助病人对于病情进行更好的治疗。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况,通过记录和分析婴儿的心跳,医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。

从个人健康管理到公共健康管理,大数据在对个人医疗的改变以及极富价值的预警能力吸引着IT巨头们迫不及待与医疗联姻。如:深圳市儿童医院成功部署IBM集成平台与商业智能分析系统,Informatica方案帮助南京儿童医院实现信息互通共享,微软助上海市浦东新区卫生局更加智能化等典型案例应用。

魅力体育 运动无极限

现在很多运动员在训练的时候已经开始应用大数据分析技术了。例如用于网球鼻塞的IBM SlamTracker工具,我们使用视频分析来追踪足球或棒球比赛中每个球员的表现,而运动器材中的传感器技术(例如篮球或高尔夫俱乐部)让我们可以获得对比赛的数据以及如何改进。很多精英运动队还追踪比赛环境外运动员的活动-通过使用智能技术来追踪其营养状况以及睡眠,以及社交对话来监控其情感状况。

在过去的2014巴西世界杯上,可以看到谷歌、百度、微软等巨头通过大数据分析赛果,让彩民们格外激动;德国队依托SAP Match Insights系统大举夺冠,让对手略感失落;IBM为腾讯提供了全套的社交大数据分析解决方案,在世界杯期间,腾讯每天推出一篇结合热点大数据的舆情分析报道文章,展示球赛期间球迷的心理变化,引起球迷共鸣。

安全与监控 远离欺诈

大数据现在已经广泛应用到安全执法的过程当中。想必大家都知道美国安全局利用大数据进行恐怖主义打击,甚至监控人们的日常生活;而企业则应用大数据技术进行防御网络攻击;警察应用大数据工具进行捕捉罪犯;信用卡公司应用大数据工具来监测欺诈性交易。如去年“双11”期间,华为Anti-DDoS方案一如既往地成功防护了多轮DDoS攻击事件,有力保障了阿里巴巴网络交易的顺畅平稳。

智慧城市 和谐画面

大数据还被应用改善我们日常生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行大数据的分析和试点。以神州数码智慧城市业务落地城市张家港为例,依托大数据技术的支撑,实现城市各个部门之间数据库信息的互联互通,从而让城市更"智慧",造福城市市民。

金融交易 高效理财

大数据在金融行业主要是应用金融交易。高频交易(HFT)是大数据应用比较多的领域。其中大数据算法应用于交易决定。现在很多股权的交易都是利用大数据算法进行,这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买入还是卖出。

此外,大数据对信用卡产品的营销还具有很大的促进作用。例如,在大数据的环境下,银行可以利用先进的互联网、云计算等新兴技术,对消费者的刷卡行为进行数据化的分类、统计,通过整理数据获取消费者的消费习惯、消费能力、消费偏好等非常重要的数据信息。通过客户数据、财务数据来区分客户,通过消费区域定位、内容定向,知晓他们的消费习惯,然后进行深入地数据分析挖掘和展开精准营销。

去年,宜信宜人贷先后推出“码上贷”、“极速模式”两款个性鲜明的借款咨询服务,正是其在风控、信审等P2P核心业务领域潜心钻研之后的集中发力之作,而这一切都得益于宜信宜人贷对互联网大数据技术的透彻理解和应用。

个性化教育 节节高

作为与数据最为相关的领域之一,继互联网、物联网之后,教育被视作大数据大有可为的重要行业。遍布教、学、研多层面的数据集合,通过有效利用大数据技术,可帮助学生改善学习效率,提供符合职业规划的个性化学习服务,同时也有助于教育和科研机构加快提升科研成果和教育质量,培养更多更优秀的创新性人才。如华为大数据一体机服务于北大重点实验室,中科曙光助同济大学在信息学科及其交叉学科研究领域迈上一个新台阶。

大数据应用未来聚焦点

未来大数据的应用场景主要集中于以下五个方面:

1. 利用大数据实现客户交互改进:电信、零售、旅游、金融服务和汽车等行业将快速抓取客户信息从而了解客户需求列为首要任务;

2. 利用大数据实现运营分析优化:制造、能源、公共事业、电信、旅行和运输等行业要时刻关注突发事件、通过监控提升运营效率并预测潜在风险;

3. 利用大数据实现IT效率和规模效益:企业需要增强现有数据仓库基础架构,实现大数据传输、低延迟、和查询的需求,确保有效利用预测分析和商业智能实现性能和扩展;

4. 利用大数据实现用智能安全防范:政府、保险等行业亟待利用大数据技术补充和加强传统的安全解决方案。

当然,不论是哪个行业的大数据分析和应用场景,可以看到一个典型的特点还是无法离开以人为中心所产生的各种用户行为数据,用户业务活动和交易记录,用户社交数据,这些核心数据的相关性再加上可感知设备的智能数据采集就构成一个完整的大数据生态环境。

当下,大数据在金融、电信、智慧城市、电商及社交娱乐等行业已经出现规模化应用,中国大数据市场将进入高速发展时期。大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源,对数据资源进一步加以挖掘和分析,增强用户信息获取的便利性,实现从产品价值导向到以客户体验价值为中心导向的转换,客户体验的提升也正是激发信息消费的根本原因。

中国信息消费市场规模量级巨大,增长迅速。在网络能力的提升、居民消费升级和四化加快融合发展的背景下,新技术、新产品、新内容、新服务、新业态不断激发新的消费需求,而作为提升信息消费体验的重要手段,大数据将在行业领域获得更广泛的应用。

篇5:大数据经典案例

(简版)

2017-12-22 15:39:14阅读(1406)

导读近日,商情数据旗下国内领先的产业研究咨询服务机构中商产业研究院权威发布

篇6:大数据经典案例

今天给大家讲讲基于大数据究竟可以告诉我们什么?基于现实中的几个案例我们来用事实进行分析:

意料之外:胸部最大的是新疆妹子

某宝【大数据】平台显示,购买最多的文胸尺码为B罩杯。B罩杯占比达41.45%,其中又以75B的销量最好。其次是A罩杯,购买占比达25.26%,C罩杯只有8.96%。在文胸颜色中,黑色最为畅销。以省市排名,胸部最大的是新疆妹子。啤酒与尿布

全球零售业巨头沃尔玛在对消费者购物行为分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今,“啤酒+尿布”的【大数据】分析成果早已成了大数据技术应用的经典案例,被人津津乐道。数据新闻让英国撤军

2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件,鼠标点击红点后弹出的窗口则有详细的说明:伤亡人数、时间,造成伤亡的具体原因。密布的红点多达39万,显得格外触目惊心。一经刊出立即引起朝野震动,推动英国最终做出撤出驻伊拉克军队的决定。

Google成功预测冬季流感

2009年,Google通过分析5000万条美国人最频繁检索的词汇,将之和美国疾病中心在2003年到2008年间季节性流感传播时期的【大数据】进行比较,并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。大数据与乔布斯癌症治疗

乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此,他支付了高达几十万美元的费用。他得到的不是样本,而是包括整个基因的数据文档。医生按照所有基因按需下药,最终这种方式帮助乔布斯延长了好几年的生命

磨砺营IT教育版权所有

http://

大数据可以鉴别产品真假

意大利帕马森雷佳诺干酪同业公会是一间防止造假或无证生产帕马森雷佳诺干酪的质量监控联营公会。过去,判断干酪的真伪是一个极为耗时的复杂过程,需要手动抽查 600多家乳品店。而现在,大数据分析解决方案提供的条码标签和传感器功能,让其能够有效监控日常生产与产品,从而帮助他们准确判断和追溯每批产品是否纯正。也帮助了客户解决风险和欺诈的挑战。

大数据可以降低成本,增加营业额

迪凡斯动物园和水族馆只能凭借以往的经验猜测每一天的游客数量,并决定聘用多少员工以及准备多少物资。现在通过大数据分析解决方案,他们可以将移动端验票及天气预报等多个不同来源的数据关联在一起进行综合分析,实现了对游客数量的精准预测。同时,从这些数据中获取洞察,帮助他们能够更好地预测游客需求,并且做出更加有效的业务决策,让游客在每一次游览中都能获得满意的服务。

过去对于企业来说,消费者仅仅是个模糊的概念。通过大数据,让企业能清晰的触摸到用户们的“轮廓”,让企业更准确地捕捉用户的需求和消费心理。同时,通过对数据资源的收集和挖掘利用,企业获得了取之不尽、用之不竭的信息资源,一切变的可量化。大数据颠覆了传统企业的生产模式,引发了管理变革,成为了企业再现代化新的驱动力。

今天的大数据时代,让商业的生态环境在不经意间发生了巨大的变化,无处不在的智能终端,随时在线的数据传输,互动频繁的社交网络让消费者的面孔从模糊变得清晰,对于企业来说,企业第一次有机会进行大规模的精准化的消费者行为研究;作为保持着持续变革欲望的企业,主动地拥抱这种变化,从战略到战术层面开始自我的蜕变和进化将会让企业更加适应这个新的时代。

当别人还在说故事用想象来建构未来的时候,我们已经开始用数据绘制新的商业蓝图。

篇7:大数据经典案例

--读《大数据时代》有感

施佳驰

不知从什么时候开始,“大数据”这个词悄然成为了我们的常用词汇;我们也不知从什么时候开始,迈进了“大数据时代”.那么,大数据时代究竟是一个怎样的时代?英国“大数据时代的预言家”维克托迈尔·舍恩伯格和肯尼思 库克耶的《大数据时代》对此有着详细而深刻的洞见。

一、什么是大数据?

根据《大数据时代》中所说,“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉,大数据还为改变市场、组织机构以及政府与公民关系服务。”、“大数据即一种新型的能力:以一种前所未有的方式,通过对海量 数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。” 大数据有两层含义,第一层含义,大数据是一个总结性的概念,是对海量数据的总称;第二层含义即书本中所指出的,是一种新型的能力与方式。区别于小规模数据时代的抽样分析,大数据时代,分析的样本不再需要经过抽样,直接将全体数据进行更快更准确地分析。

二、大数据的核心是什么?

大数据的核心应当是减少冗余,提高资源配置效率。根据收集到的数据分析、挖掘出庞大数据库独有的价值,以便进行干预或提供相应的资源与服务。自古以来,人类社会的发展便是资源配置不断优化的过程,大数据作为一种新型的生产工具,它能让我们通过分析海量的数据,得知该如何更有效地分配稀缺的资源。

如医院通过对某个病人病史、生活习惯、衣食住行、工作娱乐情况等进行全方位分析,便可以准确了解病人的生活情况与生活环境,精确地指出症结引起原因所在,只要建议病人针对引起病源的因素做出调整或进行医学干预,便可以了,避免了对病人过多的用药与过大范围的盲目干预。

同样的道理,如果银行通过分析某一申请人的家庭情况、消费历史、生活习惯、财务习惯、网页浏览记录等各方面的数据,便可以清晰了解此申请人各方面的情况,甚至可推测其内心的真实想法与将要采取的做法,从而判断申请人的贷款申请资格,决定该不该授信,授信多少等内容,所有的信息在大数据时代,能在系统中搜索一下,几分钟便能全部收集完成。相比以前,()申请人申请后,银行得派出两名客户经理上门进行访问、调查、收集电信、征信等多方面的信息,再进行人工分析、鉴别等过程,耗费的时间多不说,风险也相对更高。

可见,大数据的运用不但提高了工作效率,节省了机构与申请人的时间,更能基于精确的信息,确保风险可控,且保证了授信给该申请人的正确性,将有限的资金用在刀刃上,提高资源配置质量。

三、什么是大数据思维?

书中指出,大数据思维是一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。大数据与三个重大的思维转变有关:首先,要分析与某事物相关的所有数据,而不再依靠分析少量的样本;其次,乐于接受数据的纷繁复杂,而不再追求精确度;最后,我们的思维不再探求难以捉摸的因果关系,转而关注事物的相关关系。

大数据思维应当是一种意识,认识到大数据的无穷威力,并积极拥抱这个繁荣的时代;世界上的一切都是信息,都是可以量化分析的信息。如果将相关的信息进行交互分析,便能获得“上帝的视觉”——窥视知道分析对象的一切,包括所思所想;获得的信息可以通过类比,准确推测分析对象的想法以及未来行为;根据推测出来的内容进行干预或服务,从而获得商业机会;在一切均有记忆、一切均能收集、能更加准确预测未来的时代,我们或许受困于过去的行为;在这个时代,对隐私权、公平与正义的探讨上升至一个新的语境。

四、新的时代,我们该怎么办?

老子说,无为而治。因此,我们还是该吃饭就吃饭,该逛街就逛街,想吃甜点便吃甜点,过自己的生活,努力自己的工作。大数据是一种意识,更是一种工具,所有的工具最终都是为了让我们生活得更加方便、更加如意,而作为最高智慧生物的我们,要做的,便是习学如何通过这新的工具,改造世界,创造生活。

篇8:大数据经典案例

关键词:大数据,价值链,流程再造,纸牌屋

伴随着海量数据及处理技术的飞速发展, 大数据时代已经来临, 并对每个领域都造成了影响。各行业之间的竞争愈演愈烈, 对企业价值链进行重新审视和设计, 使企业原有的经营运作流程适应新的竞争环境, 已经成为企业打造核心竞争力、实现战略目标的必然要求。因而, 研究大数据时代基于价值链分析的企业流程再造具有重要的意义。

1 文献回顾

研究机构Gartner认为, “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。自2009年以来, IDC、麦肯锡、普华永道等咨询公司, 《科学》、《自然》等杂志, 都连篇累牍地介绍了大数据, 认为“大数据”将成为下一个创新前沿。未来国家与企业的核心竞争力将很大程度上依赖于将数据转化为信息和知识的速度与能力, 而这种转化速度和能力, 实际上则取决于大数据方面的技术能力。因此, 大数据必将引起全球各行业的重大变革。

业务流程再造 (BRP) 由Michael Hammer首次提出, 并对其做了如下定义:“企业流程再造是对企业的业务流程作根本性的再思考和彻底性的重新设计”。从此以后, BPR就成了一种风靡全球的管理理念。基于价值链分析的企业流程再造 (VC-BPR) 是指企业在经营决策过程中, 通过市场反馈及成本价值分析, 对企业各种经营流程进行重新思考和再设计的过程。

VC-BPR理论深刻地揭示了价值活动之间相互关系的重要性, 所有的业务流程相互促进和配合, 以使共同产生的价值远远大于各价值活动自身价值之和。在日益激烈的竞争环境中, 企业只有依托其价值链, 不断地建立、整合和重构其内外部资源和能力, 进行流程再造, 才能在动态环境中获得持续的竞争优势。

2 研究方法与数据来源

案例研究法能获取丰富、详细和深入的信息, 让人们透过事物表象看到隐含的深层因素。一方面, 通过单一案例研究, 可发现大数据、价值链与企业流程再造过程的作用关系模型;另一方面, 单一案例研究能更加深入地进行案例调研和分析, 更容易把“是什么”和“怎么样”说清楚, 故本文采取单一案例研究方法。

本研究选择Netflix公司推出的大数据制作电视剧《纸牌屋》是因为: (1) 企业具有代表性。Netflix是全球最大的在线影片租赁服务提供商, 是典型的影像行业巨头。 (2) 高风险性。影视投资收视率、票房与投资回报率的可预测性很差, 这也是企业在进行商业决策时所面临环境的典型特点。 (3) 资料丰富。《纸牌屋》运用大数据模拟实境, 在全球40个国家已经成为网络点播率最高的剧集。本研究小组取得了关于案例研究的大量资料, 便于进行全面深入分析。

3 案例分析

3.1 第一阶段:大数据技术能力的形成阶段

在搜索引擎、社交网络等互联网应用盛行, 数据量迅猛增加的同时, 以Hadoop HDFS、HBase、Hive、No SQL等为核心的开源生态圈和以SAP Hana、HPVertica、Tableau等为核心的商用生态圈, 为大数据技术能力的形成奠定了基础。

在美国众多的视频服务商里, Netflix是最早将大数据和媒体行业的结合起来的。推荐引擎是Netflix的一个关键服务, 1千多万顾客在同一个个性化网页上对影片做出1~5的评级, 并将这些评级放在一个30亿条以上的数据集中。Netflix使用大数据算法和软件来标识具有相似品味的观众对影片可能做出的评级。多年来, Netflix已经使用该方法提高了影片推荐的效率, 得到很多影片评论家和用户的好评, 大数据技术所带来的消费体验提升和商业价值远超过其技术成本。

3.2 第二阶段:利用大数据解决方案进行价值链分析

价值链分析理论认为, 每一个企业的价值链都是由以独特方式连接在一起的九种基本价值活动构成的。价值活动可以分为两大类:基本活动和支持性活动。价值链产生于企业中各自独立运作的价值活动之中。

在《纸牌屋》的制作中, 价值链活动是涉及到《纸牌屋》的投资决策、开发设计、市场投放、商务支持和顾客服务的一系列活动。

投资决策阶段, Netflix通过大数据技术, 集中分析了3000万次用户体验, 400万条用户评价, 300万次用户搜索操作, 以及用户观看视频的时间和使用终端等数据。通过对用户观看习惯的了解, 发现那些喜欢观看BBC老版《纸牌屋》的用户, 同样也喜欢大卫·芬奇导演, 及演员凯文·史派西。正是这个分析结果, 最终促成了他们决定花一亿美元来购买1990年BBC的同名电视剧《纸牌屋》的版权。

在开发设计阶段, Netflix灵活运用大数据, 分析用户偏好、市场时机, 对用户非常有针对性。与其他传统电视运营商不同, Netflix不需要把内容先放出去后才知道用户喜好程度, 它在内容发给用户之前就已经知道这些了。

在市场投放、商务支持和顾客服务阶段, Netflix利用大数据分析技术, 结合自身价值链, 发掘新的需求, 提高投入回报率。实时地把用户使用数据、交易行为数据进行储存和分析, 并进行数据挖掘。通过模型模拟来判断不同变量的情况下何种方案投入回报最高, 从而实现其价值链的优化。

3.3 第三阶段:基于价值链分析的企业流程再造

Netflix此次在《纸牌屋》上的尝试, 开启了影视创作行业的流程再造———利用基于大数据分析的推荐引擎, 自制剧集;直接向用户推荐他们喜欢的节目, 打破传统电视节目的捆绑模式。大数据分析不仅对将来整个影视创作行业从剧本选择, 导演演员的选择, 拍摄和后期制作, 乃至营销, 都会产生深刻的影响。而且, 《纸牌屋》绕开有线电视公司, 完全通过互联网播出。被《福布斯》杂志描述为:可能会动摇美国传统电视产业。捆绑模式一直是电视行业赖以生存的基础, 然而随着互联网服务的发展, 观众的自主权越来越多, 以及第二屏设备的逐渐普及, 捆绑模式正开始被打破。在大数据的基础上, 进行价值链分析, 促进企业的流程再造。既加强了已有的产品和服务, 又创造了新的商业模式。

三个阶段循环往复, 便能综合改进企业战略与组织结构, 并最终实现企业绩效的提升。

4 研究结论

本研究选取Netflix公司推出大数据制作《纸牌屋》进行典型案例研究。从企业战略的视角出发, 创新性地提出大数据、价值链与企业流程再造的作用关系模型。通过该模型, 适应不断变化的市场环境, 从而打造企业的核心竞争力, 实现其战略目标。

参考文献

[1]王团苗, 胡耀光.基于价值链的企业流程再造与信息集成[M].北京:清华大学出版社, 2002.

[2]Hammond.J.H, Obermeyer.W.R.Making supply meet demand in an Uncertain World[J].Harvard Business Review, 1994, 32, (6) :81-93.

上一篇:绿色护拦的自述作文400字下一篇:父亲节策划方案