python与大数据分析

python与大数据分析（精选14篇）

篇1：python与大数据分析

当教育遇上大数据

——读《与大数据同行》有感

张俊强

“和书籍在一起，永远不会叹气。”

——罗曼·罗兰

暑假，没有上班时的忙碌，一杯凤凰茶、一卷书，在温馨的家里，一家人围坐在一起安静地阅读，是我最惬意的时光。

我所读的书里面，令我感触最深的是《与大数据同行：学习和教育的未来》，这本书是维克托·迈尔－舍恩斜伯格与肯尼思·库克耶关于大数据的第二部专著，赵中建教授翻译，华东师范大学出版社出版。

“大数据”一词我们并不陌生，电商通过大数据分析用户的爱好需求进行定向精准推广；深圳交警局利用大数据进行城市交通管理，将市区拥堵时间缩短；我们外出叫个网约车，出行的轨迹便会被大数据所掌握；“今日头条”会根据我们的阅读喜好，智能化推送相关文章……在互联网时代，大数据的应用正在影响着我们生活的方方面面。做为教师，我更关心的是当教育遇上大数据，如何在教育方面将大数据的价值最大化？

本书指出，大数据正在进入教育的方方面面，数据在教育中有着非凡效果，带来截然不同的教学形式；作者还提出大数据重塑学习的三个主要特征：反馈、个性化和概率预测。

北师大肖川教授在《成为有智慧的教师》一书中写到： “教学是人类诸多复杂、重要的事务之一。”做为数学教师，在教学中，我关注的是：学生的学情，基础是什么？课堂上老师讲的内容掌握了没有？我们的教学方式可不可行？怎样让每个学生都得到发展？哪些内容关乎学生的未来？……大数据重塑学习的三个主要特征：反馈、个性化和概率预测，很好地回答了这些问题。

一、反馈的及时和有效

在互联网时代，在线购物已经成为我们生活的一部分。从购物体验来看，在线购物，消费者看到的是图片和文字，不能像实体店那种质量好与不好都看得到，摸得到，因此，人们通常都会去好评率高的商家消费。这就促使商家都非常重视消费者的反馈。同样，教学也非常重视反馈。教师的教学如果没有反馈或者没有及时、正确的反馈，教师就不能及时修正和调整自己的教学行为，这样的教学就没有针对性，是低效的。

传统的教学反馈包括：1.学生课堂回答、当堂的练习；2.家庭作业；3.单元测试。我们从反馈中了解学生的掌握程度，从而调整教学进度、教学方法。在《大数据》这本书里，作者将上面这些反馈方法称为“小数据”，维克托·迈尔－舍恩斜伯格与肯尼思·库克耶认为这种教育反馈系统存在很大的缺陷：

1.不能保证收集的信息是正确的，即便是，收集的数量远远不足，而且收集的数据也没有得到有效地使用。

作者的观点我是认同的，因为我有亲身体会：在讲授新课之前，我希望了解学生的学情，比如，哪些知识是学生通过自学就可以掌握？哪些知识对学生来说属于难点，需要做重点探究？过去，我的做法是通过布置预习作业，学生完成学案，我再通过对学案的分析，掌握学生的学情，修正自己的教学策略。这种“先学后教，以学定教”的做法，似乎还不错，不但关注学生的学习起点，而且符合新课改的精神，但是，在实际操作过程当中，实际效果往往不尽如人意。前一天晚上布置的预习作业，第二天就要上新课，由于教学进度的要求，往往没有办法及时对每位同学的学案进行批改和分析，来不及修改自己的教学方案。

现在有了信息技术的支持，可以改变这种情况。我可以通过QQ家校群布置微课视频，在上课前一天让学生观看视频预习新课，学生观看微课视频之后，完成并提交相应的在线微课作业，系统自动批改并显示每题的正确率。这样，我提前就可以掌握学情，调整第二天的教学策略，做到有的放矢，这样的课堂就很有针对性了。

2.反馈是单向的，指向的都是学生。几乎所有的反馈都是针对学生的学习行为和学习结果。反馈主要关注学生掌握知识和技能的程度，而且关注共性问题为主。这种反馈很少是关于教师的，针对的是学习的结果，而不是学习的过程。

在学校里，科任教师只要能把班级考试成绩提升上去，班主任在常规评比中拿到标兵班或者流动红旗，通常就被认为是好老师、好班主任。不管学生的成绩是因为教师高效课堂或通过题海战术而取得的，关注的是结果而不是过程，关注的是学生的现状而不是未来的发展。

大数据应能改变这一现状。在课室中使用电子教科书、在线教学平台，我们可以收集到过去无法获取的学习数据，并用于学习过程的处理，在改变传统教育反馈中的即时性和单向性方面发挥重要的作用。

二、如何落实个性化教育

最早提出个性化教育的理念和思想应该是我国的圣贤先师孔夫子，夫子在两千多年前就已经提出“因材施教，有教无类”的教育思想。我们都承认学生之间的差异是存在的，但是传统的班级授课自捷克教育家夸美纽斯把它确定下来之后基本不变：班级授课制就是由一位教师根据教学计划中统一规定的课程内容对几十位学生教学。这种传统课堂教学模式只管“齐步走”，不注重学生的个性化发展。新的《数学课程标准》指出：“教师要根据学生的具体情况，有创造地设计教学过程，要正确认识学生的个体差异，因材施教，使每个学生都在原有的基础上得到发展。”这说明，我国高度重视个性化教育。

本书指出，“大多数学校的教育，在其设计之初考虑的都是处于平均水平的学生，这种做法会同时损害位于正态分布曲线两侧的学生，会使领悟力高的学生感到厌烦（甚至引发纪律问题），而领悟力低的学生会学得非常吃力。”

个性化教学的先行者——可汉学院的创始人萨尔曼·可汉指出：我们需要的是“一个尺寸适合一个人”的方式，打破“一个尺寸适合所有人”的同质性，从而使学习优化成为可能。

大数据的发展和应用，使我们可以对学生的学习信息的数据进行收集、分析和反馈、整理和分析。事实上，现在有部分APP已经在尝试做这种事情。“一起作业”、“作业盒子”是我非常喜欢的两个APP。这些APP运用大数据，根据学生一个学期以来的作业反馈数据，自动生成最适合每个学生的个性化暑假作业。借助强大的数据分析系统，大规模个性化学习就能得以实现。这个暑假，我就为上学期本人任教的学生布置了数学暑假个性化的作业。

三、精准概率预测的可能性

某同学被目标大学录取的概率是多少？班级教师怎么搭配最佳？哪些教师更适合哪个年级？哪些教师适合当班主任？家长可能会向我们咨询：孩子注意力不集中，是多动症还是单纯的注意力缺乏？学生成绩不理想的原因是什么？家长应该怎么辅导孩子的学习？……

在做这些教育决策时，我们往往根据经验来判断，未必能够给予正确的指导。随着大数据预测在精确度和细节的提高，我们可以提出更加具体和细致的建议，采取更具针对性措施。比方说，我们与其要求孩子整个暑期补课，不如有针对性的补习代数两个星期，更有利于学生整体水平的提升。

“大数据正在进入教育的方方面面，并将对这个世界的学习产生深远的影响。大数据能告诉我们什么是最有效率的，并且揭示那些过去无从发现的谜题。”教育遇上大数据，这是一场美好相遇，我们都应该做好准备，迎接大数据时代来临，成为有“数据”的教师。

END

篇2：python与大数据分析

“和书籍在一起，永远不会叹气。”

――罗曼・罗兰

暑假，没有上班时的忙碌，一杯凤凰茶、一卷书，在温馨的家里，一家人围坐在一起安静地阅读，是我最惬意的时光。

我所读的书里面，令我感触最深的是《与大数据同行：学习和教育的未来》，这本书是维克托・迈尔－舍恩斜伯格与肯尼思・库克耶关于大数据的第二部专著，赵中建教授翻译，华东师范大学出版社出版。

“大数据”一词我们并不陌生，电商通过大数据分析用户的爱好需求进行定向精准推广；深圳交警局利用大数据进行城市交通管理，将市区拥堵时间缩短；我们外出叫个网约车，出行的轨迹便会被大数据所掌握；“今日头条”会根据我们的阅读喜好，智能化推送相关文章……在互联网时代，大数据的应用正在影响着我们生活的方方面面。做为教师，我更关心的是当教育遇上大数据，如何在教育方面将大数据的价值最大化？

本书指出，大数据正在进入教育的方方面面，数据在教育中有着非凡效果，带来截然不同的教学形式；作者还提出大数据重塑学习的三个主要特征：反馈、个性化和概率预测。

北师大肖川教授在《成为有智慧的教师》一书中写到： “教学是人类诸多复杂、重要的事务之一。”做为数学教师，在教学中，我关注的是：学生的学情，基础是什么？课堂上老师讲的内容掌握了没有？我们的教学方式可不可行？怎样让每个学生都得到发展？哪些内容关乎学生的未来？……大数据重塑学习的三个主要特征：反馈、个性化和概率预测，很好地回答了这些问题。

一、反馈的及时和有效

在互联网时代，在线购物已经成为我们生活的一部分。从购物体验来看，在线购物，消费者看到的是图片和文字，不能像实体店那种质量好与不好都看得到，摸得到，因此，人们通常都会去好评率高的商家消费。这就促使商家都非常重视消费者的反馈。同样，教学也非常重视反馈。教师的教学如果没有反馈或者没有及时、正确的反馈，教师就不能及时修正和调整自己的教学行为，这样的教学就没有针对性，是低效的。

传统的教学反馈包括：1.学生课堂回答、当堂的练习；2.家庭作业；3.单元测试。我们从反馈中了解学生的掌握程度，从而调整教学进度、教学方法。在《大数据》这本书里，作者将上面这些反馈方法称为“小数据”， 维克托・迈尔－舍恩斜伯格与肯尼思・库克耶认为这种教育反馈系统存在很大的缺陷：

1.不能保证收集的信息是正确的，即便是，收集的数量远远不足，而且收集的数据也没有得到有效地使用。

作者的观点我是认同的，因为我有亲身体会：在讲授新课之前，我希望了解学生的.学情，比如，哪些知识是学生通过自学就可以掌握？哪些知识对学生来说属于难点，需要做重点探究？过去，我的做法是通过布置预习作业，学生完成学案，我再通过对学案的分析，掌握学生的学情，修正自己的教学策略。这种“先学后教，以学定教”的做法，似乎还不错，不但关注学生的学习起点，而且符合新课改的精神，但是，在实际操作过程当中，实际效果往往不尽如人意。前一天晚上布置的预习作业，第二天就要上新课，由于教学进度的要求，往往没有办法及时对每位同学的学案进行批改和分析，来不及修改自己的教学方案。

现在有了信息技术的支持，可以改变这种情况。我可以通过QQ家校群布置微课视频，在上课前一天让学生观看视频预习新课，学生观看微课视频之后，完成并提交相应的在线微课作业，系统自动批改并显示每题的正确率。这样，我提前就可以掌握学情，调整第二天的教学策略，做到有的放矢，这样的课堂就很有针对性了。

2.反馈是单向的，指向的都是学生。几乎所有的反馈都是针对学生的学习行为和学习结果。反馈主要关注学生掌握知识和技能的程度，而且关注共性问题为主。这种反馈很少是关于教师的，针对的是学习的结果，而不是学习的过程。

在学校里，科任教师只要能把班级考试成绩提升上去，班主任在常规评比中拿到标兵班或者流动红旗，通常就被认为是好老师、好班主任。不管学生的成绩是因为教师高效课堂或通过题海战术而取得的，关注的是结果而不是过程，关注的是学生的现状而不是未来的发展。

大数据应能改变这一现状。在课室中使用电子教科书、在线教学平台，我们可以收集到过去无法获取的学习数据，并用于学习过程的处理，在改变传统教育反馈中的即时性和单向性方面发挥重要的作用。

二、如何落实个性化教育

最早提出个性化教育的理念和思想应该是我国的圣贤先师孔夫子，夫子在两千多年前就已经提出“因材施教，有教无类”的教育思想。我们都承认学生之间的差异是存在的，但是传统的班级授课自捷克教育家夸美纽斯把它确定下来之后基本不变：班级授课制就是由一位教师根据教学计划中统一规定的课程内容对几十位学生教学。这种传统课堂教学模式只管“齐步走”，不注重学生的个性化发展。新的《数学课程标准》指出：“教师要根据学生的具体情况，有创造地设计教学过程，要正确认识学生的个体差异，因材施教，使每个学生都在原有的基础上得到发展。”这说明，我国高度重视个性化教育。

本书指出，“大多数学校的教育，在其设计之初考虑的都是处于平均水平的学生，这种做法会同时损害位于正态分布曲线两侧的学生，会使领悟力高的学生感到厌烦（甚至引发纪律问题），而领悟力低的学生会学得非常吃力。”

个性化教学的先行者――可汉学院的创始人萨尔曼・可汉指出：我们需要的是“一个尺寸适合一个人”的方式，打破“一个尺寸适合所有人”的同质性，从而使学习优化成为可能。

大数据的发展和应用，使我们可以对学生的学习信息的数据进行收集、分析和反馈、整理和分析。事实上，现在有部分APP已经在尝试做这种事情。“一起作业”、“作业盒子”是我非常喜欢的两个APP。这些APP运用大数据，根据学生一个学期以来的作业反馈数据，自动生成最适合每个学生的个性化暑假作业。借助强大的数据分析系统，大规模个性化学习就能得以实现。这个暑假，我就为上学期本人任教的学生布置了数学暑假个性化的作业。

三、精准概率预测的可能性

某同学被目标大学录取的概率是多少？班级教师怎么搭配最佳？哪些教师更适合哪个年级？哪些教师适合当班主任？家长可能会向我们咨询：孩子注意力不集中，是多动症还是单纯的注意力缺乏？学生成绩不理想的原因是什么？家长应该怎么辅导孩子的学习？……

在做这些教育决策时，我们往往根据经验来判断，未必能够给予正确的指导。随着大数据预测在精确度和细节的提高，我们可以提出更加具体和细致的建议，采取更具针对性措施。比方说，我们与其要求孩子整个暑期补课，不如有针对性的补习代数两个星期，更有利于学生整体水平的提升。

“大数据正在进入教育的方方面面，并将对这个世界的学习产生深远的影响。大数据能告诉我们什么是最有效率的，并且揭示那些过去无从发现的谜题。”教育遇上大数据，这是一场美好相遇，我们都应该做好准备，迎接大数据时代来临，成为有“数据”的教师。

篇3：RFID与大数据物流

关键词：大数据物流,RFID,基础建设

毋庸置疑,“大数据”是当下的搜索热词。各行各业与大数据作用下形成的数据信息进行荟萃交流,构成了可循环生态产业系统——大数据产业。本篇引入“大数据物流”这一概念词,旨在RFID技术的基础上,论述物流业与大数据产业的结合,探讨与学习实现大数据物流的可行途径,以求达成可观效益。

RFID对物流业意味着什么?

RFID(无线射频识别技术)是大数据产业的基础,是大数据产业指数水平高低的指标之一。物流业被认为是劳动密集型产业,低技术附加值的产业指数不利于物流业的长线发展。而大数据产业与物流业相结合,行业本身的技术附加值自然增加。但产业指数的上升,也意味着物流行业所有的配套硬件软件也需要进行同步升级。怎样使大数据物流更加现实,换言之,也就是怎样通过RFID来实现真正的大数据物流呢?

RFID是一项基于电子标签,配套其他外围基础设备,如外置天线、读写装置和打印机等的系统技术,RFID也称为电子标签系统技术。其中,电子标签主要由芯片和天线构成。RFID的工作模式可以简单归结为在一定的磁场范围内“发送信号”、“接收信号”以及“处理信号”三大步骤。利用RFID这种标签形式,将特殊的信息编码写进电子标签,粘贴在需要识别的物体上,通过无线射频方式进行非接触双向通信,识别的同时交换数据,满足有效产出和精准性的需求。大数据物流系统主要由以下几个部分构成,其中有数据服务器(包括软硬件系统)、RFID条码扫描器(用于扫描录入货物信息)、RFID标签打印机(用于根据货物信息打印RFID标签信息)、RFID手持终端(用于扫描检测带有RFID标签的货物并生产相关报表发送到指定电脑供操作人员查阅)、外围读写器和天线(用于接受电子标签发出的信号和将信号发送到服务器上进行处理)。其中,为保证系统的安全性,大数据物流系统的数据服务器仅对指定端口开放与客户端通信,其他端口一律封闭。此外,客户端使用采用软件注册与系统硬件绑定的模式,强化大数据物流系统的安全可靠。

智能可视化的高效管理——大数据物流前景

在物流业实施RFID技术的研讨和实施一直在持续不断地进行着,物流管理信息化一直是行业关注的重点。在大数据物流的定义下,作为物流管理中重要组成部分的仓储管理信息化自然是关注的重中之重。而网络布局是大数据物流关键,其布局下的数据开发和应用具有实际意义。RFID所具有的批量数据采集能力、实时数据反馈能力及应用高效率回报能力,不仅节省了人力,还避免了应用二维码系统时易出现的错扫、漏扫、重扫等差错,满足了网络布局的精准性要求,能将布局内所采集的数据信息充分利用起来。网络布局展开后,RFID仓储管理系统的应用发挥大数据物流本身的分析、优化和控制等价值优势,可以实现对货物从入库开始的自动识别、定位、输送、存取、出库等全部业务流程的智能可视化管理。

实例一:德国麦德龙

大数据物流除了致力于可视化和效率化外,还有着重于物流供应链的连贯一致性。从生产基地的产品运输到终端消费的商品销售,整个物流供应链保持高效饱满的连贯一致性,这是将物流业与零售业合并的创举,也是大数据物流的可观前景。德国麦德龙集团早在21世纪初就已经开始逐步推进这一颇似“大数据物流”雏形的计划。参加这一计划的除了麦德龙集团本身外,以INTEL、IBM、以及SAP均作为主要参与核心企业。此外,类似一般消费品生产商,如可口可乐公司,IT企业,如惠普,还有多家RFID供应商,也都积极参与其中,致力于实现以从生产基地处物流为始点,到零售店的各单品管理为终点的,整条供应链的高效管理,将物流业务范围辐射到销售终端。大数据物流不仅能保证为客户提供的商品数据是完整的,还能提高进出货管理业务的效率。从而达到单品库存的管理精度提高,库存情况得到强而有力的控制,企业整体营业额上升的效果。

实例二:日本惠普

大数据物流将传统业务范围扩大, 不再局限于为“物流”而物流,倾向于为“终端”而物流,更着重商业终端的物流参与感。惠普在美国田纳西州的物流配送中心仓库,为北美多个零售业巨头,如Wal-Mart、Office Depot、Best Buy等企业,提供促销专用的打印机。这类促销活动因为涉及的商家范围广,而且举行时间弹性大,所以对物流的适量和适时要求较高。惠普与参加打印机促销活动的零售商家展开合作,以托盘为单位进行RFID标签应用,为装载促销打印机的托盘上加黏一张RFID标签,当打印机从配送中心出货后,就在各个落货点进行数据的读取和采集,加大了产品流向的透明度。而通过大数据物流实现终端的数据共享,掌握产品在“何时”位于“何地”或经过“何地”的实时信息,就使得促销工作更为透明可控,便于决策者进行决策,并及时处理和判断各类问题。高效的销售体系得以建立,销售业绩自然随之提升。

大数据物流实施流程

要落实大数据物流,除了RFID技术的支持外,还需要集成多方面资源,综合考虑基础建设、实施流程以及应用成本等问题。

第一,基础建设

RFID系统技术的建立重在基础建设的铺建。从芯片、天线、读写装置的选择到节点的布置,到数据库的更新、系统的升级和网站的连接都至关重要。

通过RFID,每一件物流单体获得唯一代码,具备了“读”、“写”及信息存储功能后,可以在生产、仓储、物流、商业销售的节点处采集到每一件商品的信息,构建商品信息流与局域网、互联网的信息进行比对,建立自动纠错的查询、防伪、防窜货、促销等智能系统,将品牌商、销售商、物流公司、终端客户的利益联结在一起,从而制约了假冒伪劣商品的泛滥,提高了行业监控管理水平和物流业综合服务水平。构建大数据物流,实现大数据信息的可追溯和可共享就成为现实。

下面请看具体的实施流程图:见116图。

第二,实施流程

第三,应用成本

目前制约大数据物流推广应用的瓶颈,一个是RFID芯片成本过高,另一个则是RFID读写装置使用功能不够简化。芯片成本过高若从长远的角度来看,应该根本不构成问题。物流企业在RFID运营方面的投入,已经通过DHL、UPS、Fed Ex等国际大型物流公司的验证是物超所值的,国内企业若再持观望态度,只会一推再推而错失良机。

而RFID读写装置使用功能不够简化,主要是指现在RFID读写装置大部分的功能都是闲置的。对于终端客户而言,如果自己的手机本身就具有RFID的读写功能,那是再好不过的了。而这一技术也不难实现,只要在智能手机上添加一个RFID的读写模块就能解决。

结语

篇4：大数据：与大无关

F：简单说，大数据关乎那些可以改变我们生活的应用，比如运动健康、食品运输、零售、智能城市等。能否成为“大数据”的关键在于，你能否将这些数据真实运用到现实中。不能用的话，数据本身无意义，并不能保证让你做出更好的决定。

关于大数据最大的误解我想在于“大”这个概念。虽然叫做“大数据”，但不一定要“大”才会产生影响。切入的视角和分析手段更重要，真正有意义的并非数据的规模，而是它能如何产生影响。

T：大数据真的会改变很多行业吗？具体来说，它究竟是怎样改变行业既定规则的？

F：IT业当然是最明显的，大数据可以影响服务器、基础设施、计算机的管理等。

另一个是零售行业，尤其是电商，交易规模、消费偏好、购物兴趣等，大数据都可以在你做决策时给出参考。

此外还有健康管理。医生可以根据大数据来监测病人的健康情况，你也可以监测自己的健康。

还有可能涉及教育产业，去发现一种更具自我驱动力的学习方式，定制化的APP可以知晓如何用更好的方式去教育特定的学生。

教育产业获得数据的方式可能有两种：其一，当学生在学校遇到困难时——完成作业通常很慢，在测试中表现不佳，逃课，这些都是学生的数据碎片。如果你拥有了成百上千个学生的数据碎片，就可能预测在哪些时间段哪种学生会需要何种帮助，从而让老师能更合理有效地分配工作时间。

其二，纸质材料已经很传统了，更有自我驱动力的个性化数字教材，可以在你学习的过程中“学习”你。

不过，与其探讨大数据会最多改变哪些行业，不如探讨，大数据会以怎样的顺序改变这些行业。因为现在几乎所有领域都看到了大数据的影响力。我的书名副标题是“大数据如何改变我们的学习、生活甚至爱”，这是个大题目，但这是真的。生活的衣食住行和教育都显现出大数据的作用了，至于爱这个话题——社交媒体、在线约会，人与人之间的关系在这些工具和数据上都有点滴积累，据此可以更了解你的爱好。

T：创业者和大公司对大数据的利用有何不同？

F：大公司很有钱、有很多人、有很多数据。这是他们最有利的一点，也是最薄弱的一点，因为无法像创业者那样很快推进。非常有自我驱动力的创业者可以在自己的领域找到缺口，迅速行动。人们之所以认为速度对大数据应用很重要，一个原因在于，当你去和客户谈合作时，他们已经准备好大数据方面的预算了。能快速建立起你的数据库，就容易卖出产品。

另一个原因是，现在获得数据的成本比以前低很多，廉价渠道为大数据生意制造了很多利润空间。

比如，我认为Netflix就是一家了不起的公司，有非常庞大的数据分析部门，很多聪明人根据数据来推荐电影和电视剧。在他们根据数据制定电视剧拍摄计划后，数据有效性会自动体现在股市上，股市可以作为数据有效的一个映射。我完全相信Netflix的数据是有效的。他们在搭建数据平台和分析方面都十分有创意。

T：公司在利用大数据做决策时，有哪些方式可以考量数据的有效性？

F：这是个很好的问题。在20年前，人们也同样怀疑过电子邮件在工作中是否真能提高效率，怎么测量这种有效性。有一部分公司选择观望，也有公司比如微软，大胆拥抱了这项新技术。他们也没有什么量化途径，只是坚信会带来改观。

我认为，大数据现在也面临同样情形。有人怀疑，有人拥抱，但最终事实会证明它的确有效。当然，对大数据的评估当然也同样重要，你得经常回顾你的数据。

T：影响大数据发挥更大作用的关键因素有哪些？

F：我认为，成本是首要因素。当分析数据的成本变得越来越便宜时，数据影响力也会更大。

另外，获取数据的移动设备也会发挥很大作用。人们越黏在手机上玩各种APP，手机就会越了解你，数据对你的影响就会越大。

同时，也需要更多创业者去创造更多有趣的APP，挖掘更多层面的数据。

在云服务更普及时，数据应用会更快捷。云端存储、计算会省去数据应用者很多硬件麻烦。

T：在大数据概念兴起的同时，一些全新的细分行业也在IT业中崛起，以可穿戴设备为例，大数据将在其中扮演什么角色？

F：谷歌眼镜、智能手表、运动手环等已有移动端，会更主动地收集数据。

这个领域还在起步，但5至10年后会是我们生活的一部分。智能硬件是软件和硬件的结合，硬件可能发展出很多形态，穿戴式的甚至植入式的，对消费者最有吸引力。但硬件传感器只是收集数据的工具，数据分析还要依靠软件完成。

大数据给智能硬件创业者带来的机会可能是，他们不必费心想该如何分析数据，就像苹果不会自己塞满APP Store一样，会有很多APP创业者基于可穿戴设备硬件这个平台，利用其收集的数据，来做出很多你想象不到的分析和用途。在大数据的思路下，智能硬件就是新平台。

T：大数据，从某种层面可看做是互联网技术把人的信息存留于网络上，随之引发的问题是，该如何保护人的隐私？

F：随时在线的最大问题就是，你随时都会留下很多数据，有很多公司都在收集。我认为，公司必须对所收集的数据，以及这些数据可能的用途，非常透明地告诉给用户。在这一点上，眼下的很多公司还有极大的改进空间。

但进入可穿戴时代，比如，你不想被谷歌眼镜认出时，这个办法未必奏效，所以可穿戴时代中，大数据隐私问题非常复杂。

篇5：云计算与大数据学习报告

“大数据与云计算”学习报告 题目：谈谈对“大数据与云计算”技术的理解，及这两项技术对商业活动、社会进步带来哪些影响.首先我想简单谈谈何为云计算，何为大数据。云计算，是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，其侧重的是计算，而大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，本质就是利用计算机集群来处理大批量的数据，大数据的技术关注点在于如何将数据分发给不同的计算机进行存储和处理。其侧重的是计算的对象。

其次说说云计算与大数据的关系.可以说，大数据相当于海量数据的“数据库”，而云计算作为计算资源的底层，支撑着上层的大数据处理，前者强调的是计算能力，或者看重的存储能力。大数据需要处理大数据的能力，大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术。

最后说说云计算与大数据对商业活动、社会发展的作用.云计算和大数据的出现，正在引发全球范围内深刻的技术与商业变革。技术革新对信息化发展的引领与推动作用已经毋庸置疑,而新一波以云计算和大数据为代表的新技术对我国信息化的拉动作用也正日益显现,随着云计算服务的互联,移动互联网、智慧城市等领域的渗透相互促进,形成了市场需求与技术进步双拉动的态势，对电信运营商而言，在当前智能手机、智能设备快速增长、移动互联网流量迅猛增加的情况下，大数据技术可以为运营商带来新的机会。大数据在运营商中的应用可以涵盖多个方面，包括企业管理分析如战略分析、竞争分析，运营分析如用户分析、业务分析、流量经营分析，网络管理维护优化如网络信令监测、网络运行质量分析，营销分析如精准营销、个性化推荐等计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。

篇6：智慧城市与大数据 课程的考试

课程的考试

各题型提交答案说明：

1.单选题及判断题点击圆形按钮进行单项选择，多选题点击勾选框进行多项选择。2.选择题和判断题:直接点击选项，系统将自动提交答案。

3.未完成考试误操作推出系统后，在考试时间段内可重新进入系统考试。4.完成考试后点击提交答案按钮，考试结束，不可再次进入系统考试。5.答题完成后，点击考试页面左侧“未答题”按钮，确认无未答题后再提交答案。6.未提交答案的试卷在考试时间结束后将强制提交答案。

一、单选(共 4 小题，总分: 40 分)1.本讲认为，智慧城市顶层设计的关键不在于技术而是老百姓的（）是什么，只有满足百姓（）的城市才有了“眼睛”。

A.物质 B.需求 C.医疗 D.供给

2.智慧城市从电子政务的角度讲，服务方式转变最核心的一点是从以往工业时代的服务转向以（）为工具的服务。

A.数据 B.云计算 C.软件 D.互联网

3.本讲推荐了一本关于大数据取舍之道的书籍，这本书名字叫（）。

A.《大数据》 B.《智慧数据》 C.《删除》 D.《取舍之道》

4.本讲认为，“大数据”并不意味着数据越多越好，数据要以是否（）为标准。

A.多维 B.高效 C.全面 D.智慧

二、多选(共 2 小题，总分: 20 分)1.智慧城市建设要以()的应用为中心，围绕城市发展的重点需求和群众的迫切要求，找准突破口。

A.投资者 B.市民 C.企业 D.管理者

2.本讲认为，数据的流动性增强以后，整个城市就从（）和（），向着意义型的城市发展。

A.便捷型城市 B.劳动型城市 C.功能型城市 D.创新型城市

三、判断(共 4 小题，总分: 40 分)1.本讲认为，大数据时代已经到来，数据即将成为重要的产业，未来的服务以数据为底座，因此，要把智慧建立在有意义的数据基础上。

正确 错误

2.本讲提到，数据业务正逐渐成为各行各业的辅助型业务。

正确 错误

3.数据与信息不同，信息时代追求的是价值，数据是经过编码解码等反复加工之后，使差异化的成本提高。

正确 错误

篇7：python与大数据分析

这篇文章主要介绍了python插入数据到列表的方法,涉及Python中insert方法的使用技巧,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了python插入数据到列表的方法，

python插入数据到列表的方法

，

分享给大家供大家参考。具体如下：

list = [“red”,“green”]list.insert(1,“blue”)assert list == [“red”,“blue”, “green”]

篇8：互联网金融与大数据分析

互联网金融与传统金融的区别不仅仅在于从事金融业务所采用的渠道媒介不同, 更重要的在于互联网金融参与者深谙互联网“开放、平等、协作、分享”的精髓, 通过互联网、移动互联网等工具, 使得传统金融业务具备了透明度更强、参与度更高、协作性更好、中间成本更低、操作上更便捷等一系列特征。互联网金融能够对传统金融形成非常有益的补充, 为国家经济的发展提供有力支持。

近期, 互联网金融发展迅猛, 一方面, 各类互联网金融平台如雨后春笋般涌现, 各类互联网金融产品琳琅满目。另一方面, 却又不断出现互联网金融平台提现困难甚至倒闭的现状, 可谓冰火两重天。

篇9：黄历与大数据

怎么才能确定哪天是黄道吉日呢？

这要从中国古代历法说起，也就是从农历说起。古人用十天干与十二地支记录年、月、日、时，通过观察和总结太阳和月亮的位置变化的规律，古人发现两个朔望月约是59天的概念，12个朔望月大体上是354天多（与一个回归年的长度相近似），古人因此就得到了一年有12个月的概念，同时古人进一步通过记录和总结星体位置变化和地面气候演变的规律，将全年划分为二十四节气七十二候。中国几千年来一直按照农历进行生活和耕种，春雨惊春清谷天，夏满芒夏暑相连，秋处露秋寒霜降，冬雪雪冬小大寒，离了阴历农夫便不能耕种，这是为什么呢？因为农历本来就是劳动人民通过多年观察总结出来的。

接着要说说星宿的概念了。经过长期观测和总结，古人先后选择了黄道赤道附近的二十八个星宿作为坐标。因为它们环列在日、月、五星的四方，很像日、月、五星栖宿的场所，所以称作二十八宿。早期二十八星宿主要是用于观测天文和气象，根据星宿位置的变化记录气象的变化，从而对农业生产进行指导。

那么怎么从农历、星宿等概念中推出黄道吉日呢？通过长期观测和总结，古人认为宇宙中日、月、星辰之间的互动，蕴藏着万物消长的规律，这些规律又对人类活动产生着各种正面或负面的影响，正面的影响称为吉，负面的影响称为凶，为了让生产活动更加顺利，人类优先选择正面的影响。通过长期观测和总结，人们根据经验按照复杂的推算方法，将日子分为黄道吉日和黄道黑日。

说到这里，您可能就明白了，这不就是大数据么。是的，这就是最初的大数据，我们不得不佩服古人的高超智慧，没有炫丽的词汇，没有高端的机器，有的只是一代人又一代人的观测和总结。

篇10：python与大数据分析

-09-09python encode和decode的妙用

2009-02-02wxpython 学习笔记 第一天

-06-06Python查询Mysql时返回字典结构的代码

2014-07-07Python中的二叉树查找算法模块使用指南

2014-04-04python处理圆角图片、圆形图片的例子

2014-01-01pyside写ui界面入门示例

-03-03Python中删除文件的程序代码

2014-06-06Python实现多线程下载文件的代码实例

篇11：Python函数返回值实例分析

这篇文章主要介绍了Python函数返回值,实例分析了Python中返回一个返回值与多个返回值的方法,需要的朋友可以参考下

本文实例讲述了Python的函数返回值用法，分享给大家供大家参考。具体分析如下：

最近学一些Python的基本用法，看到定义函数，发现似乎只能返回一个返回值，想想matlab里返回多个返回值多方便啊，网上查了查，看到有返回多个值的方法。

python 函数返回值有两种形式：

1 返回一个值。

2 返回多个值，

现看看返回一个值的吧。

def firstvalue(a,b): c = a + b return cprint firstvalue(1,2) #结果:3

再看看返回多个值的： 那怎么可以返回多个值呢，其他的语言一般调用函数的话，只能返回一个值，可能我不太熟悉所有的语言，我知道的语言只能返回一个值，而python可以返回多个值，感觉非常方便,发代码看下：

def secondvalue(a,b): c = a + b return (a,b,c)x,y,z = secondvalue(1,2)print ‘x:‘,x,‘y:‘,y,‘z:‘,z

篇12：互联网金融与大数据应用论文

在中国庞大的应用市场和人群下，深入观察变化且复杂的市场，探索以大数据为基础的解决方案成为了银行提高自身竞争力的一大重要手段。大数据技术是互联网金融的一大技术支撑，通过对人们在互联网上活动信息形成的数据的收集、挖掘、整理、分析和进一步应用，来创新思维、产品、技术、风险管理和营销。而数据是互联网金融的核心，未来计算机网络互联网金融业的竞争力将取决于数据的规模、有效性、真实性以及数据分析应用的能力。

一、我国互联网金融的概况

互联网金融作为二十一世纪高新产物，是传统的金融行业与互联网时代的有机结合，利用互联网技术和信息通信技术实现资金融通、支付、投资和信息中介服务的新型金融业务模式。这种新型金融模式具有颠覆式的影响，创新型巨大改革，不仅推动了我国利率市场化的进程，甚至影响整个经济与社会发展水平。

二、互联网金融的运作模式

(一)第三方支付模式

第三方支付模式，即某些具有一定实力和信誉保障的第三方独立机构，与各大银行签约后所提供的交易支持平台。

(二)P2P模式

又称点对点信贷，即一方贷款，一方借款，通过互联网作为中间平台的新型模式。这个模式对于微型小额的信贷以及需要紧急周转资金的创业者是一个很好的选择。

(三)众筹模式

众筹就是大众筹资，需要筹资的企业或个人通过互联网这个众筹平台运用自己独特的号召力并发挥创意，获得来自大众的资金援助。

(四)互联网金融门户

互联网金融门户的核心就是“搜索比价”的模式，采用垂直比价的方法让顾客在互联网上“货比三家”，选择自己最满意的.商品。

(五)大数据金融

大数据金融就是从大量数据中提取有利用价值的信息，以云计算为基础来进行融资的模式。最具代表性的就是余额宝，用高于银行的利率吸引消费者融资，不断推动着金融业的发展与进步。

三、互联网金融中的大数据应用及意义

(一)反映市场情况：电商和统计部门通过利用大数据对指数的编制来反映市场的基本情况，有效的分析交易数据，识别出市场交易模式，帮助决策者制定高效率的套利战略。比如国家的统计局与百度、阿里巴巴等电商、电信、互联网企业签订合作协议，共同开发利用大数据。

(二)金融产品定价：金融的核心内容之一就是金融产品定价问题(尤其是金融衍生产品定价)，这一直是大家关心的重要领域，其中涉及有计算和数学建模等。以信用违约互换定价为例，除了考虑违约的传染性和相关性，还要考虑违约过程的建模和估计，通常需要复杂的数学模型并且验证困难。最近一种基于大数据的解决方法即利用实际交易数据估计违约概率使其简单方便。因此大数据能为互联网金融市场提供运营平台，有效的整合互联网金融资源，，促进资源优化配置。

(三)精确营销：通过对一些场景类环境数据、朋友关系和用户经历的人文数据、位置和购物等的行为数据，建立模型进行分析，进一步细分客户。之后，可以定向推出产品并投放广告，实现精确营销。这也符合STP战略思想。大数据通过分析社交网络市场的信息， 特别关注搜索引擎中的搜索热点，从而制定投资策略，使互联网金融实现了一种新的营销模式。

(四)监管风险：互联网金融虽提高了金融效率，但也使风险呈现出许多新形式。因此需要对互联网金融活动产生的大数据进行分析，及时准确发现风险暴露，采取相应的措施加以规避、防范，提高互联网金融安全性，促进互联网金融的创新。

(五)信用：利用大数据，可以在法律和道德所容许的范围内对评估对象的静态动态信用行为进行收集、整理、分析挖掘，使人的信用立体化，进而评估个人或群体的信用，建立用户的增信模型和信用评分，打破了金融机构垄断用户信息的状况。

四、互联网金融大数据应用中存在的问题

互联网金融业本就拥有大数据，已成为自然产生大数据的重要领域，因此在互联网金融大数据应用中体现出了一些问题和挑战。

1、大数据处理速度满足不了各方的需求，体量大，噪声水平、数据来源和其他因素引起的内容和频率变化快，增加了大数据问题的复杂性。

2、大数据中含有大量的噪声信息甚至是虚假信息，出现信息过载的问题。

3、部分企业不愿公开、上传数据，造成不公开数据部门占便宜、公开数据部门吃亏的状况，形成了数据的公开、共享等方面不尽人意的局面。

4、容易泄露用户信息，造成滥用法律法规建设及滞后的现象。如商家对客户交易信息的过度营销，下载不安全的APP、用户扫描二维码支付都可能泄露个人的信息，买卖用户信息的不法交易等。

5、并非互联网金融的所有参与者都具备大数据分析的能力，数据分析挖掘能力不平衡。

五、结论

篇13：“科达与大数据”安博会最大看点

在本年度的北京安博会正上, 科达以“你好, 大数据!”为主题盛装亮相, 吸引了无数眼球, “科达与大数据”也成了本届安博会一大看点。

智能、4K、H.265、云计算……当今安防业最炙手可热的技术背后, 都跟大数据有着千丝万缕的联系。科达通过感知型摄像机、4K NVR、云平台/云存储、平安城市、智能交通以及行业应用6大板块, 为大家展现了大数据时代下安防产业的未来。如图1所示。

*大数据下的摄像机:感知型摄像机

摄像机是大数据的信息来源, 在大数据时代下, 摄像机最重要的特征就是要能“感知”。此次安博会, 科达10月17日重磅发布的感知型摄像机 (Intelligent IPC) 首次面向公众亮相, 如图2所示, 此前见过它们的只有部分行业媒体与专家。

与当前市场上的Smart IPC主要定位于警戒线、区域看防等报警类智能应用不同, 科达感知型摄像机能够基于视频的智能分析, 识别出监控画面中的内容, 并对其进行语义描述和最佳图片抓拍, 然后传送给后端大数据平台开展深度应用。

科达感知型摄像机通过智能前移, 节省了大量的后端服务器, 实现了智能分析的经济化和规模化部署, 将真正推动大数据应用的普及。没有感知型摄像机, 大数据应用只是空谈。

此外, 科达还展出了最新的4K摄像机和H.265摄像机。4K与H.265是图像高清化与视频编码技术发展的必然结果, 与大数据没有直接的关联, 但4K与H.265将间接的对大数据产生积极的影响。如图3所示。

*大数据下的NVR:4K与智能NVR

今年8月, 科达推出了业内首款4K NVR, 引发了众多同行的跟进。在本次安博会上, 科达展出了该款产品。4K、H.265、模块化设计、全景拼接、切片回放……众多特性, 使得该款NVR成为了业内旗舰级NVR的典范。

更重要的是, 该款NVR可通过视频摘要技术, 对非感知型摄像机上传的视频进行目标识别和特征提取, 为大数据应用提供丰富的信息来源, 体现了大数据时代下NVR新的发展方向。

*大数据下的平台与存储:云平台与云存储

云是大数据的基础, 为大数据提供所需的计算和存储资源。此次展会, 科达带来了最新的云平台与云存储系统, 展现了科达在云计算领域的深厚积累。

2013年, 柳州平安城市部署5000T科达KCloud Stor安防级云存储系统, 成为安防业第一个云存储规模化应用的案例, 如图4所示。KCloud Stor安防级云存储系统具备众多领先特性, 包括N+M数据保护方式、面向对象的存储以及内置流媒体转发与存储等。这些特性为大数据应用搭建了坚实的基础。

*大数据下的平安城市:图侦与合成作战

感知型摄像机、大数据平台、图侦与合成作战, 科达从前端、平台、应用三个维度全面整合, 将平安城市解决方案推向大数据时代。

此次展会, 科达重点展出了大数据架构下的图侦与合成作战平台, 该平台以感知型摄像机上传的海量信息为基础, 通过大数据分析与挖掘, 实现了一系列与公安业务紧密结合的实战化应用, 包括实时布控、语义搜索、高危人员比对、人脸照片搜索、全身像搜索、多点碰撞、以图搜图等。

此外, 科达还展出了便携式图侦系统和平板式图侦设备, 方便公安办案人员在案发现场快速进行视频采集与分析, 并将结果导入图侦与合成作战平台。

*大数据下的智能交通:绿色交通集成管控

秉承“绿色交通践行者”的理念, 科达首创“免维护卡口”和“微光电警”系统, 在全国十几个省会城市、八十几个地市共200多个项目中得到规模化应用。

此次展会, 科达展出的智能交通解决方案不仅通过免维护卡口和微光电警体现了绿色交通的理念, 而且还通过智能交通集成管控平台展现了大数据时代下智能交通新的发展方向。科达智能交通集成管控平台采用云计算架构, 通过各类前端上传的海量信息的分析与挖掘, 能够实现交通拥堵、交通事故分析、警卫路线、图像侦查研判等丰富的大数据应用, 从而为城市交通管理提供科学支撑。

*大数据下的行业应用:大数据渗透各行各业

除了平安城市与智能交通, 科达此次展出的门店、建筑、监狱、法院等行业解决方案, 也同样体现了大数据带来的变革。

比如智能门店解决方案通过客流统计、客人特征分析和顾客行为分析模块, 能够识别出进店人数、进店时间、店内滞留人数、客人的年龄/性别/肤色/表情等特征, 以及客人在店内的行走轨迹、对商品的关注程度等数据, 大量门店加上长时间的统计, 将会形成庞大的数据, 从这些数据中商家可以分析出大量有价值的信息。

篇14：企业大数据与大数据企业

大数据因其体量之“大”而得名，然而体量并非大数据的唯一特征，甚至也不是大数据最为重要的特征。巨大的体量凸显的是技术需求。而对于管理者而言，刻意追求巨大体量的数据并不具有多少现实意义，大数据更重要的特征在于其多样化的来源和形态、持续快速的产生和演变，以及对深度分析能力的高度依赖。因此，企业对大数据的驾驭和掌控，其核心并不在于拥有多大规模的数据，而在于是否能够对来自于企业内外部多样化信息源的涌流数据进行敏捷持续的捕捉和整合，并通过深度分析开发其商务价值。

一家中等规模的百货商场，通过视频监控记录下商场各个区域的客流人数，从而评估每天各个时段客流的在店时长，进而结合销售记录数据估算出客流中带有明确购买目标的“搜索型”顾客和无明确购买目标的“浏览型”顾客的比例，从而为之设计针对性的营销手段和服务措施。这一实践中所涉及的数据量，从技术视角上看并不算庞大，但该商场对多源数据的整合和开发，不失为基于大数据管理的一种典型体现。

从这个意义上来说，在管理视角上，大数据既不是一种技术，也不是一种应用系统，而更应该是一种立足于企业内外部数据融合以提升管理效率、开拓价值创造模式的管理思维。建立这种面向大数据的管理思维，其基础是业务流程信息资源的高度集成化，以及信息创造和传播形式的高度社会化。

所以，企业大数据的一个重要焦点，在于业务流程信息与社会化媒体信息的全方位融合。以ERP为代表的企业系统应用推动业务流程信息资源从分割走向集成，日渐兴起的企业内外部社交媒体则推动信息的创造和传播形式从通道式/平台式走向社交式，二者的融合将成为企业大数据的核心特征。由此看来，未来的“大数据企业”，则代表着建立在这种融合基础上的新型组织形态和价值创造模式。

驾驭企业内部大数据

企业内部数据包括两个主要维度：一是与业务功能及流程紧密相关的数据，如库存信息、物料需求信息、生产计划信息、采购信息等，可统称为业务流程信息；二是企业内员工及各种管理系统在其日常工作及活动中所创造、记录、交换和积累的信息，例如员工间的交流记录、工作心得、经验分享、活动新闻等，可统称为知识及沟通信息，知识及沟通信息高度松散且非结构化，但可能蕴藏着企业的重大潜在价值。

这两个数据维度的发展和融合，催生出了企业内部大数据。如图1所示，在传统的企业组织中，业务流程信息分散地存在于一个个孤立的业务系统中。在过去二十余年的企业信息化进程之中，一个主要的方向是业务流程信息从分割走向集成。从库存管理系统、物料需求计划 （MRP） 发展到企业资源计划 （ERP），分散的业务信息被集成于企业系统之中，从而实现面向业务流程的信息共享和沟通，并在此基础上借助跨部门的协同实现业务流程的优化和决策能力的提升。

另一方面，近年来逐步兴起的企业内社交媒体应用，推动着企业内部数据环境在知识及沟通信息维度上的重大变革。在传统企业组织中，知识及沟通信息借助于通道式或平台式的媒体产生和传播。在通道式的媒体上（例如email），所有的人都可以发信息，但信息的发送对象是明确的、有限的；在平台式的媒体上（例如企业内的新闻网站），信息是开放的，但只有专门的人员才能发布信息。在企业内社交媒体中，这两种形式被整合在了一起：所有人都可以发布和分享信息，而且这些信息是开放的、可定制、可再分享的。在这样的应用环境中，跨部门、跨层级的社交联系成为可能，并使得企业能够更为敏锐地应对变化的环境，以即兴式的团队组织来捕捉发展机遇。这种转变带来了三方面的价值：企业知识的有效共享和管理；企业文化建设，增强员工的归属感；对企业内协同创新的有效支持和促进。

进一步而言，当集成化的业务信息与社交化的知识沟通信息相融合，便带来了企业内部大数据。在集成化企业系统、内部社交媒体以及深度数据分析技术的共同支撑下，杰克·韦尔奇所畅想的“无边界组织”在新兴环境下成为可能，并被赋予了新的内涵。部门边界、层级边界被紧密的业务联系和广泛的社交联系所弱化，结构化的业务流程信息与非结构化的知识及管理活动信息被多维度融合的深度数据分析能力连接在一起，从而使企业真正具有驾驭内部大数据的能力。

从另一种角度上看来，业务资源整合使得企业信息资源的管理从分散走向集中，社交媒体的发展使得企业内的信息创造和传播从集中走向分散，二者相辅相成，使得优化控制与灵活创新的并存成为可能（见图2）。基于业务流程与社交媒体的融合而展开的深度数据分析，将为企业的决策优化、协同创新以及灵活应变开辟广阔的空间。

驾驭企业外部大数据

在企业外部的视角上，数据资源也包括两个维度：一是与上下游交易直接相关的供应链信息，如交易报价信息、订单信息、上下游企业库存及生产能力信息等；二是市场及社会环境信息，如原材料价格走势、市场需求及消费者偏好信息、顾客服务及满意度信息等。

企业外部大数据的基本特征，也正是在这两个维度的发展之中呈现出来的。如图 3所示，在传统的商务活动形式下，上下游企业的业务系统相互独立，交易伙伴借助电话、传真、电子邮件等手段以实现上下游信息交换，企业通过市场调研等方式了解消费者，获取市场及社会环境信息。组织间信息系统的发展带来了供应链信息的集成。通过将合作伙伴的信息系统进行对接，或是借助于电子市场平台实现企业信息系统的相互连接，上下游企业的业务信息能够通过标准化的接口自动交换，从而使得企业能够在较为充分地掌握上下游信息的基础上进行业务决策，实现交易伙伴之间的协同优化。

nlc202309041552

在市场及社会环境信息的维度上，信息的创造和传播形态同样经历了从通道式/平台式媒体向社交媒体的转变。公众社交媒体的巨大影响力为社会化商务注入了强大的生命力。初期的社会化商务包括作为对外沟通渠道的企业邮箱、博客、微博或即时通讯等，其主要目的在于提升企业形象、提供客户服务。随之发展而来的社会化营销，则注重在社交网络中通过与顾客及其他商务伙伴的沟通和互动，进而通过实时化、精确化的市场洞察以获取商业机会、开拓市场、把握创新机遇。此外，基于社交媒体的众包、众筹与众创，也日益成为社会化商务的重要组成部分。

供应链信息集成与社会化商务信息的融合，构成企业外部大数据的核心特征。来自于社交媒体信息源的市场环境信息与来自于组织间信息系统的供应链信息相结合，借助于深度数据分析技术实现面向企业商务网络的预测与优化，并支撑起实时化、精确化、个性化的消费者洞察与敏捷响应，在此基础上为基于网络协同及社会化商务的模式创新提供了丰富的可能性。从而，对外部大数据的管理和驾驭，也将成为现代企业在网络化的商务生态系统中占据主导地位并获取经营优势的关键途径。

成为“大数据企业”

基于以上分析，企业内部大数据的焦点，在于业务流程信息与知识及沟通信息的融合；企业外部大数据的焦点，在于供应链信息与市场及社会环境信息的融合。进而，大数据时代企业组织的基本内涵，在于内部大数据与外部大数据的全方位融合。如图 4所示，大数据企业立足于内外部业务与社交媒体数据的集成交汇。

业务流程数据主要来源于以ERP为代表的企业系统，涵盖了产品、物料、采购、生产、销售、财务等与企业生产及服务提供过程紧密相关的数据；商务交易数据来源于以供应链管理系统 （SCM）、客户关系管理系统 （CRM）、电子化交易系统为代表的组织间信息系统，涵盖了供应商、客户、订单、物流等与外部交易活动紧密相关的信息；内部社交媒体数据包括了企业员工在内部博客、微博、Wiki、内容分享平台、群体化即时通讯工具等应用中创造和传播的信息，以及企业在办公自动化系统等交流协作平台上所记录积累的数据，涵盖并反映了员工的知识、建言、创意、心态、氛围等形式多样、内容广泛的信息；外部社交媒体数据主要来源于公众社交媒体，包括企业博客、企业微博/微信服务号、品牌社区等各种形式，所涵盖的信息内容包括市场环境、需求信号、全生命周期顾客行为、个性化偏好、营销互动记录等。

在这四大类型的数据之间，致力于大数据管理的企业可以有两种不同的发展策略。其一是以社交媒体与业务数据的融合为主导，以期通过敏捷响应快速发现并应对内外部环境中的变化和机遇。在这种策略下，面向高速数据流的实时数据采集和分析方法，将成为大数据管理的主要支撑手段。

第二种策略是以内外部数据融合为主导，以期通过全面汇集内外部信息，对中长期发展趋势作出准确的预判，从而实现高度优化的业务决策，并通过对信息环境的掌控，获取企业网络生态系统中的领导地位。在这种策略下，大规模多源异构数据的采集、清洗和整合方法，将成为大数据管理的核心支撑。

如何挖掘企业大数据的价值

企业大数据的价值开发高度依赖于深度数据分析能力。从内外部融合的视角上看来，企业大数据分析包括三个基本维度，即内容、关系和时空。

内容维度指的是数据本身所承载的信息内容。例如，G公司是一家大型电信服务商，其内部建设实施了一套“班组博客”系统。在这个内部社交媒体平台上，公司中的3000多个工作团队都开设了自己的博客，用于发布和交流工作经验、生活体验等方面的内容。经过数年的发展，整个博客系统中积累了博文700多万篇，评论超过1500万条，并保持着每月15万篇以上的博文发表数量，年阅读量超过1000万篇次。对于这一平台所积累的大量数据的价值开发，首先体现在对其信息内容的提炼上。平台上与工作相关的博文内容，如客服案例、经验分享等，经自动筛选分类、主题识别、关键词索引之后，被构建成企业知识库，为业务及管理工作提供快速有效的知识支撑，同时成为员工培训和自学的有力工具。而大量与工作无关的博文和评论内容，包括生活常识、娱乐信息、心情表达、心灵鸡汤等，在智能化的分类整理之后，也成为了该公司的一个独特的文化情景，支撑着企业中活跃的氛围，强化了员工的文化认同。

关系维度指的是数据及其所指代的对象之间的联系。在G公司的班组博客中，员工的发表、阅读、评论、回复、关注等行为详尽地反映了其相互之间密集而持续的联系，而这些联系毫无遗漏地被记录在平台的数据库之中。通过对这些关系结构的深度分析和挖掘，G公司获得了对员工及团队的影响力、凝聚力、创造力的更为准确而深入的评估手段。进一步而言，博客平台的行为记录数据与业务系统中的事务处理记录数据，以及员工及团队的绩效表现数据，也能够被有效地关联起来，从而使得管理者拥有强有力的工具，帮助其发现和理解员工的行为特质、工作表现、业务能力之间的潜在关联，进而实现良性优化的人员配置和人才培养。

时空维度指的是数据生成及传播的位置以及数据随时间演变的模式。对G公司而言，其数以千计的业务场所分散在众多城市的不同地点，因此，数据中的位置信息对于虚拟化的团队协同而言具有直接的意义。此外，位置信息也包括了数据在组织功能结构和层级结构中所处的位置。同时，在G公司的班组博客中，对特点话题时间演变规律的分析，也为管理者提供了有效的参考。其中对企业重要活动、运营理念相关信息在班组博客中的传播演变模式的跟踪，有效地揭示了员工对管理理念的认知、态度和接受过程。

更深入的价值开发来自于上述三个维度的交叉综合。例如，内容维度与关系维度的结合，使得G公司能够识别员工的兴趣偏好、社交特质、工作性质以及工作表现之间的匹配关系，也能够更为准确地发现那些分散在不同的员工手中、但具有重要潜在影响力的经验、创意以及机遇信号。内容维度、关系维度与时空维度的结合，使得企业能够更为深入地理解不同的员工特质、知识技能、团队特性、热点偏好在整个组织中的分布，以及这些结构随时间演变的过程和趋势，从而更为有效地调度和配置这些资源。

nlc202309041552

这些维度上的分析需求，主要需要三方面的数据分析技术予以支撑。第一类是全局视图技术。对于管理者而言，对大数据内容全局状况的把握，往往是开发大数据价值的一个基本需求。然而大数据的体量和结构复杂性往往远远超出人类认知的信息承载能力。因此，有效的技术应当能够在大量数据中提取出一个足够小的集合以呈现给管理者，并使得这个小集合能够充分地代表数据全局。例如，在G公司的博客平台上，一种“代表性博文提取”技术能够在每天所出现的数以千计的博文中自动选择出10篇。这10篇博文在很大程度上全面代表了当天所出现的数千篇文章，既充分反映热点，也不能忽略冷门信号，从而使得管理者能够通过阅读这些文章来了解全局。第二类支撑技术是关联发现技术，其目标在于敏锐识别数据间的联系。例如，当G公司试图整合博客平台、业务系统、人力资源系统中的数据以全方位分析员工、团队特质以及绩效信息时，大量的数据属性之间所构成的复杂潜在关联网络，就需要强有力的关联发现技术来加以处理。第三类支撑技术是动态跟踪技术，即实时化的流数据分析处理、快速增量数据分析。三方面技术都处于快速发展之中，但尚未全面成熟，有待于学界和业界的持续努力和探索。

结束语

从一定意义上说来，业务资源集成与社交媒体相融合的过程，是一个“信息去中心化”的过程。信息资源的创造和管理，从以往以经营和运作为核心的中心化模式，转化为以分散创造、自由传播、灵活汇聚为特征的众创模式。另一方面，内外部数据融合的过程，是一个“信息去边界化”的过程。企业部门之间的信息交换、企业之间的信息交换以及企业与市场环境的信息，以日益多样化、实时化的方式实现。

这样的转变对于企业组织及其员工而言，其影响将会是多方面的。正面的影响可能包括创新意识与创新行为的出现、员工能力和技能的发展、沟通满意度的提升、员工关系资本的建立和积累、员工对组织的认同和归属感的增加；而负面的影响则可能包括员工注意力分散、过度争论，以及负面情绪的传播等。所以，建设“大数据企业”的过程，也将会是一个伴随着困难与风险的过程。在此过程中，需要管理者有效地把握创新发展的长期收益与短期业绩之间的平衡，在推进大数据融合的同时防范和控制其中的组织风险，并审慎地思考和重新定义组织内外部边界。

换言之，对企业而言，大数据实质上是一种管理思维，其支点在于业务信息资源与社交媒体的融合，以及内外部数据的融合，在这样的支点上反思企业的组织形态、运作范式和价值创造模式，是“大数据企业”的真正内涵所在。

郭迅华：清华大学经济管理学院副教授