管理系统以及大数据

管理系统以及大数据（精选十篇）

管理系统以及大数据 篇1

1 微信与高校网络舆情

在大数据时代下, 越来越多的网络平台影响着我们的生活, 其中影响最大的莫过于微博和微信。据工信部日前宣布, 2013年上半年, 我国微信用户已超4亿, 且仍在加速普及中。微信具有快速发送文字和照片、支持多人语音对讲、视频的分享, 建立多人的聊天群等功能, 因此更多的人因其更为灵活、方便、智能的设计而依赖和使用它。由于微信是建立在QQ基础上的沟通应用, 互动的人群是我们所熟悉的, 这样的关系会让舆情事件传播得更为广泛。同时微信有一个功能就是群聊。这就好比“蝴蝶效应”一样, 一个群里的人对一件事的讨论可以衍生更多群对这件事的讨论, 从而引发大范围的关注和影响。微信平台的建立使得传播方式从原来的单对单方式转变成多对多方式, 具体而言就是原本由传播者到接收者这一条单一路线转变成了传播者到接收者, 然后接收者到接收者甚至接收者反过来影响传播者这一条发散路线。

关于舆情, 刘毅在《网络舆情研究概论》一书中指出, 舆情是由个人及各种社会群体构成的公众, 在一定的历史阶段和社会空间内, 对自己关心或与自身利益紧密相关的各种公共事务所持有的各种情绪、意愿、态度和意见的总和。本文结合各类文献对高校网络舆情的解释进行了一个总和。高校网络舆情, 是指高校学生这个教育群体运用网络传播媒介参与当前社会敏感、焦点、问题讨论并通过网络空间传播关于社会各种现象、问题所表达的个人见解、情绪、态度、思想的总和。高校学生群体因其朝气蓬勃, 是我国知识体系的主力军。这个群体有着敏捷的思维, 独特的创新, 较高的文化素养。他们的好学和好奇, 勇于表达自己的观点和看法, 对自我的良好认知和自我实现的特性, 借助微信这一平台, 以微信的简单、快速、犀利、生动的传播方式来对当前国家、社会的焦点、热点问题表达和传播个人的情绪、态度、声音和主观见解。

2 大数据时代下的高校舆情传播分析

当前中国社会中有影响的媒体主要有官方媒体、市场化媒体和网络媒体。这三种媒体凭借着自己的身份和各自独特的优势, 在信息产生和传播时的方式有着不一样的表现。在互联网之前, 信息的产生、传播、流转都非常受限, 但如果说互联网给我们这个社会带来了巨大变革, 那么其中最大的一个变革就是让数据和信息量呈现海啸式的膨胀。在当前网络化、信息化的环境下, 高校作为社会整体的一部分, 是网络舆情言论的一块重要阵地。

本文结合斯蒂文·芬克 (steven fink) 的阶段分析理论对高校舆情传播进行整理和分析, 得出高校舆情传播过程的四个阶段:潜伏期 (传统媒体的报道或者网络用户的爆料) 、突发期 (高校学生对敏感、刺激话题的评论、关注和转发) 、蔓延期 (网络用户的深度挖掘, 舆情内容的发散式传播形成信息爆炸) 、衰退期 (舆情引发的危机引起重视, 各方工作平息舆情) 。

3 微信时代下在高校舆情的主要特点及影响

3.1 高校舆情的特点

3.1.1 高效率的迅捷性

这是社会事件在高校传播的最大特点, 随着时代的发展, 舆情进入高校的方式多种多样, 在校学生年轻气盛, 具有强大的活力和开放心态, 对于新鲜事物有强大的好奇心, 而微信通过它本身的特色功能让身处在信息量小而杂且多的大数据时代下的高校生更容易去接触和传播社会事件。

3.1.2 低成本的廉价性

微信的使用节约了传统的交流沟通成本。一个事件的产生到传播已然不需要传统方式的通信、短信来实现, 微信依靠它自身的功能省去了传统传播方式的复杂和麻烦, 同时也大大节约了时间的成本。这样的传播消费方式更符合高校学生的消特点。

3.1.3 多层次的互动性

微信的群聊功能, 还加入了“多人实时对讲”元素, 再加上关注, 转发等功能让高校生纷纷使用微信进行交流, 分享彼此的信息, 达到舆论传播的共鸣。这点取代了传统的裂变式传播, 以创新的“人人都是记者”的呈几何级数的传播方式实现点对面的统一。

3.1.4 大范围的盲从性

在高校这个集群里, 就难免会有从众心理的产生, 微信的传播过程中更能体现这个心理。由于高校生心理上并未十分成熟, 辨别是非的能力较弱, 做事易冲动, 容易受到网络言论的影响, 引发过激行为。舆论事件一旦产生了, 学生群体的盲目跟从会很容易传播开来。

3.2 微信在高校舆情中的影响

3.2.1 微信引发的“沉默螺旋”效应

在这种舆论大环境下, 高校生的自身特点, 使高校危机事件充分表现出突发性、破坏性、信息不对称性等特性。而微信以其去中心化、草根化、开放式的理念, 吸引着庞大的用户群, 构建出强大而独特的草根媒体力量, 使得高校舆情言论更为扩大化。在这瞬间化、表象化、碎片式、随机式的时代里, 舆情事件在高校频频发生。轰动一时的2009年上海海事大学杨元元事件、2010年的河北大学李刚事件、2011年的西安音乐学院药家鑫事件、2013年的复旦大学黄洋被毒身亡事件, 在这些高校突发事件引起的网络舆论过程中, 微信因其本身的迅捷性、便捷性特点, 使其通过微信群、朋友圈、公众号等功能成为网络消息发布的第一平台。微信上的广泛言论使这些高校在应对负面舆论时处理方式存在着争议, 有相当一部分学校面对负面舆论选择了沉默, 对于这样的事情被媒体曝光后, 我们听不到这些高校的声音, 甚至连起码的道歉都没有, 遇到这种情况是需要学校发出对事件的态度的时候, 一味地沉默只会引发“沉默的螺旋”效应, 使学校的声誉下降。

3.2.2 微信引发的“光环效应”

晕轮效应最早是由美国著名心理学家爱德华·桑戴克于20世纪20年代提出的。他认为, 人们对人的认知和判断往往只从局部出发, 扩散而得出整体影响。信息时代在“光环效应”的影响下, 时常产生以点代面、以偏概全的主观印象。微信的多层次互动性和盲从性使得高校生在很多时候无法全面了解客观事实, 导致高校事件受光环效应表面性、片面性的影响普遍存在。受“李刚事件”和“郭美美事件”影响, 网络上新名词“官二代”、“富二代”、“炫富”在微信网络文章中频频出现, 而校园是一个突发事件频发的区域。在许多舆情事件演化的初级阶段, 高校生往往容易受到影响, 容易跟随一些“意见领袖”的情绪和态度进行站队, 而这些“意见领袖”的观点会随着跟随人群的壮大继而引领和影响更多的高校人群, 使得受害者遭受到舆论的讨伐和谩骂。这些负面观点一旦被转发, 被微信群里私下的议论层层推动, 受害者会被冠以各种负面的称呼, 导致当事人无力为自己辩解。事件的最终结果将会是强势意见占主导, 弱势声音被淹没。

4 大数据时代高校网络舆情动态管理对策

第一, 构建微信群, 各班负责人或辅导员可以在自己的班里建立一个微信群来提升德育工作的实效性, 除了平时的一些学校或各班的通知事项可以即时发布, 还可以了解班里学生之间对一些舆情事件或是一些敏感话题的交流。与学生零距离接触, 利用微信宣传和弘扬社会主流价值观, 密切关注群里学生动态, 了解学生思想状况, 加强与学生之间的信息和心理交流和沟通, 与此同时还需及时回答和解决学生提出的问题, 对学生进行心理疏导。通过这些信息的反馈, 各班负责人强化主流价值观的导向。

第二, 在各班的团支书或是优秀的班干部中培养一批活跃的微信群聊意见领袖。因为在各班的微信群里, 班主任的发言毕竟比较官方, 同时由于师生的这一层关系, 有时候很难站在同一高度交流, 这个时候就需要群里面的一些有着良好生活状态和正确思想的意见领袖来吸引其他人的关注, 他们能够建立与其他学生的良好信任关系, 提升他们在他人心中的威望。这些意见领袖可以引导舆论朝正确的方向发展, 澄清事实真相, 阻止一些高校舆情虚假留言的传播。

第三, 各个高校可以创建一个自己的公众号。每个高校生在各自的朋友圈里发布的消息和状态, 包括在群里的聊天信息都能真实地反映出高校生态度、情绪、心里健康状况。微信群的建立已经可以起到收集高校生对一些舆情事件的碎片化的微信发布心情和态度。高校通过分析学生的真实心理, 了解学生的心态并掌控学生的心理健康状态, 通过学生的微信朋友圈获取舆情事件流言导致的危机信息, 做到问题早预防、早发现、早干预。在舆情危机事件发生时快速反应, 通过公众号发布正确引导信息。变“堵”为“导”, 推动信息透明。而在平时公众号可以作为一个宣传良好价值观、开展心理咨询、发布正确的指导信息的平台来增进学生与学校的多维互动。

第四, 建立健全网络舆情风险评估预警机制。在遇到高校舆情时, 学校管理层应对舆情可能引发的风险进行评估, 具体可参照人民网舆情监测系统, 根据舆情的性质、热度、涉及范围、危害程度等, 设立红、橙、黄、蓝四类舆情警报系统, 将危机分为四级, 即Ⅰ级 (特别重大) 、Ⅱ级 (重大) 、Ⅲ级 (较大) 和Ⅳ级 (一般) 。定舆情突发事件应对预案, 一旦相关舆情突发成舆论热点, 及时评估确定舆情危机等级, 迅速启动相应的处置机制。

5 结语

本文通过大数据时代下, 对微信在高校网络舆情中的影响进行理解和分析。当下高校网络舆情危机事件频频发生, 高校学生在事件发生的过程中会因为外界不确定因素的刺激而产生失控的言论和过激的行为, 对高校和谐融洽氛围造成破坏性的后果。高校管理层应当意识到舆情的重要性并且要树立危机意识, 提高舆情管理能力, 完善监管机制。虽然本文对高校舆情进行了初步研究, 但因研究前沿性, 致使文章仍存在许多不足之处。这将是本文作者以后继续探讨和努力的方向。

摘要：近年来, 随着新媒体技术的发展和大学生使用网络的普及化, 以微信为主要平台所产生的网络舆情事件成为高校和社会的关注焦点。当下社会的信息和事件的舆论传播途径日趋多元, 高校大学生通过网络平台获取信息并进行评论、交流以及传播。微信因它本身的传播特征, 使得高校舆情环境变得更为复杂。本文通过分析大数据时代下微信舆情的传播特点和影响机理, 提出了高校舆情的相关管理对策, 以便为高校制定管理方针, 实现高校网络舆情的正确引导和健康发展。

关键词：微信,高校,网络舆情,传播特征,管理

参考文献

[1]威尔伯·施拉姆.传播学概论[M].

[2]刘毅.网络舆情研究概论[M].天津人民出版社, 2007.

[3]杜成煜.新媒体时代高校网络舆情的管理与引导[J].长春教育学院学报, 2013 (13) .

[4]张瑜, 焦义菊.高校网络舆论的传播特点、影响机制及其引导策略[J].学校党建与思想教育, 2006 (08) .

[5]龙雅丽.大学生群体性事件网络舆情预警研究[D].湖南大学, 2012.

[6]赵芸, 张永亮.微时代高校网络舆情动态管理[J].安顺学院学报, 2013 (02) .

[7]郑洋.高校舆情的特点及管理原则和对策[J].中外企业家, 2011 (16) .

[8]阮芳.新时期高校网络舆情管理存在的问题及对策研究[D].湖北工业大学, 2012.

大数据时代的大数据管理研究论文 篇2

数据库管理形式是大数据管理不断发展的重要成果，也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中，计算机内部的容量得到了很大程度的提高，并且大数据的管理和维护成本也相应的有所下降。同时，在大数据管理形式不断发展的过程中，对其系统管理内存不足等现象，进行了全面的提高，有效的实现了资源共享，也在最大程度上保证了大数据的安全、稳定等性能。另外，在大数据时代的大数据库管理的过程中，不在近几年只是固定在某一个计算技术应用体系，而是面向整个管理体系，以此在最大程度上提高了大数据共享的性能，使大数据与大数据形成一个独立的个体，对其大数据进行了全面、有效的、统一的管理，为我国信息技术的发展提供了重要方向。

大数据驱动管理变革 篇3

不可忽视的大数据

据赛迪顾问统计，2012年中国各行业大数据IT投资已经超过4.5亿元，年增长率达78.9%，在未来三到五年总投资规模有望超过百亿。在未来3到5年，我们将会看到那些真正理解大数据并能充分利用的企业和其他企业之间的差距。我认为，真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强有力的竞争优势，从而成为行业的领导者。

在零售业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出反应。由于零售行业同类产品的差异小，可替代性强，销售收入的提高离不开出色的购物体验和客户服务，也离不开高效的商品流转率，需要实现精准营销和快速营销。沃尔玛已经开始利用各个连锁店不断产生的海量销售数据，并结合天气数据、经济学、人口统计学进行分析，从而在特定的连锁店中选择合适的上架产品，并判定商品减价的时机。农夫山泉通过大数据分析技术使销售额提升了大约30%，并使库存周转从5天缩短到3天，同时其数据中心的能耗降低了约80%。

在制造业，对大数据的管理与分析可以帮助生产商准确把握市场需求变动、提高产品设计与生产效率、提高供应链的敏捷性和准确性。随着制造业信息化的日臻成熟，ERP、PLM等系统的广泛采用，制造业的整个价值链和产品的整个生命周期都涉及到诸多数据，包括产品数据、运营数据、价值链数据等等。以产品质量数据为例，生产商在生产过程中会通过大量传感器来获取各种海量数据。将这些数据整合在一起，再结合维修、售后服务等方面的数据，可以从不同角度分析与产品质量数据间的关系。最终将这些数据集成在一起，在可视化的环境下，工程师可以在一个集成视图上看到整体情况，从而对产品质量的管理和完善做出更加精准的决策。

在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持。互联网行业主要特征之一是各种类型的信息和数据都呈现爆炸式增长，同时用户行为和网络中的社会群体变得更加多样化、复杂化。Facebook通过对海量社交网络数据与在线交易数据进行分析和挖掘，从而提供点对点的个性化广告投放策略，实现了广告份额翻番（2009年到2010年）、2010年到2011年增长95%，比Google的增速快了近3倍。百度通过搜集整理网络玩家搜索需求与热点，将用户人群细分，并对网络游戏的搜索行为数据提炼组织，建立用户行为数据库销售给网络游戏运营商，创造了以数据销售为主，广告服务为辅的双轨模式。

在金融行业，对大数据的分析可以为金融机构实现快速科学决策与服务创新提供支撑。金融行业的信息化程度高，数据量非常庞大，并且数据管理集中化，为大数据的分析与利用提供了良好的基础。中信银行信用卡中心通过部署大数据分析系统，实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升，每次营销活动配置平均时间从2周缩短到2-3天，交易量增加65%，不良贷款比率同比减少了0.76%。

在电信行业，对大数据的分析可以使营销策略和产品设计更加精准，帮助运营商从数据流量中获益、向智能管道转型。近些年由于无线上网和智能手机的推广，导致电信行业数据量呈现爆炸性增长。同时电信业面临着市场饱和度高、产品服务同质化明显、从快速增长的数据流量业务中获利有限的业务挑战，迫切需要通过新的技术手段突破现状。中国联通通过部署大数据组织与管理系统，使得用户记录10分钟内可查询，并使在几千亿条记录当中检索的时间缩短到一秒钟内，提高了对客户投诉的反馈效率和质量，增强了客户服务满意度。

数据资产化+决策智能化

大数据将从数据资产化和决策智能化两个方面推动企业管理变革。

数据资产化。信息部门将从“成本中心”转向“利润中心”。在大数据时代，数据渗透各个行业，渐渐成为企业战略资产。有些公司的数据相对于其他公司更多，使其拥有更多获取数据潜在价值的可能，例如互联网领域与金融领域。拥有数据的规模、活性，以及收集、运用数据的能力，将决定企业的核心竞争力。掌控数据就可以深入洞察市场，从而做出快速而精准的应对策略。这意味着巨大的投资回报，因此企业的IT部门将从“成本中心”转变为“利润中心”，而数据将成为企业的核心资产。

决策智能化。企业战略将从“业务驱动”转向“数据驱动”。智能化决策是企业未来发展方向。过去很多企业对自身经营发展的分析只停留在数据和信息的简单汇总层面，缺乏对客户、业务、营销、竞争等方面的深入分析。如果决策者只凭主观与经验对市场进行评估而制定决策，将导致战略定位不准，存在很大风险。在大数据时代，企业通过收集、分析大量内部和外部的数据，获取有价值的信息。通过挖掘这些信息，企业可以预测市场需求，进行智能化决策分析，从而制定更加行之有效的战略。

如何制定大数据战略

企业应当如何制定大数据应对策略以充分利用其蕴含的商业价值？赛迪顾问提出以下两方面建议：

一方面，应当通过云平台实现数据大集中，形成企业数据资产。对于大型集团企业用户，其各级子公司和分公司的ERP系统中每天都在生成大量的交易数据和业务数据。分散在各个业务系统中的数据无法形成集中的资源池，不能互联互通，将严重影响对大数据的统一管理与价值挖掘。因此首先要通过云平台实现集团数据大集中，从而形成企业的数据资产。这是集团企业利用大数据资源的重要基础。只有把集团的信息化架构向云平台迁移，才能促使集团数据的大集中与统一管理，从而在此之上对数据资源的价值进行挖掘，促进企业数据的资产化。

nlc202309031319

另一方面，应当深度挖掘大数据的价值，推动企业智能决策。之前企业对数据的关注主要是存储和传输，通常利用的不足其获得的5%，在数据每年增长约60%的背景下，企业平均只获取了25%-30%的数据，作为企业战略资源的数据还远远未被挖掘。因此，企业应当重视对大数据价值的深入分析与挖掘，推动企业决策机制从“业务驱动”向“数据驱动”转变。可以说，数据将成为企业的利润之源，掌握了数据也就掌握了竞争力，企业必须更加注重数据的收集、整理、提取与分析。

形成数据资产、实现智能决策的关键步骤

第一步，明确业务需求。来自业务的需求永远是采用新技术的第一驱动力。也只有与业务需求紧密结合的新技术战略才能够真正发挥作用。企业在考虑采用大数据相关分析处理技术推动管理变革、提高效率、降低成本的时候，不能为了大数据而大数据。必须首先对自身业务流程进行梳理，找出瓶颈所在，不仅分析需要进行哪些决策智能化变革，还应分析按照什么业务顺序进行部署。从而确保大数据实施的成功率和实施效果。

第二步，确保数据质量。如果进入信息系统的数据是错误的，经过系统加工处理后的结果就不可能正确。只有保证数据的高质量、真实性、可靠性，基于大数据分析的商业智能才能提供正确的决策支持并真正发挥作用。因此，企业要通过从意识、管理和技术等几个方面，多管齐下来保证数据质量：首先，树立全面的数据质量意识，使每一个操作使用信息系统的员工意识到“数据是系统的生命，保障数据真实准确就是对自己工作的负责和对企业发展的支持”；第二，颁布并严格执行数据管理规定，在制度上规范数据的管理；第三，通过引入主数据管理平台等技术手段保障数据质量，集中管理主数据，加强系统对错误业务数据的检查校验功能，把错误数据堵在源头。

第三步，选择合适的大数据服务或架构。一方面，不一定所有的企业都适合在企业内部构建完整的大数据架构（从IT基础设施到数据管理工具，再到数据分析软件），这必然带来巨大的IT投入。在大数据时代，数据租售业务、分析预测服务、决策外包服务、数据分析平台等大数据服务模式正逐渐兴起。企业可以考虑外包采购数据分析服务或租用数据分析平台。另一方面，对于决定自己构建大数据系统的企业而言，面对不同IT厂商提出的各种大数据解决方案、以及IBM的Pure System，Oracle的Exadata等IT厂商力推的大数据一体机、SAP HANA等内存计算平台，企业应当审慎选择，从适合自身业务需求与兼容既有IT架构等方面进行考虑。

第四步，评估大数据实施效果。企业在采购任何IT服务或部署任何IT系统时，都应当及时对IT新技术的应用进行科学合理的成效评估，从而及时总结经验教训，以调整完善IT战略，确保企业IT对企业管理决策的支撑效果。大数据的实施将影响到企业管理决策模式的根本性变革，因此，应当更加注重对实施效果的评估。

管理系统以及大数据 篇4

随着事业的扩大, 乐天集团的系统中, 每天都在持续的产生着多样化的大规模数据。如何收集、积累和分析这些数据是乐天的服务更加灵活, 成为了一个重要的课题。基于这种情况, 现在乐天正在建设可以实现收集、积累和分析多样化大规模数据的平台。本文以其中的举措为例子, 一元性管理超过7500万人的用户信息的db平台和全球活动解析平台的建设运用过程, 以及乐天对大数据的挑战。

乐天的大数据

乐天拥对多样化大数据的处理方法, 其中最具代表性的是对乐天商品数据和商品评价数据的处理。

图一 (3) 2004年10月以后的乐天市场经营的商品数表示 (*) 图一所示, 2004年10月的阶段, 主营商品数约900万商品, 2012年8月21日现在, 经营的商品数量约为1亿700万商品, 爆炸性增加。

图二 (4) 同期, 乐天市场的商品评论数据也能看到., 2003年8月以后的乐天市场的对商品被投稿的评论总数的推移, 显示 (*) .2003年8月开始了评论网站, 2012年现在, 约8, 680万条的评论, 每天有1万条左右的评语。

图1, 图2上显示了商品数据, 商品评论数据是乐天经营的大型数据的一部分, 这些数据以外, 仍然有超过7, 500万人的会员信息, 超过8, 000万的交易数据。因用户搜索查询而产生的日志, 商品页点击路线的日志, 广告点击日志, 信用卡使用记录等的大规模数据。

多种多样的服务获得用户属性信息, 以及各种格式的大规模数据收集、分析, 服务, 对帮助改善用户体验起到了非常重要的作用。于是乐天现在, 对于构建和运用全服务共同利用用户的数据库属性信息平台 (=乐天超级DB) , 和对多样化的大规模日志收集解析的全球活动解析平台。乐天超市的数据库是, 可以对不断增加的乐天会员实行统一管理的数据库平台, 也是保存会员静态信息的数据库平台。对于全球活动解析平台, 是收集分析应用程序产生的多样化日志数据的基础, 也是实时收集动态信息的平台。

乐天超级数据库

乐天超级数据库是, 统一管理乐天集团运用的多种服务产生的用户的属性及行为相关的信息的平台数据库。乐天超市DB是乐天会员约7, 500万人的用户信息, 及用户的行为相关的信息, 购买履历信息, 调查信息, 信息卡等的信息, 这些信息在不断地被积累着。而用户属性信息、行为信息不仅仅是一次性的数据信息, 这些信息, 从平面角度和立体角度出发, 对这些数据进行加工、统计、分析, 结果也同样保存在这个数据库中。个性化功能, 行动目标确定广告功能等应用其中。

乐天超级数据库, 记录了因用户使用多样化的服务而产生的信息记录。单从一种服务信息是不能够, 横向的掌握用户的特点。但是有了超级数据库就可以实现这一点, 并且这一点是极为重要的。例如, 没有某项服务的使用经验的用户, 当他有其他服务的使用经验的话, 就可以掌握该用户的特点。

另一方面, 乐天超市的数据库中, 存储着从多种服务中得到的个人信息。因此, 该数据库是极其敏感信息的可视集合体。因此, 安全特别严格的设计、被运用在这里。例如, 取得数据途径, 不是直接连接数据库平台的方式获取, 而是通过专门的应用程序来实现数据获取的。

世界活动解析平台

世界活动解析平台 (GEAP) 是乐天收集、积累、分析其多种服务信息形成的多样化大数据的平台。

通过对应用程序和服务器的日志收集和分析, 将解析结果反映给应用程序的方法, 对服务进行优化。乐天在这之前, 一直使用的由第三方提供的分析服务。每一个服务独立使用第三方提供的分析服务, 对其进行优化。但是, 使用第三方服务的时候, 由于受定制性的限制, 当每一个服务都独立构建的情况下, 构建的成本, 维护的工作量都会非常大, 并且各服务之间服务通信, 和数据解析成了为了一个很重要的课题。因此, 乐天开始尝试着构建一个可以对多样化服务的日志进行统一管理、收集、解析的GEAP平台。

为了给格式多样化和服务多样化的日志数据的收集和解析提供环境, GEAP的解析功能必须能够适用于多样化的数据格式 (*1) 。然而, 近年来乐天集团通过实施全球化, 在海外提供的服务在不断增加 (*2) , 数据发生源的地理分布, 网络分布更加趋于分散化。而且这种分散化是必然的趋势, 根据这种情况和环境乐天的GEAP根据以下三点特点设计而成的。

(1) 可以吸收多样化的数据。

(2) 可以灵活对应多用途的数据, 解析多样化的数据。

(3) 可以对国外生成的数据进行分析。

构筑GEAP时, 使用了我们熟知的Apache Hadoop (4) , Apache Cassandra (5) , Apache Flume (6) 等各种各样的OSS。而且在构筑GEAP时发现的知识和Bug Fixd等都在位OSS提供着贡献。

1 GEAP概要

GEPA由3个组件组成:

高信赖、告诉的实时日志收集系统。

储存分散处理系统

GUI和API等, 提供可视化数据分析结果的演示层。

日志收集系统是通过在各个主机上使用的应用程序, 把系统数据收集到存储分散处理的系统的集成系统。日志数据收集的同时以分散的形式继续发送给储存分散处理系统, 最终将数据流到传送到存储分散处理系统。因为在国内外有大量的服务器, 所以需要高信赖, 高速的数据收集, 所以我们以Apache Flume (6) 为基础, 提高信赖性的做法, 进行日志收集系统的构筑着 (*) .

2课题和难点

2.1数据收集的信赖性相关课题和难点

本平台构筑时应该考虑, 收集的对象是数量众多的主机, 并且要保证实时的、效率的、准确的收集数据。鉴于以上, 我们可以使用拥有E2E模式的Apache Flume。

Apache Flume的E2E模式有数据到达保障机制。

(1) Flume代理, 先行将写入日志 (WAL) 写出, 校验, 赋予值之后, 将数据传送至下面的节点。

(2) 通过一些节点转播, 最终到达Flume collector时, Flume collector记性检查和验证, 将HDFS等环境的存储数据进行储存。这个时候, Flume collector生成ACK, 对所有的Flume进行管理的Flume主节点生成的ACK并发送。

(3) Flume代理定期与Flume主节点进行通讯, 使主节点获得代理相关的ACK信息。

(4) Flume代理指定时间内无法获得ACK的情况下, 该代理, 会将改数据视为没有到达了目的地, 并重新发送数据。

上述中E 2 E模式, Flume主节点通过比较ACK信息, 检查数据是否达到了目的地。这个机制的优势是通过检查ACK最终到达节点的信息和原始信息的双重判断方法。

本论文中介绍了为了多样化的服务产生的大规模数据进行统一累积、运用而开发和运用的2个平台。

乐天超市的数据库是, 统一管理超过7, 500万人乐天会员信息的平台。多样化的服务在不停的对DB平台进行访问。另外GEAP是, 从运行着大量服务的服务器集群中, 收集数据并分析、存储、解析的平台。在公司内Paa S环境和大规模数据分析等正在被使用者。

GEAP可以适用于今后更多的服务, 当多样化大规模数据将会被集中在GEAP中。通过对这些数据进行分析并运用在服务中, 乐天提供给用户的服务, 将会变得更加容易使用。

注释

11 [乐天市场]Shopping is Entertainment!最大的网络互联网购物网站, 网络购入社区。

22 乐天旅行社, 旅馆, 酒店预约国内外旅行的旅行网站。

33 1乐天是在2012年11月在日本国内提供了72种不同的服务。

44 并且数据格式并没有被统一, 所以不同的服务会产生出不同的数据信息。

55 2 2012年11月, 在12个国家运营了EC网站。

66 All Rakuten Services:http://global.rakuten.com/group/

77 Apache Hadoop:http://hadoop.apache.org/

88 The Apache Cassandra Project:http://cassandra.apache.org/

大数据时代的监狱管理 篇5

根据数据分析对管理的重要性，在《孙子兵法》中已有深刻的认识：“央未战而算胜者，得算多也。”，数据始终贯穿在监狱管理的预案、组织、实施、控制和创新中。在进入大数据时代后，如何更好的利用信息爆炸时代产生的海量数据为监管服务和利用数据创新监管模式是不可回避的命题。监狱管理决策日益基于数据和分析作出，而并非基于经验和直觉，对监狱正确的制度发展计划与合理安排警力资源有重要意义。其中预测在监狱中有重要的意义，在大数据时代，预测的准确度或许能够更上一个台阶，将促进监狱监管更加安全。

一、大数据时代的特点：

从古至今，从未有一个时代出现过如此大规模的数据爆增。信息技术的发展，互联网的普及，随之而产生的数据也呈现出爆发性的增长。① 到2012年为止，人类的所有印刷材料的数据是200PB，全人类历史上说过的所有话的数据量大约是5EB，而过去两年产生的数据占人类历史数据总量的90%。② 到2006年，全世界的电子数据存储量为18万拍字节，如今这个数据已达到180万拍字节，短短时间内已经增长了一个数量级。根据预测，2015年这个数字甚至会达到800万拍字节的规模。

大数据时代的典型特点是预测变得更为精确，艾伯特—拉斯洛·巴拉巴西提出：人类93%的行为是可以预测的。目前人类的数据处理能力在庞大的数据量面前还是太渺小，当数据处理能力的提示足以克服这一切后，混沌理论是否会黯然失色呢？一切都将变得清晰起来，偶然性也将因为盖然性变得不那么模糊？或许人类处理能力提升的速度远远都无法赶上数据的增长速度，混沌理论也将一直伴随着人类的发展。但不可否认的是，即使是现在的处理能力，大数据也能极大的提升预测的精准度。

二、大数据指教下的预测

预测对监狱的各项职能活动包括狱政管理、刑罚执行、习艺劳动、生活卫生等需要依据狱情进行调整的活动有重要意义。预测是整个监管系统的重要依据，具体地将，其重要性可以从以下几个方面来考虑：

① 对于狱政部门而言，预测可以提供决策的依据； ② 对习艺劳动部门而言，预测是监狱编制习艺计划的基础，是生产产值编制的主要输入；

③ 对生活卫生部门而言，为补充生活物资提供依据；

④ 对狱侦部门而言，预测是消灭狱内违纪，违法事件的参考； „„

其中，概率论在预测中不可代替的作用，当中的泊松公布P（入）是在概率论中常用的一种离散型概率分布，由于其适于描述单位时间（或空间）内随机时间发生的次数，因此泊松分布在管理科学，学以及自然科学的某些问题中都占有重要的地位。例如，在单位战略制定以及物资需求分析等方面有极大的应用空间。

但在大数据时代，泊松分布对人类社会的预测有极大的提升空间。

但在大数据时代，泊松分布对人类社会的预测有极大的提升空间。在数据不够充分的情况下，泊松分布在预测人类社会的事件时，事件的预测性与偶然性是等同视之。人具有主观能动性，从表面上看增大了预测的难度，但是在大数据的视角下，人的活动其实有极大的可

预测空间，偶然性对人类活动的影响是相对来说小得多的影响因素。我们不能忽视的一点是：每个人都是习惯的奴隶。大数据的意义在于经过整理大量数据后，那些本难以察觉的现象规律可以被发现，使它从一个变量成为常量。偏离了随机性通常意味着某种基本规律有待人类发现，因为预测时，将各种无法一时明了的因素都作为随机变量，而结果的不准确性也恰恰说明了其中的一些“变量”自有其韵律。大数据的典型特点就是区分可预测性与偶然性的时间，提升预测与管理水平。

合理而充分地运用大数据来提升预测水平，监管水平是在进入大数据时代后所必须面对的。信息时代的监管，不是警力谁加的监管，而是知识谁加的监管。数据是信息的载体，是知识的源泉。基于知识的监管，将集中表现为基于数据的监管，而这种数据的监管将成为监管发展的必然。这种监管要求监狱制主流线型的监管过程，各个过程之间必须无缝隙、无摩擦地对接，保证每一个管理决策明智，正确，在管理的过程中不犯错误。监狱要做到这些，必须广泛的推行以事实为基础的决策方法。在战略层面，大量使用数据分析来预测制定监狱发展计划；在监管层面，通过数据分析来优化监狱的各个环节，激发每位民警潜在的价值，从而节约警力保证监狱安全。

三、大数据与制度趋同

现在，各种分析模型以及深入到单位的制度制定中，包括：战略框架、基准化分析法、价值导向模型等等，随着各种模型不断的被应用，虽然这些看似差异的模型，却都指向合理地制度计划，这不可避免的出现了一个现象：制度趋同。产生的原因不外这些：

其一，表现为领导人的“从众”心态和追求“平安”的心理。在监区监管安全时期，制度趋同自然无可非议——谁能抵挡安全的诱惑呢？而在监管不稳定时期战略受挫也很好找到理由——我们都错了。

其二，参与和影响制度制定的领头雁同行体系、思维模式的同一化。我们现在的管理理论正日益成为一种要协执法的体系，而在形式差异化的外衣下该体系的核心正在不断被接受。

最后，安全性和确定性更加恶劣的监管环境也是促成战略趋同的因素之一。监区领导者的目标很简单，就是确保安全，实现产值增长。

在种种关键的情节下，不论是先进监区还是不那么先进监区谁能快速响应狱情和承揽加工情况谁才能从中胜出，此时此刻他每一个决策都直接影响监区的发展：作为先进集体，稍有迟钝，优势将不复存在，并将为此付出代价；作为不那么先进集中，能够敏捷地发现新的契机将实现管区的大发展。两者是利益相互对立的双方，高度复杂的狱情和承揽加工情况，两者的竞争将更加激烈。

但大数据时代是两面的，加剧竞争的同时，透过大数据也使决策更加精确，能以从前无法想象的速度快速响应情况变化。利用大数据，先进集体的决策能够极大地接近实际，在第一时间就做出符合情况变化的决策。不那么先进进体在这样的环境拥有极大的优势，充分利用变化能快速发现机会，凭借大数据能在极短的时间内作出正确判断。

在对大环境进行的分析和判断以确定制度制定时，有效的狱情分析和预测是前提，监区制度制定所需要的主要外部信息包括：单个罪犯、入监评估值、接见情况、身体健康情况、习艺完成情况、管区犯群年龄分布情况、余刑分布情况、困难户情况等等。管区定制必须要做调研，但调研也好、统计数据也好、都有人为因素。只有大数据，加上分析技术，才可能是接近狱情真实信息。大数据和调研相互印证，更能提高定制度的正确概率。

四、大数据在监狱管理中的具体应用

1、真正实时的了解罪犯 在过去，监狱普遍通过积分系统找出听话罪犯和违纪次数找出不听话罪犯，对罪犯的好与坏的判断，往往是经验主义的指挥，而利用大数据，这种状况将不再发生，大数据能够帮助监狱完全勾勒出罪犯的实时状态，充分了解罪犯是有效的与改造罪犯的关键。当然，监狱

要确保罪犯的权利不受威胁，大数据可以为罪犯提供针对个体罪犯的十分个性化的改造措施。使用各类数据分析，监狱可以充分了解每一名罪犯，实时的知道罪犯想要什么，以及何时想要。

2、监狱制定，改进和创新改造措施

大数据分析可以帮助监狱更好地了解犯群的情况。通过狱政，狱侦等科室收集数据，特别是当这些信息是实时收集时，监狱可以立即有针对性的对可能存在的问题做出改进。这样不仅可以很好的评估现有改造措施，同时还能够收集到警群与犯群对该项措施的评价。

3、确定监狱面临的风险有多大

确定监狱所面临的风险是今天监狱管理的一个重要方面。为了确定一个潜在的罪犯的风险，需要对罪犯进行归类，每名罪犯都有自己的风险水平。更多的时候，如果罪犯被归类到一个错误的类被，无疑将导致错误的风险。利用大数据可以针对每名罪犯过去和现在的实时数据有针对性的确定风险类别。

4、更有效地组织监狱以节省资金

管理系统以及大数据 篇6

【关键词】移动PlM系统 J2ME SyncML协议

【中图分类号】TN929.53 【文献标识码】A 【文章编号】1672-5158（2013）04-0153-02

一、引言

作为移动电子商务应用中重要一种的PIM（Personal informationmanagement）个人信息管理应用，是受到广泛关注的一个新兴领域。移动终端PIM是指用户将移动终端中的信息（通讯录，日程安排等）以无线或者有线方式与电脑或者PIM服务器保持一致，并能使用多种终端、多种接人手段查询和管理信息。由于移动终端操作系统以及各系统HM平台接口的多样性以及PIM协议的私有性使得PIM服务往往只能针对某个单一手机操作系统，PIM服务的通用性和可扩展性受到了移动终端系统软硬件条件的极大的限制。

本文研究了基于J2ME平台的HM相关技术，设计出了基于J2ME的手机客户端、WEB服务器和后台数据库三层框架结构，并主要对核心SyncML数据同步协议进行了详细的分析，研究了在J2ME平台下实现SyncML中定义的慢同步及双向增量同步逻辑的解决方案，在考虑了移动设备资源缺乏的情况下，实现了J2ME平台移动PIM客户端，初步达到了移动应用程序的易用性和系统的可扩展性的目标。经过深入研究和完善，本文采用MVC设计模式，研究并实现了一个功能稳定、运行可靠的J2ME平台下的PIM个人信息管理系统，符合移动电子商务的应用环境，在支持KVM的移动终端平台上开发的移动PIM系统使得通用性和扩展性问题在解决方案的性能上得到了进一步的提高。

二、系统框架以及重要设计

（一）系统总体框架

模型一视图一控制器（MVC）一种软件设计模式，最近几年逐渐成为Sun公司J2EE平台的设计模式，MVC强制性的使应用程序的输入、处理和输出分开。MVC应用程序分成三个核心部件：模型（Model）、视图（View）、控制器（Control）。MVC标准模式经典的应用就是将JSP+Servlet+Javabean+JDBC技术编写CGI程序，并且用于数据动态加载以及页面响应。它们各自处理自己的任务。视图是移动终端与用户交互的界面。对于旧式的Web应用程序来说，视图完全是由HTML元素组成的界面，随着新的技术已层出不穷，在新式的Web应用程序中，虽然HTML依旧在视图中扮演着重要的角色，但是诸如MacromediaFlash，XHTML，XML/XSL，WML等一些标识语言以及Web services的出现，HTML以及不能满足Web应用的发展。MVC的一大优点是它能为应用程序处理很多不同的视图。在视图中其实没有真正的处理发生，作为视图来讲，它只是作为一种输出数据并且允许用户操纵的方式，不管这些数据是联机存储的还是一个通信录或者日程列表。

PIM移动终端信息管理系统采用内嵌式的程序设计，集成在移动终端的操作系统中，移动终端用户登录平台系统后，通过3G网络访问相应WEB服务器来实现移动商务信息管理功能，获取WEB服务，改变了过去仅依靠WAP或短信动通信技术，使得移动终端用户不受一般电子商务的各种技术限制，能够直接使用移动终端平台进行通信录管理、日志管理、获得PIM同步服务、移动终端交换电子名片，应用等操作，利用高速无线网络的带宽优势，选择等级不同的加密登陆方式，获取3G时代高速移动PIM服务。整个系统在网络传输过程中采用了系统要求的Basic64以及MD5算法进行加密，保证了个人信息的安全。同时，系统平台采用的J2ME技术开发，保证了系统稳定性好，界面友好，操作人性化，易用性好，管理安全等特性。平台总结构图1如下：

从逻辑构成上讲，PIM系统包括三个部分：服务器端，移动终端，数据库端。

服务器端：服务器用于实现移动个人信息管理系统的应用功能，并且也为移动终端提供个人数据同步服务和封装管理功能的状态，并且为MIDlet提供系统访问的接口和方法，以及管理信息的途径。Tomcat作为一个开源的servlet容器，是由JAVA进行编写的并能够被不做改变得移植到不同架构、OS平台上，Tomcat服务器及其应用程序符合JSP规范，能够完整实现servlet J2ME PIM系统应用开发设计。

移动终端：对于具备不同手机软硬件特性，但是支持JVM虚拟机的不同移动终端设备来说，采用J2ME技术能够使应用程序MIDlet在各种手机以及PDA上进行移植和运行，并以此屏蔽掉各移动终端软硬件的差异性。MIDP2.0提供高层用户界面决定PIM终端数据界面的展示方式，RMS接口提供数据的持续性保存以及GCF接口提供网络的连接方式等。移动终端应用程序可以在支持J2ME的手机终端或者PDA上进行手机模拟器软件运行。

数据库：负责系统对于逻辑数据的管理和存储，实现数据的持续性和一致性。MYSQL数据库具备功能强大、使用方便、运行快速安全的优点，作为本系统采用的数据库，MYSQL数据库使得管理简化，并增强了PIM应用程序所需的可靠性和易用性。系统移动终端的MIDlet容器，提供用户UI并进行人机交互和网络通信发起；WEB服务器作为PIM系统的访问入口，处理移动终端MIDlet的管理和同步请求；由符合JSP规范的servlet调用应用服务器的JavaBean来完成数据逻辑运算，JavaBean使用JDBC方式对数据存储库进行存取访问，然后将运算结果返回Servlet；Servlet经过处理将处理数据结果以返回到移动终端，并通过MIDlet容器中的用户UI界面呈现给用户.系统采用MVC架构有利于系统的维护，以及业务功能的扩展。

（二）服务器端详细设计

服务器端利用基于J2EE架构的tomcat作为服务器，具体实现如下l 3l：

1、服务器端需要对同步引擎核心模块进行实现：服务器通过解析客户端发送的SymeML协议数据包并进行XML解析并且判断，包括服务器端和移动终端共同采取的同步类型（双向同步或者慢同步，代码201和200），对认证信息进行校验，解析出客户端发送同步数据源的状态，并在同步初始化过后修改（添加，删除和更新）服务器中相应的数据存储对象。

2、JDBC用于与1、中的模块进行数据库连接，本系统采用MYSQL数据库.该数据库中保存的信息分为3类：（1）客户端的认证信息、登陆的用户名和密码，客户端的设备类型和设备的属性状态；（2）客户端同步的数据源类型和对应的数据信息（联系人按照vCard格式保存，日程/任务按照iCalender格式来保存）；（3）涉及在同步过程中的关于SyenML协议的一些信息，包括同步的同步锚，同步的系统日志，同步过程中对数据源的处理命令。

3、建立HTTP协议同SymeML同步协议底层的绑定，并且通过使用Java中的通用网络连接框架GCF中的Httpconneetion来实现Http数据传输，达到传输的透明性，同时结合分布式并行处理方式以及多线程调度来保持和多客户端的通信。

4、对该服务器端进行扩展，利用Javascript的脚本语言和JDBC数据库连接来开发基于Web的应用程序来访问服务器端的数据存储对象，从而也提供客户端对服务器上的数据进行修改以及管理员对整个系统进行维护和管理的功能.由于移动终端的研究应用被作为本平台重点考虑并设计的对象，所以没有过多考虑PC机浏览器部分。

三、系统数据同步架构

（一）SyncML同步框架

作为一个应用层协议，SyncML协议是唯一一种行业通用的移动数据同步化协议，用以真正实现使用任何终端设备均可随时随地访问任何网络数据。本系统通过对SyneML数据同步协议的研究以及二次开发为移动客户端提供PIM信息的数据同步以及交换，通过使用XML在传输层传输数据，减少客户端占用的系统资源和网络资源，提高了效率以及系统的通用性。

SyncML同步框架由提供数据同步服务的网络服务器端和移动终端以及中间的移动模型框架组成。终端和网络服务器通过常用的网络传输方式进行连接。终端和服务器端通过SyneML表示协议所规定的SyncML接口进行消息通信。移动框架由双向的“同步引擎”、“同步代理”以及“同步适配器”组成。“同步引擎”负责管理整个操作过程.“同步代理”管理“同步引擎”对网络的访问，管理客户端和服务器端的应用进行数据同步的相互通信过程.“同步代理”通过调用“面向同步代理的应用程序接口”完成这些功能.“同步适配器”负责消息的收发过程，在这个过程中A和B双方相互通信，收发SyncML数据包。

（二）数据同步重要技术

由于终端和服务器端需要进行同步，所以同步协议的实现需要记录发生在本次同步和前次同步之间所有的数据修改，并且对数据的修改通过替换，增加和删除的操作来实现。

1.使用同步锚准确记录同步时间范围：

为了保证同步的完整性和数据一致性，使用了数据库中的同步锚来记录服务器和同步的时间。为了减少耦合性，增强独立性，客户端和服务器分别都有三个同步锚，Last，Next，Stored。Last同步锚对上一次同步发生的时间进行记录，Next同步锚对本次同步发生的时间进行记录，Stored表示服务器端储存的与特定客户端关联的同步锚。初始化同步时，客户端和服务器都将各自的两个同步锚发给对方。同步锚必须在同步正常结束后进行更新，如果同步终端之间的通信没有正常结束，那么终端必须不能更新同步锚，如果通信中断后又重新开始，则Next同步锚的值需要被更新。端关联的同步锚。当然，初始过程的两个包中还包括其它信息，单就同步锚而言，存在一个服务器端的比较，判断当前的同步采取什么方式：如果锚不匹配，服务器判断当前是一个新同步或前次同步失败。处于这种情况下通常会重新执行慢同步。如果锚匹配，则结束同步初始化，开始交换更改数据日志并且更新双方个人信息数据。如果数据成功更新后，服务器及客户端要刷新自己存储的同步锚，做好下次同步的准备。

2.PIM数据ID在服务器和客户端之间的映射：

同样源于“耦合性减小，独立性增强”原则，并且双方的ID可能不匹配，服务器端和客户端需要分别产生并且保存GUID全局数据记录ID以及LUID本地数据记录ID，并且由服务器保存并且维护一份GUID-LUID的映射表。也就是说，服务器必须分别记录同一个数据记录在客户端和服务器端的ID。

客户端保存本地LUID表，服务器端保存全局GUID表和LUID与GUID的映射关系表。LUID是由客户端赋值数据记录的，这意味着即使是服务器端添加了一个新的数据项，在客户端该数据项的LUID仍然是由客户端所指定。而当客户端通过Map命令将数据项的本地ID发回给服务器端，服务器在收到客户端的Map命令进行数据项进行映射后，服务器端就能根据客户端的LUID更新服务器端的LUID-GUID映射表，使得两个ID得到对应。

3.解决同步中发生冲突

如果客户端和服务器端对同一个数据项同时实行修改，就会产生冲突。通常情况下，由服务器端的同步引擎提供解决方法，并通知客户端冲突解决结果。由于目前移动3G客户端的软硬件水平加强，本系统主要对智能手机终端应用进行研究，所以客户端也能够有同步引擎并且能够自己解决冲突。

（三）系统数据同步实现方式

SyncML协议总共有7种同步类型，用于服务器与客户端不同同步情况以及冲突处理策略，下面重点介绍系统实现并且常用的两种同步的过程：双向增量同步以及慢同步。

1.双向增量同步作为常用的模式，用于客户端和服务器相互修改并且进行数据交换。同步初始化完成后，客户端首先发送移动终端修改信息到服务器，并将同步锚和修改过的终端数据的信息发到服务器，服务器在收到客户端的个人信息的修改信息之后，根据客户端发送信息处理同步请求，并对收到的修改信息进行分析，最后当同步分析结束之后，将服务器修改的数据信息发给客户端，最后客户端修改并更新其本地数据库，发送到客户端的数据包括服务器对数据的分析结构以及服务器在上次同步结束到本次同步开始这个时间段内所修改数据信息。

管理系统以及大数据 篇7

一、电能计量数据经常出现异常的原因

计量数据的异常有负电流、负电量等异常数据, 有些异常数据只有负的零点几, 有可能是由于现场用电负荷的性质造成的, 比如容性的负荷, 或者打桩电机等负荷, 造成负荷波动异常, 当出现计量数据异常时, 我们首先要去现场查勘, 看看是现场负荷性质, 还要检查现场表计接线有没有错误, 互感器极性有没有接反, 还可以通过召测的相位角判断现场接线情况。

二、电能计量数据异常的处理措施

1. 电表倒走 (正向电能示值下降)

(1) 统计算法

发生零点冻结本次正向有功总电能示值<上日正向有功总电能示值。

(2) 原因分析与解决办法 (表1)

(3) 具体分析步骤

(1) 过滤掉因换表、电表过零引起正向有功电能示值下降的电表清单。

(2) 查询分析该月的总有功电能示值的走字情况, 是否存在不定期的两个序列的递增, 是否两个以上测量点数据的交叉, 是否出现抄表示值出现突变、最高位异动等情况。

(3) 若出现抄表示值出现突变、最高位异动等情况, 可通过穿透抄表抄度电表异常当日的总有功电能示值, 简易地判断是否电表异常。

2. 电表飞走

(1) 统计算法

本日电量 (通过零点冻结电能示值计算电量) >电能表最大电流*额定电压*24h*2*系数。

(2) 原因分析与解决办法 (表2)

(3) 具体分析步骤

(1) 过滤掉因档案出错引起的电表飞走误判。

(2) 查询分析该月的总有功电能示值的走字情况, 是否存在不定期的两个数据量等级的递增, 是否两个以上测量点数据的交叉, 是否出现抄表示值出现突变、最高位异动等情况。

(3) 若出现抄表示值出现突变、最高位异动等情况, 可通过穿透抄表抄度电表异常当日的总有功电能示值, 简易地判断是否电表异常。

3. 电表停走

(1) 统计算法

发生本次采集电量为零, 有任意一相的电压最大值大于50%的额定电压, 电流曲线任意一相平均值不小于阀值 (0.1A) 的情况, 属于电能表停走异常。

(2) 原因分析及解决办法 (表3)

(3) 具体分析步骤

(1) 查询用户名称及正反向有功电能量走字情况判断用户是否为小水电用户。

(2) 查询电流曲线数据, 结合正反向有功电能量走字情况, 判断是否存在有电流电表不走字的情况。

(3) 召测测量点的实时数据 (有功功率、功率因数、电压电流相位角) 判断是否错接线。

4.电表电池欠压

(1) 统计算法

当电表出现停电抄表电池欠压或者时钟电池欠压, 即为电池欠压。

(2) 时钟电池欠压告警智能表换表流程

(1) 下发工单派员现场处理, 结算日前3天内严禁安排换表;

(2) 严格执行换表告知、底度拍照和用户签字确认等配套服务措施, 做好防错接线和串户等措施。换表前先通过显示按键查看并记录电能表显示的日期时间和当前日期时间。

(3) 执行峰谷电价用户且时间偏差较大的用户, 根据智能表时间偏差情况及表内存储的整点和日冻结电量, 指定电量 (费) 退补方案, 并按相关规定实施退补。

在更换智能表同时, 注意加强与用户沟通解释, 确保各项服务措施落实到位, 严防发生与换表有关的客户投诉及不良舆情事件。

5.电表时钟超差

(1) 统计算法

当电表时间与GPS时间相差超过5分钟, 即为电能表时钟错误。

(2) 处理办法 (表4)

导出主站系统监测到的电表时钟超差清单, 根据设备技术规范, 开展不同形式的现场对时和主站对时。

结语

综上所述, 电力用户用电信息采集系统实现准确、全面、及时的采集数据, 并且高效、准确地对采集的信息进行计算处理, 对计量现场经常出现的故障进行处理, 确保用电系统安全可靠的使用。

参考文献

[1]宋国亮, 肖永利.智能电网大数据处理技术现状与挑战[J].电网技术, 2014, 21 (3) :172-174.

[2]王磊峰, 赵文献.电能信息采集系统运行及维护技术[J].中国电力, 2014, 19 (9) :85-87.

大数据:一场管理革命 篇8

“大数据”对传统媒介经营管理方式的冲击

传统的媒介经营管理方式或者是建立在经验的基础上, 或者是建立在传统数据基础上, 如抽样获得, 通过财务软件获得, 这样的数据往往是结构化的数据, 或者是有关联的数据, 是管理员按照事先设定的程序获得的。如调查读者, 听众, 网民可通过严格的随机抽样获得, 并且通过样本来推断总体, 而对于传媒内容的财务数据则可通过财务软件了解进, 销, 存, 工资, 成本, 收入, 利润等多种经营数据, 以满足对数据的分析和决策。

然而, “大数据”通常为非结构化数据, 并包含彼此可能无关联的数据集, 例如来自各种独立数据流 (如Twitter、社交网站、传统CRM、调查结果、人口数据、缺陷数据等) 的数据, 这不同于通常彼此相关的传统数据集。于是, “大数据”分析通常会突破传统数据库以及分析流程和系统的界限。首先, 数据集规模可能过大;其次, 数据集彼此无关联;最后, “大数据”需要极为快速地分析。分析这些“大数据”, 传统的方法和人才就不能适应新的需求了。分析大数据, 就要依赖新兴技术 (如Hadoop Map Reduce) 、R统计语言, 以及并行多处理、高速联网、快速I/O存储 (包括基于闪存的新兴存储) 等全新的高性能基础架构解决方案。此外, 大数据分析还需要新型技术工作者:数据科学家, 甚至是数据艺术家。为此, 传媒就要采用新的技术方法和使用新的人才才能适应“大数据”的要求。

对“大数据”的分析使传媒经营管理者实时的了解环境内外的最新最全的信息, 并从中得出大量深刻见解, 改善经营管理的水平和方法。例如, Farmville的制作公司Zynga每天生成超过15 TB的新数据, 并通过对玩家行为的持续数据分析结果, 测试、调整和优化游戏中的特性, 其实现了鼓励玩家行动起来, 以促进玩家针对游戏的种种元素支付真正的钱, 并保持玩家对游戏的兴趣。于是, 虽然在线游戏Farmville是一款非常简单的游戏, 但是由于其背后有着对大数据分析的支持, 其也能不断的飞速发展。当传媒管理者对数据有较为完善分析能力时, 其对事件的把握及预测能力就会增强, 通过对大数据分析、预测会使得决策更为精准。

媒介经营管理创新——应对大数据的挑战

经营管理就是决策, 决策需要信息。决策过程实际上就是一个信息输入、信息输出及信息反馈的循环过程。应对大数据的挑战, 媒介经营管理需要在新闻生产、受众调查、效果研究等方面进行创新。

媒介经营管理首先离不开新闻生产, 传统的新闻生产无奈于依靠作者的采访和编辑的加工, 评论等, 但现在新闻生产的创新也可利用大数据了, 大数据时代数据成为新闻的核心资源之一, 数据不仅可以作为新闻报道的内容, 数据对于某个事件发生的原因、状况的揭示会比记者的观察与调查更准确, 更有说服力。例如, 英国《卫报》解读2011年骚乱的事件, 除了采用常规的社会科学研究方法, 如采访调查外, 还请了曼彻斯特大学的专业人士对250多万条的与骚乱有关的Twitter信息进行大数据的分析, 在此基础上做成了《暴徒的告白》, 这个信息量是非常大的, 包括抓取微博的信息, 网络上的信息, 如果没有大数据的分析方法, 是不可能实现的。通过大数据生产的新闻往往给用户提供耳目一新的新闻感官和认识世界的图景。

其次, 媒介经营管理离不开受众的调查, 受众调查的创新也可利用大数据, 与传统的抽样调查相比, 媒体可以利用大数据更为精确辨识到受众群构成及其特定阶段的具体需求, 可以据此阶段性地调整新闻生产中各类信息的权重, 针对性地提供新闻信息服务、增加客户粘度。例如, 爱点击i Click自主研发的XMO受众解决方案 (XMOAudience Solution) 可以接触到最细分的受众。爱点击i Click与上百营销者合作推出上千个在线营销活动, 并在过程中累积了上亿的受众数据, 结合第三方数据, 强强联合推出22种精选细分受众群体。这些受众群体按行业 (例如:旅游、银行、金融以及教育) 、生活方式和兴趣 (例如:性价比追求者、商务人士、吃货等等) 划分, 以切合广告主不同的需要。《美国新闻业2011年度报告》报告认为, 在媒体市场已成为买方市场之后, 用户决定着哪些内容以哪些方式呈现。媒体业的未来属于那些“既懂得公众不断变化的行为, 也能准确投放内容, 并将广告按每个用户偏好投放的人”。因此, 利用大数据来进行受众调查的创新有利于促进媒介经营管理的精确化。

最后, 效果研究的创新可利用大数据, 效果研究是传播学研究的重点, 也是媒介经营管理关注的重点。受众接触了媒介尤其是广告信息时候, 其认知、情感、态度、行为如何发生变化, 传统的问卷调查采用受众的自我报告难以获得精确的信息, 控制实验往往又是在小群体中进行, 难以真正的推进到总体。而大数据下的数以亿计的高速度、低成本的运算器, 计算机, 传感器, 网络平台使得获得准确的受众效果数据成为可能。这方面一个重要的例子是美国的Facebook, 由于数以万计的Facebook用户的个人信息, 个人习惯都在网站中出现, 所以Facebook可以通过大数据分析后再将其卖给企业, 企业再根据每个人的特点投放最个性化的广告, 于是, 当网民使用Facebook时, 他 (或她) 只会看到自己最想看的广告, 从而实现传播效果的最优化。

总之, 只有通过媒介经营管理这几个方面的创新, 才能真正使得媒介的经营管理方式由经验型向科学型管理转变。而基于大数据的科学型管理必然是精确、全面、立体而富有预测性的。

数据挖掘:从“大数据”中寻找规律

在“大数据”的环境下, 媒介经营管理怎样才能实现由经验型向科学型管理?这就需要进行数据挖掘, 从“大数据”中寻找规律, 才能为科学型的媒介经营管理奠定基础。数据挖掘出现于20世纪80年代后期, 90年代有了突飞猛进的发展。美国麻省理工学院在2001年1月份的《科技评论》 (Technology Review) 提出将在未来5年对人类产生重大影响的10大新兴技术, 其中第3项就是数据挖掘。

数据挖掘 (Data Mining) 是通过分析每个数据, 从大量数据中寻找其规律的技术, 主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。数据挖掘是一种决策支持过程, 它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等, 高度自动化地分析企业的数据, 做出归纳性的推理, 从中挖掘出潜在的模式, 帮助决策者调整市场策略, 减少风险, 做出正确的决策。

数据挖掘已经在企业的经营管理中发挥了很大的作用, 而我国的传媒经营管理也开始利用其为管理服务。例如, 作为北京地区有线广播电视网络的建设开发、经营、管理和维护的运营商——歌华有线, 其正在建设的呼叫中心系统, 专门引入商业智能, 实现信息数据的深度挖掘, 并以报表、图形的方式对大量的数据信息进行实时的网络在线分析, 为歌华有线的业务经营提供了有力的分析工具。而新华社2008-2015年《工作设想》就有关于数据挖掘的思想, 如在关于多媒体数据库建设目标中明确提出要强化搜索查询功能, 提高搜索查询速度和准确率的思路。

在网络媒体的经营管理中, 数据挖掘技术更是建立在博客、微博、社交网络网站这些网民行为的大数据基础上。例如, 腾讯拥有超过7.52亿QQ即时通讯活跃账户, 1亿微信用户、4.25亿微博用户和超过1亿的视频用户。在积累了个人用户多方面的海量数据后, 2012年腾讯提出了“大数据营销”的概念。腾讯网总编辑陈菊红表示“将从这些海量数据中挖掘、分辨出用户的行为模式、兴趣偏好等, 打造专属于每个人的智慧门户。”腾讯不仅在各大产品线中都设置了数据挖掘团队, 还在和一些第三方数据挖掘公司、营销公司展开合作洽谈, 充分挖掘用户在网上的行为、关系、UGC (用户产生的内容) 等数据, “通过合理的方法找到对企业有帮助的数据, 并且将营销预算合理的分配在为数众多的数据来源平台上”, 从而提高营销效率。

大数据与高校管理研究 篇9

信息、讯息和数据是后工业革命时代的3个重要概念。尽管三者经常在各类语境下被混用, 但其内涵和外延均有较大差异。因此, 区分并理解这3个概念是探讨大数据的必要前提条件。

具体来说, 信息的概念在20世纪的蓬勃发展要归功于数学家克劳德·香农在1948年提出的“信息论” (也称“信息理论”) 。在其著作《通信的数学理论》中, 香农认为, 信息以特异方式运作。与其他物品不同, 信息的重要特征在于, 一旦被分享, 就相当于被复制, 无论是传播者和接受者都获得了同等数量和信息。这种特征的意义就在于其使用只会创造增值而非贬值, 因此信息就可以在传播者不放弃信息本身的情况下将其分发。信息既是一种物质, 又是一种能量。

如果说信息主要在数学和通信系统中为人提及, “讯息”一词则在传播学中广为使用。信息中包含噪声, 即无意义成分, 而讯息则强调信息带来的意义。讯息是具体的, 而信息则是抽象的。举例来讲, 天气预报可以被认为是信息, 而如果人们通过解码来获取其中意义, 得知天气状况并作出应对措施, 就获取了其中讯息的成分;对于不关心天气的人来说, 尽管每天都可以收到天气预报提示, 其意义与噪声并无二致。

在充分理解信息和讯息的基础上, “数据”的内涵便其义自见了。数据既可以是信息, 又可以是讯息。根据具体语境变化, 数据的概念也十分灵活多变, 而其是否具有意义, 则取决于如下几个方面。最为重要的一点是数据的格式。众所周知, 数据的来源十分广泛, 而即便同样是来源于社交媒体的数据, 格式也大相径庭。比如, 一条100字的微博和其底层代码从格式上讲就迥然而异。对于微博用户来说, 后者是无意义的;而对于程序员来说, 前者则意义寥寥。其次, 数据的内容和对内容的解读也与其意义息息相关。同样的数据对于不同人的意义可能完全不同, 因而可能被运用到不同领域, 产生不同的效用。

随着计算机技术以及互联网的迅猛发展, 行业应用产生的数据已经超越了几何式增长, 以爆炸性的突变影响着整个社会。动辄数千TB甚至PB的“大数据”正在挑战传统的数据处理和分析手段。高峰期间, 新浪微博每天可以产生将近一亿条的新微博, 而百度目前数据总量已经突破1000PB。用户创建内容是大数据最为重要的组成部分之一, 包含十分丰富的信息和资源, 如人口学统计资料、地理信息位置, 甚至是网上交易数据。对这些数据的整合利用至关重要, 也正在成为政府、企业和教育机构的重要议题。面对如此海量的数据, 可以确信, “大数据”时代已经到来。

2 大数据、机遇和挑战

2012年联合国发布了一份有关大数据的报告。在这个名为《大数据促发展:挑战与机遇》的政府白皮书中, 联合国指出, 大数据对于世界各国是机遇, 又是挑战。报告中提到, 数字设备的普及和更新正在带来一场“数据的产业革命”。对各国政府的决策者而言, 对日益扩大的数据资源进行分析利用, 是21世纪以来, 继全球化、气候变化和人口流动后, 又一大重要的历史性的机遇和挑战。

如上文所述, 大数据给科学研究带来的革命性的变革, 而这种变革在医疗、教育、金融等领域得到充分体现。在医疗方面, 尽管总体看来, “大数据”仍往往只是药厂和保险公司的一个营销口号, 但诸如英文网站Web MD, 以及中文网站“好大夫在线”, 正在颠覆传统医疗信息的流通方式, 并改变着医患关系, 甚至整个医疗体系的结构。同医疗一样, 大数据在教育领域也被认为是推动变革的重要力量。从“中国大学的精品课”, 到在线学习和网络课堂, 脱离了以学校为中心传播方式, 达到对教育资源的二次分配。然而, 大数据在教育领域的影响也并非单向度, 仅仅是资源以数据的形式向外传播, 教育机构亦在体会海量数据的涌入。比起医疗和教育领域, 大数据在金融领域的影响可谓山呼海啸。在定价、授信、风控等领域, 用户创建的数据正在系统性挑战传统的经济规律。以保险定价为例, 美国的诸多保险公司在提供车险时, 会在保户车上安装一个简易装置, 实时监控其驾驶习惯。那些驾驶平稳, 很少突然加速减速的司机, 会获得保费降低的奖励;而那些习惯危险驾驶的司机数据会被立刻传送给保险公司, 作为保费升高的最佳旁证。

3 高校管理与大数据

大数据将对学校管理环境、管理水平和管理决策产生深远的影响。上文系统介绍了大数据的概念, 以及它给这个时代带来的诸多机遇和挑战, 那么具体这些特性在高校管理中是如何体现的呢?笔者将在如下的版块举出3个具体的案例。

3.1 学生行为分析

学生行为分析是指高校获取有关学生的数据进行整合分析, 对学生的行为进行预测和研判的过程。这一环节对高校管理工作至关重要。对学生思想动态监控是学生行为分析中最为敏感的话题之一。传统意义上讲, 学生思想动态监控主要依赖于辅导员与学生谈话、沟通, 然而这种信息获取方式的弊病显而易见, 最重要的问题在于信息量小, 而且有局限性, 不能以点带面地掌控学生的思想动态并对其行为进行行之有效的分析预测。在高校普及互联网后, 一些管理软件是对数据进行高效管理的雏形, 尽管无论是从量上还是从质上都与当今的大数据分析相去甚远。

怎样了解学生在网络上发布的信息, 并在充分利用的基础上对具有风险的行为 (如心理问题, 暴力、自杀倾向、偏激的政治言论等) 进行管控, 是学生行为分析的核心议题。上文中谈到了对用户创建内容的利用, 而高校管理也可以使用这些数据, 作出判断, 并影响决策。在自然语言学习中, 一部分学者正在通过文本分析的方法确定人群的某类特质, 如抑郁症、自杀倾向等 (可参见Pestian et al., 2008) 。而如果在对于局域网监控中留有后台, 可以随时抽取问题学生的数据, 进行监控和分析, 这无疑对于及早发现问题是至关重要的。

3.2 教务系统的应用

随着在校大学生人数的不断增加, 教务系统的数据量也不断的上涨。教务系统的数据库中基本实现了学生的在线信息查询、选课功能以及教师对课程信息发布的管理等功能。对学生来说, 可根据本人学号和密码登录系统, 查询院系的课程、学生选课情况及学生个人信息的修改;对教师来说, 可以发布、删除和修改自己本学期所要教的课程信息, 查看选择自己课程的学生名单及信息, 及查询、修改部分的个人信息;对管理员来说, 可通过超级用户身份登录, 对系统进行全面的管理, 对新用户的添加, 删除以及对用户信息进行管理维护。

3.3 学生就业规划

学生就业是高校管理中又一大重要议题, 而如何帮助学生正确了解自己, 并掌握利用就业信息资源, 则是一个系统性的工程。传统的就业指导规划系统往往是单向的, 以学校为中心, 向学生发布学校认为有意义的就业指导信息。如上所述, 大数据在教育领域的重要变革之一就是去中心化, 即将不同信息系统有机整合并无缝对接, 使双向乃至于多向的信息流动成为可能。

具体来说, 在学生就业之中, 具有3个利益方:学校、学生和雇主。在大数据未曾普及的年代中, 这三方的信息是不对等的, 这对学生成功就业极为不利。一般来说, 雇主和学校关系密切, 向学校提供信息, 而学校和学生关系密切, 学生从学校获取信息。因此, 雇主和学生的非直接关系完全依赖于学校工作的成败。如果有一个系统, 可以将三方整合起来, 利用学生自主提供的信息为其生成就业指导模型, 并对学校和雇主可见, 那么这种信息的不对等就会消失, 使学校能够成为雇主和学生的平台, 而非中介。

建立这样一个系统, 可以分为数据寻找、数据库建立和数据分析等3个步骤。首先, 学校应该可以从不同数据来源中获取雇主提供的信息, 而并非单纯仰仗传统的“人脉”关系。在系统性地抓取雇主信息后, 一个动态数据库的建立有利于学生的信息获取。学生不仅仅可以依赖于自己的价值判断, 亦可以参考该数据库基于学生提供数据生成的指导模型, 从而作出最佳明智的选择。

4 “后毕业时代”的资源共享

“后毕业时代”指的是学生毕业走向社会之后高校所面临的历史性时刻。传统意义上讲, 学生毕业后, 除了和母校的感情联系, 其他方面基本处于“失联”状态。然而在一些发达国家, 校友不仅是学校投资的主要来源, 更是其他资源共享的重要渠道。毕业仅仅是这种联系建立的开始。

与发达国家高校不同, 中国高校对于“后毕业时代”的资源共享利用尚处在初级阶段。所以, 大数据在“后毕业时代”的应用之一, 便是建立一个实时更新的校友档案库。这个档案库并不只是图书馆中的一排文件夹, 而是一个能够提供信息交流和反馈的平台。校友资源是一座宝藏, 而大数据便是通往这座宝藏的一把钥匙。举例来说, 如果学校有校庆活动, 需要邀请校友出席, 在十年前这可能是一个浩大的工程, 需要动用许多人力、物力和财力, 但未必能达到预期效果, 而如果能够利用互联网、微信、论坛, 通过各种数据传播方法, 可以大大提高效率。世界著名求职网站Linked In就会根据校友人际关系来推荐“可能认识的人”, 使未来的资源共享成为可能。

参考文献

[1]舒忠梅, 屈琼斐.大数据时代高校信息管理与决策机制研究[J].华南理工大学学报:社会科学版, 2013 (6) :34-36.

[2]辛良.大数据时代高校管理创新研究[J].中国教育信息化, 2015 (9) :78-80.

[3]肖艳.大数据时代地方高校实现协同创新信息管理平台构建及路径[J].情报科学, 2015 (11) :110-112.

管理系统以及大数据 篇10

关键词：大数据,高校,科研数据管理

一、前言

科研管理作为大学治理的前沿阵地, 其工作的效率与效果直接影响着作为大学三大基本职能之一的科研职能的发挥。随着近年来信息技术的不断推进和发展, 大数据、“互联网+”等概念的提出, 高校科研管理又将面临新一轮的挑战和机遇。正如马云所说:“当我们还没有弄清什么是个人计算机的时候, 互联网就到来了;当我们还没有弄清什么是互联网的时候, 大数据时代已经到来了。”关于什么是大数据, 涂子沛 (2013) 认为大数据是现有一般技术难以管理的大量数据的集合, 其特性体现在容量大、多样性、速度快、价值高等四个方面。高校科研数据管理作为一种具备数量大、类型多、跨学科、价值高的数据体系管理, 具备大数据的基本特性, 因此大数据对科研数据管理的影响也越来越明显。舍恩伯格 (2015) 提出“大数据给予我们更全面、更精细的视角, 来看待世界的复杂性和我们身处的位置”。杨维荣 (2015) 认为大数据给高校科研管理工作带来了机遇, 有利于高校科研选题的科学化, 实现数据的共享及科研成果的转化。姚慧 (2015) 认为大数据有利于改变研究思路、丰富研究方法、为研究者提供个性化服务、创新成果评价体系。张萍 (2015) 分析总结了英国高校科研数据管理在专业机构指导和引领、实施方法和工具的提供、各种层面的多方合作等方面的经验, 从国家层面相关机构的指导、引领高校内外各种层面和角色的合作、相应的科研数据管理政策三个方面提出对我国高校科研数据管理的启示。王婉 (2014) 通过调研澳大利亚科研数据管理服务的概念、政策, 选取澳大利亚三所高校图书馆的科研数据管理服务作为分析样本, 从服务部门、数据类型及服务内容进行分析, 揭示澳大利亚高校图书馆开展科研数据管理服务的特点, 对我国高校图书馆开展科研数据管理服务提出建议。张宇 (2015) 从加强数据采集基础建设、加强科研管理团队建设、转变科研管理理念、积极推动数据共享等方面对提升大数据背景下我国高校科研数据管理的效果提出了建议。

二、大数据对高校科研数据管理的影响

大数据技术的出现和推进, 为高校科研数据管理从传统走向信息化提供了重要契机, 信息化管理有助于推动科研选题的针对性, 同时有助于选题中的研究重复, 避免资源浪费和利益冲突, 另外利用大数据还可以优化学术道德监控体系, 通过数据共享来实现科研成果的加速转化。

(一) 大数据有助于提升科研申报和选题的针对性。

科研选题和申报工作是大学研究机构和研究人员开展研究工作的起点。目前, 国家和各省及各部门的研究项目大多都是先在一定范围内征集选题, 再发布相应的研究指南, 然后由研究机构或研究人员针对选题开展相应的研究工作, 由于各地区或各部门的信息不对称, 很容易造成地区之间或部门之间研究方向和研究内容的重复, 同时由于选题往往局限于某一范围内开展征集, 提供选题的人并不一定能够很好地把握当前的社会需求、研究热点及研究的能力, 从而造成研究方向与社会需求和研究能力的脱节。大数据下, 可以通过数据挖掘技术来找到社会公共、企事业单位、政府部门的需求方向, 从而有效地确定研究选题。在高校的科研数据管理中, 科研部门有责任和义务来引导科研人员的研究方向, 利用大数据技术带来的便利, 科研数据管理人员可以便捷地搜集并整理出当前各研究领域的热点问题、社会需求的热点问题, 以及当前国际国内各研究机构在相关领域已经取得的最新进展, 从而提高科研选题及申报的科学化和针对性。

(二) 大数据有助于提升科学研究的创新度。

从当前的科研体制来看, 纵向的科研课题都是由各级各类科研主管部门发布选题开展研究工作, 由于数据缺乏共享以及信息不对称, 容易造成选题的重复, 一是各地区、各部门之间的研究可能出现简单重复, 特别是各省级及以下科研主管部门发布的选题之间容易造成重复;二是同一科研主管部门不同年度的选题之间也可能造成重复;三是某一科研主管部门的选题与另一主管部门往年的选题可能造成重复;四是同一研究者或研究团队在不同级别的科研选题中重复申报。这种重复立项一方面违背了科研最基本的创新精神;另一方面也极大地浪费人力、物力和财力的相关投入。而在大数据下, 通过建立并共享各主管部门的研究申报数据, 并建立本部门研究人员开展各级各类项目研究工作的详细数据库, 就能有效避免重复研究, 从而节约资源, 也有利于科研人员从更新的角度创新性的开展研究工作。

(三) 大数据有助于构建高效的学术监督体系。

随着社会各界对科研学术道德的关注度越来越高, 当前我国各高校已经逐步开始建立相应的学术监督体系, 目前普遍的做法是对已经公开发表的学术论文进行查重, 但是还有一定的局限性。目前在查重技术上还不成熟, 对于采用图片、表格、数据更换等技术手段的方式还无法有效判断, 另外对于科研课题的申报材料还没有查重, 因此导致部分研究人员在课题申报环节弄虚作假, 抄袭别人的成果, 而由于研究能力有限, 从而导致不能顺利结题。大数据下, 随着计算机软件分析能力的加强, 能够对图片、数据、表格等信息进行有效判断和比对, 从而对学术不端的判定将会更加精确。另外, 对于课题申报书就能开展学术识别, 有助于从开展科研环节的源头堵住学术不端的恶习。

(四) 大数据有助于研究资料的获取及研究成果的转化。

目前高校在开展课题研究的过程中, 对研究成果的判断主要集中在最终的研究成果, 特别是公开发表的研究成果上, 而往往这些成果都是结论性的资料。在研究过程中通过文献整理、调研、访谈、实验等研究活动搜集到的过程数据往往被沉寂下来, 这些数据对别的项目及类似项目的开展往往具有重要的参考价值, 但是目前在研究中还无法通过公开的渠道去获取并参考他人在开展研究过程中的方法和数据, 这容易造成资源的浪费, 同时也降低了科研项目的学术推广价值。另外, 目前高校开展的科研活动往往都是闭门造车, 研究机构、研究团队及研究人员往往无法与政府部门、企事业单位和社会公众进行对接, 导致科研成果难以转化。在大数据下, 就可以通过建立科研项目的完整数据库, 将科研过程中形成的阶段性数据进行共享, 有利于不同项目组之间节约信息采集成本, 也有利于不同项目组之间对类似的问题开展交流沟通。另外, 通过大数据还能够有效、便捷地了解到政府部门、企事业单位和社会公众的需求, 建立有效的对接机制, 有利于科研成果的有效转化。

三、大数据视域下高校科研数据管理体制创新

大数据为高校的科研数据管理带来了机遇, 有助于提升科研数据管理工作的效率与效果, 但是由于目前还没有将大数据应用到具体的工作中, 还处于积极探索之中, 各高校还没有一套行之有效的完整体系, 这就需要我们在创新大数据下对高校科研数据管理的体制下开展探索。

(一) 加强高校科研数据管理团队建设。

从目前高校科研管理队伍的构成来看, 具备信息管理背景的人员比例较少, 大数据对科研管理工作人员的数据构建、整理、分析和处理能力提出了更高的要求, 这就要求科研管理部门一方面要吸纳具备信息管理背景的专业人员进入, 另一方面要对现有工作人员的信息素养加强培训, 提升科研管理工作队伍在大数据背景下开展各项业务工作的专业胜任能力。大数据背景下, 高校科研管理的相关数据复杂而庞大, 工作人员在平时就应养成对数据进行分类收集和整理的工作习惯, 扩大数据的基础, 同时要具备对数据质量并行判断的能力, 能够对数据的来源、收集方法、时效性进行判断, 并能够对数据进行审核, 对干扰性数据进行清理, 对差异进行修正, 从而形成标准化的数据库。另外, 还要具备较强的数据分析能力, 能够对数据及各变量之间的关系进行解读。

(二) 加强高校科研数据管理硬件和软件基础建设。

符合标准的基础建设是大数据下科研数据管理工作提升的物质前提。当前大多数高校都基本具备了数字化校园的软硬件基础, 部分高校已经初步实现了智能化校园建设, 这为大数据下开展科研数据管理工作提供了基础。在此基础上, 高校应当采用稳定、先进、安全的技术来推进数据的便捷传输与存贮, 在设备和布线上应具备一定的前瞻性, 同时可以充分利用云技术来推动数据的容量和便捷性。

(三) 加强高校科研数据的有效利用。

随着我国高校整体科研水平的不断提升, 科学研究越来越趋向于交叉发展, 基于数据的实证研究越来越在研究中占据主导地位, 而且科研本身就是不断生产数据的一个过程, 因此可以说, 数据既是科研本身的产物, 同时也是科研开展的凭借。在大数据时代, 随着数据越来越多, 越来越杂, 同时科研本身对数据的依赖性越来越强, 对科研数据可信度的要求也越来越高。因此, 高校应注重加强科研数据建设, 一方面应建立高校数据共享的联盟, 使各种科研数据在一定的范围内共享通用, 避免资源的简单重复;另一方面要积极建立各种类型的数据库, 为科学研究提供有效的支撑。另外, 还应当建立科研数据的评价体系, 对当前市场上的各种数据库的效用进行有效性评价, 并能够对不同来源的数据库在功能和效用上进行比对, 尽量选用优质的数据库, 从而提升数据本身的利用率。

参考文献

[1]丛培民.从政策研究视角看大数据对科研管理与决策的影响[J].科研信息化技术与应用, 2013.6.

[2]许哲军, 付尧.大数据环境下的高校科研管理信息化探索[J].技术与创新管理, 2014.2.

[3]姚慧.大数据时代教育科研管理的变革[J].中国教育学刊, 2015.9.

[4]杨维荣.大数据时代高校科研管理创新研究[J].科技管理研究, 2015.14.