云数据管理技术与挑战

云数据管理技术与挑战（精选6篇）

篇1：云数据管理技术与挑战

云计算与云数据管理技术研究的论文

【摘要】文章通过分析云计算的定义特点及云数据的管理技术，以促进云计算和云数据管理技术的发展和提高。

【关键词】云计算;云数据;管理技术

作者简介：初鲁京(1987-)，男，山东烟台人，中国人民大学在职研究生，研究方向：企业管理

近年来随着科技水平的不断提高，信息数据量不断增大，并且具有快速的增长速度，用户对于计算机的存储能力提出了更高的要求。而“三网融合”、“物联网”、“智能电网”等应用的快速发展对于计算和数据管理也带来了新的挑战。云计算作为一种正在兴起中的新型技术，可以改变普通用户操作计算机的模式，可以根据用户的需要来提高计算能力和存储能力，使用户像使用水电一样的方便快捷的使用计算机，降低用户的软件和硬件采购成本。云计算是基于分布式系统和网络计算上提出的新型概念，核心功能的提供海量的数据和存储，并且提供高效率的计算能力，由于开发更多的应用形式。而云计算并不仅仅是做计算，还需要融合更多的技术成果，提出云数据的管理概念。本文通过分析云计算和云数据的管理技术，促进云计算和云数据管理技术的发展和提高，方便今后工作的开展。

一、云计算的概念

(一)云计算的定义

云计算是一种近年来兴起的新型计算模型，是在互联网技术快速发展的基础上发展起来的。由于目前对于云计算还没有统一的标准定义，所以出现了很多云计算的定义版本。而通过对于云计算的分析研究，总体的定义方向都是一致的。具体来说，云计算实际上是一种对于虚拟化技术、网络技术和WebService等几种不同的新型信息技术的综合应用。云计算所运用的技术几乎包括了所有的互联网和信息技术。可以说云计算是网络计算的必然发展，虚拟化技术又是云计算得以发展的基础和前提，WebService信心技术为云计算提供了互联网环境的技术支持。随着互联网的发展，计算机用户也越来越专业化，它们对于数据信息的.了解和使用越来越熟练，对于数据信息的要求也发生了变化，提出了各种不同的信息数据需求，云计算正是满足了这类用户的需要，也得到了进一步的使用和发展。

(二)云计算的工作原理

云计算在工作环境下不需要使用本地的计算机，通过互联网联接来进行数据的分布和处理，并且优化数据，然后经过互联网的连接来实现分享数据的目的。这种工作模式可以使企业方便的进行资源利用，并且有效的切换有效资源，根据实际工作的具体要求来访问计算机和存储系统，获得相关的信息和数据。云计算作为一项新型的实用性技术，一定程度上提高了计算能力的商业性，通过网络传播和售卖实现了降低售卖成本的目的，同时还充分发挥了实用性，使企业的相关工作得以全面落实。

(三)云计算的体系结构

云计算的体系结构非常庞大，并且具有很强的复杂性，一般以“云”网络为核心，联接到其他网络和服务器，发送出相关的数据信息。同时通过虚拟技术的支持扩展相关服务器的功能，在云计算的平台上实现各种信息资源的整合，达到为用户提供更多更有效数据的目的，提升了计算能力和储存能力。完善的云计算体系结构应包括云端用户、部署工具、服务目录、管理系统这主要的四个部分。

二、云数据管理技术的主要特点

(一)规模大，海量性

随着近年来互联网技术应用的发展和普及，一些互联网技术是通过传感器来进行数据信息的采集来完成相关的工作。而随着应用技术的发展和推广，数据量变得越来越大，并且还在快速的增长。云计算中的“云”具有规模大的特性，以云计算为基础而构建的信息服务或设备也具有大规模的特点，并且应用于处理海量性的信息数据。另外云计算还可以无限扩展，同时处理成百上千的信息节点。这种可以无限扩大和伸缩的特点满足了不同用户的不同需求，在云计算的数据管理技术中也要注重技术和方法的改进，提高信息数据的管理水平和处理水平，重视信息数据的整合、提取和推理，有助于工作决策的完成。

(二)安全可靠性

云计算的技术包括了虚拟化技术、互联网技术及分布式计算等比较成熟的技术手段，为云计算的可靠性提供了有效的保证。并且云计算在安全性方面也具有优势，云计算采用了不同服务器上的信息数据多副容错的方式，计算的信息节点采用了同构互换技术，这些都极大地提高了云数据管理的安全性。

(三)异构性

由于应用云计算技术的领域和行业的不同，云计算的数据采集设备和方式也各不相同，存在着一定的差异性。每个行业中云计算所获取的结构和数据形态也存在着不同的差别，需要根据具体的实际情况，来判断采取不同的传感器，例如二氧化碳浓度传感器、温度传感器和湿度传感器等。不同的传感器在应用的时候，传递信息和获取信息的形式也是不尽相同的，这些差别会带来数据分析、处理和访问等各个环节的差别，另外数据的多源性也会造成数据的类型各不相同，不同类型的数据信息也有不同的格式，从而会出现半结构化数据、非结构化数据和结构化数据同时存在的情况，使信息数据存在异构性的特点。

(四)不确定性

云计算的运行环境中数据信息具有一定的非确定性，主要表现为信息数据本身、数据语义匹配及数据信息的分析查询等方面具有不确定性。而为了达到保证信息数据准确客观的目的，用户在应用云计算时一定要明辨真伪，去其槽粕取其精华，反映真实的需求完成预期的工作目标。

(五)通用性、便捷性

云计算的使用平台在提供各项服务时，用户在使用中不会受到空间上的限制，也不会受到时间的约束。用户只要具有访问验证信息就可以自由的使用云计算平台，享受云计算的服务，不会受到系统和平台的限制，具有极大的通用性和便捷性。

三、云数据管理技术

用户通过云计算来分析处理大量的数据信息，云计算的数据管理技术必须要能够满足用户的需求，高效及时的管理分析海量的数据和信息。云计算分析处理的数据具有海量性、不确定性，这对云计算数据管理技术的开发和发展不断提出新的要求，需要积极的构造高效可用的信息数据管理系统。

(一)数据信息的组织管理

数据的组织管理可以采用分布式的系统来访问分析海量的分布式数据，例如GFS技术。这种技术可以在差别不大的各种普通硬件上运行，为用户提供了容错功能，并且为用户提供高效可靠的信息数据并行的存储和访问权限。

(二)数据信息的集合管理

数据信息具有海量性、动态性、不确定性等特点，需要采取分布式的数据信息处理技术来进行采集分析，例如BigTable技术可以用于对海量数据信息的处理，提供高效的服务。

(三)数据信息的分析管理

应用云计算的数据管理技术是为了分析和挖掘相关的数据来满足用户的需求。因此需要运用不同技术和布局来从海量的数据中提取挖掘有用的潜在数据，并且理解所挖掘的信息数据同时进行分析，为各种应用提供支持。

(四)数据信息的存储管理

以Dynamo技术为例，这是一个具有高可用度的存储系统，具有DHT和数据库的特征，为AWS提供了基础的技术支持，并不直接展示于外网。Dynamo技术设计的存储架构可以使信息数据在框架内均匀的存储，并且各个存储节点之间可以互通，根据数据的具体操作需求在框架内进行转发，具有较强的自主性，而由于有主控点来进行控制，单个节点之间一般不会出现故障。Dynamo技术在存储时还具有一些优点，可以通过提供N、R、W这三个参数结合实际情况去调整实例。N即表示副本的个数，R为可完成的数据信息的成功一致个数，W为完成写入的个数。Dynamo技术可以记录、处理不同版本的对象，将对象的不同版本来提供给技术应用，使应用可以对这些数据信息进行合理的整合和利用。在这一过程中并不要求将副本个数N全部的成功完成，只需要成功读取的个数R和成功写入的个数W两者相加，大于副本个数N，这样就可以保证数据的最终一致性。这种读取方式比写入一次进行多次读取的系统要麻烦一些，但是写入方式变得更简单，也充分满足了用户的需要。同时Dynamo技术也具有负载均衡的优势，由于所采用的DHT方式将需要的信息数据都均匀的存储到每个节点，导致每个节点的数据信息访问量和存储量都大致相同，比较均衡。

四、结语

当今社会处于高速发展的信息时代，各种数据信息在全球范围内传递交换，也就需要开发和利用高效可用的信息传播媒介来适应信息时代的发展，云计算和云数据管理技术正是为此而生。作为新型的信息技术，云计算具有广阔的发展空间也面临着不同的挑战。网络互联网技术的快速发展使云计算和云数据管理技术有了更好的机会和支持，也导致了新型应用系统的开发和应用，因此云计算和云数据管理技术要充分把握机会面对挑战，利用本身的优势和时代的发展来实现进一步的提高，解决应用过程中的技术难题，得到长远发展。

参考文献

[1]刘正伟，文中领，张海涛，等.云计算和云数据管理技术[J].计算机研究与发展，，49(z1)：26-31.

[2]罗亚东.云计算和云数据管理技术的思考[J].电子制作，，(1)：155-156.

篇2：云数据管理技术与挑战

大数据时代已经悄然到来，如何应对大数据时代所带来的挑战与机遇，是我们当代大学生特别是我们计算机专业学生的一个必须面对的严峻课题。在这次课上通过陶老师的讲解以及在课后查阅相关资料，我了解到什么是大数据，什么是云计算，它们都有什么用处，有什么关系。

近几年，云计算和大数据的概念受到了学术界、商界、甚至政府的热传，一时间云计算无处不在。秉承着“按需服务”理念的云计算正高速发展，“数据即资源”的“大数据”时代已经来临。大数据利用对数据处理的实时性、有效性提出来更高要求，需要根据大数据特点对传统的常规数据处理技术进行变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。大数据的规模效应给数据存储和管理以及数据分析带来了极大的挑战。

一、云计算概念

在课后，经过翻阅各种资料，了解到狭义的云计算是指IT基础设施的交付和使用模式。指通过网络以按需、易扩展的方式获得所需的资源；广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务，这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务，它具有超大规模、虚拟化、可靠安全等独特功能。通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源和软件资源，本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机。这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群体来完成。

Kevin Hartig：云是一个庞大的资源地，你按需购买；云是虚拟化的；云可以像自来水、电、煤气那样计费。

Jan Pritzker：云计算是用户友好的网络计算。

云计算，它是基于数据中心，强调性价比、效率、可行性的服务运营模式，这是提高高端计算利用率，同时提升低端计算事物处理能力，我们不关注本身计算机的能力，更多提供给后台，由于后台强大的处理能力完成。

二、云计算部署模式

根据云计算服务对象范围的不同，云计算有四种部署模式：私有云、社区云、公有云和混合云。私有云是由一个用户组织（例如政府、军队、企业）建立运维的云计算平台，专供组织内部人员使用，不提供对外服务。社区云也称机构云，云基础设施由多个组织共同提供，平台由多个组织共同管理。社区云被一些组织共享，为一个有共同关注点的社区或大机构提供服务。公有云的基础设施由一个提供云计算服务的大型运营商组织建立和运维，该运营组织一般是拥有大量计算资源的IT巨头，这些IT公司将云计算服务以“按需购买”的方式销售给一般用户或中小企业群体。用户只需将请求提交给云计算系统，付费租用所需的资源和服务。混合云的云基础设施是由两种或两种以上的云组成，每种云仍然保持独立，但用标准的或专用的技术将它们组合起来，具有数据和应用程序的可移植性。

三、云计算服务模式

计算就要有就算环境，一般计算环境都有硬件的一层，资源组合调度的一层即操作层，以及计算任务的应用业务的软件层。云计算提供的三种服务模式对应了计算环境的三个层面。这三种服务模式分别是基础设施即服务IaaS、软件即服务SaaS、平台即服务PaaS。

IaaS即把厂商的由多台服务器组成的“云端”基础设施，作为计量服务提供给客户。它的优点是用户只需低成本硬件，按需租用相应计算能力和存储能力，大大降低了用户在硬件上的开销。目前以Google云应用最具代表性，例如GoogleDocs、GoogleApps、Googlesites。SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量、时间的长短等因素收费，并且通过浏览器像客户提供软件的模式。对于小型企业来说，SaaS是采用先进技术的最好途径。PaaS把开发环境作为一种服务来提供。PaaS能够给企业或个人提供研发的中间件平台，提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。

四、大数据

大数据（big data），或称巨量资料，就是对全球各种大规模数据资料进行深度挖掘，并进行高速度及多样式计算后，整理出来的高价值的分析结果；重点应用在国防领域建设，未来发展方向在人工智能领域，可以让计算机自主地从经验中进行学习和反馈。个人总结，大数据的特点主要有如下4点：

一是大量。存储大，计算量大。

二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。三是处理速度快。增长速度快，处理速度要求快。四是价值密度低。浪里淘沙却弥足珍贵，数据没有办法在可忍受的时间下使用常规软件方法完成存储、管理和处理任务。

大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获得很多智能的，深入的，有价值的信息。大数据分析普遍存在的方法理论有：可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量和数据管理。

五、云计算与大数据关系

云计算和大数据是这个时代的两个王者，是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。张亚勤说，云计算是大数据的驱动力，而另一方面，由于数据越来越多，越来越复杂，越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。

本质上，云计算和大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；数据则是计算的对象，是静的概念。在实际的应用中，前者强调的是计算能力，或者看重的是存储能力；但是这样说，并不意味着两个概念如此泾渭分明。大数据需要处理大数据的能力如数据获取、清洁、转换、统计等，其实就是需要强大的计算能力，另一方面，云计算的动也好是相对而言，比如基础设施即服务中存储设备提供的主要是数据能力，所以可谓是动中有静。

如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花，没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。

六、心得体会

篇3：云计算技术的发展与挑战性问题

云计算已经深刻地影响着整个IT产业。云计算是在分布式计算、网格计算、并行计算等发展的基础上提出的一种新型计算模型, 是一种新兴的共享基础架构的方法。它将带来工作方式和商业模式的根本性改变。我们的生活已经与互联网密不可分, 云计算的发展是一种不可逆转的趋势。因此, 我们需要更进一步地认识云计算技术, 探索它的发展与问题。

二、云计算概述

1. 云计算的概念

目前, “云计算”还没有一个十分确切和统一的定义, 较一致的观点认为云计算是以虚拟化技术为基础, 以网络为载体提供基础架构、平台、软件等服务为形式, 整合大规模可扩展的计算、存储、数据、应用等分布式计算资源进行协同工作的超级计算模式。如果使用了云计算模式, 用户不再需要购买复杂的硬件和软件, 而只需要支付相应的费用给“云计算”服务提供商, 通过网络就可以方便地获取所需要的计算、存储等资源。特别说明的是, 完全脱离“本地”计算、数据资源的云计算只是一种比较理想的状态, 云计算的一个重要价值是软硬件需求的按需扩展能力, 并且具有整合资源按需扩展方面的特殊意义。

云计算的基本原理是通过使用分布式计算机, 利用高速互联网的传输能力, 将数据的处理过程从个人计算机或服务器移到互联网上的计算机集群中。一个大型的数据处理中心主要的功能管理分布式计算机, 并按客户的需要分配计算资源, 达到与超级计算机同样的效果。数据中心的管理者对数据中心进行统一管理, 负责资源的分配、负载的均衡、软件的部署、安全的控制等。

2. 云计算的特点

从研究现状上看, 云计算具有以下特点:超大规模, “云”具有相当的规模, 且“云”能赋予用户前所未有的计算能力。

(1) 虚拟化。云计算支持用户在任意位置、使用各种终端获取服务。

(2) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性, 使用云计算比使用本地计算机更加可靠。

(3) 通用性。在“云”的支撑下可以构造出千变万化的应用, 同一片“云”可以同时支撑不同的应用运行。

(4) 高可扩展性。“云”的规模可以动态伸缩, 满足应用和用户规模增长的需要。

(5) 按需服务。“云”是一个庞大的资源池, 用户按需购买, 像自来水、电和煤气那样计费。

(6) 极其廉价。“云”的自动化管理使数据中心管理成本大幅降低, “云”的公用性和通用性使资源的利用率大幅提升。

所以说“云”具有前所未有的性能价格比和巨大的商业价值。

3. 云计算的分类

用户根据自己的需要租用云中的服务、技术, 在云计算中的应用把云计算划为三个服务层, 即以下三个服务集合。

(1) 把软件当作服务 (Saa S) 。应用程序作为服务提供给用户, 应用程序的一个实例运行于云服务器上并为多个用户提供服务。

(2) 把平台当作服务 (Paa S) 。对开发环境抽象封装和对有效服务负载封装, 即把开发平台当作服务, 并实现系统的有效服务负载均衡。

(3) 把基础设施当作服务 (Iaa S) 。把基本存储和计算能力作为标准的服务提供给用户。

三、云计算的发展状况

云计算作为一种新兴的商业计算模式, 符合产业发展中控制成本、节省资源、减少排放、保护环境等多方面的需求趋势。发展云计算, 对多个产业的发展意义重大。因此, 云计算被广泛地运用于或将运用于实际生活的各方个面。如科研中的地震监测、海洋信息监控、天文信息计算处理, 医学中的DNA信息分析、海量病例存储分析、医疗影像处理, 网络及安全中的病毒库存储、垃圾邮件屏蔽、图形和图像处理、动画素材存储分析、高仿真动画制作、海量图片检索, 互联网中的E-mail服务、在线实时翻译、网络检索服务, 等等。

1. 现阶段的发展状况

目前, 国内外对于云计算的研究和应用取得了一定的成绩。据了解, 多家知名的品牌公司纷纷提出了“云计划”。例如亚马逊的AWS (Amazon Web Services) 、IBM和谷歌联合进行的“蓝云”计划。谷歌同华盛顿大学和清华大学合作, 启动云计算学术合作计划。卡内基—梅隆大学等对数据密集型的超级计算 (DISC) 进行研究, 等等。这些举措大大促进了云计算的发展, 并在一定程度上肯定了云计算巨大的商业价值。

2. 云计算的未来

调查显示, 企业导入云计算已逐渐普及, 并且有逐年成长的趋势, 未来五年内将会呈现急剧发展的状态。估计在2012年, 企业投入在云计算服务的支出将占整体IT成本的25%, 甚至在2013年提高至IT总支出的三分之一。由此可见, 在各大公司和学术界的共同推动下, 云计算技术将会持续发展。

云计算未来主要有两个发展方向:一个是构建与应用程序紧密结合的大规模底层基础设施, 使得应用能够扩展到很大的规模;另一个是通过构建新型的云计算应用程序, 在网络上提供更加丰富的用户体验。

四、云计算的挑战性问题

无论是政府、学界或是企业界, 现在许多行业对云计算的关注度迅速提高。人们从多方面的角度来分析定义云计算, 在探讨云计算对人类未来的影响的同时也关注到云计算存在的各种问题。

1. 安全问题

云计算的发展始终存在着一个巨大的疑问, 就是:谁来保护我们的数据安全?使用云计算意味着数据将被转移到用户主权掌控范围外的机器上, 也就是云计算服务提供商的手中。那么, 如何保证这些数据的安全性?如何能相信服务商不会将数据他用呢?这足以让我们忐忑不安。因此, 安全问题被认为是云计算普及的头号大敌, 主要存在以下几个方面。

(1) 若云端使用浏览器来接入, 然而浏览器是计算机中相对脆弱的, 其自身漏洞可以使客户的证书或认证密钥的泄露, 所以客户端的可用性和安全性对于云计算的发展至关重要。

(2) 云中各种不同的应用需要认证, 从云端到云之间如何进行有效的认证需要简单健壮高效的认证机制。

(3) 在应用服务层中, 要有高效的手段保证网络的服务质量, 免受病毒木马侵袭, 保护数据隐私安全。

(4) 在基础设施层中, 数据的完整性、可用性、保密性和隔离风险性都是令人担忧和棘手的问题。

2. 云计算对软件危机的影响

云计算是以应用为目的, 通过互联网将必要的大量硬件和软件按照一定的结构体系连接起来, 并随应用需求的变化不断调整结构体系建立的一个内耗最小, 功效最大的虚拟资源服务中心。

首先, 云计算应用的发展, 使人们可以在“云”里获取所需资源, 那么软件开发会如人们现在用的Word等工具编辑文字一样, 用户将自己编制所需要的软件程序。

其次, 云计算将促使全球资源迅速集中。各种资源通过技术手段按照市场规则将被分类集中, 这种集中使得资源的使用效率达到最大化, 同时资源的分配在有效监控下做到了尽可能的公平。大量的计算机组成了一个庞大的计算资源中心, 大量的软件系统组成了一个庞大的云计算软件系统, 而这些软件系统原来是孤立地分散在不同的计算中心里。当数百万或者数亿个功能集中到一个“云”里, 而且它们之间有很多关联关系的时候, 这样就有可能够成软件危机。软件危机带来的危害有可能让云计算系统无法正常运营, 甚至会崩溃。因此, 云计算必须面对和解决软件危机的问题。

五、结语

云计算的出现并快速发展, 是虚拟化技术数据密集型计算等技术发展的结果, 也是互联网发展, 需要不断丰富其应用必然趋势的体现。在我国这个全球最大的互联网市场中, 云计算的应用虽仅仅是刚刚起步, 云计算在行业标准、数据安全、服务质量、应用软件等方面也面临着各种问题, 需要进一步解决和发展, 但已经可以预想其未来无限的发展和巨大的作用。

参考文献

[1]林沛.探索云计算的应用与发展[J].中国新技术新产品, 2010, (7) .

[2]危烽.浅谈“云计算”在互联网中的应用[J].电脑知识与技术, 2009, (3) .

[3]张健.云计算概念和影响力解析[J].电信网络技术, 2009, (1) .

篇4：云数据管理技术与挑战

关键词：云技术；中国教育；机遇和挑战

近年来，云技术的发展为许多领域的发展带来了巨大的变革，它的出现和应用不仅大大缩短了人们进行信息搜索的周期，提高了人们的工作效率以及工作节奏，同时使得整个社会开始处于一个联系更为密切的网络中，建立起一个有效的资源共享平台。

一、中国教育信息化建设从云技术应用中的获利

随着信息爆炸时代的到来，教育领域的发展与信息之间的关系越来越密切。换句话来说，现阶段的教育实际上是建立在有效信息基础之上的；而云技术的出现，正是对整个社会的信息进行的一次重組，通过更有效的方式，将社会的所有信息都放置在被人们需要的地方，以便随时获取。就云技术发展为中国教育信息化带来的发展机遇而言，最大的革新是全面信息资源共享平台的建立。通过有效信息共享平台的搭建，不仅能促进相关教育信息在合理范围内的流动和共享，同时还能为中国教育信息技术的发展以及相关方面人才的培养，提供广阔的发展空间。随着云系统的全面发展，对于云教育的出现，还可以与其他领域的云技术进行平台之间的互动，推动我国教育事业的发展。

二、随机遇而来的挑战

云技术为中国教育信息化带来发展机遇的同时，也带来了相应的挑战。通过多年在云教育事业中的实践，我们不难发现，在对这一事业建设的过程中，有几个问题是我们不得不正视的：人才、技术、管理。云教育作为一项技术含量较高的研发项目，需要投入最多的就是人才方面的资源，但是就我国现阶段云技术专业人员的规模来看，远远不能满足相应的需求；就云教育在我国的发展而言，还属于新兴阶段，技术以及管理经验的欠缺，都是在平台搭建过程中必然要面对的问题。

综上所述，我们可以看到，就我国教育领域的信息化发展来说，现阶段正处于发展的过渡期，云技术的出现将会给它带来机遇，而随机遇而来的还有潜在的诸多挑战。面对这些问题和挑战，国家教育相关部分应提高相应的重视程度，加大投资和研发力度，争取为我国教育信息化建设奠定良好的发展基础。

参考文献：

谢娟.现代教育技术应用的伦理审视[D].山东师范大学，2013.

（作者单位 辽宁省本溪市教育信息化管

理中心）

篇5：云数据管理技术与挑战

1、前言

毫无疑问，21世纪代，已经是不折不扣的信息时代，或者也可以称之为数据时代。随着计算机的发展，网络的快速普及，尤其是移动互联网在近年来的蓬勃发展，数据量、信息量无时无刻不在海量增长着。目前，面对海量的信息，找出自己真正感兴趣的内容已经成为用户最为头疼的事情，数据挖掘已经成为当前最为热门的技术领域。近年来，云计算成为广受关注的技术领域，也使得数据挖掘平台有了新的发展方向，构建新一代的数据挖掘平台来应对数据的日趋复杂庞大成为可能。云计算实为传统计算机技术与网络技术融合的产物。云计算并非简单的计算，它是新型计算方式、数据存储方式、备份方式、网络资源分配方式的综合体，是基于互联网的相关服务的增加、使用和交付模式。传统的数据挖掘技术是建立在数据库之上的，是通过对已收集数据信息的计算，找出隐藏在不同数据中的相关信息。传统的数据挖掘技术需要在海量数据的基础上进行大量的数据访问与统计计算，在对数据进行挖掘的过程中需要消耗及占用大量的计算以及存储资源，面对规模不断增长的海量数据，需要消耗及占用大量计算及存储资源的传统数据挖掘技术显得越来越力不从心，难以胜任。而云计算独特的计算模式，为海量数据的挖掘提供了一种新的解决方案。

2、云计算与数据挖掘

2.1云计算。云计算是基于互联网的一种商业计算模式，对于云计算的定义，目前并没有一个统一的说法，现阶段广为人接受的是美国国家标准与技术研究院对云计算所做出的定义，即：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。从云计算的定义我们可以知道，云计算拥有可配置的、大型的计算资源共享池，这种资源共享池包括了网络、服务器、存储器、应用软件以及服务。那也就是说，云计算就是对计算资源共享池的一种资源分配技术或服务，它的特点是可以快速提供这些计算资源，可以减少客户的管理工作。云计算将计算任务分布在了由大量计算机或服务器构成的共享资源池上，大大提高了资源的有效利用，使计算处理能力以及存储能力等得到了提高，并且具有更好的扩展性。云计算具有虚拟化的特点，用户不再受到地理位置以及终端设备的限制，只要接入互联网，即可获取所请求的应用服务，也就是说，用户只需要拥有一台可以接入互联网的终端设备，即可获利所需要的各种应用服务;云计算拥有通用性的特点，云平台可以构造出千万种应用，用户没有应用限制，在同一个云平台即可运行不同的应用;云计算具有超大规模以及高扩展性的特点，对于云计算来说，云的规模扩展不会影响用户应用服务的质量，而目前，云计算的规模已经发展出了超大型，如谷歌的云计算已经拥有了上百万台的服务器;云计算拥有高可靠性以及经济性好的特点，多副本容错、多计算节点同构可互换等技术确保了服务的高可靠性，而云计算采用廉价的节点构成云，自动化集中式管理相较于企业传统的数据中心管理成本来说，经济性能十分优越。

2.2数据挖掘。数据挖掘是数据库知识发现中的一个步骤，数据挖掘又被称为数据采矿，顾名思义，数据挖掘就是在已有的海量数据中通过特定的算法来挖掘、发现有用信息或知识的过程。数据挖掘是为了解决需求的问题，也是为了解决数据管理的问题。数据挖掘对于信息产业界来说，是产生价值的关键环节，只有将数据转冯波换成具有应用价值的.信息或是知识，才能具有实在商业价值。传统的数据挖掘技术是建立在数据库的基础之上的，需要数据库系统提供有效的存储、索引和查询处理支持，而高性能的计算技术是对海量数据进行处理的关键支撑，在处理效率方面具有重要影响。随着互联网规模的不断扩大以及移动互联网的兴趣，数据规模呈现更快的增长速度，而对于数据挖掘的需求也日益增多，这使得传统的数据挖掘技术暴露出一些问题，首先是数据挖掘效率的问题，传统的基于数据库的数据挖掘技术在面对如今海量数据的增长规模已经很难高效的完成计算分析任务;其次，面对海量数据规模的增长，传统的数据挖掘技术需要更高的软硬件成本的支持，这种成本的支撑面对数据量的大规模增长是长期性的;第三，传统的基于数据系统的数据挖掘技术平台架构，已经无法为挖掘算法能力的提升提供更多支持，算法受限于系统架构影响了数据挖掘技术的发展。

3、基于云计算的数据挖掘关键技术

云计算的出现为数据挖掘技术的发展提供了新的方向，数据挖掘技术基于云计算可以发展出新的模式，就具体的实现来说，其中几个关键技术的发展至关重要。

3.1云计算技术。分布式计算是云计算平台的关键技术，是目前应对海量数据挖掘任务，提高数据挖掘效率的有效手段之一。分布式计算包含分布式存储和并行计算两方面内容，分布式存储有效解决了海量数据的存储问题，实现了数据存储高容错、高安全、高性能等关键功能。目前，谷歌提出的分布式文件系统理论是业界流行的分布式文件系统的基础，谷歌文件系统(GFS)就是为了解决其海量数据的存储、搜索与分析等问题而研发的，其它如Hadoop分布式文件系统(HDFS)、Kosmos文件系统(KFs)是基于Goolgle分布式文件系统理论进行研发的开源系统。分布式并行计算框架是高效完成数据挖掘计算任务的关键。目前流行的一些分布式并行计算框架都对分布式计算的一些技术细节进行了封装，这样用户只需要考虑任务间的逻辑关系，而不用再过多的关注这些技术细节，不仅大大提高了研发的效率，而且还可以有效的降低系统维护的成本。典型的分布式并行计算框架如谷歌提出的MapReduce并行计算框架、Pregel迭代处理计算框架等。目前业界开源的云计算平台Hadoop平台，包含HDFS和MapReduce，为海量数据挖掘平台提供完备的云计算平台支撑平台。

3.2数据汇集调度技术。数据汇集调度技术需要实现的是对接入云计算平台的不同类型数据的汇集与调度。数据汇集与调度需要支持不同格式的源数据，还要提供多种数据同步方式。解决不同数据的规约问题是数据汇集调度技术的任务，技术解决方案需要考虑对网络上不同系统生成的数据格式的支持，如联机事务处理系统(0LTP)数据、联机分析处理系统(0LAP)数据、各种日志数据、爬虫数据等，如此才能实现数据的挖掘与分析。

3.3服务调度和服务管理技术。为了能够让不同的业务系统使用本计算平台，平台必须要提供服务调度和服务管理功能。服务调度根据服务的优先级以及服务和资源的匹配情况等进行调度，解决服务的并行互斥、隔离等，保证数据挖掘平台的云服务是安全、可靠的，并根据服务管控进行调度控制。服务管理实现统一的服务注册、服务暴露等功能，不仅支持本地服务能力的暴露，也支持第三方数据挖掘能力的接入，很好地扩展数据挖掘平台的服务能力。

篇6：云数据管理技术与挑战

回首20世纪90年代末期，从中国高校的扩招开始，我国的中等职业技术教育好像就被釜底抽薪了一样。职业技术教育陷入严重困境，生源流失严重，被社会歧视，众多中等职业学校被高校吞并，一时间中等职业教育陷入了低谷。职业技术教育，特别是中等职业技术教育有没有生存空间，发展的希望在哪里？一时间无人找到答案。

时过境迁，中国的变化之快超乎大多数人的想象。从90年代末当中国走出亚洲金融危机的阴霾，迎来了中国改革开放以来的最黄金的十年。以出口导向的加工型发展模式使中国成为了世界工厂，现在城镇化建设、扩大内需的目标正在实施，我国工业化、城市化对技术工人的需求也成几何形扩大。短短的十多年时间，中国职业技术教育经历了从陷入低谷到迎来曙光，从生死存活的边缘到发展的春天出现，这起伏跌宕的十几年终于过去，在我国改革开放的30年后的今天职业技术教育也迎来了她生长发育的黄金时期。

一、社会需求成为中等职业技术教育发展的源动力

对于我国当前的状况来说大力发展职业教育的主要理由有三个方面：

第一个是我们国家经济发展的需要。经济发展需要数以亿计高素质的劳动者，数以千万计的各方面的专门人才，特别是中初级的专门人才。这是第一个理由，任何国家都是如此。

第二个方面是我们国家社会发展的需要。人们对于教育的需求是多方面、多样化的。接受职业教育的学生绝大部分来自农村和城市中低收入的家庭，他们来自于最广泛的普通老百姓的家庭。从社会的发展，从构建和谐社会的角度，也应该很好的发展这一块教育。这涉及到一个如何关注民生、关注老百姓生活、关注老百姓子女的问题。

第三个是我们教育发展的需要。高中阶段教育实际上是由两部分构成的，一个是普通高中教育，另一个是中等职业教育。目前我国高中阶段教育的毛入学率是59.8%，也就是还有40%的15到18岁这样一个年龄段的青少年未接受高中阶段教育。但是，普通高中教育的发展受制约于高等教育的发展，因为普通高中一个很重要的目标就是要为高等学校输送新生，而高等教育今后一个时期重在提高质量，不是规模的扩张。相应的，普通高中教育规模扩大也是有限的。中等职业教育是以就业为导向的，而不是以升学为导向，发展空间很大，大量的人可能要通过职业教育来接受高中阶段教育。所以，大力发展中等职业教育需要大的发展是加快普及高中阶段教育最现实、最直接、最通畅的一个途径。

二、中等职业技术教育发展迎来了时代性的机遇

目前我国职业教育迎来了历史上最好的发展时期。有三个方面的标志：

第一个，我们国家党和政府空前重视职业教育的发展，把职业教育的发展作为我们国家经济和社会发展的重要基础，同时也作为教育工作的战略重点。中央采取措施，加大投入，大力推进职业教育的发展。一是在“十一五”期间，中央财政要拿出100个亿用于加强职业教育基础能力的建设。二是从07年的秋季入学开始，每一年将拿出164个

亿资助中等职业学校的学生。所有来自农村的中职学生和城市家庭经济困难的中职学生，都能得到国家助学金。这么大的经费投入是空前的。

第二个标志是职业教育的规模不断扩大。2007年，中等职业学校将近15000所，招生已经突破了800万，提前实现了“十一五”的目标。这个意义很大。中等职业学校在校生已经突破了2000万。高等职业教育也有很大的发展。目前，高职高专将近1200所，2007年招生将近300万，在校生860多万。中等职业教育规模和高等职业教育规模，目前已分别占到了高中阶段教育和高等教育总规模的一半。

第三个标志，就是我们国家职业教育改革发展的思路更加清晰。在发展方向上，明确了“坚持走中国特色的职业教育发展路子”。这是2005年温家宝总理提出来的。在办学方针上，明确了“以服务为宗旨，以就业为导向”。在培养模式方面，明确了“工学结合，校企合作”。在教学方面，明确了“两个加强”，即加强学生的职业道德教育，加强学生实践操作能力的培养。

我国现在的职业技术教育可以说是有了非常良好的生存与发展的土壤与环境。那么，在这么好的发展条件之下，我们应该抓住时代机遇，通过恰当的改革，把中等职业技术教育做精做强。

三、目前制约中等职业技术教育快速发展的问题

机遇到来，但是我们也面临着很多挑战，我们首先要思考和理清目前阻碍中职教育发展的问题和不足。以期寻求对策。

1、我国国人的价值取向受“学而优则仕”等传统文化影响，很多家庭往往把读书当作子女出人头地的主要途径，并不是把教育当作一种就业的手段。中等职业教育则是培养有一技或数技之长的技术型劳动者、无法满足这种读书出人头地的心理需求，这就是很多学生即使上不了高中也不愿上职业技术学校的重要原因。就当前社会用工情况而言，部分企业用工片面追求高学历，使得大学本专科生干一些中专生也能干的工作。这种“高才低就”现象不仅给我国有限的教育资源造成极大浪费，而且对整个劳动力市场造成了负面影响。从投资和收益的角度来分析，个人教育成本分为两个部分：一是教育费用，二是学生生活的费用。教育费用又包括两个部分：一是政府拨出的经费，二是个人负担的学费。学生估价自己受教育后的收益分为个人未来较高的收入和个人未来较大的职业机动性以及个人未来较大的自我发展空间。现在中等职业教育发展困难，实际上就是学生花费了较大成本，难以获得较大收益的原因。

2、前些年，在中等职业技术教育内部结构不合理的状况下，盲目放开管理，无限制补充低水准生源，导致中等教育结构不合理现象更为严重，造成大量的无效教育，从而使得职业教育发展更为艰难。市场经济条件下、中等职业学校招生数量和专业结构应与一定经济发展水平下的经济结构尤其是产业结构和技术结构所决定的劳动力资源配置结构相适应，并不是高水平人才资源越多越好。目前“高才低就”现象就是教育资源无效配置的一种表现。一方面我国缺乏熟练的技术工人，企业中经过中等职业技术培训工人的比例很低；另一方面却又出现中职生就业普通困难的现象。一个很重要的原因就是中等职业教育不适应市场经济发展需要，很多受职业教育培训的人所具备的技能并不是社

会经济发展所需要的技能。教育具有间接性、滞后性和长期性特点，现在的专业、课程设置、招生效量要适应的是三、四年后的市场需求。而很少有学校或教育机构对市场需求进行详细调查、分析和预测。更为严重的是，中等职业教育管理各自为政，缺乏一个权威的协调机构，使得各学校之间专业设置交叉重复，招生恶性竞争。特别是近年来，在利益驱动下，各校一窝蜂地开办经济类课程、计算机专业等热门学科，导致低层次人才重复培养，从而制约了中等职业教育的发展。

3、教育质量下滑，招生困难与就业困难互为因果、相互推进，使得中等职业教育雪上加霜。就业困难本身就是社会对目前教育质量的一个总体评价。质量下降的主要原因：其一是职业学校招生因难制约了学生素质，加上对教学缺乏强有力的约束相激励机制，造成毕业生质量滑坡；其二是大多数学校没有真正把培养学生技能放在首位，没有突破普通教育的办学模式，重理论、轻技能的现象不同程度地存在，致使学生毕业后不能立即适应工作岗位需要；其三是管理体制上各自为政，使得教育质量整体水平难以提高，其四是社会力量办学缺乏必要的办学条件和质量约束。

四、加快中等职业技术教育发展的建议

要抓住目前中职学校发展的机遇，摆脱中职学校目前发展所面临的困境，需要全社会的共同努力，特别是需要做为教育系统最基本组成部分的政府、学校、老师这三者的协同配合，共克难关。这样才能在中职教育发展的春天里快速成长。

（一）、首先是政府层面，政府需要制定政策、组织、加强宣传和投入资金。

1、强化政府的统筹管理职能，建立和完善中等职业教育统筹协调机构。

第一要统筹政策。大力发展中等职业技术教育政策要先行，要有促进性的政策为指导。制定促进中等职业教育发展的政策措施，包括经费扶持、经费筹措渠道、招生就业、实习安排、师资聘用和培训；大力扶持农村困难家庭子女免费入读中职学校；鼓励行业企业和社会力量参与办学；严格实施就业准入制度等等，为中等职业教育发展营造良好的政策环境。第二要统筹资源。以省市地域范围作为统筹范围，促进一定区域范围内中等职业教育在规模、结构、质量、效益等方面的全面协调可持续发展，避免有限的资源浪费同时整合资源以形成效益最大化。基本建立总量适当、结构优化、布局合理、特色鲜明、专业门类齐全、办学质量和办学效益好、适应经济社会发展和新农村建设需要的现代中等职业技术教育新体系。第三要统筹招生管理。前几年在放开招生的后果很明显，在无序的状况中只能是导致整个中职学校的恶性竞争和双输的局面，同时也造成家长学生对中职学校教育的不信任。所以，必须切实加强对中等职业技术教育学校招生工作的领导，统一制定招生政策和招生计划，统一组织实施招生工作，建立公开、公平、有序的招生环境，对违反招生政策规定的行为要严肃查处。

2、政府还需要做到是加强正面宣传，改变国人的教育观念。

要改变职业技术教育的被歧视地位，转变国人的教育价值观念，要积极组织新闻媒体大力宣传加快发展中等职业教育的重要性，大力宣传中等职业教育在培养优秀技能型人才和高素质劳动者中的作用，正确引导广大家长和学生转变“读大学才有出息”、“进机关才有前途”的传统读书观和就业观，鼓励更多的适龄学生和青年进入中等职业学校

学习；大力宣传中等职业教育的先进典型和先进人物，形成全社会关心支持中等职业教育发展的良好社会氛围。当今的社会需要各种类型、不同层次的人才。职业技术教育并非二等教育，职校学生也不低人一等；有志于读职校的孩子，完全可以根据自己的兴趣找到适合自己的位置。通过正确引导家长及学生合理分流。

3、加大投入，尽快完善中等职业技术学校办学条件。

中等职业教育或职业培训的培养成本明显高于同级的普通高中教育。中等职业教育是以实验实习为主的投入型教育，其设施设备的多寡好坏直接影响教学质量的优劣，决定着学生的素质和能力，进而决定着学校的生存与发展。因此，必须建立稳定的经费渠道和来源。加大财政对公办中等职业教育的支持力度，确保城市教育费附加用于职业教育的比例不低于30%，保证学校的建设和发展需要。适当调整教育经费支出结构比例，根据培养学生数量来核拨预算内财政性经费和生均事业费。

（二）、其次中等职业技术学校要在教学、就业的工作中要大胆改革和开拓尝试。

1、深化以技能为中心的教学改革，切实培养学生职业竞争能力。

坚持“以就业为导向，以技能为核心”的办学理念，按照有利于提高学生职业心理素质、有利于提高学生的就业能力为导向、有利于学生职业技能的提高、有利于培养学生的创新能力的标准深化中等职业学校的教育教学改革。全力推广校企合作、订单培养、工学结合与企业岗位技能“零距离”和项目教学法、一体化教学、等新举措。真正使学生学有所长、学有所用。以期所培养的学生，在将来激烈的就业竞争中，能很快找到自己合适的位置。

2、要把准市场脉搏，根据经济结构调整专业，并以特色为招牌，创建品牌。

根据我国的经济结构调整专业，积极开发面向社会的新兴产业、高新科技产业、现代生态农业、现代服务业和装备业等一批适销对路的新专业，改造和优化一些传统专业，加强省级以上示范性专业建设，打造骨干专业品牌。在人们的日常消费中，品牌意识越来越浓厚，在广告宣传中，品牌效应的影响也越来越大，在中专学校的办学思维中，也必须强化这一意识。每所学校都应从本校的专业传统和教学实力出发，努力创建一两个“拳头专业”，形成品牌效应，使其在同行同类专业中有较强的竞争力。

3、主动开拓就业方式和渠道，做好毕业生就业服务工作。作为学校，应努力拓宽就业渠道，进行大胆尝试，改变以往学校只顾培养，学生自找就业单位的就业模式。学校应该有专门的机构主动地为学生联系各个企业，把学生推荐给企业，以拓宽学生的就业面。“定单式”校企合作办学在目前不失为提高就业的一种有效手段，对企业和学校都是有利的。学校还有要强化服务意识，成立专门组织，派出专门人员，做好毕业生就业服务工作，做到早安排、早联系，保证就业渠道畅通。要建立毕业生就业档案，做好跟踪服务。学校要派人深入用人单位，了解毕业生的工作、学习和生活情况，及时帮助他们解决存在的困难和问题，同时做好信息反馈，为学校调整专业和课程提供科学依据。

（三）、提高教师的职业技术能力和转变传统的教学理念

1、提高教师的职业技术能力。国家提出的“双师型”教师的科学定义是指既要具备

一定的理论知识，又具有相应的专业实践技能；既能胜任理论教学，又能胜任实习实训指导，而且在职业道德、专业素质、组织协调和创新等方面有较高水平。但作为教师怎么提高职业技术能力？不到企业去，成不了“双师型”教师！学校应该利用假期，把组织教师到企业实习作为提高专业教师“双师”素质的一条必由之路。因为只有亲身走进现代化的企业和厂房里，才能了解产品的生产过程。企业实习既开阔眼了界，又充实了知识，还提高了动手能力，而且了解了企业生产一线的需求，这样就能让教师及时把企业中的最新信息带到教学中去，并对照自己的课堂教学进行了有针对性的改进。同时教师也会利用其长期工作和教学中积累的经验为企业提供解决问题的思路和方法，对企业的经营理念进行理论上的系统指导。

2、转变教学观念，改进教学方法。中等职业学校的学生主要是中考中的落榜者，理论基础薄弱，层次不齐，对理论学习兴趣不大。并且现在中职的培养人才的目标是使学生成为具备一定职业技术能力的技术人才，而不是理论型人才，需要的是通过大量的实训学习来达成这一目标。教师则要由“单一型”向“行为引导型”转变；学生由“被动接受的模仿型”向“主动实践、手脑并用的创新型”转型；教学组织形式由“固定教室、集体授课”向“课内外专业教室、教学工厂、实习车间”转变；教学手段由“口授、黑板”向“多媒体、网络化、现代教育技术”转变。要改变“重教法，轻学法”、‘重演绎，轻归纳”、“重讲授，轻操作”、“重描述，轻直观”、“重知识，轻实践”、“重单一技能，轻综合能力”等传统教学观念倾向，职业技术学校的教学方法由理论性、封闭性、单一性向实践性、开放性、系统性模式转变。才能提高教学的针对性和实效性，提高学生的实训兴趣和实际操作能力，为走向工作岗位增强了适应能力。

3、加强对学生的职业指导和创业精神的培养。职业指导和创业教育，能帮助学生转变观念，改变头脑中的职业偏见，树立正确的择业观。熟悉职业情况，明白学习为了工作，要生存必须工作，要提高生活质量必须努力工作的道理，进而有目的地发展自己的个性与潜能，并自觉地将社会需要与个人志趣结合起来，把在学校的学习活动与未来的职业有机地结合起来。学校可以创业大赛，让学生自己上台谈创业计划，进行虚拟创业。有条件的学校可以在校内外提供某些机会，选拔学生来管理、经营某些创业类实体。以此培养学生的创业理念或经验、抗风险能力及老板气质等。

1、《职教论坛》2008年第2、8、9期；2009年第5、6、10、11期

2、《教育学》：劳凯声主编，南开大学出版社，2001年版