云计算技术与应用论文

2022-05-14

写论文没有思路的时候,经常查阅一些论文范文,小编为此精心准备了《云计算技术与应用论文(精选3篇)》,供大家参考借鉴,希望可以帮助到有需要的朋友。摘要:现今,伴随着无线网络与通信技术的飞速发展,云计算的概念得以孕育而出并被广泛应用于各个领域。同样的,在云计算技术的不断发展和完善之时,云计算的思想与技术在电信网络分析技术方面也得到了充分的应用。本文在深度剖析当前云计算的发展情况与运用云计算技术的价值的同时,也对其在通讯网络关系中的运用,如好友推荐、社团特征、客户价值预测等算法进行了简明扼要的分析。

第一篇:云计算技术与应用论文

基于云计算的数据挖掘技术应用与发展

摘 要:云计算作为当前大数据背景下的核心技术之一,在各个方面都得到了充分的应用。在数据挖掘技术中,可以充分利用云计算的各项技术,例如分布式存储技术,有效解决数据处理对服务器的高要求。同时Map Reduce计算机模型能够让数据挖掘系统实现同时满足多个用户的多种需求。文章主要阐述了基于云计算的数据挖掘技术的应用及发展。

关键词:云计算;数据挖掘;Map Reduce;分布式

1 基于云计算的数据挖掘技术的特征与内涵

所谓数据挖掘技术是指采用一定的算法,对数据中信息进行采集、提取、分析,进而进一步进行整理和汇总。数据挖掘技术是对数据的一次有效整理,对数据应用、共享、存储或具体应用提供的一种技术,可以在看似没有任何关联的数据中找出数据的分类,并对分类的数据进行分析,从而得出一定的结论。

云计算是指基于互联网的一种服务模式,最为显著的特点就是资源虚拟化,使用数据的用户并不知道数据的存储地,而且数据多以分布方式存储。云计算要求服务器规模大,并能提供安全、可靠的服务,云计算的服务模式为存储和使用大量的数据提供了可靠的保障,并提供了数据的扩展性。

基于云计算的数据挖掘系统相对于一般的数据挖掘系统来说具有较为明显的优势。一个原因是数据挖掘技术本身就是对大量数据的处理,数据量越大其复杂程度越高,所以,借助云计算可以和数据挖掘技术深度融合,有效提高数据挖掘和数据处理的能力[1]。另一个原因是利用云计算技术所支持的分布式存储技术,数据挖掘可以降低对服务器性能高标准的要求。所以云计算环境给数据挖掘技术提供了大量的数据源,同时,也给数据挖掘在分布式处理方式上提供了方便,使得数据挖掘技术在同等条件下可以更方便地处理多种数据。

2 云计算视域下数据挖掘技术应用探究

2.1 算法

云计算环境下,数据类型繁多,数据形式多样,数据规模也不断地扩大。要想将这些数据进行整理分析,深度挖掘数据之间的关联,并将结果给用户合理使用,算法成了关键技术和重要工具。在云计算环境下,数据量的大小很难精确估计,依赖于小规模分布式计算机的集群来实现大批量的数据处理是远远不够的,最为关键的是运算部署难度系数大,成本投放扩大。在这种情况下,把云计算技术运用到数据挖掘中,能够发挥一定效率。构建一个基于Hadoop的开源并行数据挖掘平台,利用Map Reduce框架,来实现数据处理。

数据挖掘技术从产生以来,涉及多种多样的算法,不同的算法具有不同的使用环境和范围,也会产生不同的效果。用户可以根据数据的情况和自己的需求来选择算法,也可以对算法进行转化,充分利用云计算技术对算法的帮助来提高数据挖掘的能力和水平,将数据挖掘算法和功能展示出来,为达到用户最终的数据挖掘目标而工作。

基于云计算的数据挖掘算法,往往会和其他领域的算法结合起来,比如人工神经网络系统可以应用于基于云计算的数据挖掘技术中来,实现对超多数据的处理分析。深度学习算法可以对大批量的数据进行处理,同时,可以通过样本集的训练,让算法进行自动的数据处理和挖掘。遗传算法在数据挖掘技术中的应用也非常广泛,通过可视化技术作为辅助手段,依靠动画、影像技术实现形象化的可视化展现,给用户更好的体验。丰富了信息技术的展示模式,有助于更好地推广应用。

2.2 用户数据处理

对于要处理的数据源,用户要根据自己的需要合理地安排数据的来源。有些是需要购买新的需求数据,当用户取得所需数据后,可以借助云计算的DaaS服务模式对数据进行管理。用户通过数据挖掘系统,可以快速而准确地找到自己需要处理的数据,然后开始对数据进行处理。用户也可以把自己的数据在系统中进行共享,用来给其他的用户进行处理,两个不同用户对数据处理的结果互不影响,只会得出自己处理数据的结论[2]。也可以通过数据挖掘系统中的分类聚类功能,对用户的数据进行科学地划分,从而实现对用户数据的动态管理。对数据的处理有一个原则,就是只利用算法对数据进行处理,不改变原数据的相关属性。因此,数据可以多次重复利用。

2.3 Map Reduce模型

常用的基于云计算的数据挖掘的并行计算模型主要是Map Reduce,所谓Map Reduce,是一种基于大数据的Hadoop下的并行核算框架,该框架不仅有较强的容错特性,还能够对数据进行传递,让大批量的数据都能够得到高效的运算[3]。一般来说,Map Reduce的并行计算可以分为两种任务,一种是Map任务,一种是Reduce任务,在这两个任务执行的过程中,数据挖掘系统会自动将获得的数据划分为多个独立的小模块。然后将这些小模块分布到Datanode的各个节点中,并进行统一的核算处理。这种方法可以让数据得到分布式的核算,加快数据处理的速度,减小服务器集中处理数据的负载,提高效率。在进行海量数据处理的时候,可以借助Map Reduce的任务分配功能框架去设定Datanode各节点,并把处理阶段和核算节点进行统一分布式管理,这样能够便于处理Hadoop数据处理过程的各种问题。

3 云计算数据挖掘模型

基于云计算的数据挖掘模型可以分为3层:用户层、服务层和处理层。用户层主要用来接收并执行用户的各种指令;服务层主要用来进行数据的处理和保存,处理层主要包含多种数据处理算法及数据预处理[4]。

3.1 用户层

用户层处于基于云计算的数据挖掘的最顶层,它主要的作用是能夠完成用户发出的各种指令,并将这些指令传递到处理层,以便于向用户展现对大批量数据处理的结果。用户能够利用各种界面的形式对指令执行的结果进行审查或追踪。在该层中,用户可以借助系统中的用户输入模板,将要处理的数据挖掘指令传递到系统中,系统会依据用户所提交的申请,对数据进行处理。在数据处理的过程中,系统会利用相关的数据挖掘算法进行数据处理,同时,也会对即将要处理的数据进行各种调配,将数据传入到Map Reduce平台,通过这个平台,将模块化的数据分布到各个节点,最后再将处理后结果传递给用户[5]。

3.2 服务层

服务层处于基于云计算的数据挖掘系统中的最低层,它的主要作用是对Map Reduce平台上分布到各节点的数据进行处理,同时,对各项数据进行保存。此层可以保存数据的分类聚类效果,也可以按照用户的要求进行保存,所以此层在处理数据的时候不但要考虑数据处理时的性能问题,还要考虑数据保存时的安全性、平稳性、便捷性等。在云计算模式下,通过分布式云计算技术,能够对大批量的数据进行统一保存。在保存数据的时候能够按照用户的要求,对要保存的数据进行备份保存,有效增加数据的安全性[6]。目前云计算海量数据保存技术通常涉及了开源的HDFS及非开源的GFS两种,非开源的GFS是由Google公司开发的,而开源的HDFS则是由Hadoop团队研制开发的。在云计算的平台下,可以通过并行的应用工作方式来响应多用户同时发送的请求,并为其提供针对性服务。

3.3 处理层

处理层处于用户层和服务层的中间,它包含了大批量数据处理算法及对数据预处理功能。对大数据的预处理功能中,可以对不规则的海量数据进行处理,如果处理的结果达不到用户的要求,在云计算技术的支持下,Map Reduce可以得到由处理层处理过的、统一结构的、规则的数据应用。因此,在数据挖掘系统对数据真正处理之前,都要用处理层对数据进行预处理,得到统一结构的数据类型。这种数据处理方式主要包括数据结构的转换、数据的特征抽取、数据集的清洗及集成等。通过预处理,不但能够有效地提升数据挖掘的质量及效果,而且也大大提高了数据挖掘的效率。这种在处理层的并行处理(数据处理和数据预处理)方式,在云计算模式下主要应用平臺还是Map Reduce计算模型,采用并行分类算法、并行关联规则算法、并行聚类算法等方式,能够根据应用的模型类型实现大批量数据的处理,以促进大数据挖掘时效性的提升。

4 结语

数据挖掘技术作为对海量数据处理的有效方法,越来越得到重用。云计算在数据挖掘上有比较大的优势其分布式存储和云计算的Map Reduce计算模型都给数据挖掘提供了便捷的数据处理途径,可以有效提高数据挖掘的效率和数据处理质量。

[参考文献]

[1]杨继武.云计算视域下数据挖掘技术[J].电子技术与软件工程,2019(5):151.

[2]雷晨.基于云计算技术的数据挖掘平台建设研究[J].信息记录材料,2019(3):4-5.

[3]王晓雨.基于云计算的非连续层次数据挖掘方法探讨[J].中国新通信,2019(4):56-57.

[4]李候梅.基于云计算的海量数据挖掘研究[J].信息技术与信息化,2019(1):122-124.

[5]王晓妮,段群,韩建刚.基于云计算的数据挖掘系统设计与实现[J].计算机技术与发展,2019(3):1-5.

[6]孙亮.基于云计算的云数据挖掘引擎研究[J].山东农业工程学院学报,2018(12):27-28.

作者:李庆年

第二篇:基于云计算的网络技术研究与应用

摘 要:现今,伴随着无线网络与通信技术的飞速发展,云计算的概念得以孕育而出并被广泛应用于各个领域。 同样的,在云计算技术的不断发展和完善之时,云计算的思想与技术在电信网络分析技术方面也得到了充分的应用。本文在深度剖析当前云计算的发展情况与运用云计算技术的价值的同时,也对其在通讯网络关系中的运用,如好友推荐、社团特征、客户价值预测等算法进行了简明扼要的分析。

本文以用户特征为基础,从个体的角度展开分析,把从未有过呼叫记录的新用户作为主要探讨的对象并预测其价值。分位点的引入使得客户类别的分类和标签不再仅局限于经验边界值,而是可以依据相对概念对客户类别进行再分类,进而可以得出消费者的相对价值。同样的,由个体进行分析,在客户的行为特征与信息的基础上,研讨与分析的对象为选择已产生呼叫行为的老用户,并针对性的对这些老用户的行为偏好进行相应的好友推荐。其算法脱身于云计算技术所完成的二度好友熟悉度测试算法,并据客户好友的特征来进一步描绘客户的行为偏好。

除却个体角度的分析,本文还从群体角度通过社团的特征与演化进行研究。在进行个体分析时,无论新老用户,其进行研讨的对象都是单一的个体,至于多用户的分析,则需从群体角度的进行研究与讨论,研究其成员在群体内的诸多联系,此处将这样的群体定义为社团。

关键词:云计算 客户价值 好友推荐 社团特征 关系分析

1.云计算的简介

若从技术角度分析云计算,可通过分层的模式体现云计算的主要概念,并将之视为一种基础设施,而它的物理硬件层是虚拟化的,在此设施上构建数个框架以组成其主要架构。这样的架构能够给予系统一个轻便灵敏且具有自适应性的平台,使之可良好响应于各层次的业务需求,并可交付给第三方平台进行相關的计算,如PAAS、SAAS、LAAS等主流平台。

2.云计算的发展现状

在当下云计算技术的研究与应用中,Oracle、Redhat、IBM、微软等大型主流软硬件厂商也投入了大量资金及技术进行着相关的研究,并根据自身特点,提出相应的云计算架构体系。虽然不同厂商提出的架构或多或少都存在一定的差异,但在基本概念上却都是一致的,差异较大的在于各厂商对云计算的理解与研究方向。

换个角度来说,在度过了初期的缓步发展后,云计算技术得到了相当的大的提高,但仍有一些亟待解决的问题存在于其主要技术的研究与运用中,例如QOS问题、云环境下的网络安全、多虚拟机之间功能融合的实现等一系列相关问题。

3.云计算在电信通信网络关系分析中的应用

3.1基于云计算的客户价值预测

在电信通信网络的客户价值预测工作中,通常不仅需要进行大量的运算,还需涉及非常广博的知识面。若在客户价值预测的工作中运用云计算的相关技术,则可对用户的个人信息、偏好行为、通讯信息等相关数据进行深度的数据挖掘以得到其内在的关联性。通过分位点概念的运用使得新用户价值的预测变得更加有效,且此预测方法相较于传统的预测方法而言,可有效降低误差。

客户价值预测主要流程为:

(1)获取客户的个人信息、偏好行为与通讯记录中的有效字段,并按照一定规则对其进行拼接。

(2)再对用户的个人信息进行相关的分析,如:年龄、性别、所在地区等信息,而后剔除解析完成后不符要求的用户及其相关信息。

(3)联合分位点的相关概念并以通讯时长作主要参考依据,对通话记录进行相关的分类。若划分了n个分位点,则可据此将用户归为n+1类,而后对已归类的n+1个文件的不同类分别进行Bayesian模型训练,并依据类的不同分别存储n+1类数据。

(4)最后,需要利用测试集测验上述模型的实际效果。

3.2基于云计算的好友推荐

3.2.1好友推荐的分析

通过使用云计算技术处理好友推荐算法的计算时,用户的熟悉度与相似度作为其主要的参考依据。以此为主要依据的算法拥有良好的发展前景,算法中的熟悉度为其绝对量,并可依据二度好友的熟悉度与贡献度完成相关检索。据此推荐算法获得相关熟悉度后,可按照二度好友的相关熟悉度对朋友属性执行加权算法,从而得到精确地偏好特性。

这种计算方法需要依据电信数据的特征,获取通讯时长与频率频次等相关信息,并依据二度好友的用户行为偏好、相关熟悉度以及属性相似度等信息进行计算可得出总推荐度,而后对总推荐度进行分析,并给用户推荐总相似度高的二度好友,从而完善推荐算法使之更加精准。

3.2.2好友推荐算法流程

好友推荐算法的主要计算流程:

首先,对一度好友间的相似度进行一定的计算,并根据运算结果获得其熟悉度与之相关的二度好友之间的联系。

其次,依据二度好友间的联系计算其相似度,并按照上述一度好友的计算结果得出用户环境与行为的偏好。

最后,对用户的相关属性、环境与行为的偏好以及二度好友间的相关熟悉度进行一定量的运算,从而解得算法的总推荐度,并按照总推荐度取值的大小或高低对不同的用户给出相应的推荐结果。

3.3基于云计算的电信社团特征结构化存储及验证

云计算应用于电信社团特征结构化存储的主要计算方法为:

分析一个月内的通话记录,并统计分析其其所在的社团属性。依据社团特征给出相关联的结构化存储方案,并利用通讯网络检验所得方案的一致性。而后将社团结构特征的分析结果执行归一化处理的操作,并存储于相应的存储结构中,以便对其再次分析与检验。其中以社团为单位进行研究并执行存储方案的验证时,剖析其所感兴趣的相关数据的散布详情,并与上述研讨所得的相关数据进行对照分析与测验,再将差异特征值加以统计。

主要计算流程为:

(1)对社团中的各个特征属性加以统计,若存在尚未记录的特征属性,则需记录其单属性。

(2)对统计特征属性所获取的结果执行归一化处理的操作,并制订其相关的概率分布详情。

(3)最后对统计特征属性的概率分布情况执行一致化处理操作,并把处理结果存于上述的存储结构中。

参考文献:

[1] 王攀. IP网络业务识别关键技术研究_王攀[D]. [出版地不详]: 南京邮电大学, 2013.

[2] 廉捷. 基于用户特征的社交网络数据挖掘研究_廉捷[D]. [出版地不详]: 北京交通大学, 2014.

[3] 闫海煜. 基于数字电子技术的通信网络应用研究分析_闫海煜[J]. 数字技术与应用, 2013, 卷缺失(8): 25.

作者:闻锋 张世奇

第三篇:云计算在信息技术教育教学中的应用与展望

摘要:云计算技术近两年已经在我国的一些领域得到了初步的应用。本文在介绍云计算概念、云计算发展、探讨云计算技术在教育中的应用现状以及信息技术学科特点的基础上,探讨了云计算技术在信息技术教育教学中的应用与展望。

关键词:云计算 信息技术 辅助教学

一、云计算的基本原理和发展现状

云计算的基本原理是,用户所需的应用程序并不需要运行在用户的个人电脑、手机等终端设备上,而是运行在互联网的大规模服务器集群中。用户所处理的数据也并不存储在本地,而是保存在互联网的数据中心里面。这些数据中心正常运转的管理和维护则由提供云计算服务的企业负责,并由他们来保证足够强的计算能力和足够大的存储空间来供用户使用。在任何时间和任何地点,用户都可以任意连接至互联网的终端设备。因此,无论是企业还是个人,都能在云上实现随需随用。我们将这种“云计算”为用户提供的服务称之为“云服务”。这意味着人们使用计算机的需求也可以作为一种公共商品进行流通。

二、云计算辅助教学对信息技术教育教学的影响

信息技术学科与传统学科相比,在教学方式方法上有着自身的特点:在教学进度、教学内容和教学要求上具有异步的特点;学生在学习过程中具有充分的交互特点;学习方法上具有典型的相互协作的特点和教学内容及教学结果评价的开放性等特点。

云计算辅助教学从本身信息技术的学科特点以及从事信息技术教学所需的软硬件方面,提供了一些合适的、可行的方案。云计算辅助教学对信息技术教育的影响主要表现在以下几个方面:①可以为学校建设“够用”、“实用”、“社会化”的硬件环境,节约计算机、网络交换等硬件设备的购买和维护成本。②可以为学校提供相对经济的应用软件服务,培养师生利用“云服务”理念。③可以充分发挥学生和学科自身的特点,达到教学与学习的最优化。

信息技术学科在教学进度、教学内容和教学要求上具有异步的特点,不大可能出现传统学科的那种高度统一的局面,直接决定了其在教学内容和进度方面的可变性和可选择性;另一方面,由于信息技术本身具有极强的实用性、可自学性,学生的学习进度往往在多个方面表现出极大的差异性。学生可以通过云计算服务,制订符合自身知识水平的学习计划和学习资源,而不需要与所有学生步调一致,学习同样的内容。

在信息技术的教学活动中,从学生参与学习过程上看,具有十分鲜明的学生与计算机的“交互式”特点,学生在进行“人机对话”的过程中,可以享受到相对完全的、先进的服务。在信息技术教与学的过程中,学生可以充分体现出主体性,能够真正实现自主学习,教师则真正起到引导者的作用,随时观察学生的学习进展情况,可以时时指导学生。尤其是云计算本身的互动功能比较强大,例如在线表单可以完成调查反馈和简单测验功能,Group论坛功能可以提供师生交流,附件功能可以让学生上交作业等。

三、对云计算辅助教学的展望

面对“云服务”时代的到来,各级教育技术机构都在主动采取改革措施,从“行政型”转向“服务型”,走向社会化管理。对于云计算辅助信息技术教育教学的展望大致有以下三个方面:

1.充分利用全球的云服务,转变过去一切都靠自己开发的小生产模式,开拓中国信息化教育的低碳型发展道路。

2.将本地资源转化为云服务,将原来仅仅为校内、本地服务的教育资源拓展为更多师生提供服务的“云”资源。

3.构建“云-地”中介服务。考虑到一些大公司建设的“云计算服务”(如Google教育套件)不可能细微到关注当地师生的具体需求和情感交流,教育机构可以为本地学校和教师构建“云-地”中介,作为省市一级的教育技术机构,可以充分利用“云服务”为当地学校和教师提供服务,成为当地教育的“云计算辅助教学资源中心”或者“社区”,构建当地学校和教师的生活情感圈,文化圈。

4.将低碳型教育和“云计算辅助教学”的要素融入教师专业化发展之中。教育技术“云服务”的发展,对教师专业化发展影响很大,各地可根据本地具体情况,对不同地区、学科、教龄的教师,分别提供菜单式或按需定制的内容,解决教师急需改善的教学、科研等问题。

作者:袁 婧

上一篇:与英语教学有关的论文下一篇:学习公务员法相关论文