大数据发展现状与趋势

2024-08-04

大数据发展现状与趋势(精选6篇)

篇1:大数据发展现状与趋势

大数据时代对地观测卫星的发展现状与趋势论文

一、前言

对地观测是人类利用卫星、飞船、航天飞机、飞机以及近空间飞行器等空间平台和地面、地下的各种传感器设备获取观测数据,结合各个学科的专业知识,对地面物体和地理过程进行监测和预测的科学活动,其目的是更加深刻和科学地揭示人类社会活动所依赖的地球环境和人地环境的规律和变化,增强人类对地球的利用和适应能力。对地观测研究工作具有非常明显的信息学特征。因此,除了地球科学方法论外,信息科学方法论也对对地观测科学活动有非常重要的指导意义。对地观测研究很大程度上是围绕着“信号—数据—信息—知识”的数字化信息过程来展开的,并构成了“信息获取—信息传输—信息存储—信息加工—信息挖掘—信息呈现”的数据全生命周期。

从信息科学的角度来看,对地观测领域知识发现的方法主要是确定模型分析方法。在遥感技术的发展初期,观测数据量较小,用于数据挖掘分析的理论和模型也不够成熟,因此更多是依靠专业人员的目视判读进行信息解译和勾绘制图,然后再利用其他学科的知识对获得的信息进行修正。这种方法显然不能满足日益增大的观测数据量和日益复杂的应用模式需求。在数据量不断增大、信息提取精度不断提高的情况下,依赖于计算机处理的数据分析新模式出现了。遥感信息反演的定量化成为对地观测信息深度应用的趋势,这种能力也随着计算机处理能力的提升不断提高,逐步满足了 MB(220 字节)、GB(230 字节)、TB(240字节)甚至部分 PB(250 字节)量级的数据分析和信息挖掘工作,从应用上解决了较大地理尺度上的复杂地学问题。提升计算机的处理速度和存储设备的规模已经成为解决观测数据量增大和信息模型复杂化所带来的问题的一个很好的途径。进入 21 世纪以后,对地观测技术又呈现出很多新的发展趋势,其中大数据的出现给对地观测的研究带来了全新的挑战和发展机遇。近年来,随着对地观测需求的增加和技术的进步,各种类型传感器获取数据的能力不断提高,使得国内外以专业化、行业化为特征的各类数据中心迅速崛起,对地观测领域成为数据密集型计算的一个典型应用。整个对地观测系统流程突出体现了“需求牵引—知识驱动”的概念和原则,形成了以社会需求为先导来发展对地观测卫星、传感器、平台、数据传输、信息处理、应用模型及相应科学理论的发展模式。

二、对地观测领域的大数据现象

在对地观测领域,各类分辨率的卫星产生的遥感信息无疑属于大数据。以我国遥感卫星为例, 年发射的风云三号 A 星搭载着 20 通道的中分辨率光谱成像仪和 10 通道的可见光近红外扫描辐射计,实现了对整个地球进行连续观测,随后与 年和 年发射的风云三号 B 星和 C 星组网,对地球开展每天 6 次的观测。卫星观测数据切割成 5 分钟段的数据文件,又将 250m 和 1000m 中分辨率光谱成像仪的数据分别存放,每天产生的数据文件和数据量均非常巨大。要管理、处理和分发这些全球数据需要运用“大数据”的方式,而且需要大量的数据科学家开展基础研究工作,研究算法,从数据中实时提取地球参数信息,进而为科研、业务的数据信息需求服务。这一事实充分说明了从海量遥感数据的获取、存储、提取与分发、数值处理,到数据挖掘和知识发现,对地观测活动的整个生命周期体现了大数据的“4V”特性:数据体量大 (volume)、数据来源和类型繁多(variety)、数据的真实性难以保证(veracity)、数据增加和变化的速度快(velocity)。

国际上,美国和欧洲处理和分发中分辨率数据较中国稍早几年,美国处理 MODIS 数据和产品的方式、欧洲处理 ENVISAT/MERIS 数据和产品的方式可为我们借鉴。由于美国没有 MODIS 的后续卫星计划,数据的供给将随着传感器的失效而终止。欧洲的 ENVISAT/MERIS 于 年失效,只能提供 -2012 年间的数据。中国风云气象卫星规划已持续到 年,因而,在未来几年,中国的风云卫星中分辨率遥感数据在国际上将是重要的数据源,向全球用户提供优质的数据和产品,将是中国数据科学家肩上的重任。

1. 观测平台和传感器的数据获取

遥感数据获取是由载有成像传感器的遥感飞行平台来完成的。遥感飞行平台的`发展体现在:①先进的卫星对地观测系统,包括大型的综合卫星平台与小卫星星座;②先进的集成高—中—低空飞行作业的航空遥感平台;③全面一体化的对地观测综合系统。未来的传感器搭载平台将是由相辅相成的高中低轨道上的大小卫星平台和高中低航空平台组成的,天地一体化、全球性、立体和多维的观测体系。与此同时,对地观测传感器的数据获取能力将向着“三高”(高空间分辨率、高光谱分辨率和高时相分辨率)和全天候方向发展。遥感平台和传感器的技术进步使得获取的数据量大幅度增大。比如刚刚退役的 Landsat -5 卫星在其29 年的在轨工作期间,平均每年获取 8.6 万景影像,每天获取 67GB 的观测数据。而 2012 年发射的资源 3 号卫星,每天的观测数据获取量可以达到 10TB 以上。类似的传感器现在已经大量部署在卫星、飞机等飞行平台上,未来 10 年全球天、空、地空间中部署的百万计传感器每天获取的观测数据将超过 10PB。

2.天- 空- 地一体化的对地观测数据网络传输

巨大的观测能力需要通过覆盖天-空-地的高速数据传输网来实现对地观测平台和全球地面接收站网络之间的数据传递。这种传输能力要通过一个由光缆、地面微波、蜂窝移动通信和低、中以及静止轨道的卫星通信系统组成的、服务于全球的、无缝隙覆盖的、全球一体化的高速天-空-地对地观测数据传输网络实现。现在,单个传感器的信号下传速率已经突破了 Gbit/s。

3. 海量数据的快速处理

标准遥感产品的快速生成需要高吞吐量、高精度及自动化的分布式数据处理能力,以满足规模化、业务化的标准产品生产的要求。标准产品快速处理的突出特点是即时性和大吞吐量,兼有数据密集、计算密集的性质。海量遥感数据的处理需要利用庞大的网络计算资源,通过并行计算、分布式处理以及集群计算技术来实现网络化大数据量处理及多机分布式并行处理,以满足应用的需求。我们可以利用网格技术把分散在不同地理位置的计算机组织成一个“虚拟的超级计算机”,来提供高性能和高吞吐量的计算环境,为完成计算密集型任务提供有力的手段;同时充分利用网络上多种闲置计算设备的处理能力,完成传统计算模式下不能完成的各种大数据量的计算任务,从而保证标准产品的快速处理和生成。

4. 下一代空间数据设施

下一代空间数据设施建设将以全球尺度问题求解和多样化实体数据设施建设为前提,基于传统空间数据设施和联邦数据设施,通过松耦合形式建立一种非中心化、虚拟化、按需服务化和全球化的数据服务体系。分布在世界各地的各种对地观测数据中心,将在下一代空间数据设施的连接下,面向特定专题,与高性能的信息化设施结合,动态形成大量专业化的虚拟数据设施。这些设施不仅可以汇聚和提供超大规模的数据,还具备对数据进行深度加工和挖掘的计算能力。地球观测组织(GEO)所推动建立的全球综合地球观测系统(GEOSS)就是一种下一代空间数据设施,这种设施管理和处理的都是超大规模的对地观测数据和空间数据。

5. 数字地球与未来地球

作为和对地观测衔接的科学框架,数字地球是一个广泛的以信息高速公路和空间基础设施为依托的概念,其核心思想是用数字化手段整体性解决地球的各种科学问题,并最大限度地利用信息资源。未来的数字地球不再局限于进行地学数据的表达和呈现,而将成为一种对地球的各种学科的数据和模型进行综合分析的平台。同时,由国际科学理事会(ICSU)和国际社会科学理事会(ISSC) 共同发起的“未来地球”计划将多学科交叉研究推向更加重要的位置。不论数字地球还是未来地球,其多学科的高度数据复杂性是非常显著的信息特征。和常规的单学科研究不同,在这种综合研究场景中,信息技术要面对的是多学科复杂数据类型之间的数据建模、数据发现和数据整合问题。

三、大数据在对地观测领域应用的典型案例

大数据时代的对地观测技术为发展空间地球信息科学奠定了基础,从对地观测过程的信息学特征可以清晰地看到此领域大数据的发展趋势。但目前大数据研究普遍存在着“只有数据、没有利用”的问题,导致搜集数据、存储数据付出的成本被浪费。据报道,通过遥感卫星获得的影像数据中,目前得到应用的不到 5%,多半数企业不知如何从数据中获得价值,因此这个问题急需解决,下面将介绍一些国内外创新企业利用大数据技术为遥感图像应用找出路的典型案例,希望能够扩宽我们的视野并从中得到有价值的借鉴。

1.Digital Globle: 遥感图像 + 大数据分析助力寻找马航 MH370 迷踪

马航失联客机 MH370 去哪儿的问题,牵动着全世界的心。为了找出谜题的答案,寻回239名乘客的信息,各方为此动用了许多手段,包括直接分析飞机上设备发出的各种信号,卫星和雷达的天罗地网等先进的科技方式,调遣各类船只前往可能事故区域搜网式调查,可惜都无果而终,就在失联事件发生的 12 天后,澳大利亚宣布从卫星影像中找到了疑似马航 MH370 失联航班残骸,广袤的洋面找一架飞机如同大海捞针实属不易,虽然还未能确定残骸是否来自于 MH370,但在短短几天内在能够通过海量的卫星图片发现如此重要的线索可见其背后的数据分析能力之强大,支撑这一能力的正是大数据技术,快速定位残骸坐标体现了大数据技术在处理海量高分遥感图像上的速度优势,展示了大数据与遥感技术的融合将在灾难救援方面的关键作用。

2.Skybox Imaging:迈向大数据时代的商业遥感成像公司

Skybox 成像公司成立于 年,目前员工不到 60人,是名副其实的“小”公司,但却在多轮融资中备受风投的青睐,麻省理工学院技术评论将其评为 最具“摧毁性”的 50 家公司之一。

3. 禾讯科技:商业化卫星遥感服务现代化农业生产

农业是生命之源、发展之基。由于农业资源、环境及多样化的生产经营方式,农业大数据涉及到水、土、光、热、气候资源,作物育种、种植、施肥、植保、过程管理、收获、加工、存储、机械化等环节会产生大量结构化和非结构化数据,而且随着农业科技创新发展和物联网的应用,非结构化数据呈现快速增长的势头,其数量将大大超过结构化数据,为保障“舌尖上的安全”,利用大数据技术对不断产生的大批非结构化数据的信息获取、挖掘、存贮、处理与智慧应用是农业现代化不可或缺的手段。

四、大数据情境下对地观测研究的发展趋势

1.从量变到质变

对地观测领域的大数据现象,在不同尺度上对现有的技术水平提出了挑战。对地观测领域的大数据现象包括 4 个方面:①数据量剧增,已经达到 PB 量级;②数据类型多样,来自空基、天基的各种不同成像机理及数据获取方式、不同时空分辨率和光谱特性的传感器数据和地面台站的观测数据及实验模拟数据、统计数据等构成了纷繁复杂的数据类型;③应用场景众多,目前对地观测数据在气象、水文、能源、农林种植、工矿开发及灾害应急等诸多领域体现了其应用价值;④应用服务时间尺度多种多样,天气预报、灾害应急等需要实时或准实时的数据分发反馈,而地图测绘、土地变化等则需要中长期的对地观测数据,不需要高时效性。

2.多数据中心协同处理

传统的对地观测知识发现的科研模式在大数据情境下已经不再适用,原因是传统的科研模型不具有普适性且支持的数据量受限,受到数据传输、存储及时效性需求的制约等。因此,新知识正更多来自于大数据的使用,数据生命周期中信息学流程的变化正引发传统科研模式的变化。以“用户需求”为导向的对地观测活动,需要为有不同应用需求的用户提供恰当的数据产品及信息资源,要求对地观测数据实时处理及快速分发。实现这一目标的关键是多中心协同计算,通过构建分布式多中心计算环境,将大量松散绑定或独立的数据处理任务动态分配给闲置计算资源,实现资源动态调度及任务分配。目前需要解决的问题是如何实现有效地调度计算资源及跨异构系统计算时如何维持系统的高性能等。

3.模型驱动到数据中的知识发现模式

传统的数据生命周期信息学流程是从数据到信息,再通过模型进行知识发现。而随着数据量的爆炸式增长,可用模型已不能对海量数据进行模拟推演,因此由模型发现知识的传统方法已经不能适应大数据时代的需求。

4.多学科交叉的科学研究

全球性的资源、环境问题日益凸显,使得全球变化问题和可持续发展成为全世界科学家关注的焦点和研究的重点。全球变化的研究对象包括大气圈、水圈、生物圈、人文圈并涉及外层空间,需要理解并掌握这些圈层中各个要素之间的物理、化学、生物、人文的影响过程和规律,需要自然科学、社会科学和工程科学相融合的面向大数据的新科学研究方法,也需要科学数据和互联网数据之间的全新耦合和整合方法。

篇2:大数据发展现状与趋势

摘要:信息化是以现代通信、网络、数据库技术为基础,对所研究对象各要素汇总至数据库,供特定人群生活、工作、学习、辅助决策等和人类息息相关的各种行为相结合的一种技术。

生物心理社会医学是一种从生物学与心理学、社会学的统一来看人类健康和疾病的医学模式。它出现于二次世界大战之后,是对生物医学模式的辩证否定。

1948年世界卫生组织在其宪章中把健康定义为“一种在身体上、精神上和社会上的完善状态,而不仅仅是没有疾病和衰弱现象”,第一次表达了这种医学模式的基本思想。1977年美国医学家G.L.恩格尔在《需要新的医学模式:对生物医学的挑战》一文中,首次明确提出并系统阐述了生物心理社会医学模式的概念,在医学界引起广泛注意,我国于80年代初开始探讨从生物医学转向生物心理社会医学的理论与实践。这种新医学模式的特点是,沿着系统论思路,把人理解为生物的、心理的、社会的三种属性的统一体,人的健康和疾病不仅是生物学过程,而且有心理和社会的因素,要从生物、心理、社会相统一的整体水平来理解和防治疾病。它主张在已有生物医学的基础上,加强心理和社会因素的研究和调控,相应地发展了医学心理学和心身医学、医学社会学和社会医学。

大数据(Big data)又称巨量资料、海量资料,指的是所涉及的资料容量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。从另一个角度上来讲,大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用形成的智力资源和知识服务能力。(维基百科)1 大数据是网络时代的产物

近年来在物理、天文、生物、统计等学科领域和金融、气

象、军事、通讯行业中需要处理的数据已经形成了大数据现象,需要处理的数据容量发展如此之快,已经不能再用GB和TB为单位来衡量数据的存储容量,以P(1000个T),E(一百万个T)或Z(10亿个T)为计量单位的应用也将会十分常见。但是大数据真正被多数人认识和关注则是由它在互联网出现而开始的。首先是互联网的用户数量以及用户使用网络的时间的增长使用户行为数据激增,其次是随着网络应用的多媒体化,网络数据由纯文本演变为图片、音频、视频等多种格式,造成数据量大增。另外随着物联网和云计算、云存储的出现和发展,互联网节点由单一的PC机变为包括PC在内的各种智能终端,用户随时随地在线,使互联网成为一个充满海量信息流的立体网络。

Facebook创始人扎克伯格在Web2.0峰会上宣布,根据Facebook统计数据,社交分享信息量以倍数增长,今天分享信息总量比两年前增加了两倍,从现在开始后的一年,用户所产生的信息分享总量又将会翻番。互联网上不断增加的数据为互联网公司提供了进行数据挖掘和数据分析的物质基础,互联网公司可以通过对用户网络行为数据的分析来了解用户的网络行为习惯,改进服务推广模式和广告推送途径,从而获取更大的收益。目前我国大型的网络运营、电子商务企业都有专业的人员来进行大数据分析,对包括门户、搜索引擎、电子商务、SNS等业务产生的数据对用户的网上浏览、购物、娱乐习惯进行分析,为各种服务的精准投放提供决策依据,去适应或者影响用户的网络活动习惯,从而在互联网获得更大的发展空间。大数据时代已经在不知不觉中降临到我们的生活中,越来越多的数据应用在不断地改变我们的生活方式。大数据为生物医学研究和医疗信息化带来机遇

大数据在许多行业和学科领域的深入应用对生物医学研究的手段方法都带来了改变。生物医学研究领域,常使用统计学方法来处理和分析科学实验或者临床研究的数据,为了分析结果的准确性,实验分析抽取样本的数量越来越大,而网络和云计算、云存储等信息技术与医学的结合使生物研究获得大数据

更加方便和迅捷,生物医学的研究开始基于网络、云计算和大数据存储和大数据样本进行。例如2009年谷歌公司根据用户上网搜索内容对甲型H1N1流感的流行与暴发进行了预测,使公共卫生机构的官员获得了非常有价值的数据信息。我国深圳国家基因库中的样本量已达130万份,其中人类样本115万份,动植物、微生物等其他样本15万份。至2013年底,预计可有1000万份溯源生物样本,2015年底达到3000万份生物样本。而美国GenBank数据库中登录的DNA序列总量在2002年就已超过了280亿个碱基对。生物医学研究因为样本数据资源的极大丰富而更容易获取成果,基于大数据挖掘和分析方法的生物医学研究已经在促进人类健康方面取得了巨大成就,美国一个医疗小组对一名“腓骨肌萎缩症(CMT)”病人和他的10余名亲属进行全基因组测序,随后使用专用设备和先进的统计分析软件对获得的数百G的数据进行对比分析,很快就精确地获得了致病基因和发生突变的位点,为该疾病的预防提了可靠的遗传学依据。乔布斯在患胰腺癌以后也曾做过基因测序,希望能够通过找出DNA中有缺陷片断的方法来战胜癌症。目前我国深圳国家基因库以生物基因资源为依托,开始了大数据与医学和其他产业的整合与应用,如“全国出生缺陷样本联盟”,针对我国高发的出生缺陷、单基因遗传病、原因不明的妊娠异常在全国10个重点省市收集3万份临床样本及表型信息。为进一步研究影响出生缺陷的遗传机制和环境因素,提升我国生育健康研究的整体水平提供基础数据性支持,推动早期筛查、诊断、治疗、康复的防治技术研究。随着医疗机构信息化建设的不断发展,以及信息化管理和物联网的应用,医疗护理工作流程中产生的数据越来越多地被医院信息系统收集和存储。医院信息中心存储的不仅是医嘱、护理记录、药物使用等诊疗数据,而是所有医患角色、医疗设备、管理和服务人员在医疗系统中所产生的所有数据。在现代医院信息化管理的“电子化、信息化、数字化、智能化”要求之下,医院基础数据的存储量已经可以用TB甚至PB来计量。针对医院的大数据应用一般可以分为两种:一是用于医院管理,如对用药、流程等进行挖掘和分析;另一种是用于临床支持,如用于临床科学研究,或者用于实时的辅助临床支持。医院决策系统是基于前者的应用,它能够提供对医院各个单位和医疗活动各个环节的整体评价分析,从而为决策者进行医护质量和医疗安全的管理和改进提供参考。医院在接诊、治疗过程中收集到的各种第一手临床诊断、治疗数据则除了为医生临床诊断和治疗提供有用信息之外,还为医疗科研提供了最真实准确的样本数据。目前我国医疗卫生信息化建设取得了很大进展,国家在区域医疗卫生信息化、医院信息化管理系统和基层医疗卫生信息化等方面都加大了投入,并与多个学科领域的研究成果相结合,推动大数据在我国临床医疗和科研中的应用。3 大数据时代医学信息化面临的挑战

在大数据迅速发展的背景下,医学信息化的发展也面临着一些必须解决的问题。

1)数据共享的问题。美国国立生物技术信息中心(NCBI)存储了分子生物学、生物化学、遗传学领域的海量数据,其数据是对科学家无偿提供的。但是根据规定,美国科学家要想拿到政府经费,必须在申请课题时就承诺在课题完成后,将详细的研究数据提供给NCBI,这是NCBI获得大量数据的根本保证。而我国生物医学科研部门和医疗机构所积累的海量科研和临床数据目前多数仍然处于孤立使用的状态,机构之间的数据共享应用非常有限,数据孤岛现象限制了提高生物医学研究效率、建立社会医疗健康保障体系和减轻病人重复消费的经济负担。而这些机构因为利益的原因,对于拥有的医学科研数据和诊疗资料都持保护态度,不愿意向社会和同行提供数据服务。因此需要有相应的政策和措施,让医学研究机构和医疗机构的数据相互共享,真正形成生物医学研究、国民健康档案和医药信息大数据平台。

2)标准化的问题。美国劳伦斯伯克利国家实验室基因组科学部主任鲁宾(Rubin)表示,理想状态下的目标是建立统一的电子病历系统,这些信息应该有统一的标准,但现实并非如此,各个医院存储的数据标准不同,而且不同系统存储的信息也不一样。目前不同系统和科研机构之间的信息数据标准很难统一,这主要是由于设备生产厂商、软件供应商之间技术标准不统一和科研机构的研究方法各异造成的,例如不同的医院信息管理系统的电子病历数据格式和标准不同,信息中心的数据存储设备的架构也有可能不同,这造成医院间的数据信息无法流通和共享,这就为同一病人在不同医院进行治疗制造了障碍。因此大数据要在医疗信息领域得到应用,必须打破技术壁垒,解决信息标准化的问题。中国科学家更应该积极加入国际标准的讨论、设计和制定,更多参与国际上的生物医学信息共享。

3)医学大数据应用所需的复合型人才缺乏。医学信息学是生物医学与信息技术、统计、管理等学科相结合的交叉学科,在应用领域里真正掌握精通生物医学和信息科学知识的人才少而又少。为促进多学科研究和教育,美国2009年在特拉华大学创立生物信息学与计算生物学中心(CBCB),由来自5个学院的60多名教师组成,并创立或负责多个生物信息学教育项目。目前我国很少有高校设置生物医学与信息得学相交叉的学科专业,在生物医学研究领域里的复合型研究人才多数是自学或者由不同学科的导师共同培养的,这种情况造成了目前医疗大数据应用缺乏人才推动力的困境。根据相关文献分析显示,目前我国医学教育界已经认识到这个问题。4 结束语

目前我国医疗领域的大数据应用还属于起步阶段,如上所述所面临的共享壁垒、标准统一和人才短缺的问题制约着大数据在生物医学研究和医疗信息化发展等领域发挥更大的作用。相信在政策推动和信息科学技术不断发展的前提下,大数据在医学信息化中的应用将会不断深入,在生物医学研究的发展和社会医疗保障体系的完善过程中发挥作用。参考文献 [1]李新华.浅谈大数据时代的机遇与挑战[J].通讯世界:下半月,2013(6):60-61.[2]许德玮,桑梓勤.基于云计算的医疗卫生位置服务平台研究[J].医学信息学杂志,2013(6):8-13.[3]高汉松,肖凌.基于云计算的医疗大数据挖掘平台[J].医学信息学杂志,2013(5):7-12.[4]李华才.大数据挑战医院信息化服务模式[J].中国数字医学,2013(4):1.作者简介 李国栋(1972-),男,河南南阳人,馆员,硕士,南阳医学高等专科学校图书馆技术部主任,研究方向:图书馆信息化建设及情报学。4.1 应用实用化、智能化

自动化系统是一个集管理、监控、指挥、调度等于一体的多功能的复杂系统,目前,大多管理系统呈现复杂化的状态,这对于管理操作人员来说,加大了工作的难度。因此,未来的自动化系统必将朝着实用化、智能化方向发展,这不仅能避免人力资源浪费,且大大降低了管理人员的出错概率,保障了系统的稳定性和安全性。4.2 规模不断扩大

21世纪以来,随着人们对电的需求量越来越大,配电网规模呈现不断扩大趋势,具体表现在接入信息的种类、信息量、范围与以往相比,均有较大程度的改善。与此同时,电网调度自动化管理系统也应适应当前社会的发展需求,通过新技术、新设备的不断运用,达到提高安全性、稳定性和可扩展性的目的。4.3 系统间交叉面扩大

篇3:大数据发展现状与趋势

大数据指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息[1]。在总数据量相同的情况下, 大数据与个别分析独立的小型数据库相比, 可以将各个小型数据库的数据资源合并后进行分析, 从而得出许多额外的信息和数据关系, 继而用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等;这样的用途正是大型数据集盛行的原因[2]。大数据包括两个要素:多个独立数据库的巨型集合与对其进行数据处理应用的计算模型。

大数据时代的产生源于人类对数据信息的采集与储存技术的飞跃发展。数据库类型与数据总量增长的原因之一是数据信息持续从各种来源被广泛收集, 这些来源包括搭载传感设备的移动设备、高空传感科技 (遥感) 、软件记录、相机、麦克风、无线射频辨识和无线传感网络。自1980年代起, 现代科技可存储数据的容量每40个月即增加一倍;截至2013年, 互联网每年的信息流量将会达到667艾字节 (2012年, 在现有技术手段下和合理的时间内进行计算分析的数据集大小单位为艾字节, 简称EB, 1EB等于1, 000, 000TB) 。实际上在许多研究领域, 常常因为数据集过度庞大, 在分析处理过程中显得异常艰难;这样的限制与阻碍不止在研究领域, 也对网络搜索、金融与经济信息学方面造成巨大影响。与一个世纪以前相比较, 人类烦恼的并不是数据信息不足, 而是数据信息过于庞大已经超出了人力甚至一般组织分析处理数据的能力。

大数据的数据库集合几乎无法使用大多数的数据库管理系统处理, 传统的数据库存储技术受到挑战, 同时大数据在数据分析和处理过程中涉及多个独立数据库间数据的共同应用与计算, 原数据库的应用率上升, 同时这种牵涉甚广的巨型计算对数据库内信息的实效性, 真实性, 权威性都提出了较高的要求。比如说:在“赣文化全息动漫创作资源库构成”数据中所包含的数据量已经十分庞大, 但在大数据时代下, 本数据库的更新速度与更新量在理想状态中都将变得更快更多, 届时, 本数据库将不只是作为一个单一数据库存在, 它将与已存在的众多数据库以网络云计算为基础有机地结合在一起形成大数据库。这时, 面对海量的数据规模, 只有借用组织的力量才能处理数据库中的数据, 在经济、教育、社会等领域中发挥这些集成数据的真正价值。

2 大数据时代下数据库的发展趋势与影响

麦塔集团在2001年的一份研究报告中指出数据增长的挑战和机遇有三个方向:量 (数据大小) 、速 (数据输入输出的速度) 与多变 (多样性) , 合称“3V”。自这份报告出炉以来高德纳与现在大部份大数据产业中的公司, 都继续使用3V来描述大数据。高德纳于2012年修改了对大数据的定义:“大数据是大量、高速、及/或多变的信息资产, 它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。”

大数据是海量的异构数据, 独立的数据库之间甚至不存在直接联系, 必须借由计算模型对数据进行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大数据, 奥巴马更在同年投入2亿美金在大数据的开发中, 强调大数据会是之后的“未来石油”。数据库是大数据应用的基础, 是云计算实施的要素, 对比上文所述的现在数据库的特征, 我们可以发现:原有的数据库会无法满足大数据时代的计算要求, 数据库在大数据时代的数据信息变革中的发展必将产生新的趋势:

(1) 大数据时代下的数据库搭建要求更先进的技术支持与更开放的运算与存储技。在大数据时代下大数据由巨型数据库的集合组成, 这些数据库的集合大小常超出人类在可接受时间下的收集、应用、管理和处理能力。大数据的大小经常改变, 截至2012年, 单一数据库集合的大小从数兆字节 (TB) 至数十兆亿字节 (PB) 不等。过去数据库的存储以类似表格的方法分行列排列, 在管理数据、调用数据时遵循固定的请求格式, 这种方式在应对单一的主题数据库还能满足要求, 但无法处理本身由数据库集合而成的大数据所含数据量, 新型的数据库处理技术已经产生, 被称为非关系型数据库, 用以处理大数据中分别独立存在的数据库集合。新生的技术催生出更加开放的运算与存储技术, 云计算技术就是在大数据时代的背景下应运而生的, 云计算把数据库的数据保存在云中, 只要保持网络畅通, 便能进行数据库间大量的模型分析与计算。“赣文化全息动漫创作资源库构成”的数据库就是利用了最先进的存储技术:在储存方面以服务器为依托, 以各终端为数据导出口, 真正做到访客“随时、随地”对数据库的访问与查询;在展示方面, 也不仅仅是单纯的文字与数字堆砌, 而会因为各终端的不同, 数据所属文化元素的不同而进行不同形式的数据展示, 比如说在对傩舞文化的展示方面, 将会使用全息成像技术来立体地、动态地展示傩舞的运作, 服饰等方方面面的数据。

(2) 大数据时代下数据库的资料信息更新会更加迅速。大数据的作用主要是经由海量的模型计算预测关注对象的未来状况, 并对决策者进行直接指导。这样庞大的数据库的集合运算, 需要消费相当的资源与成本, 不仅计算结果一定要产生价值, 也对参与运算的所有数据都产生了相同的高标准要求, 否则的话单独数据库的错误资料将导致计算模型的结果无效。在此背景下, 数据库的更新、维护将更加频繁, 数据信息更新将更高效以应以大数据的计算需求, 以此带来的成本上升将直接淘汰无法维持运作的小型独立数据库。对大数据时代下的数据库来说, 无法融入大数据就会被淘汰, 数据库搭建完成才只是开始, 更新与维护更加重要。“赣文化全息动漫创作资源库构成”项目的数据库必将与这些小型独立数据库相区别开来, 更新与维护都将长期持续下去, 不断以一个全面的角度来描绘赣文化的全景。本库从纵向来看是中华文化数据库的有机组成部分;从横向来看存了赣文化地方优势文化资源的相关数据;从宏观来看, 数据库作为人类文明系统的组成要素, 是研究赣地区人类文明发展与延续的重要信息来源。

(3) 大数据时代下不同类型数据库下的存储资料之间的联系、交流、应用将更加频繁。在大数据时代, 数据库间的联系将会越来越紧密, 即使库之间不存在直接关系, 但在计算处理的过程中也会呈现其间接关联或联系二者的关键链, 这将会打破数据库间的独立性, 形成大数据时代下由数据库组成的数据池。数据库间的交流频繁, 还表现在数据库技术发展与数据计算分析方面。新的数据库技术中, 很多关键技术已经不由单个公司所独占, 而是源于数据公司或独立的程序开发者的共同开发与开源。对海量数据的整合与计算, 现在也是经过数据相关企业与组织的共同协作得以实施的, 这是因为以单个的企业或组织的能力已经无法处理数据库中的已有数据, 同时也无法负担对数据的分析与处理工作, 在大数据时代, 数据库与数据计算的交流全作都将更加开放与频繁。

这为“赣文化全息动漫创作资源库构成”数据库的未来发展与利用指明了方向。以大数据时代的环境与技术为依托, 本库将成为数据库中的组成元素之一, 参与到各种大数据分析当中。即使说进行分析的个人或组织在调动数据的过程中访问本库数据是一个不自觉的状态, 只要进行分析的设备终端获得了本库的访问许可, 网络的数据关联与云计算储存可以在访客未访问上一级目录的情况下自动调动有关数据与资料, 大大提高数据的利用效率。另外在大数据时代的数据分析和处理过程中, 本库数据所能发挥的价值都将大大超出数据库搭建者的预料之中, 将有无限可能。

3 结语

篇4:大数据发展现状与趋势

关键词:RS技术 城乡规划管理 应用 发展趋势

中图分类号:TU981文献标识码:A文章编号:1674-098X(2014)10(b)-0037-02

20世纪60年代以来,RS技术是在空间科学、现代物理学(包括激光技术、微波技术、全息技术、光学、红外技术和雷达技术等)、数学方法、地球科学理论、电子计算机技术的基础上构建起来的一门综合性科学和先进实用的探测技术。

目前大数据已日益从各个领域进入我们的生活。在城市建设领域,随着新型城镇化的发展,带来了城市精神文明和物质繁荣的同时,也带来了原有生存环境的改变并产生了诸多生态问题:人口激增、绿地减少、耕地占用和环境污染等,城市已成为生态问题和社会矛盾日益突出的区域。城乡规划工作是指导城市发展和开展城市建设的“排头兵”和基础,而各类城市信息是城乡规划工作的基础,包括城市资源、人力资源、城市环境、物流运输等。随着城市的快速发展,空间结构的复杂化以及信息的多元化,传统获取信息的手段已很难适应城乡规划设计及城乡规划管理的需要,解决此问题的核心便是发展高精度RS技术。

1 RS技术在城乡规划用地调查中的应用

城市基础信息数据由各类专用地理信息数据、数字地图、数字专题图和数字景观模型组成。大数据时代的城市建设发展需要大量的数字基础信息数据,数字化城市进程的推进需要RS技术提供不同种类和比例尺的影像图或专题图以适应不同使用者的需求。目前随着信息化技术和图像处理技术的发展,RS技术逐渐活跃在城乡规划编制和管理工作中,其实时、高效和全面的特点推动着城乡规划信息化的不断发展。

随着城市景观模型和城市数字高程模型技术的不断完善,人们可以更具体、直观和真实地了解城市的发展状况。此外,运用城市数字摄影测量技术制作的城市景观数字模型能够在计算机的辅助下多视角的再现城市场景,从而促进城乡规划决策的科学性。以上信息化成果的实现都离不开RS技术的支撑。

2 RS技术在城乡规划空间布局信息分析中的应用

伴随着中国经济的持续发展,城市建设与人口规模不断膨胀、生态环境日益下滑、交通拥堵日益严重等问题都对城市持续发展造成了严重的威胁。因此,对城市建设状况进行动态监测是发现和解决上述城市问题的一个必要途径。

城乡规划的核心因素和城市发展的载体就是城市的土地资源。城市土地利用状况以及土地使用性质是动态变化的,要随时拿捏其不同时期的特征。用RS技术作为信息来源是现代城市最普遍的途径,利用GIS技术的强大图形操作功能和海量存储数据,实现了集成化的城市土地管理,以实时方便地了解,城市土地权属界线和土地利用状况等数据信息,使城乡规划管理更具有透明性及科学性。可实现对土地资源利用的动态监测和实时调查,为城市规划用地现状调查,提供可靠而直观的基础数据 ,为加强城市的土地资源管理、优化政府部门的决策、辅助城市规划编制与管理提供有力支持。

3 RS技术在城乡规划环境监测分析中的应用

随着新型城镇化的快速发展、产业高度集中、世界城市人口膨胀和城市环境日益恶化,这已成为全球性的发展趋势。在发展中国家此趋势更加引人注目。因此,应用经济、有效的RS技术手段研究城市环境问题,正确评价城市环境质量,探讨改善城市环境质量的措施和途径具有十分重要的意义。

目前,RS技术正广泛应用于动态监测工业生产等引起的大气污染、土壤污染及水污染等问题。RS技术的监测速度快和范围广,且可多手段以及多波段连续监测其动态变化。因此,RS技术又是测量污染物分布与浓度,监测环境演变变化趋势的有效方法。

4 RS技术在城乡规划管理中的发展趋势

RS技术应用的广度和深度在近30多年得到持续的拓展。目前,RS技术正从单一数据资料分析向多元数据资料复合,从区域静态分析向过程动态监测,从表面性分析向内在定量化分析等方面的过渡。

4.1 遥感数据获取技术的发展

清晰的卫星遥感数据在城市中广泛应用归功于RS技术的提升和新型传感器研发水平的进步。传统的航空遥感数据将日益替代,因为随着GeoEye-1、QuickBird、IKONOS等商业卫星的运行,它们将成为城市遥感的主要数据源。商业卫星提供的清晰卫星数据在城乡规划编制与管理等方面发挥着重要的作用。此技术的优势在于无论你身在何处只要采用联机方式直接定购和接收产品,相关遥感数据信息可以在数小时内通过数字方式传输获取。

4.2 构建新型城市遥感信息模型

遥感信息模型是利用地理信息和遥感信息影像化方法建立起来的是一种注重影像理解和知识表达的集成可视化模型。城市遥感信息模型可以反演和计算城市环境参数是RS技术应用深入发展的核心。在过去一段时期尽管人们发展了各种遥感信息模型,但仍然无法满足当前城市建设发展应用的需要,遥感信息模型的不断创新,依然是RS技术研究的方向。

4.3 “3S”信息技术的集成应用

由地理信息系统(GIS,Geo-graphical Information System)、遥感(RS,Remote Sensing)和全球定位系统 (GPS,Global Positioning System)的“3S”空间信息集成技术系统将成为具备城市信息获取与实时处理的综合技术。其中,“3S”信息化技术中的三个不同技术在城市规划管理中扮演着不一样的角色,空间地理信息的采集问题主要由RS技术和GPS技术解决,地理空间的数字模型问题主要由 GIS技术现实。“3S”一体化集成将最终建成新型的城乡数据与信息获取系统并形成高效的信息处理分析流程,这将对RS技术在城市建设领域的应用与发展产生深远的影响。

4.4 全面推进“数字城市”的建设

城市现代化的重要标志和城市信息化的战略目标就是在大数据时代推进“数字城市”建设。“数字城市”的建设过程中RS技术扮演非常重要的角色,与城市发展需要的其他信息相比,通过RS技术获取的遥感信息有其应用优势和明显的特點。因此,RS技术在城市建设领域的应用将推动“数字城市”的建设,同时对于提高城市建设的综合效益和提升城市规划和管理决策水平将起到更大重要的作用。

5 结语

随着RS技术的逐步提升和遥感知识的广泛普及,遥感在城乡规划中的应用必将越来越深入。实践证明,RS技术可以直接为城乡规划与建设行政主管部门提供准确而可靠的有效图件和资料、同时结合城市规划数据信息成果资料和计算机技术,为建立城市地理信息系统乃至构建数字模拟城市奠定了基础。当然,RS技术也存在局限,它难以完全代替地面调查,同时也需要其他信息化技术的配合。对于RS技术的使用者来说,要根据具体的需求分析遥感应用的可行性,并选择合适的应用方案从而最大效益的发挥RS技术的作用。

参考文献

[1]陈述彭,谢传节.城市遥感与城市信息系统[J].测绘科学,2000(1):1-8.

[2]吴贤宇.试谈城市遥感[J].科技广场,2006(7):119-120.

[3]刘英,赵荣钦.遥感技术在中国城市环境监测中的应用研究进展[J].云南地理环境研究,2006(1):101-104,109.

[4]马明秀,全明宰.遥感技术及其应用研究[J].科技创新导报,2012(8):32.

篇5:大数据发展现状与趋势

近些年,随着互联网的迅速发展,大数据已经应用于各行各业中,由于云计算的出现又一次推动了大数据的发展,现如今,我国已经将大数据应用于交通行业,借助大数据使交通更加智能化,也有利于更好的管理交通秩序,实现高效运作。1.大数据的概述

随着社会的发展,产生了海量的信息,由此大数据一词走进了我们的生活,目前普遍对大数据的理解是4个V(海量Volume,多样Variety,价值Value,速度 Velocity):第一,数据体量巨大,从TB级别跃升到 PB级至EB级。第二,数据类型繁多,包括文字、视频、图片、地理位置信息、传感器数据等。第三,价值密度低,应用价值高,以视频为例,连续不间断监控过程中可能有用的数据仅仅有一两秒。第四,Velocity 处理速度快,1秒定律。2.大数据在交通行业现状

随着科技的发展,信息技术的更新,各种传感器、软件,应用而生,为数据的采集提供了可靠的物理保障,使得交通行业积累了大量的数据信息,大型存储设备的出现也为海量数据存储提供了可能,云计算的出现使数据的计算更加高效,交通行业的数据特征基本符合大数据4V特点。2.1信息采集

目前,我国交通行业信息采集主要是通过人工与自动和半自动化设备记录。人工方面主要是人工填写的各种报表,由于人工在操作过程中有可能导致错,所以信息的可靠度不高,并且人工采集的信息量具有一定限制;自动与半自动设备方面信息的来源主要有基于互联网的公众出行服务数据,如大运输联网、网上售票、城市公交刷卡、公众在线交通路线查询、网购物流数据、银行数据、生活消费数据等;基于行业运营企业生产监管数据,如货运源头称重数据,货运、危险品运输电子运单数据,客运进出站报班及例检数据,营运车辆维修检测数据,邮政包裹数据等;基于物联网、车联网的终端设备传感器采集数据,包括车辆相关动态数据:GPS位置信息、车辆能耗、车辆技术状况信息,路网监控信息:卡口视频监测、基于传感器的路况监测、路上动态称重设备、桥梁监测GPS等。2.2数据挖掘分析

大数据目前在挖掘分析方面应用到的技术有数据库技术,也就是利用数据库管理系统对数据进行查找,搜索;SQL ON Hadoop技术是直接建立在Hadoop上的SQL查询,这种技术能将信息管理能有结构化数据延伸到非结构化的数据;传统数据仓库与联机分析处理技术,数据仓库是将不同数据源的数据进行ETL处理,形成统一的数据仓库,并基于数据仓库进行查询,联机分析处理等。也可以应用一些计算工具或第三方平台对数据进行分析,汇总,形成有用的数据,来为决策提供数据支持。

2.3大数据在交通行业的应用

针对公共服务方面,如武汉元光科技有限公司开发的一款公交车实时定位软件《车来了》,通过《车来了》这款手机软件能够实时查询公交信息,车来了不仅能提供公交车的到站距离、预计到站时间,还能显示整条公交线路的通行状况,让用户不再盲目等待,有效缓解用户候车的不安全感;Lathia N 等通过统计地铁系统中流动性的刷卡数据来判断地铁里面人群在不同站点的通行时间,从而指导乘客选择出行时间、购票方式,最小化乘客的花在公共交通上的时间和精力;Ceapa I 等根据出行数据估计了单个地铁站里面的拥挤状况,从而优化乘客的出行。对于智慧出行方面,如实时交通数据采集商 INRIX-Traffic可以通过实时获取用户的出行数据,然后进行数据分析,最后给用户提供最佳线路,能够让用户躲避拥堵;,Yuan J等设计的T— Drive系统利用出租车的GPS轨迹数据来分析交通流量,并且为驾驶者设计最快行驶路线。关于货运交通,学术界也利用物联网大数据对货物运输进行实时监控、路线优化。例如,高连周基于物联网采集到的运输车辆的数据,提出了一种远程智能监控系统,实时控制危险物品和车辆;陈丰照基于物联网实现快速采集数据、实时传输并运用改进的 Dijkstra算法对配送路线进行优化。

虽然大数据在交通行业已有所应用,但是这只是大数据的冰山一角,有更多的应用方面有待我们去挖掘与开发,在大数据这个领域我们只是前行者,我们要认识到这点,然后脚踏实地的去探索大数据的奥秘。3.大数据在交通行业存在的问题 3.1数据信息分散化

在我国,由于政府管理体制为“条块结合”,也就是区域化比较严重,大量的数据主要存储在基层,各级政府部门对数据不能及时共享。由于我国管理制度主要是中央统一领导,区域有一定的自治权,各省都在大力的发展自己的经济,组建自己的交通信息网络,导致各个地区交通信息不能共享。信息化建设方面,有国家专项支持,一般由交通管理部门规划发展交通发展方向和项目,地方单位申请项目并承建,然后按着上级单位的要求进行交通信息化的建设,但是在不同的地区由于经济发展的不均衡和在信息化道路交通方面发展没有创新,导致资金不能更有效的利用,同时,一些欠发达的地区,由于资金的限制和创新思维的缺乏,在交通发展方面不能与地方特色很好的结合,只是一味的按照上级规划路线发展,导致信息化建设项目同质化严重,阻碍了当地信息化建设的发展。在信息采集方面,由于各地方规定不同,导致信息采集的标准不一,造成信息分析加深难度。3.2信息存储困难和成本提高

在信息技术快速发展的今天,虽然大数据已经渗透各行各业,我们用大数据也做了不少的事,但是随着信息技术的不断发展,信息的数量不断的增多,就会需要硬件设施不断更新,数据存储技术也在不断发展,从业人员就要不断地学习新的技能,对于交通管理部门就要投入大量的资金和技术来维持现有设备的更新与维护。地方政府交通管理部门,对于自建的信息中心维护难度也越来越难,投入会越来越多,就会感觉入不敷出,不愿有更多的投入,导致现有的信息资源浪费。4.大数据在交通行业的未来发展趋势 4.1商业化模式 4.1.1服务精准化

大数据在商业领域的应用已经有所体现,如武汉元光科技有限公司开发的一款公交车实时定位软件《车来了》,通过车来了这款手机软件能够实时查询公交信息,车来了不仅能提供公交车的到站距离、预计到站时间,还能显示整条公交线路的通行状况,让用户不再盲目等待,有效缓解用户候车的不安全感。尽管大数据在交通行业已有所应用,但是,目前大数据在交通行业的应用只是处于低层次的应用,我认为以后大数据在交通行业的应用更能体现在精准服务方面。什么是精准服务?,精准服务就是运用大数据能够为每一个人的出行提供精准服务,可以精准到你去哪里,几点几分能到哪里,运用什么交通工具更适合你的出行等等一系列的精准服务模式。如何做到精准服务?对于精准服务,可以通过对人们出行的数据进行记录,然后对记录的大数据进行精确的分析,利用现有的资源和技术,以及后期有可能出现的新的技术进行合理的应用,分析出大数据中能够为交通出行提供决策的信息,然后其他方面的情况进行对比,结合各方面的资源,最终推算出有利于个体出行的计划。

大数据在交通行业精准服务在未来的发展,将会给服务提供者,带来无限的商机,就如,服务商可以根据大数据分析结果,然后根据特定的消费者的出行计划,然后在消费者可以出现的地方投掷面对个体消费者的广告,还可以通过数据分析,得出消费着的消费习惯为消费者选择喜欢的交通工具,还可以根据消费者到达什么目的地,然后根据大数据分析,对消费者接下来要做的事情提供参考方案。4.1.2个性化出行

个性化,顾名思义,就是非一般大众化的东西。在大众化的基础上增加独特、另类、拥有自己特质的需要,独具一格,别开生面的一种说法。打造一种与众不同的效果。而对于个性化出行,可以利用大数据,对出行者日常的出行习惯,购物习惯,生活习惯等一系列要素进行分析。如可以利用大数据分析出行者在什么心情下愿意乘坐什么类型的车,针对这种情况可以为出行者提供特制的服务,还可以根据出行者的人物个性,身体状况,所处的环境进行数据分析,然后为出行者提供独特的出行方式以及出行工具。所以随着科学技术的发展,人们生活中的行为习惯,性格特征等数据都有可能被记录下来,然后利用这些数据进行精确的分析,然后为出行者提供具有与众不同的出行方式及其生活体验。在现在快速的生活方式中如果能有特制的服务方式,不仅能够为出行者提供了不同的出行体验换可以降低出行成本以及在出行时间上得到高效的利用。4.2非商业化模式

4.2.1形成高效统一的管理系统

大数据最终的目的是使使用者能够根据大数据实现高效的决策。对于交通而言,交通具有很强的流动性,由于参与要素的不同,会将信息分散在很多地方,存储在不同的行政单位,例如存储在交通局中的,存储在公安局中,还有各种航运公司等这些信息之间的共享性不是很高,大数据有助于在各级行政单位将会把信息共享,信息统一性,实现高效的管理,而将地理区域和行业区域化分成不同的块,这种划分将会有利于,地区和行业的发展,可以利用大数据进行有效的决策。这样一种系统将会有很多优点,比如提高信息的集成率,还可以提供多样化信息,在面对道路交通中拥堵问题可以其前进行分析,然后将分析结果发送给司机,让司机选择最短并有利于自己的通行方案,这样就能够缓解交通拥堵问题,换可以改善交通质量,让出行者切身体会到公共交通的便捷性,也能提高公共交通的服务体验,让出行者有种享受的感觉。4.2.2促进全面的交通智能化改革

大数据的特点主要有4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大量性足可以体现出需要获取海量的数据,目前获取数据的通道有城市交通卡、网上购票、货运公司、淘宝购物数据、银行数据、医疗消费数据等,而在交通行业中大数据的获取主要是城市交通卡、网上售票、购物物流、货运公司记录、出租车记录、道路监管网、道路收费信息等通过这些方面获取的信息可以说还不够全面,有一定的制约性,因为目前在技术方面还具有很大的不成熟性,硬件方面也不能支持整个系统,所以这就需要物联网技术通过各种传感设备及系统在这一方面进行布局,建设公路,航空,市场等基础设施,借助这些手段与方法可以在交通行业实现全面交通智能化,为数据的采集提供更多方式,也能够利用这种变革可以使数据具有多样性,经过分析数据,为决策者提供决策依据,也有利于交通智能化与大数据互相促进,实现有利的结合。最终会使交通智能化。4.2.3提供交通安全性预测

中国每一分钟就有一人因车祸伤残,每五分钟有一人因车祸死亡,每天平均死亡288人,每年平均死亡105120人,汽车数量占世界1.9%,车祸死亡人数占世界15%,且每年增加4.5%,所以针对交通安全严峻形势,要完成全年事故起数、死亡人数、万车死亡率三下降和特大交通事故起数同比减少的工作目标,全国公安机关交通管理部门将继续深入贯彻4·17会议精神,深化“五整顿”“三加强”工作措施,全面推进“平安畅通县区”活动,继续开展专项整治。对于交通安全国家投入了大量的人力物力,但是效果甚微,不过随着大数据的发展,交通管理部门可以根据交通大数据进行分析,在容易出现交通的路段安装相应设施,做到提前预防,也可以通过对道路运行车辆进行实时数据分析,进行相应的安全指数提醒,和相应的措施阻止交通安全隐患的发生,及时帮助司机排除隐患,构建安全体系。大数据的发现和相应技术的出现,可以说是一种福音,要借助大数据的优点,利用好大数据为交通安全提供一种参考,让大数据发挥相应的作用,而大数据的实时性和可预测性保证了交通系统对事故的主动预警,以便提前预测事故发生的可能性或在事故时及时采取应急处理措施,利用大数据技术不仅提高交通运输安全,改善人们出行体验满意度,同时也可以帮助物流配送过程提高稳定性与安全性,这将是未来发展的一个趋势。5.结语

大数据的出现,可以对我们的生活产生深远的影响,但是这种影响将是有利于我们的,在交通行业中,已经产生了大量的数据,虽然现在有些企业已经利用这些数据,也将这些数据应用到我们的生活中,但是这只是对大数据微不足道的应用,而大数据里面存在的信息与价值将成为交通行业管理者和研究者的关注点,大数据时代的到来将带来破解难题的重大机遇,大数据必将在今后会对交通产生巨大的改革。伴随着大数据在交通行业的应用,将会在交通信息统一管理,共享,交通智能化改革,交通安全方面成为未来发展的趋势。

(作者:马有贵)

参考文献

[1] 王雅琼,杨云鹏,樊重俊.智慧交通中的大数据应用研究[J].物流技术,2015,37:1-2 [2]Ceapa I,Cepra C S L.Avoiding the Crowds:Understanding Tube Station Congestion Patterns from Trip Data[c].UrbComp,Beijing,2012.

[3]Yuan J,Zheng Y,Zhang C,et a1.T—Drive:Drying Directions Based on Taxi Trajectories[c].SIGSPATIAI,GIS,San Jose,2010.

[4]高连周.基于物联网技术的道路危险货物运输智能监控系统的研究[J].物流工程与管理,2013,03:80—82+68.

篇6:大数据发展现状与趋势

2014-12-01 中国氯碱网

大数据是当下高温热词,它凭借规模超乎想象的海量资讯数据,通过收集、分析、存储的一些新方法,正深刻地改变着人们生产生活的方方面面。大数据在石油化工领域会有哪些应用?对生产、经营会有何促进或者改变?为此,记者进行了深入调查。

大数据分析是行业趋势其实,大数据离我们并不遥远。2013年诺贝尔化学奖得主就是将看似不相干的大数据信息化处理方法比较完美地运用于化学研究之中,从而摘取了化学科学研究的王冠。其开发的多尺度复杂化学系统模型,翻开了化学史的“新篇章”,让传统的化学实验走上了信息化的快车道。如今,反映真实情况的计算机模型已经成为现在化学界大多数新进展的关键,通过模拟,化学家能更快获得比传统实验更精准的预测结果。

大数据具有体量大、种类多、价值密度低、速度快等一系列特点。其数据体量巨大,从TB级别,跃升到PB级别;数据类型繁多,如视频、图片、地理位置信息等,多类型的数据对数据的处理能力提出了更高的要求;价值密度低,以视频为例,连续不间断监控过程中,可能有用的数据仅仅只有一两秒;处理速度快,时效性要求高,这也是大数据区分于传统数据最显著的特征。事实上石油化工企业对数据早已应用多年,比如对生产运行指标,销售产品的品种,以图表的形式,由点到线,由线至面,分析、研判,为企业决策做参考,只不过应用的数据没有积累、挖掘到一定的量级,因此大数据很难用现有的数据库管理工具或传统的数据处理应用来处理。北京北大方正电子有限公司大数据业务部总经理于林认为,石油石化行业具有数据量大、类型多样、存储格式复杂及数据分散等特点,尽管大数据在石油石化行业的应用前景非常广泛,但应用程度并不高。面对节能的挑战、新能源的发展、两化融合等多项问题,必须通过大数据的创新与应用,帮助石油化工行业应对挑战,通过语义分析技术和元搜索引擎,完成相关信息采集,并对数据进行存储、检索和智能分析,从数据深度关联、可视化查询、数据报告等多个方向,为石油石化企业实现企业决策、生产管理的智能化提供数据支持。

例如英国石油公司在某采油厂安装无线感应器,通过全网式的数据采集,发现有些种类的原油比其他种类更有腐蚀性,这个发现可以在设备和管线的使用上加强防范,使生产更安全。虽然只是一个局部的应用案例,但是已经能够说明大数据分析的应用对石油化工行业有着重要的作用和意义。

上一篇:500字童年趣事作文:捅马蜂窝下一篇:英文名字的起源