智力大挑战

智力大挑战（精选四篇）

智力大挑战 篇1

关键词：大数据,分布式,MapReduce,安全隐私

数据从一开始就是信息时代的象征, 但在过去几年, 信息量呈现爆炸式增长。在美国17个经济部门中的15个部门, 员工超过1, 000人的企业存储了平均235太字节的数据, 超出了美国国会图书馆的藏书。2011年Internet World统计互联网用户近20亿, 社交网站Facebook活跃用户已突破8亿。沃尔玛每小时处理100万件交易, 大约有2.5PB的数据存入数据库, 这个数据量是美国国会图书馆的167倍。

根据IDC的研究结果, 2011年创造的信息数量达到1800EB, 每年产生的数字信息量还在以60%的速度高速增长, 到2020年, 全球每年产生的数字信息将达到35ZB。

海量数据到大数据的发展过程是一个从量变到质变的过程。数据发展已有多年, 每年都以翻倍的速度在增长。过去增长以往的技术能够对它比较好的管理, 但一旦到达一个临界点以后就产生了一个质变, 过去的技术已经符合不了当前的发展趋势, 需要新的技术来满足新的数量级的需求。于是大数据的概念应运而生。

2012年3月29日美国总统办事机构 (EOP) 公布了《大数据的研究和发展计划》, 强调了联邦政府五大部门在大数据研发上的投资承诺, 初始启动经费2亿美元, 描述了联邦政府十二个关键部门开展大数据研发应用的行动计划, 展示了大数据研发应用将从以往的商业行为上升到美国国家战略部署的总体蓝图, 其重要性堪比当年的“信息高速公路计划”, 这标志着大数据已经上升到国家战略层面。

1 什么是大数据

总的来说, 大数据是一个体量特别大, 数据类别特别大的数据集, 并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。

大数据的特点有四个层面:第一, 数据体量巨大。从TB级别, 跃升到PB级别。第二, 数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三, 价值密度低。以视频为例, 连续不间断监控过程中, 可能有用的数据仅仅有一两秒。第四, 处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”———Volume, Variety, Value, Velocity。

2 大数据的挑战

2.1 大数据的存储

大数据通常可达到PB级的数据规模, 因此, 海量数据存储系统也一定要有相应等级的扩展能力。与此同时, 存储系统的扩展一定要简便, 可以通过增加模块或磁盘柜来增加容量, 甚至不需要停机。

当前互联网中的数据向着异质异构、无结构趋势发展, 图像、视频、音频、文本等异构数据每天都在以惊人的速度增长。不断膨胀的信息数据使系统资源消耗量日益增大, 运行效率显著降低。海量异构数据资源规模巨大, 新数据类型不断涌现, 用户需求呈现出多样性。

目前海量异构数据一般采用分布式存储技术。目前的存储架构仍不能解决数据的爆炸性增长带来的存储问题, 静态的存储方案满足不了数据的动态演化所带来的挑战。因而在海量分布式存储和查询方面仍然需要进一步研究。

2.2 大数据的处理技术

由于海量数据的数据量和分布性的特点, 使得传统的数据管理技术不适合处理海量数据。

海量数据对分布式并行处理技术提出了新的挑战, 开始出现以M ap Reduce为代表的一系列研究工作。M ap Reduce是2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的模型。

M ap Reduce作为典型的离线计算框架, 无法满足许多在线实时计算需求。目前在线计算主要基于两种模式研究大数据处理问题:一种基于关系型数据库, 研究提高其扩展性, 增加查询通量来满足大规模数据处理需求;另一种基于新兴的No SQL数据库, 通过提高其查询能力丰富查询功能来满足有大数据处理需求的应用。

2.3 大数据的安全

数据安全是互联网中大数据管理的重要组成部分。然而随着互联网规模不断扩大, 数据和应用呈现出指数级增长趋势, 给动态数据安全监控和隐私保护带来了极大的挑战。

大数据分析往往需要多类数据相互参考, 而在过去并不会有这种数据混合访问的情况, 因此大数据应用也催生出一些新的、需要考虑的安全性问题。

云安全联盟 (CSA) 是科技公司和公共部门机构的联盟, 它已经成立了大数据工作组, 将会开展工作寻找针对数据中心安全和隐私问题的解决方案。

3 结语

大数据不仅仅是大的数据, 而是数据量 ( (Volume) 、数据种类多样 (Variety) 、要求实时性强 (Velocity) 、蕴藏的商业价值大 (Value) , 大数据将带来新的技术发展。大数据的急剧蔓延使得企业在存储架构方面逐渐面临着史无前例的考验, 它给IT企业带来了颠覆性的改革。大数据是未来技术发展打开的新大门, 是IT行业发展的必经之点, 在“数据科学”领域, 大数据管理及处理能力已经成为引领网络时代IT发展的核心。相信大数据管理和分析将成为与国计民生紧密相关的研究领域。

参考文献

[1]王珊等.架构大数据:挑战、现状与展望[J].计算机学报, 2011.

[2]马帅, 李建新, 胡春明.大数据科学与工程的挑战与思考.中国计算机学会通讯, 2011.

[3]Today'sChallenge in Government:What to do with Unstructured Informationand Why Doing Nothing Isn’t An Option, Noel Yuhanna, Principal Analyst, Forrester Research, Nov.2010.

[4]Floratou A, Patel JM, Shekita E J, Tata Sandeep.Column oriented storage tech-niquesfor MapReduce.PVLDB, 2011.

头脑奥林匹克,智力大挑战 篇2

张三与王五是一对数学迷，他们常常互相出题考对方。

一天，他们刚刚见面，师傅老李给他们出了这样一道题来考考他们俩： 请在空格内填入数字1和3、4、5、6、7、8、9，使它们与数字2形成一道开平方的数字等式。

有趣的是，他们每人各找出了一种不同的填法。

试试看，你能找出两种不同的填法吗?横行：

一、在世界范围内受到青少年甚至是成年人喜爱的玩具。以它命名的电影第三系列于2011年7月上映。

二、这是一个除恶惩奸而又搞笑的童话故事，故事里的角色全部是可爱的水果果冻，所有动画都以三维制作完成。

三、地下城与勇士(DNF)国服的一种宠物。

四、泛指所有大的，机动推进的船只。

五、被中国铁道部将所有引进国外技术、联合设计生产的CRH动车组车辆命名。

六、美利坚合众国。一个由五十个州和一个联邦直辖特区组成的宪政联邦共和制国家。

七、诗句。出自陈子昂《登幽州台歌》。

八、野原新之助，是日本动画片《蜡笔小新》中的人物。纵行：

1原指一种机械装置。现多指windows操作系统中改变游戏速度的程序。

2新文化运动的发起人和旗帜，五四运动的总司令，中国共产党的创始人及首任总书记，中共一大至五大期间党的最高领袖。

3词语。表顺接。

4非洲中西部国家。

5痛苦流涕。出自《前出师表》。

6网络游戏。出自金庸小说《倚天屠龙记》。

7古代兵器之一，属于“短兵”。

大数据:应用和挑战 篇3

关键词：大数据,应用,挑战

大数据能掀起这番轩然大波并引起业界和政府部门的高度关注并不是偶然。通讯与IT技术的良好发展使得三网融合的态势加剧, 数据呈现指数爆炸, 对数据合理而有效的组织、处理和运用技能越发显现出势不可挡的优势。

一、定义和特征

据说, Google每个月要处理900 亿次的web搜索, Twitter拥有超过1 亿的活跃用户, 平均每天产生2.5 亿条推文, Facebook每月活跃用户达8.45亿, 每日活跃用户达4.83 亿, 这些庞大的用户生产数据更是不容小觑。狭义上理解的大数据, 就是这些难以管理的数据的集合。

大数据的三个显著特征可以用4V来概括, 第一个是Volume, 即容量, 目前指的是几十TB到几十PB的数量级;第二个是Variety, 即多样性, 包括结构化和非结构化数据;第三个是Velocity, 即数据产生的频率高, 高速、实时;最后一个是Value, 即价值高。对这些数据进行有效的挖掘和利用, 可能会产生出巨大的价值。

而现如今我们口中的大数据, 通常指的是其广义上的定义, 是一个综合性的概念。它包括因具备了4V特征而难以进行管理的数据, 对这些数据进行存储、处理、分析的技术, 以及能够通过分析这些数据获得实用意义和观点的人才和组织。

二、大数据的应用

Amazon首创了“购买了此商品的顾客还购买了这些商品”的商品推荐系统, 这使得用户在购买商品后能得到相当有用的推荐信息, 推荐购买率很高, 给Amazon带来了相当可观的收益。

毫无疑问, 大数据的应用已经给个人和机构都带来了许多便利和机遇。

下面我将从四个点来浅析机构中大数据的应用模式。

1.O2O (线上线下合作)

大数据的冲击也让许多传统销售开始思考如何在电商发展如日中天的今天守住自己的一杯羹。

早前许多零售商通过人为统计和分析超市监控录像提供的数据, 分析顾客心理和行为以及导致结果来有效调整货品摆放位置和商品推荐等来提高营业额, 但这种方式也存在诸多弊端, 如数据需要人工处理、统计, 工作量非常巨大、信息的实时性也不能保证。

现实生活中, O2O显然更胜一筹。日本的麦当劳对每位顾客的购买记录进行详细的分析, 并根据其消费模式, 向顾客的手机上发送独一无二的优惠券, 这种独有的用户体验使顾客拿到优惠券后再次消费的概率大大提高。

从多样性的视点来说, 传统的出售、库存数据, 智能手机内置GPS所发生的方位信息, 网站的日志数据、通话记录、微博等交际媒体中的文本数据、乃至图像和视频, 现实生活中许多意想不到的数据都可成为数据挖掘的基准。

网络上的信息和真实世界的购买行为这两者之间有些千丝万缕的联系, 而协同过滤技术等的发展为线上到线下的合作提供了更好的技术支持。

2.从点分析到线分析

点分析即实际的交易数据分析, 线分析, 即交互数据分析。现在的电商开始更加注重对用户从访问一个网站一直到确认订单并购买商品的行为路线的分析, 通过分析用户访问该网站的路径、网站搜索记录、购买记录等行为数据, 对用户间爱好的相似度进行计算, 实现精确的推荐。

比如Amazon的推荐系统, 如果你想买《飘》, 在Am⁃azon的搜索框中键入“飘”并打开相应的购买链接的页面时, 它会提供给你“经常购买的商品”选项, 一个《飘》+《呼啸山庄》+《红与黑》的优惠套餐, 同时它还会给出一个“购买此商品的顾客也同时购买”的推荐选项, 包括《悲惨世界》等世界文学名著。大大节省时间和金钱的同时, Amazon也轻松提高了自己的营业额。

3.创新公司服务内容

大数据使得许多创新型公司形成发展。这些公司以数据分析为技术手段提供许多个性化的服务, 通过有创意、有态度的用户体验和简单贴心的界面赢来大批用户。

代表性的公司是Flight Caster。该公司于2009 年创立, 主要服务是在航空公司发出正式通知6小时前, 对航班晚点做出预报, 且准确率高达85%~90%。

计算机性价比的提高、硬盘价格的下降、大规模数据分布式处理技术Hadoop的诞生、云计算的普及使得大数据的存储、处理环境无需自行搭建, 这些有利条件使得一些小公司以大数据处理为赢利点成为可能。

4.跨平台合作

2013 年4 月29 日, 阿里巴巴投资新浪微博并占股18%。微博近几年沉淀下来的数据包含有无数有价值的信息, 有许多投资机构对新浪微博上做数据挖掘的团队进行投资, 而这些数据挖掘结果多是被用在了电商平台。

微博与阿里的合作形成了一个完整的营销闭环, 从用户在天猫开始关注某种商品, 到微博中相对应商品的推荐, 到形成链接回到天猫, 再到完成购买并适当在微博分享商品。新浪平台的开放性使得用户口碑得以在短时间内进行裂变式传播, 极易形成争抢轰动效应, 引起规模购买热潮。

在大数据的推动下, 许多支付服务商开始向数据聚合商演变。2011 年6 月, KDDI和乐天发表了在电子货币方面的服务合作计划, KDDI的费用支付系统“au轻松支付”可以轻松完成乐天的电子货币Edy的充值及其与au的通信费用合并。同时, 这些电子货币也可以实现对乐天市场商品的线下购买, 推进了支付平台之间的相互运用。

值得注意的是, 从超市到服装店、加油站, 只要是可以使用信用卡的地方, 无论在世界任何一家商店中的购买记录, 都可以一手掌握。

三、大数据的未来和挑战

机构的变革体现在用户服务和用户体验的日臻完美。对个人用户而言, 通过在线网站的大数据应用, 能够猜测机票价格走势, 完成经济实惠的旅行和出差;也能在亚马逊、当当等平台购物时, 享受更精确的图书推荐, 发现更合你口味的好书。Google曾成功猜测出禽流感在美国的趋势和程度, 由此遏制了疾病的大规模肆虐。大数据对我国的城市规划, 如交通、教育、住房等诸多难以解决的问题起到非常重要的作用。

在大数据的未来一片光明之际我们也要看到, 它也面临着种种挑战。在中国软件开发者大会上, 腾讯首席科学家孙国政表示, “现在我们面临的挑战一方面是大数据的存储处理, 最重要的是大数据如何为用户、为广大网民服务的问题。”首先, 非结构化数据对大数据存储提出了新要求, No SQL虽具备可用性和可扩展性等优点, 但因其毕竟使用的是新代码, 所以存在各种漏洞, 并且该软件还存在许多安全问题。其次, 由于硬件的发展远远跟不上信息爆炸的速度, 如何将人、产品、信息三者相结合, 达到产品或服务最优是大数据商业模式拓展的挑战之一, 怎么才能有效节省开销是值得我们深思的问题;第三, 掌握第一手数据也是关键;最后, 大数据还面临数据冗杂, 噪音太多的挑战。刷屏、水军、广告等使数据的价值大大降低。

另一方面, Gartner曾说:“大数据安全是一场必要的斗争。”技术的发展同时也增加了安全风险。从这一点上说, 不可否认由于存储等问题, 大数据本身是存在漏洞的, 而另一点, 攻击的技术也会提高。有趣的是, 网络攻击的痕迹也是大数据里的一员, 只要在存储、应用、管理大数据时注意并层层把关, 网络攻击也会被有针对性的避免。

参考文献

[1]王珊, 王会举, 覃雄派等.架构大数据:挑战、现状与展望[J].计算机学报, 2011, 34 (10) :1741-1752

[2]袁婕.大数据时代的商机[J].2012, 10

[3]孟小峰, 慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展, 2013, 50 (01) :146-169

[4]城田真琴.大数据的冲击[M], 人民邮电出版社, 2013

[5]肖新斌, 史召臣.云计算引发的安全风险[J].信息安全与技术, 2011, (06) :13-14

智力大转盘 篇4

2. Who is always wearing a black coat?

3. There is a word of eight letters. If you take away five letters, only one is left. What’s the word?

4. How can 11 and 2 make 1?

5. What is always going but never gets any-where?

6. If you are 12 years old and your sister is 4 years old, in how many years will your age be twice(两倍) hers?

7. Jim’s father has three sons. Each son has a sister. How many children does Jim’s father have at least(至少)?

8. Two Japanese are standing on the hill. One is the father of the other’s son. What relation(关系) are the two Japanese?

9. Inside(在……里面) a box there are six small boxes, and inside each small box there are six smaller(较小的) boxes. How many boxes are there altogether(总共)?

Key: 1. You’re his daughter.2. Mr Black.3. Everyone. 4. Eleven o’clock plus two o’clock is one o’clock. 5. A clock. 6. Four. 7. Four.8. Wife and husband.9. 43.