载入中…
公告栏:
当前位置: 中国商业智能网 >> CIO >> 数据仓库 >> 文章正文
企业需要应对大数据的挑战
作者:中国商业智能网    来源:本站原创    点击数:    时间:2011-11-10
【摘要】随着交易数据量每天高达数十亿,大数据已经成为业务上重要的关注。因此,大数据也是技术供应商的大业务。他们努力解决相关的需求、和数据剧增造成的成本和长期影响。围绕着大数据,一个全新的市场很快地建立,以处理诸如数据的获取、存储、搜索、共享、分析和可视化等的挑战。

麦肯锡全球研究院(McKinsey Global Institute)2011年5月的一份报告估计,两年前的2009年美国经济中,几乎每个行业里有超过1000名员工的每家公司数据存储至少平均在200TB,那已经是1999年沃尔玛的数据仓库的两倍规模。数据量从GB到TB是如此之快,而且他们只会继续增加。

如此大量的数据曾经大多是由于人为的互动:文本、在线零售采购、股票交易等等结果所产生。但是在新的数据时代,越来越多的数据是机器自动产生的。正是这些机器自动产生的数据,从呼叫细节记录(CDRs)和自动股票交易到智能电表传感器、监控设备、试验和测量装置,才有望成为未来大量的数据增长。

业务准备好管理大数据的管理和处理了吗,更不用说保持法规所要作的?

多大才算大?让我们来看看:1EB(exabyte)是1000PB字节,或1000000TB的数据。到目前为止,大多数企业数据的讨论在TB以内,但不会太长久。最近的一份来自思科的报告称全球移动数据的流量在2010年到2015年之间会增加26倍。仅移动数据量一项的预计就会在2015年每月超过6EB(exabyte)。到那时,查询将在PB规模,万亿的记录数据集上运行,需要更大的规模来处理机器产生的数据的新容量。

这意味着,三年内讨论将围绕着EB(exabytes)的数据进行 ― TB被PB所替代,然后再到EB(exabytes)字节只需短短的三年。Oracle把它们最新的数据仓库设备命名为Exadata是有理由的 !

世界上移动设备的激增,以及法规上对CDRs和无线接入协议(WAP)记录的存储和维护需要,把电信行业置于大数据潮流的风口浪尖上。

而当数据大量增加时,商业和法律条规加紧了对移动数据的保留。例如在美国,移动数据必须保存两年或三年,而在世界的其他地方,数据必须保留七年(中东),10年(印度)或更长时间(日本)。

但并不只有通信领域是这样的。大数据的保留和管理的要求在其它如公用事业的智能电表,和有网络日志的网络安全这样的领域涌现,它们都有一种共同的思路:在一种高度管制下的行业中由机器产生的大量的大数据。

刊登在2011年5月26日的《经济学家》杂志上的一篇题为“用大数据的建构”的文章说:
去年人们储存了足够的数据可来填充60000家国会图书馆。全世界有40亿手机用户(其中12%的人拥有智能手机)已经将他们自己变成了数据流。YouTube每分钟收到24小时的录像。制造商在他们的产品中嵌入3千万个传感器,在互联网这样的东西上将无声的金属片转换成数据生成的节点。智能手机的数量以每年20%的速度增长,而传感器数量的增长率为30%。

以如此庞大的量和速度进入了大数据时代已经成为IT与业务上的挑战。对于那些没有适当的策略和基础设施的企业,它可能是非常昂贵和危险的。

然而,大数据也是大机遇

不管是受法规还是竞争原因的驱动,大数据是大业务,这点可以从分析市场内的收购合并活动量就可以看出。EMC对Greenplum的收购,IBM对Netezza的收购,惠普对Vertica的收购。 虽然这些和其它解决方案,相对于传统的联机事务处理(OLTP),关系型数据库管理系统(RDBMS)和数据仓库系统,已成功为企业降低了复杂的深度分析的成本, 但他们对大量数据的长期保存成本上并不是最佳的。对不断增长的数据库的存储、硬件和管理成本的密切关注是一个非常现实的问题。

让我们检查一下保留大量的机器生成的数据的经济情况。硬件和软件投资的资本支出(CAPEX) 需要开始消化,而每个人最终也是最初关注的是数据查询。这个问题很大程度上已经被许多关系型数据库管理系统(RDBMS)和数据仓库解决方案和设备解决,它们通常以每TB的存储进行测量和定价。

但是持续经营性支出(OPEX)推动了整体成本以维持任何正在实施的系统。组成总资本支出(CAPEX)和持续经营性支出(OPEX)的维度方程包括,支持加载吞吐量和数据查询的服务器,必要的物理存储数据和存储种类。压缩、存储和检索如此大量数据的效率最后决定该方程 ― 从减少所需的空间,(人)的管理和技能,到所需硬件和存储的种类。

减少大数据的问题

以更全面的方式解决大数据问题的业务不仅是检验分析需求,还有整体数据的保留成本,这些成本可以TB(terabytes)来测量,但也可能是PB(petabytes),很快EB(exabytes)作为字节容量也会迅速增加。新的管理类型上的经济正在发生改变,而规定只会变得更严格。

所有的企业,特别是那些高度管制行业,需要为大数据做好准备,就像他们为主要的企业方案和改革IT项目上所作的准备一样:建立一种战略,实事求是的,做最坏的打算,引进专家,而且不要害怕有为长期的节约现在的支出。从长远来看,有合理的策略和适于大数据的基础设施会让最成功的企业更有优势。

责任编辑:朱莉   
 
  • 上一篇文章:

  • 下一篇文章:
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
    ChinaBI版权、投稿与免责申明:
    1)凡本网署名文字、图片和音视频稿件,版权均属中国商业智能网所有。任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载使用时必须注明稿件来源:中国商业智能网,违者本网将依法追究责任。
    2)本网注明“本站来源处不写本站原创”的文章均为转载稿,本网转载出于传递更多信息之目的。如本网转载稿涉及版权等问题,请作者速来电或来函与本网联系。
      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
    最新热点
    娱乐资讯
    最新推荐
    网站合作、内容监督、商务咨询、投诉建议 电话:0512-62861389  邮箱:chianbi@126.com
    Copyright 2004-2014 中国商业智能网版权所有   |    苏 ICP 备 13004727 号