载入中…
公告栏:
当前位置: 中国商业智能网 >> 资讯 >> BI资讯 >> 文章正文
Hadoop能终结数据仓库吗?
作者:中国商业智能网    来源:本站原创    点击数:    时间:2014-2-26
【摘要】Hadoop生态系统在过去三年里激增,因为主要IT供应商们宣布一种对Hadoop的连接器, Hadoop之上的一种增强或他们自己的“企业级”的Hadoop分布。鉴于Hadoop的采用呈这样一种指数级增长及其生态系统正在深度和广度上扩大, 人们很自然要问Hadoop的提升是否会导致传统的数据仓库解决方案的消亡。 对这个问题的另一种提法是在一个更大的背景下看它: 大数据在多大程度上改变了传统数据分析的景观呢?

Hadoop生态系统在过去三年里激增,因为主要IT供应商们宣布一种对Hadoop的连接器, Hadoop之上的一种增强或他们自己的“企业级”的Hadoop分布。鉴于Hadoop的采用呈这样一种指数级增长及其生态系统正在深度和广度上扩大, 人们很自然要问Hadoop的提升是否会导致传统的数据仓库解决方案的消亡。

对这个问题的另一种提法是在一个更大的背景下看它: 大数据在多大程度上改变了传统数据分析的景观呢?

数据仓库是一组技术和软件,它能从运营系统中收集数据,将数据整合协调到一个集中的数据库, 然后进行分析, 可视化并在仪表盘上跟踪关键性能指标。

数据仓库和Hadoop的一个关键区别是数据仓库通常是在一个作为中央存储的关系数据库中执行。相比之下, Hadoop和Hadoop文件系统则跨越多个机器并处理大量的数据, 超过任何一个单独机器的能力。

此外, Hadoop生态系统包括一个数据仓库层/服务建立在Hadoop的核心之上。Hadoop之上的这些服务包括SQL(Presto), 类似SQL的(Hive) 和NoSQL(Hbase)类型的数据存储。相比之下, 在过去的十年里, 大型数据仓库转向使用自定义多处理器设备扩展到像Netezza (被IBM收购) 和Teradata的数据量。不幸的是, 那些设备对大多数小到中型企业非常昂贵。

这样的背景下,很自然的要问: Hadoop会终结数据仓库吗?

要回答这个问题,重要的是要把数据仓库的技术从安装中分离出来。Hadoop和NoSQL数据库的出现将挑战数据仓库设备和“传统”数据仓库实施单一数据库的维度。

可以在像Cloudera这样的Hadoop供应商中找到这样的证把,它将平台作为成一种“企业数据中心”计费,从本质上包括了传统数据管理解决方案的需要。类似的情绪在ReadWrite.com上最近发表的一篇文章中有所表达,它的题目是“为什么专有的大数据技术没有希望战胜Hadoop。”同样,最近《华尔街日报》的一篇文章描述了Hadoop是如何挑战Oracle 和 Teradata的。

而Hadoop或NoSQL系统仍在不断发展。许多大数据环境选择跨越NoSQL, SQL甚至NewSQL数据存储的混合方法。此外, 对MapReduce并行处理引擎的改变和潜在提高在像Apache火花项目中出现。因此, 尽管这个故事还远远没有结束, 可以肯定地说, 传统的单一服务器的关系数据库或数据库设备不会是大数据或数据仓库的未来。

另一方面, 数据仓库的技术包括提取转换与加载(ETL)、维度建模和商业智能将适应新的Hadoop / NoSQL环境。此外, 这些技术也将改变以支持更多的混合环境。关键原则似乎是并不是所有的数据都是平等的, 所以IT管理者应该选择最适合数据使用的存储和访问机制。混合环境中可能包括键值存储、关系数据库、图形存储,文件存储,柱状存储,XML数据库、元数据目录及其他。

正如你所看到的,这并不是一个简单的问题, 因此不要用简单的答案回答它。然而, 一般来说, 尽管大数据将改变数据仓库未来五年里的实施, 数据仓库的概念和实践不会过时。

这对于政府对数据仓库的巨额投资意味着什么呢?

首先, 当现有数据仓库的能力达不到时, 数据仓库将迁移到一个基于Hadoop, 多机器或云解决方案中。第二, 不再是用以一盖全的方法, 企业将会考虑用混合存储的方法调整自己的大数据量。

责任编辑:朱莉   
 
  • 上一篇文章:

  • 下一篇文章:
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
    ChinaBI版权、投稿与免责申明:
    1)凡本网署名文字、图片和音视频稿件,版权均属中国商业智能网所有。任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载使用时必须注明稿件来源:中国商业智能网,违者本网将依法追究责任。
    2)本网注明“本站来源处不写本站原创”的文章均为转载稿,本网转载出于传递更多信息之目的。如本网转载稿涉及版权等问题,请作者速来电或来函与本网联系。
      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
    最新热点
    娱乐资讯
    最新推荐
    网站合作、内容监督、商务咨询、投诉建议 电话:0512-62861389  邮箱:chianbi@126.com
    Copyright 2004-2014 中国商业智能网版权所有   |    苏 ICP 备 13004727 号