打印本文 打印本文  关闭窗口 关闭窗口  
Hadoop不会取代你的数据仓库
作者:商业智能网  文章来源:本站原创  点击数  更新时间:2015/1/26 22:25:36  文章录入:dhqdhq  责任编辑:dhqdhq

●Hadoop是补充而不是减除

根据Gartner的最新调查,认为Hadoop将取代现有的分析基础设施的高级信息主管的数量在过去的几年里大幅下降,现在只有3%。

这些高级信息主管是欺骗吗?不,数量继续下降的事实是一个好迹象,表明他们理解技术和其局限性。

注意这并不意味着企业没有看到Hadoop的价值,或不会大幅增加投资。恰恰相反。在本周的阿姆斯特丹的Hadoop峰会时,我听到从德国电信,Centrica,法国电力公司,汇丰银行和荷兰国际集团(ING)银行进行重大战略投资Hadoop作为核心数据对未来的框架。

和其他受访者一样,他们相信Hadoop最终加上的要高于减去的。例如,在他的演讲里,汇丰的安德森给了伟大的,具体的例子表示Hadoop的成本和灵活性优势。但他也包括了对使用Hadoop的健康警告。这些警告是有意义的:

现在还没有企业数据仓库和Hadoop的关系 —— 他们将会是互补的。这不是关于拆开,替换:我们不会摆脱关系数据库,而是用合适的工具做合适的工作。这将是由价格来推动的。

拉尔夫·金博,数据仓库先驱之一,在最近的一次CloudEra研讨会也有同样的反映。在一个为数据仓库设计专家的Hadoop演示,他积极推崇新的机会,但这就是他说的问答部分:

“这里有一个让我好笑的问题,但这是一个严肃的问题:‘这是否意味着关系数据库是终结了吗?’。我认为在一个意义上说,三或四年前,也许这是一个巨大的Hadoop和关系数据库之间的零和博弈。但现在这已消失。现在每个人都意识到,有一个使用关系数据库的巨大价值为他们的目标服务。不仅是事件处理,而且是非常集中的, 索引导向的针对不同数据的查询。它会以健康的方式一直继续,直到永远。因此,Hadoop将提供一个利用不同的数据,在不同的环境,作不同的分析。在两个方式将共存。他们会互相称呼。可能有些业务用户实际上并不是很确定他们用了那个系统。

●也要迎接Hadoop以外的技术变革

所以Hadoop不会”取代“企业数据仓库。但是不是企业数据仓库是用来管理旧的数据分析,而不是用于维护新分析应用?就像一个Hadoop峰会与会者所说的,企业数据仓库将成为“21世纪的大型机(”mainframe”)吗?

没有。忽视Hadoop的许多优点将是愚蠢的。但同样愚蠢的是忽视数据仓库里其他革命性技术突破空间。特别是,新的内存里处理的机会创造了一个全新的范畴,Gartner称之为“混合事件/分析平台”(HTAP):

“混合事件/分析处理将给予应用程序领导者通过更大的大局意识,提高业务敏捷性来创新。这将造成已有的架构,技术和内存计算技术技能引发的剧变”。

HTAP不仅加快现有应用程序和分析的一种方式。简单的架构 (数据只需存储一次),以及平台的灵活性意味着它,相比传统的基于磁盘的平台,有一个较低的总拥有成本。这意味着它也迅速成为新的业务应用程序的默认平台部署,和新的“实时”应用程序的核心。

但不是Hadoop要做这一切?

不。这是一个使人急躁地在Hadoop峰会上盛行的观点,但这个观点是一厢情愿的。是的,有项目让内存和酸合规(ACID)成为Hadoop框架的一部分。风暴(Storm)和水槽(Flume)意味着你可以开始使用Hadoop与流媒体数据。纱(Yarn)可能变成一个“通用应用程序通过Linux容器准备系统。

这是否意味着你将能够和Hadoop在未来做更多的工作吗?是的。它会更容易使应用程序吗?是的。四十年的业务流程和数据仓库技术和专业知识很快会被淘汰?不会!

一个小例子,从Hortonworks的创始人之一艾伦•盖茨,展现新的酸(ACID)特性在未来版本的蜂巢(Hive)时,回答一个是否这会有OLTP支持的问题:

“我们不是想做OLTP支持,因它不是蜂巢(Hive)的擅长,我们不认为有任何有意义。要做的话,会败的很残。”

还有其他项目为Hadoop添加事件,但与企业层次的集成需要支持像SQL的标准。并具有讽刺意味的是,要Hadoop支持22年旧的SQL-92也是一个巨大的挑战。Gartner分析师梅林Adrian在最近的一次会议上表示:“引人注目的是Hadoop处理SQL,只是你不能期望它能做好”。

●它是关于未来的应用程序

像Hadoop和内存处理这种新技术的真正的机会是产生新的,更加灵活的,分析为主的,可操作的应用程序。这需要的不仅仅是一个平台。企业想要有着最佳实践的业务应用程序,能够分析大数据并把它交付给一线的工作人员使用,通过云和移动设备。他们想要一个充满活力的生态系统能够帮助企业充分使用这些应用程序。

打印本文 打印本文  关闭窗口 关闭窗口