蓝鸥旗下品牌: 鸥课学院
全国咨询电话:13152008057
上海
您的位置: 首页 > 最新资讯 > 蓝鸥培训浅谈大数据Hadoop过去、现在和未来的趋势

蓝鸥培训浅谈大数据Hadoop过去、现在和未来的趋势

2017-06-21 蓝鸥
1392人 浏览:

  Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构,而经过相当长时间的发展,Hadoop在功能上也越来越成熟。那么下面我们一起来看一下关于Hadoop的过去、现在和未来的趋势吧。

timg.jpg

  1、Hadoop是什么

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。另Hadoop作为处理海量数据最常用的方法,Hadoop的核心是Map和Reduce,也就是将一个庞大的任务进行分解,然后再将结果进行汇总。但经过10年发展,Hadoop的功能早已不是MapReduce这么简单。今天的Hadoop是分布式计算所涉及的计算、存储、文件系统、网络、安全、负载均衡、管理等一系列软件方法的合集。也正是由于其完整性和成熟度,今天的Hadoop虽然面临Spark等新兴技术的竞争,却仍是分布式计算领域不可或缺的基础和前提。

  2、Hadoop成功基础

  Hadoop无疑是Apache基金会中最引人注目和最庞大的顶级项目之一。由于Hadoop定义了分布式计算的方方面面,因此日常的代码提交量也非常巨大。而在海量的代码见决定Hadoop未来走向的则是一个接近百人的评审委员会。

  DougCutting表示:评审委员会的成员来自各个领域,他们有IT企业中的技术达人、有相关学科的大学教授、有应用专家、更有单纯的技术爱好者。而在这个庞大的评审委员会中,所有成员均拥有“一票否决权”。虽然委员们各自有不同的背景甚至公司利益,但在委员会中,所有人的投票都是相当慎重的。投票所考虑的核心因素只有一个,那就是Hadoop未来的发展。而任何否决票的出现也必须给出技术上的合理解释。

  可以说,Hadoop与Apache基金会的其他项目一样,由于有越来越多Cloudera这样的开源企业源源不断的将自己的创新和Debug回馈给整个社区以及优秀的委员会机制,Hadoop在今天仍保持着相当旺盛的生命力。

  总结Hadoop过去的成功无非两点:一是从技术上开创了分布式计算时代,二是Apache基金会和Hadoop项目开放、合作、共享的管理理念。

  3、Hadoop的未来是怎样的

  与商业领域一样,技术同样面临竞争。在很多人看来,Hadoop目前最大的竞争对手正是非常火爆的Spark。对此,DougCutting表示:Spark的确在MapReduce方面相比Hadoop拥有更大的性能优势。但Hadoop本身还包括分布式文件系统和任务调度、规划等众多功能;而这些则是Spark所没有的。作为开源技术,Hadoop和Spark都是模块化开发的。这也就意味着他们是可以相互融合,一起使用的。

  在未来,我们很可能看到Spark取代了Hadoop中的MapReduce模块,但分布式计算系统中的存储和调度等功能仍需要Hadoop来实现。换句话说,Hadoop与Spark之争实际是个伪命题,同样是大数据分析技术,他们的未来应该是融合和协作。

  最后大数据的故事才刚刚开始,从行业整体的发展来看,人类只是刚刚意识到了大数据的重要性,而大数据技术本身的发展和完善仍需要相当长的时间。想要了解更多关于Hadoop的新闻资讯,请关注蓝鸥上海官网。

  1. 广告1
  2. 广告2
  3. 广告3
  4. 广告4