蓝鸥培训浅谈大数据Hadoop过去、现在和未来的趋势

  Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构，而经过相当长时间的发展，Hadoop在功能上也越来越成熟。那么下面我们一起来看一下关于Hadoop的过去、现在和未来的趋势吧。

  1、Hadoop是什么

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。另Hadoop作为处理海量数据最常用的方法，Hadoop的核心是Map和Reduce，也就是将一个庞大的任务进行分解，然后再将结果进行汇总。但经过10年发展，Hadoop的功能早已不是MapReduce这么简单。今天的Hadoop是分布式计算所涉及的计算、存储、文件系统、网络、安全、负载均衡、管理等一系列软件方法的合集。也正是由于其完整性和成熟度，今天的Hadoop虽然面临Spark等新兴技术的竞争，却仍是分布式计算领域不可或缺的基础和前提。

  2、Hadoop成功基础

  Hadoop无疑是Apache基金会中最引人注目和最庞大的顶级项目之一。由于Hadoop定义了分布式计算的方方面面，因此日常的代码提交量也非常巨大。而在海量的代码见决定Hadoop未来走向的则是一个接近百人的评审委员会。

  DougCutting表示：评审委员会的成员来自各个领域，他们有IT企业中的技术达人、有相关学科的大学教授、有应用专家、更有单纯的技术爱好者。而在这个庞大的评审委员会中，所有成员均拥有“一票否决权”。虽然委员们各自有不同的背景甚至公司利益，但在委员会中，所有人的投票都是相当慎重的。投票所考虑的核心因素只有一个，那就是Hadoop未来的发展。而任何否决票的出现也必须给出技术上的合理解释。

  可以说，Hadoop与Apache基金会的其他项目一样，由于有越来越多Cloudera这样的开源企业源源不断的将自己的创新和Debug回馈给整个社区以及优秀的委员会机制，Hadoop在今天仍保持着相当旺盛的生命力。

  总结Hadoop过去的成功无非两点：一是从技术上开创了分布式计算时代，二是Apache基金会和Hadoop项目开放、合作、共享的管理理念。

  3、Hadoop的未来是怎样的

  与商业领域一样，技术同样面临竞争。在很多人看来，Hadoop目前最大的竞争对手正是非常火爆的Spark。对此，DougCutting表示：Spark的确在MapReduce方面相比Hadoop拥有更大的性能优势。但Hadoop本身还包括分布式文件系统和任务调度、规划等众多功能;而这些则是Spark所没有的。作为开源技术，Hadoop和Spark都是模块化开发的。这也就意味着他们是可以相互融合，一起使用的。

  在未来，我们很可能看到Spark取代了Hadoop中的MapReduce模块，但分布式计算系统中的存储和调度等功能仍需要Hadoop来实现。换句话说，Hadoop与Spark之争实际是个伪命题，同样是大数据分析技术，他们的未来应该是融合和协作。

  最后大数据的故事才刚刚开始，从行业整体的发展来看，人类只是刚刚意识到了大数据的重要性，而大数据技术本身的发展和完善仍需要相当长的时间。想要了解更多关于Hadoop的新闻资讯，请关注蓝鸥上海官网。