(java的三大框架是什么)(java后端三大主流框架)

前面一篇文章，介绍了大数据综合技术的理论与实践的经典书籍，以及大厂的实践框架，我们对大数据应该是有个一定的整体了解，也可以开始上手介入大数据或数据分析的任务和项目。

下面就大数据处理的核心：大数据计算框架，来深入的了解大数据的核心技术部分，如何进行大数据计算，数据分析，数据处理，这是所有大数据系统的核心，也是所有大数据应用的中心节点。

目前主流的大数据计算框架主要有三大：Hadoop，Spark，Flink。

一、Hadoop

Hadoop最初源于Apache Lucene项目的子项目，著名的网络爬虫搜索引擎Nutch，在谷歌著名的论文MapReduce发表后，Hadoop率先实现了完整的MapReduce计算框架，从而迅速成为当时世界上使用最广泛的大数据处理框架。

Hadoop主要有分布式数据存储文件系统HDFS，和大数据计算MapReduce两大核心组件，是大数据最早最流行的实现。

经典的书籍教程：

1. Hadoop权威指南：大数据的存储与分析(第4版)

全面介绍Hadoop的技术和框架应用，详细讲解HDFS和MapReduce的构成原理与应用技术。

接下来可以跟深入的了解Hadoop各方面的技术核心，可以学习技术内幕系列：

2. Hadoop技术内幕（三件套）

学习的书不用精读太多，专研透一本就相当有价值和收获。

二、Spark

Spark也是Apache基金会的开源项目，目标在于形成一套快速通用的大数据计算引擎，Spark可以从Hadoop的底层基础进行运行，同样可以基于HDFS作为分布式存储系统，但是Spark比Hadoop采用内存分布式数据集等技术，使得Spark处理更加高效。

目前从大数据项目采用的计算框架的选型频次来看，Spark已经逐渐成为主流的框架选择，这也得益于Spark强大和丰富的核心组件的支撑，提供了完善的生态。Spark有四大核心组件：

1. Spark Streaming：尽管Spark主要应用在于离线数据处理，但是Spark Streaming组件也提供了实时数据的流式处理的能力，所以涵盖了所有大数据应用场景。
2. Spark SQL：在分布式的非结构化的大数据存储系统中，提供SQL的查询机制，使得传统关系数据库时代采用的对数据的查询操作能够轻松的在大数据中使用。
3. Spark MLLib：Spark集成了机器学习算法库，实现了大部分通用的机器学习算法，为了数据分析，数据挖掘等基于大数据的学习天然的进行了集成。
4. Spark GraphX：基于图计算的算法库，为各种图计算提供了强大的支持。

学习Spark，可以从整体上学习经典数据，也可以分别重点详细学习核心技术组件的原理与应用，成为Spark专家。

1. Spark权威指南

2. 高性能Spark

权威指南学习全面知识，高性能系列学习如何优化如何提高系统性能，更加接近接近实际问题，这两本书基本涵盖Spark的各种技能和技巧。

接下来可以从不同侧重点学习研究：

3. 数据算法：Hadoop/Spark大数据处理技巧

4. Spark Streaming实时流式大数据处理实战

5. Spark SQL内核剖析 朱锋张韶全黄明 著

三、Flink

Flink还是Apache基金会的开源项目，专门进行流数据处理，核心是Java和Scala语言编写的分布式流数据处理引擎。可以说是专门为实时大数据应用场景而设计，Flink的很多设计和技术也很详细的提供了流处理各方面所需的技术和组件。

学习Flink，先从松鼠书开始：

1. 基于Apache Flink的流处理

深入核心技术和源码：

2. Flink核心技术：源码剖析与特性开发(异步图书出品)

进一步深入内核：

3. Flink内核原理与实现