大数据分析处理相关框架 常用的大数据相关处理技术框架 1、Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 1.1、Hadoop学习入口 1.2、MapReduce相关API操作 1.3、HDFS相关API操作 2、Spark Spark是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序 Spark-Core Spark-Streaming Spark-Sql Spark-GraphX Spark-MLlib 3、Flink Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。 Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。 Flink 4、Hadoop生态圈一些其它技术框架 Hive Hbase Oozie Kafka Doris Druid Talos Pegasus 5、大数据一些相关项目 数据仓库 Id-Mapping 实时仓库 用户画像 6、大数据学习相关资料