BigData大数据

目录

• #前言

  • #大数据学习路线

• #Azkaban

  • #Azkaban 3.x 编译及部署
  • #Azkaban Flow 1.0 的使用
  • #Azkaban Flow 2.0的使用
  • #Azkaban简介

• #Flink

  • #Flink 核心概念综述
  • #Flink 开发环境搭建
  • #Flink 状态管理
  • #Flink Data Source
  • #Flink Sink
  • #Flink Standalone Cluster
  • #Flink Transformation
  • #Flink Windows

• #Flume

  • #Flume 简介及基本使用
  • #Flume 整合 Kafka
  • #Linux下Flume的安装

• #Hadoop

  • #分布式计算框架——MapReduce
  • #基于ZooKeeper搭建Hadoop高可用集群
  • #集群资源管理器——YARN
  • #Hadoop单机版环境搭建
  • #Hadoop分布式文件系统——HDFS
  • #Hadoop集群环境搭建
  • #HDFS 常用 shell 命令
  • #HDFS Java API

• #HBase

  • #Hbase 常用 Shell 命令
  • #Hbase 过滤器详解
  • #Hbase 协处理器
  • #HBase Java API 的基本使用
  • #Hbase的SQL中间层——Phoenix
  • #HBase基本环境搭建
  • #HBase集群环境配置
  • #HBase简介
  • #Hbase容灾与备份
  • #Hbase系统架构及数据结构
  • #Spring/Spring Boot 整合 Mybatis + Phoenix

• #Hive

  • #Hive 常用DML操作
  • #Hive 视图和索引
  • #Hive CLI和Beeline命令行的基本使用
  • #Hive常用DDL操作
  • #Hive分区表和分桶表
  • #Hive简介及核心概念
  • #Hive数据查询详解
  • #Linux环境下Hive的安装

• #Kafka

  • #基于Zookeeper搭建Kafka高可用集群
  • #深入理解Kafka副本机制
  • #Kafka简介
  • #Kafka生产者详解
  • #Kafka消费者详解

• #Scala

  • #函数和闭包
  • #集合
  • #继承和特质
  • #类和对象
  • #类型参数
  • #流程控制语句
  • #隐式转换和隐式参数
  • #List & Set
  • #Map & Tuple
  • #Scala 数组相关操作
  • #Scala基本数据类型和运算符
  • #Scala简介及开发环境配置
  • #Scala模式匹配

• #Spark

  • #弹性式数据集RDDs
  • #基于ZooKeeper搭建Spark高可用集群
  • #聚合函数Aggregations
  • #DataFrame和Dataset简介
  • #Spark 累加器与广播变量
  • #Spark SQL 外部数据源
  • #Spark SQL JOIN
  • #Spark Streaming 基本操作
  • #Spark Streaming 整合 Flume
  • #Spark Streaming 整合 Kafka
  • #Spark Streaming与流处理
  • #Spark部署模式与作业提交
  • #Spark简介
  • #Spark开发环境搭建
  • #Structured API基本使用
  • #Transformation 和 Action 常用算子

• #Sqoop

  • #Sqoop 简介与安装
  • #Sqoop基本使用

• #Storm

  • #Storm 编程模型
  • #Storm 核心概念详解
  • #Storm 集成 Redis 详解
  • #Storm单机版本环境搭建
  • #Storm和流处理简介
  • #Storm集成HDFS和HBase
  • #Storm集成Kafka
  • #Storm集群环境搭建
  • #Storm三种打包方式对比分析

• #Zookeeper

  • #Zookeeper ACL
  • #Zookeeper Java 客户端 ——Apache Curator
  • #Zookeeper常用Shell命令
  • #Zookeeper单机环境和集群环境搭建
  • #Zookeeper简介及核心概念