南京
杭州
上海
025-87787966    0571-88257871

Cloudera Apache Hadoop管理员

发布日期: 2024/3/4 9:00:44

课程大纲:
一、关于Apache Hadoop
    1、为什么是Hadoop?
    2、Hadoop的核心部件
    3、基础概念
二、HDFS
    1、HDFS特性
    2、读,写文件
    3、NameNode内存的考虑
    4、HDFS安全性简介
    5、使用NameNode Web 用户界面
    6、使用Hadoop文件Shell
三、数据导入
    1、用Flume将数据从外部源导入
    2、用Sqoop 将数据从关系数据库导入
    3、REST接口
    4、输入数据的最佳实践
四、YARN和MapReduce
    1、什么是MapReduce?
    2、MapReduce基本概念
    3、YARN集群的架构
    4、资源分配
    5、故障恢复
    6、使用YARN Web 用户界面
    7、MapReduce版本1
五、Hadoop集群计划
    1、通用计划的考虑
    2、选择正确的硬件
    3、对网络的考虑
    4、配置节点
    5、为集群管理做计划
六、 Hadoop安装和初始配置
    1、部署的类型
    2、安装Hadoop
    3、具体化Hadoop的配置
    4、执行HDFS的初始配置
    5、执行YARN和MapReduce的初始配置
    6、Hadoop日志系统
七、安装配置Hive,Impala 和Pig
    1、Hive
    2、Impala
    3、Pig
八、Hadoop客户端
    1、什么是Hadoop客户端
    2、安装配置Hadoop客户端
    3、安装配置Hue
    4、Hue授权和认证集群
九、 Cloudera管理器
    1、Cloudera管理器的动机
    2、Cloudera管理器的特性
    3、快速版和企业版
    4、Cloudera管理器拓朴
    5、安装Cloudera管理器
    6、用Cloudera管理器安装Hadoop
    7、用Cloudera管理器执行基本的管理任务
十、集群的高级配置
    1、高级配置参数
    2、配置Hadoop端口
    3、显性地添加或移除主机
    4、配置HDFS的机架认知
    5、配置HDFS高可用性
十一、 Hadoop的安全方案
    1. Hadoop安全性的重要
    2. Hadoop安全系统的概念
    3. Kerberos是什么,它如何工作
    4. 用Kerberos来守卫Hadoop集群
十二、管理,计划工作任务
    1. 管理正在运行的工作
    2. 计划Hadoop工作
    3. 配置FairScheduler
    4. Impala的查询计划
十三、 集群的维护
    1. 检查HDFS状态
    2. 在不同集群间拷贝的节点
    3. 添加和挪去集群的节点
    4. 重新平衡集群
    5.集群升级
十四、集群的监控和故障诊断
    1.通用系统监控
    2. 监控Hadoop集群
    3. 常见的Hadoop Clusters的故障排除
    4.常见的错误配置
课程周期:
24课时(45分/课时)
无标题文档