求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
涓埅淇 鏁版嵁婀栨灦鏋勫師鐞嗕笌搴
鏌愬尰鐤楃 鏁版嵁閲囬泦涓庡鐞
鏌愮鎶鍏 澶ф暟鎹紙Hadoo
璇哄熀浜 Python鍩虹
澶╂触鐢靛瓙 Elasticse
涓浗鐢典俊 鏁版嵁浠撳簱涓庢暟鎹寲鎺
鏌愯埅澶╃ MySQL鎬ц兘浼樺寲

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

Hadoop原理、应用与优化         
专家讲师:刘老师,某大型互联网企业大数据架构师,技术委员会首席专家。
地点时间:北京 上海 深圳 根据报名开班
课程费用5000元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

《数据架构师》  认证方式  
1.知识:权威知识考试;
2.技能:真实案例实践考评;
3.经验:工作经验审核;
4.素养:未来发展潜力的评估。
 
    本课程结合大规模大数据案例,讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及:采集、存储、访问、挖掘和分析、优化。

 
培训目标:
  • 大数据存储概览
  • 大数数据平台Hadoop概览
  • Hadoop集群规划
  • Hadoop简介和生态系统介绍
  • Hadoop安装和主要配置文件介绍
  • Hadoop组件介绍
  • Hadoop的HDFS模块
  • MapReducer入门和高级开发实战
  • Hive的使用和实战
  • Hbase使用
  • Hadoop集群配置介绍和维护
  • 数据抽取工具Sqoop使用
培训对象:程序员、架构师、运维工程师、数据库开发人员、后台开发人员。
学员基础:具有大数据系统知识,最好有开发或者运维经验。
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练,详见 公开课学习手册
培训内容:2天
大数据存储概览
  • 大数据的产生、引用、存储与应用
  • 大数据存储的特点
  • 大数据库的基本元素
  • 海量数据库的开发特性
  • 数据库的数据分析与挖掘应用
  • 数据仓库与数据集市
大数数据平台Hadoop概览
  • 传统大规模系统存在的问题
  • Hadoop概述
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 分布式协调系统—Zookeeper
    • 数据抽取工具Sqoop使用
  • Hadoop分布式文件系统 
  • MapReduce工作原理 
  • Hadoop集群剖析
  • Hadoop生态系统对一种新的解决方案的需求
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
Hadoop集群规划
  • Hadoop 集群内存要求
    • Namenode的机器配置
    • Datanode的机器配置
    • SNN的机器配置
  • Hadoop集群磁盘分区
  • 集群和网络拓扑要求
  • 集群软件的端口配置
Hadoop简介和生态系统介绍
  • 传统大规模数据分析存在的问题
  • Hadoop概述
  • Hadoop与分布式文件系统
  • Hadoop生态系统
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
  • Hadoop版本介绍
  • Hadoop与Google FS的关系
  • Hadoop在国内的使用情况和未来
Hadoop安装和主要配置文件介绍
  • Hadoop安装所需软件介绍
  • Hadoop单机安装
  • Hadoop伪分布式安装
  • Hadoop完全分布式安装
  • Hadoop三个节点安装的配置介绍
  • Hahoop多节点ssh配置
  • Hadoop格式化详解
  • Hadoop核心配置文件介绍
  • 核心配置文件core-site.xml
  • HDFS配置文件hdfs-site.xml
  • Mapreduce配置文件mapred-site.xml
  • master文件配置详解
  • slave文件配置详解
  • Hadoop启动和停止方法一
    • —start-all.sh详解
    • —stop-all.sh详解
  • Hadoop的启动和停止方法二
    • —hadoop-deamon.sh详解
  • Hadoop安装的常见错误介绍和解决方案
  • 使用自带的wordcount和pi测试集群安装是否成功
  • 使用Streaming来测试集群安装是否成功
Hadoop组件介绍
  • Hadoop NameNode 介绍
  • Hadoop SecondaryNameNode 介绍
  • Hadoop DataNode 介绍
  • Hadoop JobTracker 介绍
  • Hadoop TaskTracker 介绍
Hadoop的HDFS模块
  • HDFS架构介绍
  • HDFS原理介绍
  • NameNode功能详解
  • DataNode功能详解
  • SecondaryNameNode功能详解
  • HSFD的fsimage和editslog详解
  • HDFS的block详解
  • HDFS的block的备份策略
  • Hadoop的机架感知配置
  • HDFS的shell命令介绍
  • HDFS的thrift server服务介绍
  • HDFS的API接口介绍
  • HDFS的权限详解
  • Hadoop的客服端接入案例
MapReducer入门和高级开发实战
  • Mapreduce原理
  • MapReduce流程
  • 剖析一个MapReduce程序
  • Mapper和Reducer抽象类详解
  • Mapreduce的最小驱动类
  • MapReduce自带的类型
  • 自定义Writables和WritableComparables
  • Mapreduce的输入InputFormats
  • MapReduce的输出OutputFormats
  • 自定义InputFormat
  • 自定义InputSPlits
  • 自定义RecorderReader
  • Combiner详解
  • Partitioner详解
  • DistributeFileSystem详解
  • Hadoop Tools工具介绍
  • Counter计数器详解
  • 自定义Counter计数器
  • 基于Hadoop二次开发实战
  • MapReduce的优化
  • Map和Reduce的个数设置
  • Hadoop小文件优化
  • 任务调度
  • 默认的任务调度
  • 公平任务调度
  • 能力任务调度
  • 使用 Hadoop MapReduce Streaming 编程
  • MapReduce的单元测试
Hive的使用和实战
  • Hive和Pig基础
  • Hive、Impala和presto的比较
  • Hive的作用和原理说明
  • Hadoop仓库和传统数据仓库的协作关系
  • Hadoop/Hive仓库数据数据流
  • Hive 部署和安装
  • Hive Cli 的基本用法
  • Hive的server启动
  • HQL基本语法
  • Hive的加载数据本地加载和HDFS加载
  • Hive的partition详解
  • Hive的存储方式详解
  • RCFILE、TEXTFILE和SEQUEUEFILE
  • Hive的UDF和UDAF
  • Hive的transform详解
  • Hive的JDBC连接
Hbase使用
  • Hbase原理
  • Hmaster详解
  • RegionServer详解
  • Zookeeper介绍
  • Hbase安装
  • Hbase逻辑视图介绍
  • Hbase物理视图介绍
  • Hbase的二级索引介绍
  • Hbase 的DDL和DML
  • Hbase表的设计案例
  • Hbase的import功能介绍
  • MapReduce操作Hbase
  • Hbase的 thrift Server介绍
  • Hbase 的API介绍
  • Hbase案例分析
Hadoop集群配置介绍和维护
  • Hadoop集群的部署要点
  • NameNode和SecondaryNameNode和JobTracker机器的配置要求
  • dataNode与tasktracker机器的配置要求
  • Hadoop集群管理的工具介绍
  • Ganglia和nigos监控Hadoop集群介绍
  • Ambri介绍
  • 添加和删除节点演示
  • Namenode的单点解决方案
  • NameNode的NFS备份介绍
  • 集群所有dataNode挂掉的故障介绍
  • 集群NameNode的fsimage丢掉恢复方法
  • Hadoop集群维护的注意点
数据抽取工具Sqoop使用
  • Sqoop是什么
  • Sqoop安装
  • Sqoop把mysql数据导入HDFS
  • Sqoop把HDFS数据导入Mysql
  • Sqoop吧Mysql数据导入Hive
  • Sqoop吧Mysql数据导入Hive分区
  • 执行脚本的解析
  • 数据导入过程中的典型问题和解决办法

 
其他人还看了课程
浼佷笟鎴樼暐涓庡彉闈╃鐞  
杞欢鏋舵瀯璁捐鏂规硶  
绾㈠附璁よ瘉  
鏁版嵁鍒嗘瀽涓庢寲鎺  
定制内训




最新活动计划
MBSE(基于模型的系统工程)10-29[北京]
DoDAF规范、模型与实例 11-5[北京]
QT应用开发 11-21[北京]
C++高级编程 11-27[北京]
业务建模&领域驱动设计 11-15[北京]
用户研究与用户建模 11-21[北京]