求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
Hadoop与Spark大数据架构专题         
 
主讲嘉宾:董老师 - 《Hadoop技术内幕》图书作者
时间地点:北京、上海、深圳 根据报名开班
课程费用:5700元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
 
当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。
培训目标:
本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及:
  • 分布式数据收集
  • 大数据存储
  • 资源管理及分布式计算框架等

  • 本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。
    培训对象:软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
    学员基础:了解Java语言;了解Linux系统;
    授课方式: 小班授课(12人之内)+ 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容: 2天
    大数据架构概述 大数据层级架构及各层软件设计要求:
  • 大数据存储
  • 大数据计算框架
  • 大数据应用等
  • Hadoop生态系统概述以及版本演化
  • Hadoop生态系统及其版本演化历史
  • hadoop版本选择建议
  • Spark生态系统概述
  • Spark生态系统及其特点
  • Spark与Hadoop对比
  • 数据收集系统Flume与Sqoop 使用flume和sqoop两个系统将如下数据的数据导入Hadoop中
  • 外部流式数据(比如网站日志,用户行为数据等)
  • 关系型数据库(比如MySQL、Oracle等)中
  • 大数据存储系统HDFS与HBase HDFS 2.0 原理、特性与基本架构
  • HDFS 2.0原理与架构,与HDFS 1.0进行对比
  • HDFS 2.0新特性,包括快:照、缓存、异构存储架构等
  • HBase应用场景、原理和架构 几个HBase典型应用案例:
  • 互联网应用案例
  • 银行应用案例
  • 集群资源管理与调度系统
  • YARN应用场景
  • YARN基本架构
  • YARN资源调度
  • Zookeeper部署及典型应用
  • Zookeeper是什么
  • Zookeeper基本原理
  • Zookeeper应用
  • 大数据计算框架、平台与开源实现 批处理计算框架
  • MapReduce 2.0基本原理与架构,编程实践(涉及多语言编程)
  • 计算框架MapReduce基本原理与架构
  • 手把手介绍如何用java、C++、php等语言编写MapReduce程序
  • 数据分析系统Hive与Pig应用与比较
  • 如何使用hive和pig分析hadoop中的海量数据
  • Spark计算框架
  • Spark背景,使用以及应用案例
  • 交互式计算框架
  • Impala和presto应用场景
  • 基本架构
  • 典型应用案例
  • 流式/实时计算框架
  • storm以及Spark Streaming基本架构与特点
  • 典型应用案例
  • 数据挖掘与机器学习库 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。
     
    其他人还看了课程
    数据分析与挖掘  
    红帽认证  
    企业战略与变革管理  
    软件架构设计方法  
    定制内训



    最新活动计划
    QT应用开发 11-21[线上]
    C++高级编程 11-27[北京]
    LLM大模型应用与项目构建 12-26[特惠]
    UML和EA进行系统分析设计 12-20[线上]
    数据建模方法与工具 12-3[北京]
    SysML建模专家 1-16[北京]