大数据挖掘与分析介绍(全面理解大数据挖掘概念与分析技术)
|
数据分析基本概念
数据分析算法
数据分析工具
数据分析流程
数据分析范畴
数据挖掘基本概念
数据挖掘模型
数据挖掘目标
数据挖掘数据质量
数据挖掘的9大定律
数据挖掘发展趋势 |
R语言概要(R语言精讲)
|
什么是R语言,R语言的特点
R语言主要的模块、语言包
R语言安装环境
R语言与与Hadoop、Hive的对接 |
Spark大数据平台概述(彻底理解Spark)
|
Spark的速度为什么如此的快?
Spark 生态系统
Spark的架构设计剖析
RDD计算流程解析
Spark的出色容错机制
Spark分布式架构与单机多核架构的异同
Spark的企业级应用 |
Spark的机器学习
|
机器学习基础知识
图计算基础知识
Spark,MLlib,以及GraphX的操作示
广义线性模型
SVM
聚类算法
图计算模型
决策树与组合学习
器学习算法评测
评测方法
Cross validation与Grid Search
MLlib中的实现
在线、离线测评方法 |
SparkR初见
|
SparkR
项目介绍
SparkR HelloWord
SparkR API 介绍
SparkR与DataFrame的架构分析
SparkR软件栈
SparkR编程指南 |
使用SparkR
构建Logistic回归与商业大数据建模 |
Logistic回归是商业建模的常用重要数据挖掘方法,本讲要讲清楚Logistic回归的建模原理、与多元线性模型的区别、R语言实现过程及回归诊断注意事项、预测方法和结果解释,让学员彻底地掌握Logistic回归解决问题的R语言方法。
主要案例:
案例1:利用Logistic回归帮助公司分析客户流失的原因并做好预测。 |
使用SparkR
构建关联规则 |
关联规则(著名的“啤酒和尿布”)是数据挖掘的基础和核心技术之一,本讲将着重围绕经典的Apriori算法和eclat算法,阐明关联规则的支持、置信和提升程度与控制,使用R语言快速完成关联规则分析。
主要案例:
案例1:使用R语言关联规则方法帮助各个超市实现商品的最佳捆绑销售方案(即“购物篮”分析);
|
使用SparkR
构建决策树(回归树)分析 |
决策树是数据挖掘的经典方法,其原理容易被理解。本讲主要讲授两种最为普遍的决策树算法:CART和C4.5算法,使用rpart和J48函数进行R语言分析。
主要案例:
案例2:使用决策树帮助电信局判断和预测客户办理宽带业务。 |
使用SparkR
构建随机森林(RandomForest)算法 |
在机器学习中,随机森林是一个包含多个决策树的分类器,本讲讲清随机森林方法的原理,以致在实际中帮助学员判断适合进行随机森林分析的情况,最终熟练掌握R语言随机森林分析的方法。
主要案例:
案例1:对皮肤病进行随机森林的分类和预测;
案例2:对酒的品质和种类进行分类和评价。 |
使用SparkR
构建支持向量机 |
本讲将分析支持向量机的结构风险最小原理、间隔和核函数,从而帮助学员深刻理解支持向量机的思想和算法,以及使用中注意的问题,从而帮助学员灵活地应用于各个领域。
主要案例:
案例1:使用支持向量机进行股票指数预测。 |
使用SparkR
构建神经网络 |
神经网络由大量的节点和输出函数构成逻辑策略,本讲介绍其原理,主要通过案例的方式讲解R语言实现神经网络算法的过程和注意的事项。
主要案例:
案例1:酒的品质和种类的神经网络的分析和预测;
案例2:公司财务预警建模。 |
使用SparkR
构建言结合KNN算法进行文本挖掘 |
文本挖掘,特别是对中文的文本挖掘日趋重要。本讲介绍文本挖掘的原理和方法,帮助大家使用R语言在大量的非结构化的数据中发现有价值的信息,抽取潜在有用的数据,发现适合模式,实现可视化结果展示。
主要案例:
案例:使用R语言结合KNN算法对网页(Web)进行文本挖掘(含分词、分类、可视化等)
|