Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版

编辑点评:Spark高级数据分析第二版pdf

spark高级数据分析是一本Spark实用手册,由著名大数据公司Cloudera的四名数据科学家编写,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体,小编给给大家整理了Spark高级数据分析第二版pdf,欢迎下载哦

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图

内容介绍

spark高级数据分析是一本Spark实用手册,由著名大数据公司Cloudera的四名数据科学家编写,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体。

全书将Spark、统计学方法和真实数据集结合起来,通过实例向读者讲述了怎样解决分析型问题。spark高级数据分析首先介绍了Spark及其生态系统,接着详细介绍了将分类、

协同过滤及异常检查等常用技术应用于基因学、安全和金融领域的若干模式。如果你对机器学习和统计学有基本的了解,并且会用Java、Python或Scala编程,这些模式将非常有助于你开发自己的数据应用。

作者简介

Sandy Ryza是Cloudera公司数据科学家,Apache Spark项目的活跃代码贡献者。领导了Cloudera公司的Spark开发工作。他还是Hadoop项目管理委员会委员。
Uri Laserson是Cloudera公司数据科学家,专注于Hadoop生态系统中的Python部分。
Sean Owen是Cloudera公司EMEA地区的数据科学总监,也是Apache Spark项目的代码提交者。他创立了基于Spark、Spark Streaming和Kafka的Hadoop实时大规模学习项目Oryx(之前称为Myrrix)。
Josh Wills是Cloudera公司的高级数据科学总监,Apache Crunch项目的发起者和副总裁。

相关内容预览

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(1)

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(2)

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(3)

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(4)

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(5)

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(6)

编辑推荐

作为计算框架,Spark速度快,开发简单,能同时兼顾批处理和实时数据分析,因此很快被广大企业级用户所采纳,并随着近年人工智能的崛起而成为分析和挖掘大数据的重要得力工具。 
本书由业内知名数据科学家执笔,通过丰富的示例展示了如何结合Spark、统计方法和真实世界数据集来解决数据分析问题,既涉及模型的构建和评价,也涵盖数据清洗、

数据预处理和数据探索,并描述了如何将结果变为生产应用,是运用Apache Spark进行大数据分析和处理的实战宝典。 
第2版根据新版Spark杰出实践,对样例代码和所用资料做了大量更新。 

本书涵盖模式如下

● 音乐推荐和Audioscrobbler数据集 
● 用决策树算法预测森林植被 
● 基于K均值聚类进行网络流量异常检测 
● 基于潜在语义算法分析维基百科 
● 用GraphX分析伴生网络 
● 对纽约出租车轨迹进行空间和时间数据分析 
● 通过蒙特卡罗模拟来评估金融风险 
● 基因数据分析和BDG项目 
● 用PySpark和Thunder分析神经图像数据

spark高级数据分析章节目录

推荐序 ix 
译者序 xi 
序 xiii 
前言 xv 
第 1章 大数据分析 1 
1.1 数据科学面临的挑战 2 
1.2 认识Apache Spark 4 
1.3 关于本书 5 
1.4 第 2版说明 6 
第 2章 用Scala 和Spark 进行数据分析 8 
2.1 数据科学家的Scala 9 
2.2 Spark编程模型 10 
2.3 记录关联问题 10 
2.4 小试牛刀:Spark shell和SparkContext 11 
2.5 把数据从集群上获取到客户端 16 
2.6 把代码从客户端发送到集群 19 
2.7 从RDD到DataFrame 20 
2.8 用DataFrame API来分析数据 23 
2.9 DataFrame的统计信息 27 
2.10 DataFrame的转置和重塑 29 
2.11 DataFrame的连接和特征选择 32 
2.12 为生产环境准备模型 33 
2.13 评估模型 35 
2.14 小结 36 
第3章 音乐推荐和Audioscrobbler数据集 37 
3.1 数据集 38 
3.2 交替最小二乘推荐算法 39 
3.3 准备数据 41 
3.4 构建第 一个模型 44 
3.5 逐个检查推荐结果 47 
3.6 评价推荐质量 50 
3.7 计算AUC 51 
3.8 选择超参数 53 
3.9 产生推荐 55 
3.10 小结 56 
第4章 用决策树算法预测森林植被 58 
4.1 回归简介 59 
4.2 向量和特征 59 
4.3 样本训练 60 
4.4 决策树和决策森林 61 
4.5 Covtype数据集 63 
4.6 准备数据 64 
4.7 第 一棵决策树 66 
4.8 决策树的超参数 72 
4.9 决策树调优 73 
4.10 重谈类别型特征 77 
4.11 随机决策森林 79 
4.12 进行预测 81 
4.13 小结 82 
第5章 基于K均值聚类的网络流量异常检测 84 
5.1 异常检测 85 
5.2 K均值聚类 85 
5.3 网络入侵 86 
5.4 KDD Cup 1999数据集 86 
5.5 初步尝试聚类 87 
5.6 k的选择 90 
5.7 基于SparkR 的可视化 92 
5.8 特征的规范化 96 
5.9 类别型变量 98 
5.10 利用标号的熵信息 99 
5.11 聚类实战 100 
5.12 小结 102 
第6章 基于潜在语义分析算法分析维基百科 104 
6.1 文档-词项矩阵 105 
6.2 获取数据 106 
6.3 分析和准备数据 107 
6.4 词形归并 109 
6.5 计算TF-IDF 110 
6.6 奇异值分解 111 
6.7 找出重要的概念 113 
6.8 基于低维近似的查询和评分 117 
6.9 词项-词项相关度 117 
6.10 文档-文档相关度 119 
6.11 文档-词项相关度 121 
6.12 多词项查询 122 
6.13 小结 123 
第7章 用GraphX分析伴生网络 124 
7.1 对MEDLINE文献引用索引的网络分析 125 
7.2 获取数据 126 
7.3 用Scala XML工具解析XML文档 128 
7.4 分析MeSH主要主题及其伴生关系 130 
7.5 用GraphX来建立一个伴生网络 132 
7.6 理解网络结构 135 
7.6.1 连通组件 136 
7.6.2 度的分布 138 
7.7 过滤噪声边 140 
7.7.1 处理EdgeTriplet 141 
7.7.2 分析去掉噪声边的子图 142 
7.8 小世界网络 144 
7.8.1 系和聚类系数 144 
7.8.2 用Pregel计算平均路径长度 145 
7.9 小结 150 
第8章 纽约出租车轨迹的空间和时间数据分析 151 
8.1 数据的获取 152 
8.2 基于Spark的第三方库分析 153 
8.3 基于Esri Geometry API和Spray的地理空间数据处理 153 
8.3.1 认识Esri Geometry API 154 
8.3.2 GeoJSON简介 155 
8.4 纽约市出租车客运数据的预处理 157 
8.4.1 大规模数据中的非法记录处理 159 
8.4.2 地理空间分析 162 
8.5 基于Spark的会话分析 165 
8.6 小结 168 
第9章 基于蒙特卡罗模拟的金融风险评估 170 
9.1 术语 171 
9.2 VaR计算方法 172 
9.2.1 方差-协方差法 172 
9.2.2 历史模拟法 172 
9.2.3 蒙特卡罗模拟法 172 
9.3 我们的模型 173 
9.4 获取数据 173 
9.5 数据预处理 174 
9.6 确定市场因素的权重 177 
9.7 采样 179 
9.8 运行试验 182 
9.9 回报分布的可视化 185 
9.10 结果的评估 186 
9.11 小结 188 
第 10章 基因数据分析和BDG项目 190 
10.1 分离存储与模型 191 
10.2 用ADAM CLI导入基因学数据 193 
10.3 从ENCODE数据预测转录因子结合位点 201 
10.4 查询1000 Genomes项目中的基因型 207 
10.5 小结 210 
第 11章 基于PySpark和Thunder的神经图像数据分析 211 
11.1 PySpark简介 212 
11.2 Thunder工具包概况和安装 215 
11.3 用Thunder加载数据 215 
11.4 用Thunder对神经元进行分类 221 
11.5 小结 225 
作者介绍 226 
封面介绍 226

Spark高级数据分析第二版pdf截图

Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(7)Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(8)Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(9)Spark高级数据分析豆瓣下载-Spark高级数据分析第二版pdf完整版插图(10)

评分及评论

无用户评分

来评个分数吧

  • 5 分
    0
  • 4 分
    0
  • 3 分
    0
  • 2 分
    0
  • 1 分
    0

Comments