大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版

大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版

编辑点评:大数据技术原理与应用林子雨答案

本书系统介绍了大数据的相关知识,小编将相关的课后习题及答案也整理出来了,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共15章,内容包含大数据的基本概念、大数据处理架构Hadoop,有需要的就下载吧

大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版插图

作品简介

本书系统介绍了大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共15章,内容包含大数据的基本概念、

大数据处理架构Hadoop,分布式文件系统HDFS,分布式数据库HBase,NoSQL数据库、云数据库、MapReduce,Spark流计算、图计算、数据可视化以及大数据在互联网、

生物医学领域和其他行业的应用。本书在Hadoop,HDFS,HBase,MapReduce和Spark等重要章节安排了入门级的实践操作,以便读者更好地学习和掌握大数据关键技术。

本书可以作为高等院校计算机、信息管理等相关专业的大数据课程教材,也可供相关技术人员参考。

林子雨,北大博士,厦门大学计算机科学系老师,中国高校首个"数字教师"的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、

云计算和物联网等领域有着十多年的知识积累,对各个领域知识都有比较深入的了解,有比较宽泛的视野。

内容前言

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受关注。大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。

大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材,为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术,介绍大数据技术的基本原理和大数据主要应用,帮助读者形成对大数据知识体系及其应用领域的轮廓性认识,为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上,感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书,继续深入学习和实践大数据相关技术。

本书紧紧围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想,对大数据知识体系进行系统梳理,做到“有序组织、去粗取精、由浅入深、渐次展开”。本书共分四大部分,包括大数据基础篇、大数据存储篇、大数据处理与分析篇和大数据应用篇。在大数据基础篇中,第一章介绍大数据的基本概念和应用领域,并阐述大数据、云计算和物联网的相互关系;第二章介绍大数据处理架构Hadoop,由于Hadoop已经成为应用最为广泛的大数据技术,因此,本书的大数据相关技术主要围绕Hadoop展开,包括Hadoop MapReduce、HDFS和HBase,因此,该章是后面其他章节(第三、四、七章)内容的基础。在大数据存储篇中,用五个章节(第三、四、五、六章)的内容,分别介绍了大数据存储相关技术的概念与原理,包括分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库和云数据库。在大数据处理与分析篇,首先在第七章介绍了大数据处理和分析的核心技术——分布式并行编程模型MapReduce,然后,在第八章和第九章分别介绍了大数据时代两种新兴的数据分析技术——流计算和图计算,最后在第十章简单介绍了可视化技术。在大数据应用篇,用三章(第十一、十二、十三)内容介绍了大数据在互联网、生物医学和物流等各个领域的典型应用。

本书面向高校计算机专业和信息管理等相关专业的学生,可以作为专业必修课或选修课教材。在教学过程中,建议安排32个授课学时,16个教学周,每周2学时,每个章节的具体学时分配如下:第一、二、五、六、八、十、十一每个章节安排2个学时;第三、四、九章每个章节安排4个学时;第七章安排6个学时;第十二、十三章这两章内容由学生自学完成。

本书由林子雨执笔。在撰写过程中,厦门大学计算机科学系硕士研究生刘颖杰、叶林宝、蔡珉星、李雨倩、谢荣东、罗道文以及本科生黄梓铭、李粲等同学做了大量辅助性工作,在此,向这些同学的辛勤工作表示衷心的感谢。

本书官方网站 [1]  ,提供教学PPT和相关资料下载,并接受错误反馈和发布教材勘误信息。

本书在撰写过程中,我参考了大量国内外教材、专著、论文和资料,对大数据知识进行了系统梳理,有选择性地把一些重要知识纳入本书。本书也是我多年在数据科学领域从事教学、科研、产业方面工作的系统总结。但是,本人才疏学浅,难免有许多不足之处,望学术同仁不吝赐教。

作品目录

内容提要

前言(第2版)

前言(第1版)

作者介绍

第一篇 大数据基础

第1章 大数据概述

1.1 大数据时代

1.2 大数据的概念

1.3 大数据的影响

1.4 大数据的应用

1.5 大数据关键技术

1.6 大数据计算模式

1.7 大数据产业

1.8 大数据与云计算、物联网

1.9 本章小结

1.10 习题

第2章 大数据处理架构Hadoop

2.1 概述

2.2 Hadoop生态系统

2.3 Hadoop的安装与使用

2.4 本章小结

2.5 习题

实验1 安装Hadoop

第二篇 大数据存储与管理

第3章 分布式文件系统HDFS

3.1 分布式文件系统

3.2 HDFS简介

3.3 HDFS的相关概念

3.4 HDFS体系结构

3.5 HDFS的存储原理

3.6 HDFS的数据读写过程

3.7 HDFS编程实践

3.8 本章小结

3.9 习题

实验2 熟悉常用的HDFS操作

第4章 分布式数据库HBase

4.1 概述

4.2 HBase访问接口

4.3 HBase数据模型

4.4 HBase的实现原理

4.5 HBase运行机制

4.6 HBase编程实践

4.7 本章小结

4.8 习题

实验3 熟悉常用的HBase操作

第5章 NoSQL数据库

5.1 NoSQL简介

5.2 NoSQL兴起的原因

5.3 NoSQL与关系数据库的比较

5.4 NoSQL的四大类型

5.5 NoSQL的三大基石

5.6 从NoSQL到NewSQL数据库

5.7 本章小结

5.8 习题

第6章 云数据库

6.1 云数据库概述

6.2 云数据库产品

6.3 云数据库系统架构

6.4 云数据库实践

6.5 本章小结

6.6 习题

实验4 熟练使用RDS for MySQL数据库

第三篇 大数据处理与分析

第7章 MapReduce

7.1 概述

7.2 MapReduce的工作流程

7.3 实例分析:WordCount

7.4 MapReduce的具体应用

7.5 MapReduce编程实践

7.6 本章小结

7.7 习题

实验5 MapReduce编程初级实践

第8章 Hadoop再探讨

8.1 Hadoop的优化与发展

8.2 HDFS2.0的新特性

8.3 新一代资源管理调度框架YARN

8.4 Hadoop生态系统中具有代表性的功能组件

8.5 本章小结

8.6 习题

第9章 Spark

9.1 概述

9.2 Spark生态系统

9.3 Spark运行架构

9.4 Spark的部署和应用方式

9.5 Spark编程实践

9.6 本章小结

9.7 习题

第10章 流计算

10.1 流计算概述

10.2 流计算的处理流程

10.3 流计算的应用

10.4 开源流计算框架Storm

10.5 Spark Streaming

10.6 本章小结

10.7 习题

第11章 图计算

11.1 图计算简介

11.2 Pregel简介

11.3 Pregel图计算模型

11.4 Pregel的C++ API

11.5 Pregel的体系结构

11.6 Pregel的应用实例

11.7 Pregel和MapReduce实现PageRank算法的对比

11.8 本章小结

11.9 习题

第12章 数据可视化

12.1 可视化概述

12.2 可视化工具

12.3 可视化典型案例

12.4 本章小结

12.5 习题

第四篇 大数据应用

第13章 大数据在互联网领域的应用

13.1 推荐系统概述

13.2 协同过滤

13.3 协同过滤实践

13.4 本章小结

13.5 习题

第14章 大数据在生物医学领域的应用

14.1 流行病预测

14.2 智慧医疗

14.3 生物信息学

14.4 案例:基于大数据的综合健康服务平台

14.5 本章小结

14.6 习题

第15章 大数据的其他应用

15.1 大数据在物流领域中的应用

15.2 大数据在城市管理中的应用

15.3 大数据在金融行业中的应用

15.4 大数据在汽车行业中的应用

15.5 大数据在零售行业中的应用

15.6 大数据在餐饮行业中的应用

15.7 大数据在电信行业中的应用

15.8 大数据在能源行业中的应用

15.9 大数据在体育和娱乐领域中的应用

15.10 大数据在安全领域中的应用

15.11 大数据在政府领域中的应用

15.12 大数据在日常生活中的应用

15.13 本章小结

15.14 习题

大数据与数据科学课程体系

一、 大数据与数据科学专业

二、 大数据与数据科学培养的主要人才

大数据与数据科学主要培养大数据应用分析师、大数据系统工程师、大数据算法研究员几大类,每个大类下又可以根据具体的岗位职责做一定的细分,大致可以分为如下这些:

1、 大数据应用分析师:产品、行业应用、解决方案、数据分析、创新

2、 大数据系统工程师:系统、架构、开发、维护、管理

3、 大数据算法研究员:算法实现/调优、新理论、新结构/新算法、方向/趋势

三、 大数据与数据科学的整体课程体系

数学/统计理论:微积分、线性代数、概率论、数理统计、统计学习

计算科学:计算机系统、编程语言、数据结构、信息系统架构(CS/BS等)

数据系统:分布式理论、Hadoop/Spark生态、数据库/数据仓库

模型分析:机器学习理论、优化建模、模式识别、知识表示/推理、可视化分析

行业应用:商务智能、智能金融、供应链分析、城市规划等

数据伦理:大数据管理与创新、大数据治理与政策

四、 大数据与数据科学的主要课程内容

1、概率论与数理统计

数理统计的基本概念、抽样分布、参数估计、假设检验

2、多元统计分析

多元正态分布;聚类分析;判别分析;主成分分析;因子分析;对应分析;Logistic回归模型、偏最小二乘回归模型等。

3、微积分

基本的微积分概念、计算原理

4、线性代数

基本的线性代数概念、计算原理

5、时间序列分析

时间序列的基本概念、基本原理、基本方法、定量分析

6、程序设计/数据结构

编程语言(Python或R、C或Java)、主要的程序结构、基本的数据结构、常用算法

7、计算机系统基础

计算机系统架构的基本概念、常规信息系统的基本架构、主要的数据传输方法、数据解析和信息抽取技术

8、大数据导论

Hadoop大数据的基本概念、大数据分析基础、大数据挖掘基础、大数据可视化技术基础、大数据存储技术基础、大数据安全技术基础、数据科学基础、大数据与crm等

9、Hadoop大数据技术

Hadoop生态,介绍Hadoop的安装和配置,Hadoop的组件包括HDFS分布式存储系统,MapReduce计算框架,海量数据库HBase,Hive数据仓库,Pig、ZooKeeper管理系统等知识

10、分布式数据库原理及应用

介绍分布式数据库的原理和应用,以及当前大数据行业主要的非结构化的数据库,内容包括分布式数据库设计,分布式查询的分解与优化,事务管理,分布式并发控制,分布式数据库管理系统的可靠性,数据复制等分布式数据管理技术的经典内容

11、数据建模分析

介绍数据挖掘/建模的主要流程以及除算法外的其它建模重点,包括数据探索性分析、建模(具体的建模算法放到数据挖掘课程)、实验设计、评估方法等

12、数据仓库与数据挖掘技术

经典以及最新的数据建模分析技术研究成果,如小波分析、Rough分析、蚁群分析、分形技术、Agent、进化算法、分/聚类分析、非结构数据的挖掘、离群数据挖掘。(分两个重点方向:算法设计原理和算法应用)

13、数据可视化技术

从人、数据、可视化流程等三个层面阐述数据可视化的基础理论和概念;针对实际应用中遇到的不同类型的数据,包括时空数据、地理信息数据、高维非空间数据、层次和网络数据介绍相应的可视化方法;介绍可视化综合应用及实用系统

14、大数据分析与内存计算

Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算模型、Benchmark、BDAS等内容;应用角度讲解了一些简单的、有代表性的案例

15、商业智能方法与应用

介绍商务智能的基本概念、主要功能、系统架构,以及数据分析和数据管理的主要方法和技术,包括数据仓库、在线分析处理以及数据挖掘的建模、分析和评价方法,涵盖多维数据模型的建模、多维分析方法以及各种知识发现方法等

16、大数据管理与创新

介绍大数据管理的基本理念、方法、流程以及如何建立相关的数据团队,并对创新的数据管理提供一些思考方向

17、大数据治理与政策

介绍大数据的发展对社会治理的作用、影响以及相关的政策法规、从业者的相关道德要求等

面对具体的专业方向开设相关的数据应用课程或讲座应用比如:

18、模式识别/计算机视觉:介绍非结构化数据在模式识别、图像识别等方面的处理技术和原理等;

19、自然语言处理/知识表示/推理:介绍文本型数据在智能系统中的处理和表示技术及原理;

20、大数据与城市规划:介绍数据治理在城市规划中的具体应用和相关的技术原理等;

21、大数据与金融、大数据与供应链分析、大数据与营销……..

五、 大数据与数据科学的课程选课标准

针对不同的人才培养方向,给学生提供不同的选课标准和方法,大致建议可以按照如下的几个方向选课:

方向: 大数据应用分析师

核心选课(编码): 1/2/3/4/5/6/7/8/11/15/16/17

深入学习课程(编码): 11/15/20/21

方向: 大数据系统工程师

核心选课(编码): 1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17

深入学习课程(编码): 9/10/12/11/13/14

方向: 大数据算法研究员

核心选课(编码): 1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17

深入学习课程(编码):1/2/3/4/5/6/12

六、 培养方向与课程体系设置讨论

1、大数据:大数据的课程偏向系统工程师以及算法研究员,偏计算机的知识更多,如果结合非结构化数据的处理技术(自然语言、计算视觉、语音等),这块内容更有点偏向人工智能的课程,成果强调的是智能化的产品和设备;

2、数据科学:数据科学的课程更偏向统计、优化,更强调的是一种优化、实验、迭代、分析等建模的思维,同时结合行业应用的深度更强。所以单纯从数据科学这个角度来看,主要的核心主要包括:

数据科学导论(Introductionto Data Science)或数据科学原理(Principles of data science);

数据可视化(DataVisualization)或可视分析学(Visual analytics);

数据产品开发(DataProduct Development);

探索性数据分析(ExploratoryData Analysis,EDA);

大数据分析(BigData Analytics);

试验设计(ExperimentalDesign 或 Design of Experiment);

优化论(Optimization);

因果分析(Causality);

数据科学综合训练课程(DataScience Capstone)

七、附录

1、清华大数据研究院—数据科学课程体系

2、香港中文大学—数据科学课程体系

必修课

1.统计学理论

2.机器学习

3.数据挖掘入门

4.时间序列分析

5.数据库原理与开发

选修课

1.应用回归分析

2.应用多元方法

3.贝叶斯分析入门

4.数值算法分析

5.人工智能

6.优化理论入门

7.信息论及编码

8.图像处理与计算机视觉

9.分布式系统入门

10.应用并行编程

11.大数据建模与管理

12.网路数据分析

13.数据驱动实验设计与衡量

14.数据可视化入门

15.运营管理与分析

16.市场营销管理与分析

17.金融分析

18.经济分析

19.创新设计思考方法论

3、国外典型数据科学专业及其特色课程

学校: 加州大学伯克利分校

学位名称: 信息与数据科学硕士

特色课程: Master of Information and Data Science

Python 与数据科学/Python for Data Science

研究设计及数据与分析中的应用/Research Design and Application for Data and Analysis

数据存储与检索/Storing and Retrieving Data

应用机器学习/ Applied Machine Learning

试验与因果分析/Experiments and Causality

大数据——人与价值/ Behind the Data: Humans and Values

(纵向扩展及真正的)大数据/ Scaling Up! Really Big Data

数据可视化与沟通/ Data Visualization and Communication

(数据科学)综合训练课程/ Synthetic Capstone Course

学校: 约翰·霍普金斯大学

学位名称: 数据科学理学硕士
特色课程: Master of Science in Data Science

数据科学/Data Science

数据可视化/Data Visualization

随机优化与控制/Stochastic Optimization and Control

数据科学家的工具箱/Data Scientist's Toolbox

数据采集与清洗/Getting and Cleaning Data

探索性数据分析/Exploratory Data Analysis

可重复研究/Reproducible Research

实用机器学习/Practical Machine Learning

数据产品开发/Developing Data Products

数据科学综合训练课程/Data Science Capstone

学校: 华盛顿大学

学位名称: 数据科学理学硕士
特色课程: Master of Science in Data Science

数据可视化与探索性分析/Data Visualization & Exploratory Analytics

应用统计与试验设计/Applied Statistics & Experimental Design

数据管理与数据科学/Data Management for Data Science

数据科学家常用的统计机器学习/Statistical Machine Learning for Data Scientists

面向数据科学的软件设计/Software Design for Data Science

可扩展的数据系统与算法/Scalable Data Systems & Algorithms

以人为中心的数据科学/Human-Centered Data Science

数据科学综合训练课程/Data Science Capstone Project

学校: 纽约大学

学位名称: 数据科学理学硕士

特色课程: MS in Data Science

数据科学导论/ Intro to Data Science

大数据/Big Data

面向数据科学的统计学与概率论/Probability and Statistics for Data Science

推理与表示/ Inference and Representation

机器学习与计算统计学/ Machine Learning and Computational Statistics

数据科学综合训练课程/ Capstone Project in Data Science

基于优化的数据分析/Optimization-based Data Analysis

非光滑凸优化/Convex and Nonsmooth Optimization

学校: 斯坦福大学

学位名称: 统计学:数据科学理学硕士学位

特色课程: http://M.S.in Statistics:Data Science

现代应用统计学:学习/Modern Applied Statistics: Learning

现代应用统计学:数据挖掘/Modern Applied Statistics: Data Mining

数据驱动型医学/ Data Driven Medicine

现代统计学与现代生物学/Modern Statistics for Modern Biology

大数据商务智能/ Business Intelligence from Big Data

基于数据的计算范式/Paradigms for Computing with Data

学校: 卡内基梅隆大学

学位名称: 计算数据科学硕士学位
特色课程: Master of Computational Data Science

云计算/Cloud Computing

高级云计算/Advanced Cloud Computing

多媒体数据库及数据挖掘/Multimedia Databases and Data Mining

移动与普适计算/Mobile and Pervasive Computing

大数据集的机器学习/Machine Learning with Big Data Sets

智能信息系统的设计与开发/Design and Engineering of Intelligent Info Systems

大数据分析学/Big Data Analytics

学校: 哥伦比亚大学

学位名称: 数据科学理学硕士

特色课程: Master of Science in Data Science

数据科学导论/Introduction to Data Science

面向数据科学的计算机系统/Computer Systems for Data Science

探索性数据分析与可视化/Exploratory Data Analysis & Visualization

数据科学中的因果推理/ Causal Inference for Data Science

大数据分析学/Big Data Analytics

数据科学综合训练及伦理/Data Science Capstone & Ethics

学校: 伦敦城市大学

学位名称: 数据科学理学硕士
特色课程: MSc in Data Science

数据科学原理/Principles of data science

大数据/Big Data

可视分析学/Visual analytics

数据可视化/Data visualization

神经计算/Neural computing

研究方法与专业问题/Research Methods and Professional Issues

高级并发编程 /Advanced Programming: Concurrency

大数据技术原理与应用林子雨答案截图

大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版插图(1)大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版插图(2)大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版插图(3)大数据技术原理与应用第二版课后习题及答案下载-大数据技术原理与应用林子雨答案dox免费版插图(4)

评分及评论

无用户评分

来评个分数吧

  • 5 分
    0
  • 4 分
    0
  • 3 分
    0
  • 2 分
    0
  • 1 分
    0

Comments