时时彩走势图:大数据开发工程师微专业

五分彩走势图 www.2687b.cn 挑战年薪50万,成为大数据工程师。完整Hadoop生态组件+真实网易案例+资深工程师经验+网易云私有集群在线实操+全SSD硬盘支持

网易&浙大&云展大数据

网易云课堂

计算机

普通(中级)

5 周

  • 中文
  • 1884

课程概况

本微专业为网易出品,联合网易猛犸、浙江大学、杭州云展科技一线讲师团队打造??纬躺杓埔云笠嫡媸档拇笫菁芄购桶咐龇⒌?,强调将大数据思维与实践相结合。项目实操接入网易云,提供真实的大数据开发环境,帮助全方位掌控大数据技能。

包含课程

大数据技术概论
1 大数据技术的起源和发展
1.1课程大纲
1.2大数据技术的起源
1.3互联网泡沫:大数据技术的发端
1.4 重识大数据技术

2 大数据技术与相关领域的关系
2.1大数据与云计算
2.2大数据与区块链
2.3大数据与人工智能

3 大数据管理技术概述
3.1大数据管理技术概述
3.2大数据存储技术
3.3大数据事务处理技术
3.4大数据查询处理技术
3.5 人机交互技术

4 大数据应用
4.1“双十一”与海量支付
4.2商品推荐:亚马逊的秘密武器
4.3流立方与金融反欺诈
4.4关联分析与投资组合
4.5群组分析:洞悉人们的行为趋势

数据平台综述
1 问题回顾
1.1课程介绍
1.2数据管理技术的演化
1.3学习的方法论

2 数据平台设计理念
2.1分布式系统可扩展性
2.2分布式系统CAP理论
2.3用分布式理论扩展关系数据库
2.4BASE原则和NoSQL系统
2.5小结

3 简单说一说选型
3.1粗识大数据平台

数据存储:HDFS
1 基础架构
1.1课程介绍
1.2背景
1.3HDFS架构
1.4HDFS读写
1.5副本放置策略

2 部署配置
2.1部署安装
2.2部署实操

3 管理使用
3.1HDFS管理与使用

4 高级内容
4.1HDFS高可用
4.2HDFS联邦
4.3HDFS安全
4.4压缩与分片

5 异常处理
5.1异常处理

日志解析及计算:MR
1 MapReduce的基本原理和运行流程
1.1 MR的应用场景
1.2 MR的原理和运行流程
1.3 编写一个MR程序

2 MR编程实战
2.1 Hadoop的IO模型
2.2 完整编写Map和Reduce
2.3 灵活使用Configuration
2.4 精准控制Shuffle过程
2.5 MR程序的输入
2.6 MR程序的输出
2.7 简单好用的计数器

3 案例实操
3.1 MR实现关联操作

4 MR性能调优
4.1 MR参数调优
4.2 数据倾斜

数据获取和预处理:Flume
1 日志及日志收集系统
1.1课程介绍
1.2日志及日志收集系统

2 Flume设计原理
2.1Flume Agent组成
2.2Flume支持的组件类型
2.3Flume基本配置

3 Flume安装部署
3.1Flume-ng部署

4 Flume配置示例
4.1Flume配置示例

5 实战
5.1Flume高级配置
5.2构建复杂日志收集系统

结构化查询:Hive
1 从MR到Hive
1.1Hive解决了什么问题
1.2Hive擅长什么

2 Hive 系统介绍
2.1Hive结构与数据仓库
2.2数据模型与元数据

3 Hive的安装及调试
3.1Hive安装与配置
3.2创建和管理Hive中的数据库

4 Hive查询语法
4.1写一个基本的查询语句
4.2子查询和关联表操作
4.3使用简单函数
4.4使用聚合函数
4.5利用正则表达式精确提取信息
4.6窗口函数的使用
4.7“行转列”与“列转行”
4.8用户自定义函数(UDF)的使用

5 案例
5.1Hive优化案例

数据获取和预处理:Sqoop
1 来自于业务系统的数据
1.1课程介绍
1.2业务系统数据
1.3数据同步与传统数仓

2 Sqoop功能与架构
2.1sqoop功能与架构
2.2数据划分

3 sqoop安装及配置
3.1java, hadoop-client等基础依赖安装
3.2sqoop服务安装

4 sqoop语法介绍
4.1语法分析

5 案例
5.1案例

大数据调度框架:Azkaban
1 任务调度基本概念
1.1课程介绍
1.2调度系统背景知识

2 Azkaban系统介绍
2.1架构组件和任务流程讲解

3 Azkaban的安装和配置
3.1代码下载、编译、部署
3.2插件的安装:hadoopJava、Spark等

4 Azkaban工作流调度实战
4.1具体任务编写要点 和 DAG设计
4.2不同调度参数详解

5 Azkaban进阶
5.1如何实现web高可用
5.2如何提高任务可用性
5.3如何增加新的插件类型

Scala编程基础
1 Scala实战入门
1.1 安装Scala开发环境
1.2 Scala常用类型介绍
1.3 值与变量的声明
1.4 Scala函数与方法的定义和使用
1.5 默认参数、带名参数及变长参数
1.6 动手编写条件表达式
1.7 循环表达式与For循环的使用
1.8 异常处理

2 Scala面向对象入门实战
2.1 类的定义:属性与方法
2.2 不同的构造
2.3 object对象
2.4 apply方法
2.5 方法重写与字段重写
2.6 抽象类
2.7 trait
2.8 case class
2.9 模式匹配

3 Scala集合类详解
3.1 集合
3.2 序列
3.3 可变列表与不可变列表
3.4 集合操作

4 Scala高级特性实战
4.1 隐式转换
4.2 隐式参数
4.3 隐式类

Spark框架教学
1 spark基础
1.1Spark概述
1.2Spark安装
1.3什么是RDD?
1.4RDD的创建方式
1.5RDD基本操作

2 df与ds的基础
2.1DataSet与DataFrame概述
2.2DataSet的创建方式
2.3DataSet基本操作
2.4DataFrame的创建方式
2.5DataFrame基本操作

3 SparkSQL
3.1SparkSQL前世今生
3.2SparkSQL使用
3.3UDF开发
3.4SparkSql调优

4 Spark调优
4.1共享变量(广播变量,累加变量)
4.2持久化
4.3使用高性能的算子
4.4其他

实战大作业:网站分析大数据框架调度
实战大作业:网站分析大数据框架调度作业
【基于网易云私有集群环境,使用网易提供的脱敏数据库及日志】
第一步:学员通过flume将日志同步到hdfs,mr解析日志到hive表
第二步:数据库通过sqoop同步到hive表,按照给定的统计口径,将结果同步到mysql数据库或者hdfs文件系统
第三步:通过azkaban配置任务依赖,至少保证3天的稳定运行
第四步:梳理设计文档并将代码打包上传提供评审

预备知识

具备Java基础语言的应用
具备linux常用基本命令使用的能力

常见问题

Q: 课程是录播还是直播?
A: 课程采取录播视频+线上作业+直播答疑的形式,你可以自主安排时间学习教学视频,但需在规划的学习周期内完成作业和参加考试。

Q: 课程是否可以一直观看?
A: 课程视频可以永久观看。

Q: 课程可以开具发票吗?
A: 请发送邮件至[email protected],邮件标题注明[发票申请], 邮件正文说明需要开具发票的课程名称,云课堂账号、昵称,所需发票抬头,发票邮寄联系人、邮寄地址以及联系人手机号。

Q: 课程是否可以倍速播放、离线观看?
A: 微专业课程视频支持手机端倍速播放以及离线缓存观看。

Q: 如果考试没有通过怎么办?
A: 学员本期未能完成学习或者考试未通过的,享有一次免费重修的机会,重修同享相应学期教学服务。

Q: 网易云私有集群可以用多久?
A: 网易提供半年网易云集群使用权限,有效期从学员报名当期的第一门课程开课日期开始计算。

声明:MOOC中国发布之课程均源自下列机构,版权均归他们所有。本站仅作报道收录并尊重其著作权益,感谢他们对MOOC事业做出的贡献!(排名不分先后)
  • Coursera
  • edX
  • OpenLearning
  • FutureLearn
  • iversity
  • Udacity
  • NovoEd
  • Canvas
  • Open2Study
  • Google
  • ewant
  • FUN
  • IOC-Athlete-MOOC
  • World-Science-U
  • Codecademy
  • CourseSites
  • opencourseworld
  • ShareCourse
  • gacco
  • MiriadaX
  • JANUX
  • openhpi
  • Stanford-Open-Edx
  • 网易云课堂
  • 中国大学MOOC
  • 学堂在线
  • 顶你学堂
  • 华文慕课
  • 好大学在线CnMooc
  • 以及更多...

© 2008-2018 www.2687b.cn 慕课改变你,你改变世界

  • 银白配色更高贵-热门标签-华商网数码 2019-04-10
  • 端午视听盛宴:交响演绎戏曲 2019-04-10
  • 具体到这件事情,起因如没有特别的原因,那就是车主不想交停车费。收费员的责任最多是态度不好而已。因为收费员不可能冒着丢饭碗的风险与车主死磕,而车主倒可能因为自己的 2019-04-01
  • 王子文晒自拍腹肌瞩目 坚持瑜伽数月显健康美感 2019-03-31
  • 余江:孔子学院可成为“一带一路”上的公共外交实践平台 2019-03-30
  • 女性之声——全国妇联 2019-03-30
  • 置业指南:盘点沙坪坝在售楼盘 2019-03-29
  • “钱妞”顶灰蓝头发亮相 接受《早安美国》访谈心情好 2019-03-22
  • 列车上旅客晕倒 众人爱心救助 2019-03-13
  • 西藏积极开展防沙治沙宣传 建设美丽西藏 2019-03-13
  • “妖”墨奇妙夜 贝利“乌鸦嘴” 2019-03-12
  • 中共中央直属机关党校 2019-03-06
  • 回复@老老保老张工:至于计划,你把中国人明天的早餐计划一下? 2019-03-06
  • 独家视频:十九大要开啦! 2019-03-03
  • 沪伦通制度安排就绪 债务违约率整体较低 2019-03-01
  • 306| 714| 849| 114| 156| 940| 59| 266| 438| 97|