分布式存储与资源管理(微慕课)

自主模式

  • 什么是随堂模式?

    随堂模式课程一般为每学期一轮次,课程每周更新,作业、考试有截止时间,由课程提供方老师、助教指导,课程完结,成绩由老师确认后,统一发放证书。

  • 什么是自主模式?

    自主模式课程常年开放加入,课件全部开放,作业、考试无截止时间,有学堂在线招募选拔的助教指导,考核通过即可自动获得证书。

来自于: 清华大学 | 分类: 计算机(356)

课程描述

这门课为《大数据平台核心技术》的微慕课课程之《分布式存储与资源管理》,讲授大数据和ODPS、分布式存储、资源管理与任务调度、分布式编程模型的设计与演化等内容,突出技术深度和实战性。

什么是认证证书?
免费学习
认证学习
名师签名
实名认证
权威性
纸质证书
付费购买
免费赠送

课程简介

这门课为《大数据平台核心技术》的微慕课课程之《分布式存储与资源管理》,面向信息科学技术类研究生或高年级本科生,由业界一线研发人员讲授大数据和ODPS、分布式存储、资源管理与任务调度、分布式编程模型的设计与演化等内容,突出技术深度和实战性。通过实践,力图覆盖大数据处理平台的主要核心技术,帮助学生了解分布式大数据平台设计中的关键挑战,提出实际的解决方案,为研究生未来研究方向提供参考。课程重点讲解设计原理,突出技术深度和实战性。

【参考资料】李妹芳,《ODPS权威指南》。本书是学习和掌握ODPS的权威指南,作者来自阿里ODPS团队。全书共13章,主要内容包括:ODPS入门、整体架构、数据通道、MapReduce编程、SQL查询分析、安全,以及基于真实数据的各种场景分析实战。本书基于很多范例解析,通过在各种应用场景下的示例来说明如何通过ODPS完成各种需求,以期引导读者从零开始轻松掌握和使用ODPS。同时,本书不局限于示例分析,也致力于提供更多关于大数据处理的编程思想和经验分享。书中所有示例代码都可以在作者提供的网站上免费下载。这本书对平台架构介绍不多,偏应用方面,但对了解阿里的大数据平台能够做什么可能有些帮助。

展开

课程章节

第一讲 大数据和ODPS
主讲人:武永卫
主讲人:程永
QUIZ
第二讲 分布式存储
大纲
初步认识大数据对分布式存储系统的需求
理解大数据对分布式存储系统的需求
具体说明大数据对分布式存储系统的需求
大规模分布式存储的挑战
小概率事件-Raid卡故障
分布式存储系统举例
分布式存储系统重要功能设计要点剖析
链式写正常流程
写流程的另一种常见方式:主从模式
链式写异常流程
写异常处理的另一种方法-Seal and New
读正常流程
读流程优化-BackupRead
IO QoS
数据正确性:checksum
数据可靠性-Replication
数据均衡-Rebalance
垃圾回收-Garbage collection
Erasure coding
Erasure coding(3,2)写入和读取过程
元数据管理的高可用性和可扩展性
元数据管理的高可用性
Paxos概要
Raft
元数据管理的可扩展性
不同存储介质的特性
盘古混合存储
QUIZ
第三讲 资源管理与任务调度
阿里云飞天分布式调度
任务调度
资源调度
容错机制
规模挑战
安全域性能隔离
分布式调度的发展方向
QUIZ
第四讲 分布式编程模型的设计与演化
数据格式和抽象
分布式编程模型
MapReuduce编程模型
关系型数据编程模型
分布式图计算模型
分布式编程未来展望
QUIZ
实践作业:通过两阶段提交协议完成数据上传
分布式事务
分布式一致性算法
两阶段提交与三阶段提交
实践--介绍
HW1:通过两阶段提交协议完成数据上传

授课教师

  • 武永卫清华大学 计算机科学与技术系 教授

    清华大学计算机科学与技术系教授。主要从事并行与分布式系统方面的研究,在IEEE ToC、IEEE TPDS、ACM FSE、ACM HPDC、USENIX ATC等期刊和国际会议上发表论文100余篇,其中SCI检索论文40篇;承担了863项目、97课题3、国家自然科学基金重点、欧盟FP6、中法国际合作基金、日本大川基金、Intel、HP等项目;曾获2007年教育部科技进步一等奖,2008年国家科技进步二等奖,2011年中创软件人才奖。

精华笔记

精华笔记正在评选中,去看看全部笔记

常见问题

目前还没有常见问题哟!