应用信息论基础(自主模式)

自主模式

  • 什么是随堂模式?

    随堂模式课程一般为每学期一轮次,课程每周更新,作业、考试有截止时间,由课程提供方老师、助教指导,课程完结,成绩由老师确认后,统一发放证书。

  • 什么是自主模式?

    自主模式课程常年开放加入,课件全部开放,作业、考试无截止时间,有学堂在线招募选拔的助教指导,考核通过即可自动获得证书。

国家级精品

来自于: 清华大学 | 分类: 计算机(667)

课程描述

信息论不仅奠定了现代通信、网络技术的理论基础,还在大数据分析、生物信息学、经济学等领域不断发掘新的应用。VR实景课程录像将与课件同步上传。

什么是认证证书?
免费学习
认证学习
名师签名
实名认证
权威性
纸质证书
付费购买
免费赠送

课程简介

信息论是一门很安静的学问。自1948年香农发表划时代的论文“通信的数学原理”以来,他开创的以信息度量体系、信源和信道模型和典型性作为基础的范式就一直统治着这个理论研究的王国。虽然历经了60余年,信息论研究由经典的点到点模型拓展到多用户场景,并产生了诸多问题上的演进,但是基本的数学方法却一直保持了良好的一致性。从这个意义上来说,信息论有着自己的研究格调和“方法论”。作为统计数学的一个分支,信息论圈子更像一个数学研究者的社区,学者们也在数学证明的精妙细节中体验着纯学术的乐趣。

但信息论同时又是一门非常“入世”的学问。在其60多年的历史中,产生了非常多意义非凡的实用技术。特别值得一提的是,这些贡献大多数来自于信息论经典范式中“可达性”(Achievability)证明中构造性过程,例如LDPC码、连续干扰抵消、叠加编码、污纸书写编码等等,都是来自于可达性证明中的“巧思”。一门数学理论能够产生如此多深远而重大的实际影响绝非幸致,香农建立的对信息系统的抽象方法是其成功的基础。而典型性则为技术克服信源和信道随机性提供了强大的数学工具,使得信息论可以获得对于通信和信息系统性能边界的强大分析能力。

在我国电子信息类的本科和研究生课程体系中,“信息论”一般是作为专业基础课开出的,为绝大多数毕业生储备了相关的基础知识。随着我国由信息产业的制造大国迈向信息技术的强国,需要更多的工程和研究人员不仅了解如何实现技术(Know-how)更需要知道为什么这样做(Know-why),从而具备原始的创新能力。我们的愿望是,信息论这门课就会发挥这个重要的作用。

本课程使用VR实景拍摄,期待给你带来全新的在线课程体验!

展开

课程章节

VR视频宣传
课程VR视频宣传片
第〇章 绪论
课程概述
信息是什么
信息论产生的背景
信息论的贡献
香农其人其事
lecture_0.pdf
第一章 信息论的基本概念
信息熵
互信息
鉴别信息
熵、互信息、鉴别信息的凸性
Fano不等式与数据估计
连续随机变量的熵和互信息
lecture_1.pdf
第二章 信源与信源无失真编码
渐进等同分割性质
定长编码定理
码的类型
前缀码约束条件-Kraft不等式
Huffman编码及其最优性
lecture_2.pdf
第三章 信道及其容量
信道容量的定义和性质
离散无记忆信道的容量
信道的组合
连续信道的容量
模拟信道容量
信道编码
lecture_3.pdf
第四章 信息速率失真函数与熵压缩编码
问题的提出
率失真理论的基本概念
率失真函数的性质
率失真函数的计算
率失真定理的证明
lecture_4.pdf
第五章 最大熵原理与最小鉴别信息原理
最大熵原理与最小鉴别信息原理
Lecture5.pdf
复习提纲
复习提纲
期末考试
期末考试

授课教师

  • 张林 清华大学 电子工程系 副教授

    张林,男,汉族,41岁,清华-伯克利深圳学院副院长、清华大学电子工程系“信息与通信工程”专业博士、特别研究员、博士生导师、长聘副教授。1993年保送入清华大学学习,1998年获清华大学工学学士学位,2001年和2005年分别获得清华大学大学信息与通信工程专业硕士和博士学位。2004年赴香港大学担任访问教授,从事无线网络协议和数据融合技术研究。2011-2014年在斯坦福大学和加州伯克利大学担任访问教授和客座研究员。主要研究方向为无线网络、无线自组织传感器网络、传感大数据挖掘和社会物理信息系统。

精华笔记

精华笔记正在评选中,去看看全部笔记

常见问题

什么样的人会从这门课中受益?

所有人,这门课将带你体验理论与实践融合所带来的快感,如果你享受对复杂问题的简洁表达,如果你习惯在做事之前想想方向是否正确,那么你就拥有了信息论的基本价值观。当然,如果你从事(但不限于)以下领域的工作,那么这门课会给你带来很大的受益:通信、网络、生物、经济、投资。

先修课程有哪些?

我们期待选课的同学有大学本科程度的概率理论基础,如果有随机过程的基础就更完美了。当然,如果这些都没有,你也需要懂一点高中水平的组合数学。

Q:参考书有哪些?

A:参考书如下,[2][3]可作为延伸阅读材料: [1] Thomas M. Cover与Joy A. Thomas著的无比经典的教材《Elements of Information Theory》(中文版书名为《信息论基础》,阮吉寿、张华等译); [2] Abbas El Gamal和Young-Han Kim合著的《Network Information Theory》(中文版书名为《网络信息论》,张林译); [3] Imre Csiszár和János Körner Csizar所著的学院派经典《Information Theory: Coding Theorems for Discrete Memoryless Systems》。