概率，贝叶斯，熵，条件熵。互信息I(X,Y)=H(Y)-H(Y|X)，两个变量之间的依赖度。 今天接触了一个新的概念：学习的本质是压缩。化为经典就是大道至简。