机器学习系列一之独立同分布

Contents

1. 1. 独立同分布
2. 2. 对机器学习工作的理解

独立同分布

国庆回家的路上看了一集吴恩达老师的 CS229，然后找了些资料继续学习了下。把监督学习里的梯度下降算法弄懂了，看到讲概率解释的时候听到了独立同分布这个词。
回想起来大二时候概率统计课的时候学过概率密度、概率分布、卷积、联合概率密度等等，独立同分布这个词也是那时候学习的。到了现在，具体的定义想不起来了，脑海中只能意会一般的想起来是怎么回事。大概就是存在一个概率分布 P，当从这个分布中取出随机变量 X 的时候，随机变量 X（X1/X2/X3…Xn）相互独立不干扰。

独立同分布放在机器学习上就是样本空间中的全体样本服从一个未知的分布 D，这个未知的分布就是我们要求的决策函数
Y = f(X)
或者条件概率分布
P(Y|X)
我们获得的每个样本都是独立的从这个分布上采样获得的，即“独立同分布”，independent and identically distributed，简称为 i.i.d。这个假设为后面的极大似然处理提供了基本前提。

印象中极大似然估计就是需要独立同分布当中的大数定理来的。

由于一点都没复习过概率统计，上面一句话可能描述不清，哈哈。
等以后一点点捡起来再看。

对机器学习工作的理解

机器学习这个东西，需要的数学知识比图像处理还要更猛。感觉就是拿统计物理的那一套类似的方法来研究数据
统计回归方法里 sigmoid function

这就明晃晃的像在量子物理学习的费米-狄拉克分布（当然，还有玻色爱因斯坦统计）

果然世界万物都是相通的~~~可惜我的智力和财力不允许我去做科学研究，只能搬砖。

回过头到搬砖上来讲，现在有很多人加入了机器学习的阵营。我把他们分成这么几个范畴

1. 科学带头人，引领这个领域开拓创新的人
2. 布道者，像吴恩达老师这样的人
3. 普通科研者，举不出例子
4. 普通科研者手下的博士们
5. 普通科研者手下的硕士们
   。
   。 中间略过一些也很不错的人群
   。
   k. 不清楚算法原理，但是会拿 TensorFlow 跑模型
   k+1. 我

像做图像处理工作一样，也许不清楚具体算法数学原理，但是并不妨碍出结果。
这就是门槛在降低的明证~之前我还觉得机器学习遥不可及，现在看来再不学就要落后了。