机器学习进阶指南：从概率图模型到前沿知识开发的完整学习路径

hwyzw

    我主要来讲讲学完这些之后，应该怎样去学习更高级的内容呢？当然啦，这还是要结合我自己的经历来谈。就像“授人以鱼不如授人以渔”这句话所说的，要想学习前沿的内容，就必须掌握基础的工具。书有两种类型。一种书看完就结束了，你虽学到了一堆技能，但无法用这些技能创造新的知识，遇到问题也不能做到因地制宜。倘若如此学习，大概只能用于应对找工作面试。另一种书看完才是学习新事物的开端，你学会了如何读懂他人的论文，学会了如何开发新的知识，学会了如何根据情况选择和调整算法。

    1、机器学习研究生课程——概率图模型(  model)：

    我在上一门课叫概率图模型。这门课讲得特别好，我正打算进行第二遍学习。学完这门课后，掌握了图模型的设计、推断以及采样方法，就能够开始学习两个核心的机器学习模型。其中一个是（LDA），它常用于文本处理；另一个是（PMF），常用于推荐系统。

    2、机器学习研究生课程——统计计算( )：

    这个课对数值积分方法、Monte Carlo 方法（包括 MCMC 等）、EM/MM 进行了系统介绍。学完这门课，你可以对这个领域的工具获得全局性的认识，知晓每个工具的优缺点，了解它们产生的历史渊源，进而在具体问题中能够正确地选择和使用它们。

   

    有了这些工具后，你会发觉大部分工作是在细分领域进行简单扩展。例如，PMF(ICML'08)这篇文章几乎完全是 MCMC 在 PMF 领域的应用。再者，大部分时候都是以循序渐进的方式进行的，将一些现成的想法进行排列组合。

    3、机器学习研究生课程——深度学习(Deep )：

    说实话，我刚开始接触这块内容时发现，这简直就是传说中的黑科技呀。你不了解模型里面发生的情况，好坏仿佛都得看天决定。为了弄清楚这一点，我决定重新开始实现神经网络。（代码在 bobye/· ）前后花费了将近半年的时间，在实现的过程中，我学习了构造神经网络以及训练神经网络的各个细节。我从这个开始学习。UFLDL 课程资料提供了源码。不过我喜欢重新去做。那个时候我恰好在学习 Scala。于是我用 Scala 重写了一个神经网络的库。这个语言的特性很适合写神经网络的算法。

    近几年深度卷积网络代替了深度学习的主流。这种监督学习的算法对某些问题很有效，但在数学上并非特别神奇。我更关注非监督的神经网络。

    4、机器学习研究生课程——优化()：

   

    没有优化算法的话，任何机器学习模型都难以成立。如何运用更高效的优化算法呢？如何在计算时间和准确度之间进行权衡呢？如何将已有的问题拓展到更高规模的数据上呢？这些一直都是“优化大师们”持续不断的工作。这是一个非常庞大的分支，在我看来，现在较为流行的有两个大类，分别是随机梯度优化和 ADMM。前者用于解决大规模非约束优化问题，在现实情景中应用广泛，但我们对其了解甚少；后者用于解决带约束问题，存在很多变体。另外，优化大家庭还有很多其他成员，此时我推荐的资料有 J 的这本书，其内容十分充实。此外，ADMM 的内容当然要看 Boyd 在 11 年发表的论文。

    “概率图模型要画圈，神经网络需调参数，优化问题得加正则”，这样一来，即便不会科研也能胡乱说上一通了……接下来讲讲答主近期正在观看的事物。

    5、机器学习研究生课程——PAC学习理论(PAC )：

    这个理论较为古老，其历史价值颇高，然而应用价值存在争议，但始终有人在该方向持续工作，还试图用它来构建新模型，所以知晓它还是有必要的。推荐最近的新书：《From  To 》。非参数贝叶斯统计（Non-  ）：此方向尚处于起步阶段，有许多有待挖掘的内容，也是我博士学业的一个重要课题。

    以上是关于机器学习研究生课程的相关内容。当前时代，人工智能的发展存在一定局限性，但这并未影响大家对人工智能行业的热情。小编坚信，在不久的将来，人工智能必定能为我们的社会带来更多便利。环球网校小编在此祝愿大家在人工智能行业的学习之路上一帆风顺。