我们应该如何阅读机器学习领域的论文?

机器学习领域非常热门,新模型和新技术也在不断快速更新。

我们需要阅读一些论文,并跟踪我们通常的工作和学习过程中某个领域的最新发展。

但是,阅读论文常常有两种不舒服的感觉,一种很容易忘记,另一种是不可能勾勒出轮廓。

忘记通常是当您阅读背面而忘记正面时,或者回顾几天后阅读的论文而又不知道发生了什么。

不能概述和指导的问题反映在偏爱逐字阅读,从全局中学习论文而不集中精力的偏好中。

那么,我们应该如何阅读机器学习领域的论文呢? Google机器人研究科学家Eric Jang在他的博客上写了一篇题为“ HowtoUnderstandMLPapersQuickly”的文章,提到他的学生经常问他一些类似的问题,例如“关于arXiv的各种论文每天都充斥着,我们再次如何有选择地阅读?”他指出,阅读大多数机器学习论文的好处是,您只需要问五个简单的问题即可弄清楚论文的逻辑并避免很多麻烦,例如困难的可理解术语,错误的数学推导...五个问题是:1)函数逼近器的输入是什么?例如,只有一个对象居中的224x224x3RGB视图。

2)函数逼近器的输出是什么?例如,它对应于输入长度为1000个向量的图像。

考虑这种“省略”方式的机器学习系统的输入和输出。

这样,您可以跳过算法术语,并考虑其他字段是否使用其他方法来实现相同的目的。

在阅读“元学习”领域的论文时,我发现该方法非常有用。

通过将机器学习问题视为一组输入和预期输出,可以推断输入是否足以预测输出。

如果您不进行此练习,则可能会随机设置机器学习问题,并且输出可能不会由输入确定。

因此,可以创建引起“错误”的机器学习系统。

3)监督输出预测的成本是多少?这个特定的目标对世界有什么假设?机器学习模型是通过组合偏差和数据而形成的。

有时偏见很强烈,有时很弱。

为了更好地概括模型,您需要添加更多偏差或添加更多无偏数据。

由于“没有免费的午餐”的理论,指出,没有好的模型可以轻易地建立。

举个例子:许多最优控制算法都假设一个稳定且连续的数据生成过程,即马尔可夫决策过程(MDP)。

在MDP中,“状态”为“状态”。

和“动作”动态确定映射到“下一状态,反馈以及是否结束”。

通过环境的转变。

尽管这种结构很常见,但可以将损耗公式化,使学习到的Q值遵循Bellman方程。

4)训练后,该模型可以从以前未曾听说过的输入/输出中总结出什么?因为信息是从数据或模型体系结构中捕获的,所以机器学习系统可以得到很好的开发。

近年来,我们看到了越来越高的概括性,因此在阅读论文时,我会观察到那些令人惊讶的概括性功能以及它们来自何处(数据,偏倚或两者兼而有之)。

较好的归纳偏差在该领域会产生很多噪音,例如因果推理,符号方法或以对象为中心的表示形式。

这些是用于构建强大而可靠的机器学习系统的重要工具,而且我知道分隔结构化数据和模型的偏差线可能很模糊。

话虽如此,令作者感到困惑的是为什么这么多研究人员认为推进机器学习的方法是减少学习量并增加硬编码行为的量。

我们之所以进行“机器学习”的研究工作,是因为正是因为我们不知道如何对某些事情进行硬编码。

作为机器学习研究人员,我们应该将工作重点放在改进学习方法上,而将硬编码和符号方法留给机械硬编码研究人员使用。

5)结论可以被伪造吗?声称自己不能被伪造的论文不在科学领域。