12个现实世界中的机器学习真相

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

上个月，我在一个亲密的朋友聚会上做了一个非正式的演讲，我把这个题目记下来。这篇文章主要是写给那些使用机器学习来构造东西的人，而不是那些研究机器学习的人，尽管后一组人会很好地倾听这些真理并反省他们的工作。

你会问，科学研究和工程研究有什么区别？George A. Hazelrigg 在他的“HONING YOUR PROPOSAL WRITING SKILLS”中写道：

一些科学家会学习如何制定研究计划。很少有工程师是博士级别的工程师。让我们先试着理解科学研究和工程研究之间的区别。对我来说，区别很明显。科学家力图了解大自然的本质，以了解其根本的本质。为了做到这一点，科学家通常剥离无关的影响，深入到一个非常狭窄的自然元素。这就是我们所说的自然法则：能量和质量是一样的，每一个作用力都有一个大小相等、方向相反的反作用力，依此类推。有许多自然法则，它们随时随地都适用。工程师遵循自然法则。他们别无选择。他们的目标是设计出在自然允许的范围内工作的东西。要做到这一点，他们必须能够预测系统的行为。所以工程师们面临的一个大问题是，我们如何理解和预测一个系统的行为，在这个系统中，所有的自然法则在任何时候都适用于任何地方。这是一个整合的问题，它就像找到一开始的规律一样困难。每时每刻把所有的自然规律都考虑进去是不可能的。因此，工程师必须找到方法来确定哪些定律是重要的，哪些可以忽略，以及如何近似那些在时间和空间上都很重要的定律。工程师不仅仅是预测未来。他们做出的决定部分是基于他们的预测，因为他们知道自己的预测不可能既准确又确定。理解和应用数学也很重要。这包括概率论、决策理论、博弈论、最优化、控制理论和其他数学在工程决策环境中的应用。这也是一个合理的工程研究领域。

作为 ML 的研究人员和实践者，你必须考虑你拥有的数据的正确模型，而不是你拥有的模型的正确数据集(就像许多研究论文一样)。如果你曾经问过“这个模型的正确数据集是什么”，那么你并不是在现实世界中。到底什么是真实的世界？在现实世界中，你对要处理的数据是没有选择的。在这里，数据定义了问题，而不是相反。有时，在现实世界中，ML 实践者创建了一个自己的世界作为他们的建模游乐场，从而假装他们是“科学家”，例如“发明”一种用于做 NLP 的语言，或者通过简化假设来创建封闭的环境来强化学习。这些研究得出了有趣的结果，但它们的范围仅限于它们所来自的世界，即使研究人员喜欢在论文中把它们当作适用于现实世界的东西来兜售。在现实世界中，输入的分布更有可能发生变化，长尾的“curve balls”不知从何而来，你并不总是有答案。

当你在现实世界中工作时，有几个事实是你必须面对的，这也是本文的主要内容。但这个开场白是必不可少的。如果你在现实世界中做 ML 研究，你是工程师而不是科学家。

缓存层次结构已经是固定的，你必须在这个前提下工作，网络开销会让分布式训练变慢，在向量中只能塞入那么多内容，等等。

一个研究生或大型的超参数扫描器可以在一个巨大的数据中心中可以找到一组超参数，可以让非常复杂的模型工作得很好，甚至产生优秀的结果。但没有人在现实世界中调试那么大的模型。我在帮助公司管理他们的 ML 团队时发现了一个秘密 — 大多数人不知道/不关心超参数调优。

对于既不构建生产 ML 模型也不维护它们的人来说，机器学习中的某些东西是永远无法完全理解的。再多的课件，再多的 mooc，再多的 Kaggling，都无法让你为此做好准备。没有什么可以替代部署模型、观察用户与模型的交互、处理代码/模型分解等等。

例如，在语音方面，声学建模是困难的，但是你可以让网络在解决不同问题(例如语音识别)的方法中找出这些细节。在 NLP 中，很难进行正确的解析。但值得庆幸的是，对于 99%的现实任务，我们可以不进行解析。

推论：除非迫不得已，否则不要解决问题。

与购物时的价格冲击类似，工作中也有“努力冲击”。大多数经验丰富的研究人员和工程师都经历过“努力冲击”，要么是因为他们低估了处理大型数据集的工程问题，要么是因为他们低估了正在与之搏斗的领域的复杂性，要么是因为他们低估了对手。大多数论文让读者读起来觉得事情很简单，而忽略了这背后是经过了几百万次失败才有的成功。因此，论文不是研究，而是做研究的结果。因为这个原因，你永远可能通过阅读论文来体验做研究的过程。

这可以和第 8 点结合起来，事实上任何远程调用的成功的模型如果没有适当的计划，都可能由于自身的成功而崩溃。

Schimdhuber 可能提出了一个更大的观点。没有人听他的，像他一样，我们把旧酒重新装进新瓶子，被迫重复错误的历史。

生活中的每件事都是如此，现实世界中的机器学习也是如此。唉，我们的会议回顾了他们对“新颖性”的嗜好，产生了不想要的 arxi -spam，其中包含了大量本来就不需要存在的垃圾。除非做“科学”能够鼓励宣传什么是有效的，而不是什么是新的，否则我不认为这种情况会改变。