2021 年了，机器/深度学习还有哪些坑比较好挖？-技术圈

↑ 点击蓝字关注极市平台

作者丨张趔趄、微调、金雪锋

来源丨知乎问答

编辑丨极市平台

极市导读

深度学习以及机器学习发展至今，涌入了大量的人才和资源，有很多方向已经达到了一个瓶颈，短时间内有非常大的突破有些难以实现。那么对于有学术要求与指标的学生来说，还有哪些方向可以去深挖呢？ >>加入极市CV技术交流群，走在计算机视觉的最前沿

# 回答一

作者：张趔趄

康奈尔大学电子与计算机博士在读

来源链接：https://www.zhihu.com/question/440538267/answer/1719126442

凡是个坑，都不好挖，能挖一坑，便能雄霸一方，挖多挖大，方能一统江湖。若只求毕业，hmmm....不需挖坑。

做机器/深度学习相关的基础方法研究，难度不小，在硬件资源和自身梳理基础上有一定门槛。但是相关领域的应用却未见得。比如个人所在的医学图像领域，和临床应用息息相关，每天都会有新的问题产生，也会有新的数据产生。如何利用这些数据，建立合适的模型去帮助医生或者医学科研工作者，其意义不言而喻。这些问题有小也有大，可以具体到一个非常垂直场景的应用，也可以泛化到一些基础性的问题如下

例如MRI扫描加速。在纽约，在医院扫一次MRI，大概要2k刀左右，具体跟你需要的sequence还可能有关系。如果你能在不损失图像质量和信息的情况下对其进行加速，将具备巨大的经济价值。想当年的compressed sensing和衍生出来的sparse representation，dictionary learning等在deep learning era之前的火爆程度，这不就说明这里面解决到的是fundamental的问题，其原理不仅可以加速MRI扫描，也可以被泛化应用到其他地方，从而产生很大的影响力。
又例如medical image reconstruction, 大多数这样的问题都是ill-posed，传统解法是formulate成一个优化问题，加上一些constraint/prior，从而求解。然而这些图像每个人扫出来的虽细节不一样，但是呢大体结构又类似，那么如何让深度/机器学习能更好的学习到prior然后来更快更好的解这些优化问题呢？如果这个问题能被解决，那是不是可以直接应用到其他类似需要领域呢，
在医学图像里有一类优化问题，自身存在结构，虽然from scratch去优化可以得到正确的结果，但是深度学习是不是可以更好的去approximate这些优化问题，利用自身的提取特征的能力来助力这些优化？让模型学习到这些结构，然后在之后的优化中就可以进一步提升速度。让深度网络变成一个优化器。比如我的一个co-authro Mert Sabuncu提出的VoxelMorph，用来深度学习来实现image registration; 比如另一个co-author,Jinwei提出的用fidelity loss来对没有见过的数据进行refine.
又比如做medical image analysis的第一步，往往是对ROI进行segmentation，如何真正的利用人体结构的相似性来更好的让模型学习到一些结构，而不是直接迁移一些自然图像里的方法呢？

上面说的还是相对基础的一些问题，在医疗数据中有很多应用场景，任何一个需要用计算机辅助人工甚至替代的地方都可以尝试用深度/机器学习的办法来解决。但是这些场景对于一个纯研究算法的人来说，不一定接触的到。所以本质上，现阶段在没有方法性的新坑的情况下，我们结合一些垂直场景的domain knowledge，把这个垂直结构做深入，才是生存之道。医疗数据这一块个人认为这个行业虽然下限不低，但是如果解决的问题不是医学的一些本质问题例如癌症，阿尔兹海默等，是不会有那种大新闻的。但是随着国内医疗环境的改善，以及国家未来对医疗行业的加大投入，这里面机会很多。同样对于其他的领域也是如此，比如遥感图像，生物制药等

但说实话，求毕业的话，做应用，或者改改模型，应该很容易吧？

# 回答二

作者：微调

CMU博士在读

来源链接：https://www.zhihu.com/question/440538267/answer/1717701231

如果限制你的是研究能力，也的确可以用苦工来弥补研究上的不足，而顺利毕业。

既然题目里说是为了毕业不为其他，那就先说怎么毕业。这问题我很有经验，因为常常有网友问我要点子来毕业，我无偿的提供过各种乱七八糟的方案，有很多成功案例。不过大家不必单独联系我了，我直接把策略写出来了。

最容易的就是做交叉application，算法A在任务B上的表现等。如果发会议就能毕业的话，ccf的c类会议里有相当一部分都有>40%接受率（ICANN，IJCNN，ICPR等），你魔改一点网络结构去尝试解决一个没人在乎的问题，只要写的别太拉胯就硕士毕业了。我举一些不存在的例子，如何使用「魔改的RCNN」（这个可以替换为任何经典模型）解决「室内建筑通风能力预测」的问题。再来一个，如何集成「多个自编码器」提升「图片中太阳花」的检测率。再来一个，如何用「自监督学习」来发现「海洋图片中的污染情况评估」。怎么找应用看你有没有啥合适的数据，有的话多的是脑洞应用。不行的话，翻翻这个答案随便找点数据：机器学习需要的大量数据集从哪里找?（https://www.zhihu.com/question/342295029/answer/915272899）其实这类没啥意义的文章其实才是泛学术圈的主流，我们不鼓励这类内容，但也明白很多人只是为了毕业，不丢人。
或者现在很多人也喜欢大规模的比较和benchmark，比如讨论20种聚类算法在100个数据上的一些表现啥的。然后有些“惊人”的发现，比如原来某个领域20年来都没啥新进展。比如mlsys20上这篇arxiv.org/pdf/2003.0303 ，研究了81篇文章里的pruning的方法。
再来，就是做数据集，你去UCI上看看各种各样的数据集，能不能把它们改成其他任务的。比如把分类任务改成聚类的，把回归改成检测。很多会议也喜欢新的数据集，尤其是大数据集，或者多个数据集。

如果不是为了着急毕业，而是真的找一些别人还没做的新坑，我觉得可以考虑一下scalability和machine learning (mlsys)。大概的问题定义是这样的，随着算法的不断丰富，我们如何在越来越大的数据上应用这些算法。比如大型网络平台需要每秒上千万次的推荐，金融风控需要实时监测欺诈交易等。细分的话内容挺多的，比如并行训练、机器学习模型编译、自动机器学习、模型压缩等等。大概就是从很多角度都可以增强系统的吞吐和处理能力，当然另一个极端就是怎么在低功耗的硬件上处理复杂的机器学习问题。

算法在大规模上如何做到低并发，很适合有系统啊、并行计算、高性能计算背景的同学，尤其是适合编程能力很强的同学，因为会涉及到很多开发的内容。而且创新的方向很多，比如算法模拟上的（比如用locality sensitive hashing来计算不同样本间的相似度），又比如计算精度上的（用half tensor的话会导致什么结果），也比如硬件上的（放到很多机器上分布怎么做等）。而且往往不同的方向都能叠起来一起用，这就导致了你可以有很多种排列组合解决不同的问题。也有很多理论上的坑，比如在模拟的同时如何确保正确性在

的概率是正确的。

因为以前我们在ML领域主要是在意新算法，或许现在来做怎么把经典算法变快、变得更有扩展性、更鲁棒，也是很棒的坑。研究生三年，一年入门，一年做系统，再争取一年投出去，就能毕业啦。不仅进行了科研，还提高了编程能力，美滋滋。万一一不小心做出个有用的系统，还能有工业界影响力。

所以回到问题本身，最容易毕业发文章的大概就是套application，发个会议就顺利过关了。但如果想真的挖出有意义的坑的话，大概率是不“好”挖的。还是搞清楚自己需要什么更重要，然后实现自己的需求即可。

# 回答三

作者：金雪锋

MindSpore首席架构师

来源链接：https://www.zhihu.com/question/440538267/answer/1699917805

供参考：

1、AI与科学计算结合

AI技术，特别是深度学习/强化学习/图神经网络等方法，基于实验或者计算产生的数据对所求解的问题进行可计算建模，从而得到复杂问题的有效解决方式，这对当今科学的研究范式已经产生了巨大影响。经过近几年的发展，通过AI建模/AI求解/框架加速等手段，已经渗透到科学的各个领域，例如数学，化学，物理等，这里我列举几个AI+科学计算解决传统问题的实例，抛砖引玉，欢迎大家讨论。相信未来几年，AI与科学计算交叉研究与应用，会保持很高的热度。