AI工程化，让人工智能回归现实
共 5028字，需浏览 11分钟
·
2021-07-19 23:45
从上世纪50年代中期人工智能被提出以来，历经了60多个年头的人工智能技术跨过了两次“寒冬”，正处在第三个高峰期，让像金融、能源、零售等行业尝到了智能应用的甜头。
其核心动力是AI工程化了。Gartner 将“AI工程化”列为2021年度九大重要战略科技趋势之一。AI 要成为企业的生产力，就必须以工程化的技术来解决模型开发、部署、管理、预测等全链路生命周期管理的问题。
但是在Gartner看来，目前只有53%的项目能够从AI原型转化为生产。毫不讳言AI工程化让我们看到AI应用加速落地的广泛前景，也让科技企业和人才看到了商机。
效率提高，AI应用落地的最大变化
7月7日在上海举行的“2021世界人工智能大会”展示了琳琅满目的AI应用。借助AI技术，不少行业和企业走到了前面，拉开了与同行、同业的距离。未来，这些差距将产生深远的影响。
外行看热闹，内行看门道。人们发现，金融、能源、交通、政务、制造等行业率先应用AI技术，大量的AI应用场景，造福行业用户，增强企业竞争力，同时正在向其他行业用户输出能力。
同样，以前，高高在上的AI应用，正在迅速落地，一大特点是快，场景数量暴增、效果显著则成为另一大特点。
“现在AI还处于发展的早期，但是AI技术采纳率的增长速度非常快。已经不只是一两个细分行业在应用，非常多的细分行业已经开始使用AI技术。”这已经是AI应用在中国发展的一个共识。
从技术上看，人工智能应用呈现工程化趋势，加速AI应用的落地速度。
人工智能工程化是人工智能落地的必经之路，也正在成为人工智能行业厂商的工作重心。
AI工程化意味着技术的成熟和良好的使用体验，对希望借助人工智能实现智能化的企业而言，能显著降低技术迁移成本，更容易组建所需的人才队伍。
因此，在AI工程化的技术和应用方向中，既要集成传统软件行业可持续交付和研发的DevOps体系，也要集成AI研发、落地的MLOps，只有两者融合才能解决AI工程化问题。
另一方面，人工智能工程化必然带来应用开发的低代码趋势。
Gartner在《2021年十大数据和分析趋势》中预测，到2025年，70%的新应用将由低代码/无代码技术开发。
人工智能应用的场景呈现出场景多元日益增长、用户体验要求高、迭代迅速等特点，传统的开发方式已经无法满足企业客户的需求。因此，低代码化的人工智能开发平台几乎成为了必然选择。
适应AI工程化需求，人工智能和大数据的合作将更加紧密。数据，尤其是大数据和算法、算力的融合，现在正成为人工智能特别是机器学习等行业的主要发展方向。
在AI与应用结合的趋势下，AI与大数据融合，带动产业数字化、智能化、合规化，提升产业效率，开拓产业边界，创造产业价值，提升公平性，并返哺行业获得更高生产力（算法、算力）、生产要素（数据）提升。
同样，数据安全、数据隐私、AI可信等涉及到隐私和合规的要求越来越高。目前《数据安全法》、《个人信息保护法》等陆续推出，数据安全、数据隐私、AI可信等问题日益受到重视。
数据要素的“流通共享与协同应用”对于实现数据要素价值释放起到了核心的作用。
专家认为，分离数据的持有以及数据衍生知识的使用、个人信息和企业数据资产的防护、数据安全/人工智能可信技术和数据合规的鸿沟、立法和行业标准的加速完善等，都是人工智能行业必须面对和解决的问题。
AI工程化的“三根”支柱
有人曾形象地说，AI工程化，就如同厨具对于美味佳肴一样，是将数据、算力、算法结合到一起的媒介，不同的方法，可能得到的成果会不一样，但是会不断完善。
所以说，AI工程化的本质作用是提升效率，即最大化利用资源，最小化减少信息之间的转换损失。同时不断改善，让智能应用更智能。
Gartner报告认为，人工智能工程有三个核心支柱——DataOps、MLOps和DevOps。一个健壮的人工智能工程策略将促进人工智能模型的性能、可扩展性、可解释性和可靠性，同时实现人工智能投资的全部价值。
DataOps将DevOps团队与数据工程师、数据科学家等结合在一起，提供一些工具、流程和组织结构，服务于以数据为中心的企业。
DataOps就是AI 时代的数据管理，为数据带来了相同的敏捷性原则，数据现已成为最具战略意义的资产，被称为新的源代码。DataOps被IBM描述为"为从收集到交付的端到端数据管道过程带来速度和敏捷性的做法"。
与DevOps系统化的软件开发一样，DataOps旨在加速数据的收集、处理和分析。IDC确定了“数据到洞察”管道中的四个核心阶段：识别数据、收集数据、转换数据和分析数据。这些阶段也是DataOps的核心要素。
数据操作涉及两种实践：数据转换和丰富，以确保从无数结构化、半结构化和非结构化的数据源中获取数据的可操作见解；将数据操作化，从边缘到云，包括整合到单一的来源、数据编排和数据治理等。
DataOps需要高性能和可扩展的数据库，可以处理混合工作负载、不同数据类型如来自传感器的音频、视频、文本和数据等，以及保持计算层充分利用所需的性能能力。
MLOps是机器学习ML与DevOps的结合，旨在将敏捷软件工程的一些成熟功能引入机器学习和人工智能。机器学习生态系统需要一个强大的DevOps一样的框架、工具链和流程，将开发人员、数据科学家和操作员聚集在一起，通过有效的DevOps战略，组织可以加快向最终用户运送新功能和服务的速度。
MLOps适用于机器学习操作，主要侧重于建立模型、版本控制、计算编排和调度，涉及功能工程、超参数优化、推论，最后部署推理模型。它包含模型和培训数据的实验的版本控制，便于重复。
MLOps越来越多地采用具有可解释性、透明度、安全性和实验的可重复性，以纳入道德并消除偏见的工具。MLOps的使用案例范围从统计机器学习和计算机视觉到对话AI和推荐系统。
MLOps平台需要连续访问海量数据集的数据，因为模型学习是一个良性的过程，神经网络预测和准确性仅与其数据和培训直接相关。
AIOps是将人工智能应用在IT自动化和运营管理。AIOps涉及全栈可观测性，利用解决方案中的历史和实时数据来共同关联、预测和规定操作。AIOps用于增强 ITOM（IT运营管理）和ITM（IT服务管理）实践，以提供更全面和因果分析，将所有事件上下相关。
AIOps可以涵盖业务流程、用户体验、应用性能管理、基础设施管理、网络管理和安全等。在这种情况下，MELT（指标、事件、日志和痕迹）内置于堆栈中，无需离散的监视器。
AIOps数据管道通常由五个维度组成，数据集选择（确定问题优先级的能力）、模式发现（处理受监督或无人监督的数据集以进行事件相关性或拓扑分析的能力）、推论（实时、假想或因果分析）、通信（视觉或文本）、自动化（飞行中路线校正能力）等。
所有五个维度对于成功实现AIOps非常重要。许多供应商在其中一种或另一种方面表现出色。如Splunk在日志分析产品方面历来表现强劲，而像CloudFabrix公司则表现出更多的创新，将转向AIOps 2.0，承诺通过资产智能、数据准备和集成加快推进的时间。
阿里云贾扬清就认为，AI工程化领域亟待推进的事情有三件：一是数据和算力的云原生化，二是调度和编程范式的规模化，三是开发和服务的标准化、普惠化。
AI工程化落地的首个基础能力就是平台云原生化。云原生是目前最普适的方法，所倡导的开放、弹性和生态等原则可以迅速拉低AI平台的实现门槛。
同时，云原生强调的统一部署、标准化、OpenAPI、弹性等要素都比较契合机器学习平台的环境复杂、需要快速迭代等特点。
机器学习平台对超大规模模型的支持能力一定程度反应了其自身的成熟程度，是其支持AI业务模型和能力升级的体现。这也是模型超大规模化成为AI工程化落地第二个基础能力的主要因素。在这方面，阿里云、谷歌等都有不少的项目，影响很大。
AI的核心是构建模型、训练模型、部署模型等，如何将这一过程与具体的业务场景结合，还需要一套工具，管理建模、训练和部署等工作。未来，这些开发与服务工具必将走向标准化。
云计算、大数据、AI企业，都能找到商机
正像人们看到了人工智能带来的广阔应用前景一样，产业链上的不同企业也看到不同的商机。
因为人工智能与大数据、云计算不断融合，“三面一体”，加快智能应用与智能服务的发展。三者的组合形态，才能形成完整的智能化道路，才能落地创新发展的方法论。
其实三者从各自的技术角度对“如何利用数据”这个问题做出了解答，其目的是一致的，即把数据转化为智能，应用于诸如智慧城市建设、风险监控、个人健康预警等具体任务中去。
因此，人工智能、大数据、云计算企业都可以在AI工程化中找到自己的位置，找到自己的商机。
那么AI工程化的市场结构又是如何呢？
Gartner最新发布了两份AI魔力象限报告，一份是数据科学与机器学习平台（DSML报告）和云AI开发者服务报告（CAIDS报告），是市场发展的“格局图”。
从厂商分布格局来看，IBM、SAS、Mathworks等入选，阿里云成为DSML报告4年历史以来首个入选的中国厂商。报告认为，SAS、TIBCO、MathWorks一直致力于构建基于数据和分析的平台，而Alteryx、Databricks和Dataiku等年轻公司也在这个象限中有了一席之地。
在CAIDS报告中，国内的阿里云、百度云、腾讯云都进入报告，其中阿里云与微软、谷歌、IBM、AWS一起跻身远见者象限。
从这两个魔力象限图可以看出，中国企业的实力正在增强。
在数据和算力的云原生化、调度和编程范式的规模化、开发和服务的标准化普惠化三个方面，阿里云都有自己的方案：
在平台云原生化方面，阿里云机器学习PAI拥抱云原生，通过与阿里云IaaS的产品无缝对接，提供灵活、易用和功能丰富的机器学习全栈产品，降低客户自建GPU环境的复杂度和成本。
在模型超大规模化，阿里云机器学习PAI、达摩院智能计算实验室联合清华大学共同开发了业界最大规模的中文多模态预训练模型M6。该模型参数规模超千亿，具备超越传统AI的文本、图像的理解和生成能力，图像设计效率超越人类，可应用于产品设计、信息检索、机器人对话、文学创作等领域。
在开发和服务的标准化方面，阿里云机器学习平台PAI在阿里云IaaS上，构建了一个完整的AI开发全生命周期的管理体系，覆盖模型构建、模型训练、部署模型等全生命周期。
亚马逊云科技将其机器学习服务按对象和功能不同，分为三层：
最上层是供企业直接调用的AI服务，包括视觉、语音、语言、预测等领域的AI能力，面向的是应用开发人员，不需要懂AI技术，即插即用，按需付费。
用户可以通过AWS云服务的形式，利用聊天机器人服务Amazon Lex和文字转语音服务Amazon Polly服务，这些AI能力不少都是经过亚马逊电商业务验证过。
中间层是AWS端到端的托管机器学习平台Amazon SageMaker为主的模型训练层，主要面向数据科学家，可以把他们从漫长的模型构建中解放出来。
Amazon SageMaker是一个自动化的机器学习模型训练平台，只要输入训练数据并挑选好算法，Amazon SageMaker可以帮企业进行人工智能建模，同时还能管理底层需要用到的所有的服务器和框架。
最底层是机器学习框架和基础架构，包括与主流机器学习框架、接口，以及高性能服务器、虚拟机为主的基础服务，面向的是IT工程师、机器学习科学家、应用开发人员。调用这些服务，需要三类专业人员共同开发。
当然，AI目前几乎是所以云服务商发展的主要方向。不过在AI工程化赛道，大数据、云计算等企业不会缺席，商机无限。
合作联系：18513349761