数字时代下的大数据管理

摘要：本文从大数据定义出发，探讨大数据管理形成的数据资产的”数字孪生”，所需要的战略、技术架构，提出创新的数据湖架构，从而有大数据的生命周期概念，进一步探讨数字经济下的用户体验和贴身管家式的的深度数据服务的基本内容与模式。

关键词：大数据、大数据管理的战略、大数据管理的技术架构、大数据生命周期

智能制造与工业互联网本质是数据驱动的创新生产模式和商业模式的融合，在产品市场需求获取、产品研发、生产制造、设备运行、市场服务直至报废回收的产品全生命周期过程中，甚至在产品本身的智能化方面。而数据驱动的核心需要大数据，大数据管理提供对有意义的数据进行专业化处加工能力，实现数据的增值和服务模式的创新。大数据时代来临首先由数据丰富度决定的，首先是社交网络兴起，大量的UGC内容、音频、文本信息、视频、图片等非结构化数据出现。工业物联网的数据量更大，新一代信息技术能更准确、更快地收集用户生产运营的信息，消费者越来越希望品牌能直观地交付个性化、富有情感的数字体验。数字革命和不断演变的消费者行为助推这一趋势，大数据管理、人工智能、语音技术和增强现实等前沿创新技术的崛起，使我们能够设计出更加灵敏、精准和无缝的数字服务，从数据量和信息技术的创新来说，已进入大数据管理的数字经济时代。

从中国大数据市场趋势来看， 2023年将达到224.9亿美元的规模，未来五年CAGR复合增长率为23.5%，2019年大数据的硬件：软件：服务为45.2%:32.2%:22.6%到2023年会基本上达到各1/3的理想比例^1）。随着数字经济、数字政府的推动互联网、政府、金融、电信会更大幅度的提升，而工业互联网和智能制造的实质落地为制造业的提升带来至少高于复合增长率20%的高增长，特别是对于场景和需求的下沉，基于行业的应用的推广和基于商业模式的推动。客户体验(CX)方面的投资将会增加，企业更加确信这方面的商业效益^2）。国外大数据服务和软件商业模式的转移，为中国大数据产业的提质带来动力，同样目前国际形势的变化极大的推动中国大数据产业从技术端包括硬件、软件、服务的自我更新，在区域从华东、华南、中南到中西部的硬件系统的转移到服务的变化带来更多机遇，同样随着工业互联网、智能制造和数字经济的上下齐动，特别是疫情给中国人民带来的对于大数据的全新认知所形成，应对未来公共管理需求的大数据信息管控的大幅度提升，其次在本地化和全球化之间平衡。

首先何为大数据？按照Gartner的定义是需要新处理模式，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产^3）。而工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后、服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称，工业大数据以产品数据为核心，极大延展了传统工业数据范围，还包括工业大数据相关技术和应用^4）。

从技术角度，大数据与云计算的关系相辅相成的，大数据采用分布式架构，在对海量数据进行分布式数据挖掘，需要依托云计算的分布式处理的特点。大数据就是新一代信息技术和互联网发展到现今阶段的特征，在以云计算为代表的技术创新大幕的衬托下，更加方便的收集和数据利用，通过各种行业、工艺、管理应用的创新，大数据开始为社会创造价值同时形成迭代效应，衍化出新商业模式。工业大数据具备双重属性：价值属性和产权属性一方面，通过工业大数据分析等关键技术能够实现设计、工艺、生产、管理、服务等各个环节智能化水平的提升，满足用户定制化需求，提高生产效率并降低生产成本，为企业创造可量化的价值；另一方面，这些数据具有明确的权属关系和资产价值，企业能够决定数据的具体使用方式和边界，数据产权属性明显。工业大数据的价值属性实质上是基于工业大数据采集、存储、分析等关键技术，对工业生产、运维、服务过程中数据实现价值的提升或变现；工业大数据的产权属性则偏重于通过管理机制和 管理方法帮助工业企业明晰数据资产目录与数据资源分布，确定所有权边界，为其价值的深入挖掘提供支撑^4）。

大数据是数据分析的前沿技术。从各种各样类型的海量数据中，快速、廉价、可优化的方式获得有价值信息的能力，就是大数据技术。大数据最核心的价值就是在于对于海量数据进行存储、分析，进而达成综合成本最优的目标。

大数据的特点用4个“V”来解释：第一，数据体量巨大（Volume）；第二，数据类型繁多(Varity);第三，处理速度快(Velocity);第四，价值密度低(Value)所以基于特点的对于进行准确、有效的分析和优化，形成价值回报。

未来，数据可能成为最大的交易商品，数据量大不是“大数据”，大数据的特征是数据量大、数据种类多、非标准化数据通过验证和标记后其价值最大。因此大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将企业的智能制造、工业互联网落地的助力器，同时大数据也将催生一个新的产业大数据应用及服务产业。因此大数据管理和平台是非常重要的因为数据分析和应用发生四个方向的变化，第一从统计分析向预测分析转变、第二从单领域、结构化数据向多学科跨领域转变、第三从被动分析向主动预测转变、第四从非实时阶段性向实时持续处理转变。转变对传统的数据服务平台和数据管理模式提出了更高的要求，对大数据功能的要求体现在数据处理、分析、预测、时效、互通、共享机制以及平台轻量化、可移植、适用性、开放性等方面；从而以数据资产管理为核心、大数据安全共享机制的大数据管理成为选择^5）。

智能制造和工业互联网应对中国制造业的转型和变革的内循环和外循环，可以理解为智能制造重点在制造过程本身的精益与智能，工业互联网着力于企业全价值链的提升，但有效的结合智能制造和工业互联网的内外循环时需要数据的互联互通，即具有“互操作性”, 形成企业数据资产的全价值链管理，这是信息时代大数据管理的核心价值：源自企业运营回馈企业运营，平台赋能，服务优化，形成数据资产的”数字孪生”（图1）^6）。

图1， 对于大数据管理的理解

作为企业的重要资产，企业数据来自于企业业务运营流程和市场流程，而后经过整理、加工后形成支持和指导企业决策的信息，同时系统化的优化和累计。为有效的实现数据资产的数字孪生，达到“平台即实现、数据即服务”需要对于大数据管理进行变革，变革的管理要求从用户的需求和市场的变化出发、与用户就大数据管理的内容进行有效而充分的沟通、通过用户与我们共同的互动定义战略包括路径、流程、改进目标、相应的管理组织能力和与之适应的落地技术架构。数据战略已成为企业精细化管理不可或缺的基础，只有切实落实好数据战略工作，才能提升企业数据管理与数据质量、实现企业数据价值升华，为企业数字化转型奠定基础。企业的数据战略目标与企业业务战略目标的内在一致性，构建在企业智能制造和精益管理过程中形成一种机制，因为智能制造已是制造企业不可避免的选择，是企业随着环境的变化进行持续的战略调整的重要使能手段。做好企业数据战略，明确数据管理目标是企业实施数据管理的第一步。在数据战略制定需要重要考虑核心点：第一企业的业务目标是生产盈利，从而无论在生产过程、运营过程、管理过程对于数据需求必须贴合工艺和实际需要，第二企业做智能制造过程中的核心利益是提质增效，通过智能制造实现“工序牵引、场景驱动、数据核心”的制造智能化、生产少人化、管理精益化，第三为确保数据管理满足业务目标，需要一个更加轻量化、可移植、有弹性、自主可控、自我管理的数据湖实现数据承载和数据治理，第四数据资产的管理的有效性和可测量性，需要一个云-边-端的基于SOA架构的数据平台的技术架构实现数据资产的有效管理和可度量的实现。基于数据引擎的数据平台，结合行业应用和互联网数据思维，形成可赋能、可推广、可以定制化、的应用。（图2）

图2 基于SOA架构的数据管理平台技术架构

数据湖是可以容纳大量原始数据存储库和处理系统，已经成为企业应用大数据重要工具，是有一个中心化的存储、所有的数据以它本来的形式集中存储，是一种经济有效的方式存储所有数据。可以更好地支撑数据预测分析、跨领域分析、主动分析、实时分析以及多元化结构化数据分析，可以加速从数据到价值的过程，建立应用能力和业务增值能力。结合工业生产过程数据、运营过程管理数据、工业制造精细化管理和原料物流全信息供应链、全局优化要求建设适合工业行业特点的数据湖。从数据的采集、整理、分析、赋能的生态闭环，企业需要打破不同业务领域之间的壁垒，真正做到数据和业务流程的融会贯通，进一步挖掘数据价值，提升企业综合决策的能力，提高企业工作和管理效率。推动大数据在工业行业基于应用场景的经营决策、产品设计制造、生产过程控制、物流全域管理，实现产品、市场和效益的动态监控、预警预测、从局部优化到全局优化，提升产品研发、生产制造、供应链管理、营销、服务的资源优化配置能力和智能决策水平同时对于头部企业可以有效赋能产业发展。

传统的数据IDC模式面临挑战，第一、数据仓库模式导致的烟囱式建设与数据需跨业务线广泛和不同协议接口的连接之间的挑战；第二、传统数据库不能应对数据的增长，数据ETL、数据建模工作的响应速度与数据反哺业务迭代创新之间的挑战；第三、数据赋能与业务场景探索脱节的挑战。在一个非常理想的企业数据架构中，企业所有的信息处理系统将共享一个通用的数据模型，这个数据模型是建立在一个高性能数据库上的，但在制造业实现数据管理的是在原来IT/OT架构保留使用同时逐步采用新的数据管理技术架构，平台和数据湖而不是完全打破旧有体制，应该是三种模式，新系统新架构、老系统老架构、改造系统逐步新架构，但是这里需要强调的是往往这一进程不是简单的技术推进也不可能是粗暴的行政命令而是自我驱动+管理推进的模式比较切实可行，因为企业还是以生产盈利为第一要职。企业在发展过程中，数据的积累由于技术和历史的因素，在展示和存储上呈现多种形态，数据的提取、整合、分析、洞察有难度，数据的碎片化使得领导和IT供货商大力推动的信息系统并未达到预期，业务协作反倒因为IT系统呈现烟囱和孤岛化，所有的IT企业要么陷入卖产品要么陷入卖一次性方案要么像江湖郎中一样以狗皮膏药为生，缺乏规范化的数据管理和治理使得信息化建设和业务流程优化举步维艰，虽然新信息时代的智能制造和工业互联网似乎带来业务机会也不过是雨后的彩虹，但是这样的实践给与产业界更多思考与教育，深刻的认识到“数据核心、服务增值、流程第一“

大数据管理说到底还是为企业服务的，数据管理从两个视角：第一从企业应用系统的视角，用系统间的数据整合及维护费用最小化；提高跨系统间数据存贮和共享的效率。第二从企业数据资产管理的角度：对整个数据生命周期中数据的处理、存贮、转换、整合、 以及支持这些策略、模型、流程。从而提出基于从数据全生命周期的全空间坐标（图3数字价值空间）：第一从数据的业务流程，从数据的用户体验、从数据的增值服务三个维度来考量，数据生命周期的管理空间：从业务流程上实现了对大数据平台的数据全生命周期、全流程的数据治理，主要包括数据资产管理、元数据管理、数据开发流程管理、数据质量管理、数据安全共享管理。

图3数字价值空间

第二数字经济下的用户体验：从用户体验上实现基于元数据全方位画像的数据资产管理，数据全生命周期的管理与监控，全流程记录的追本溯源，全景式的资产可视化，提供数据资产全场景视图，满足不同用户的应用场景的需求，既有全局规划的管理者，也有细节定义的使用者，还有加工、运维的开发者，进而提供多层次的图形化展示，满足应用场景的图形查询和辅助分析、对工业数据质量进行建模或者模型学习，可实时预警数据质量问题。

在我们目前的实践和探索来看有以下四种模式可以应用于大数据管理下可以提高用户体验进而形成新的商业模式：面对不同需求的自由组合的可视化、分析及应用工具模块化、完全自主定制化的App组件等。

第三从基于数据产品生命周期的增值服务端提供经济有效的方式来存储组织的所有数据、低延迟实时数据处理、支持基于内容的检索、可横向线性扩展、内置支持各种并行化数据分析算法、构建工业边界安全、传输通信安全和边缘计算终端安全的防护体系、支持工业数据标准度量指标库和分布式计算组件、并支持大规模数据纠错等服务。

在我们目前的实践和探索来看有以下四种模式可以应用于大数据管理下结合用户体验的数据增值服务的商业模式：基于传统数据系统集成模式的项目模式、基于软件订阅模式的服务收费模式、基于用户体验的服务分享模式、基于共享未来成长的生态协作模式，但无论哪一种都是必须围绕数据赋能和价值的角度必须从用户的需求和符合现场工艺需求的角度，但更为重要的是数据闭环而数字孪生的核心也在于此。

基于中国工业的现实和企业运营管理的现实，实现大数据经营管理必须两条腿一起走：第一、基于边缘侧的数据采集、数据执行解决应用落地和数据之源，第二、数据层（数据湖）的有效切入，同时数据增值模式的创新。从而基于智能制造咨询、数字化转型服务到数据平台赋能的新型生态商业模式有其逻辑。

4.0时代的到来，大数据管理，是技术+管理+治理的过程，是从烟囱式的IT架构， 真正走向数据为核心、数据资产管理的全新理念和实践过程，在数字经济时代里，大数据管理不仅仅是数据存储架构的变革，更是大数据思维方式的升级。用好数据是企业数字化转型的关键、“边缘+数据+应用”的基于IOT架构是大数据管理更是数字增值服务的新趋势。没有捷径也不是老旧系统的补丁，更不是原来不同层级系统的集合，面对新的时代，从数据出发、从价值导向，来自企业回归企业，唯天下之至诚能胜天下之至伪，唯天下之至拙能胜天下之至巧。

参考文献：

(欢迎大家加入数据工匠知识星球获取更多资讯。)

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工匠俱乐部

微信号：zgsjgjjlb

专注数据治理，推动大数据发展。