2022工业大数据分析指南.docx

工业大数据分析指南2021目录序言I1 I«jEvC*11.1 工业大数据分析的概述11.1.1 工业大数据分析的概念11.1.2 工业大数据分析的相关技术21.1.3 工业大数据分析的基本过程21.1.4 工业大数据分析的类型41.1.5 工业大数据分析价值51.1.6 工业大数据分析支撑业务创新61.2 工业大数据分析的特殊性81.2.1 从工业数据分析到工业大数据分析81.2.2 工业大数据与商务大数据分析101.2.3 工业大数据建模的难点111.3 工业数据分析中的常见问题121.3.1 业务和数据理解不当导致的失误121.3.2 建模和验证过程的失误1213.39(»132. 工业大数据分析框架142.1 CRISP-DM模型142.2 CRISP-DM模型的落地难点152.3 工业大数据分析的指导思想163. 业务理解1931"ic、I:、上11.1.1 I:»191.1.2 工业系统的功能描述201.1.3 系统功能到技术原理的理解201.1.4 系统功能与业务场景的关联213.2 理解数据分析的需求213.2.1 工业过程中的数据分析需求213.2.2 数据分析的价值需求223.2.3 具体业务场景的数据分析需求233.2.4 数据分析需求的梳理方法233.3 工业数据分析目标的评估243.3.1 工业知识的理解243.3.2 工业知识的合用性243.3.3 专业领域知识的融合253.4 制造的全生命周期264.数据理解274.1 数据来源274.1.1 业务与数据的关系274.1.2 离散仃业的数据源284.1.3 流程行业的数据源284.2 数据的分类及相互关系304.2.1 工业数据的分类304.2.2 数据间的关联关系314.3 数据质量324.3.1 数据质量的定义32Il4.3.24.3.3数据质量的组成要素数据质量的影响因素33335355.1业务系统的数据准备355.2工业企业的数据准备365.3物联网的数据准备385.4建模分析的数据准备395.4.1数据预处理概述395.4.2数据异常处理405.4.3数据缺失处理415.4.4数据归约处理416.数据建模426.1模型的形式化描述436.1.1基本描述436.1.2模型的深入表述436.1.3对建模思想的影响456.2工业建模的基本过程466.2.1建模的基本思路466.2.2模型融合的方法466.2.3模型的优化过程476.3工业建模的特征工程486.3.1数据初步筛选486.3.2特征变换486.3.3特征组合496.3.4特征筛选50Ill*35*jdEI*«56.4工业数据分析的算法介绍516.4.1 传统的统计分析类算法516.4.2 通用的机器学习类算法526.4.3 针对旋转设备的振动分析类算法526.4.4 针对时序数据的时间序列类算法536.4.5 针对非结构化数据的文本挖掘类算法546.4.6 统计质量控制类算法546.4.7 排程优化类算法557. 模型的验证与评估557»1矢口口土557.1.1 知识的确定性与准确性557.1.2 知识的适用范围567.1.3 知识的质量与可靠性567.2 传统数据分析方法及其问题567.2.1 基于精度的验证方法567.2.2 精度验证方法的局限性577.2.3 解决验证问题的传统方法577.3 基于领域知识的模型验证与评估587.3.1 对适用范围的评估587.3.2 对精度的评估607.3.3 场景的综合评估617.3.4 模型的迭代评估618.模型的部署628.1模型部署前应考虑的问题8.1.1模型部署对工作方式的改变628.1.2模型部署的标准化与流程化38.1.3模型部署的自动化与智能化38.2实施和运行中的问题648.2.1数据质量问题648.2.2运行环境问题648.2.3精度劣化问题58.2.4范围变化问题658.3问题的解决方法658.3.1数据质量问题658.3.2运行环境问题668.3.3精度劣化问题668.3.4范围变化问题668.4部署后的持续优化679.展望未来671. 工业大数据分析概论1.1 工业大数据分析的概述1.1.1 工业大数据分析的概念工业大数据分析是利用统计学分析技术、机器学习技术、信号处理技术等技术手段，结合业务知识对工业过程中产生的数据进行处理、计算、分析并提取其中有价值的信息、规律的过程。大数据分析工作应本着需求牵引、技术驱动的原则开展。在实际操作过程中，要以明确用户需求为前提、以数据现状为基础、以业务价值为标尺、以分析技术为手段，针对特定的业务问题，制定个性化的数据分析解决方案。工业大数据分析的直接目的是获得业务活动所需各种的知识，贯通大数据技术与大数据应用之间的桥梁，支撑企业生产、经营、研发、服务等各项活动的精细化，促进企业转型升级。工业大数据的分析要求用数理逻辑去严格的定义业务问题。由于工业生产过程中本身受到各种机理约束条件的限制，利用历史过程数据定义问题边界往往达不到工业的生产要求，需要采用数据驱动+模型驱动的双轮驱动方式，实现数据和机理的深度融合，能较大程度去解决实际的工业问题。图1.1工业数据分析多领域交叉示意图1.1.2 工业大数据分析的相关技术近年来，大数据的兴起有两种起因：传统业务的发展遭遇数据存储量大、采集速度频率快、结构复杂等瓶颈问题，需要采用新的技术来解决，即“大数据平台技术”，如时序数据采集技术、海量数据存储技术等；另一种起因是随着数据存储量的增大和处理能力的增强，催生了新的应用和业务，即“大数据应用技术”，如智能制造、现代农业、智能交通等。下图是工业大数据系统参考框架，从底至上分别是由工业大数据平台技术到工业大数据的应用技术。图1.2工业大数据分析软件栈总体上看，“大数据平台技术”关注的主要偏重IT技术，而“大数据应用技术”关注的重点主要是业务和领域知识。而大数据分析技术则是深度融合这两类技术知识，并结合机器学习技术、产品分析技术等数据分析技术，去解决实际业务问题的技术统称。1.1.3 3工业大数据分析的基本过程工业数据分析的基本任务和直接目标是发现与完善知识，企业开展数据分析的根本目标却是为了创造价值。这两个不同层次的问题，需要一个转化过程进行关联。为了提高分析工作的效率，需事先制定工作计划，如下图所示。图1.3工业数据分析任务的工作方案与探索路径数据分析起源于用户的业务需求，相同的业务需求会有多个可行方案，每一个方案又有若干可能的实现途径。例如，面对减少产品缺陷的业务需求，可以分成设备故障诊断和工艺优化等方案。而设备诊断又可进一步根据设备和机理的不同，分成更明确的途径，如针对特定设备特定故障的诊断。遇到复杂问题，这些途径可能会被再次细分，直至明确为若干模型。首先了解到的输入输出关系，如特定参数与设备状态之间的关系，这些关联关系即为知识的雏形，然后需要寻找适当的算法，提取和固化这些知识。知识发现是个探索的过程，并不能保证每次探索都能成功，上述计划本质上是罗列了可能的方案。只要找到解决问题的办法，并非每一条方案或途径都需要进行探索。在不同的途径中，工作量和成功的概率、价值成本都是不一样的，一般尽量挑选成功概率大、工作量相对较小、价值大成本低的路径作为切入点，尽量减少探索成本。在项目推进或者探索的过程中，还会根据实际的进程，对预定的计划及顺序进行调整。计划制定和执行过程，本质上体现了领域知识和数据分析知识的融合。其中，方案和途径的选择，要兼顾业务需求和数据条件。这就是第三到第五章讨论的问题，而算法、模型、验证等相关问题，则放在第六章和第七章讨论。1.1.4工业大数据分析的类型根据业务目标的不同，数据分析可以分成四种类型：描述型分析：描述型分析用来回答“发生了什么”、体现的“是什么”知识。工业企业总的周报、月报、商务智能（BI）分析等，就是典型的描述型分析。描述型分析一般通过计算数据的各种统计特征，把各种数据以便于人们理解的可视化方式表达出来。诊断型分析：诊断型分析用来回答“为什么会发生这样的事情”o针对生产、销售、管理、设备运行等过程中出现的问题和异常，找出导致问题的原因所在，诊断分析的关键是剔除非本质的随机关联和各种假象。预测型分析：预测型分析用来回到“将要发生什么？”。针对生产、经营中的各种问题，根据现在可见的因素，预测未来可能发生的结果。处方型（指导型）分析：处方型（指导型）分析用来回答“怎么办”的问题。针对已经和将要发生的问题，找出适当的行动方案，有效解决存在的问题或把工作做得更好。业务目标不同，所需要的条件、对数据分析的要求和难度就不一样。大体上说，四种问题的难度是递增的：描述性分析的目标只是便于人们理解；诊断式分析有明确的目标和对错；预测式分析，不仅有明确的目标和对错，还要区分因果和相关；而处方式分析，则往往要进一步与实施手段和流程的创新相结合。同一个业务目标可以有不同的实现路径，还可以转化成不同的数学问题。比如，处方型分析可以用回归、聚类等多种办法来实现，每种方法所采用的变量也可以不同，故而得到的知识也不一样，这就要求要对实际的业务问题有着深刻的理解，并采用合适的数理逻辑关系去描述。1.1.5工业大数据分析价值工业大数据分析的根本目标是创造价值。工业对象的规模和尺度不同，价值点也有所不同，数据分析工作者往往要学会帮助用户寻找价值。价值寻找遵循这样一个原则：一个体系的价值，决定于