2252 字
11 分钟
数据分析-大数据应用的困境与突破路径

在质量管理的漫长发展历程中,统计分析始终扮演着举足轻重的角色。回溯到 20 世纪 40 年代,休哈特的统计过程控制理论(SPC)、道奇的质量抽样检测理论等,引领统计质量控制的浪潮,将质量管理从单纯依靠经验判断的事后把关,带入了基于数据定量分析的制造过程控制阶段,为质量管理铺设了科学的轨道。后续,多变量统计检验(如 Hoteling-T2、Q-Statistics)等不断涌现,进一步夯实了质量管理的科学性。

全面质量管理、社会质量管理等质量管理体系的持续演进,与统计分析形成了相互促进的良性循环。在半导体等典型行业的实际应用中,诸多复杂且有趣的质量分析问题不断涌现,也为统计分析的深入发展提供了肥沃土壤。

随着智能制造和物联网技术的飞速发展,海量的过程数据、工艺数据、行为数据得以被高效采集。在这个大数据时代,本应拥有更广阔的施展空间,为质量管理带来更多革新。然而,现实却不尽如人意,质量大数据项目在落地过程中,与预期目标存在着较大的差距。

本文将从现象、原因、解决方法三个维度,深入探讨个人在质量管理领域的体会与认知。

质量大数据项目执行的问题#

差异大#

  • 理想与现实的巨大落差:企业内部对数据、技术、管理基础的认知,与实际情况存在显著偏差。数据分析得出的结果,往往难以达到业务部门的期望。许多企业历经多年的信息化和自动化建设,各个单独领域看似基础扎实,但一旦涉及质量分析所需的全流程、全要素、全周期关联,数据基础的薄弱之处便暴露无遗。例如,单个数据集的完整度可达 90%,但当五个数据集整合时,完整度却骤降至 60% 以下。
  • 行业间的显著差异:不同行业在质量分析需求、基础条件以及落地措施上大相径庭。这导致分析模型和应用的重用性极低,仅能在个人咨询能力和算法技巧层面有所积累,无法充分发挥 “专业化分工的规模效益”。从下表中一些典型行业的质量分析课题可以看出,即便课题名称相同,在不同行业中的内涵与主要矛盾也截然不同。

落地慢#

  • 跨部门协作难题:质量分析和落地通常需要工艺、自动化、信息化等多个组织部门协同合作,且常常涉及多个技术学科。这种跨领域协作不可避免地会造成大量信息损失,导致效率低下。
  • 融合困难:质量大数据分析结果要真正落地,必须与现有质量管理体系、组织流程或控制过程相融合。然而,推进这些融合所需耗费的精力,往往远超预期。

问题背后的原因#

差异大的根本原因#

生产体系(涵盖产品类型、生产模式、关注的质量指标)的差异,使得管理体系和数据基础也随之产生较大不同。这些因素决定了不同行业质量大数据的侧重点各异。例如:

  • 医药、食品等行业,全产业链质量追溯至关重要;
  • 半导体生产中,先进制程控制(Advance Process Control, APC)是核心要点;
  • 装备制造领域,全生命周期(从研发、制造到运维)的质量管控与优化是工作重点。

落地慢的主要原因#

  • 数据整合困境:质量大数据分析涉及多种因素和多个过程,需要整合不同数据源。即便不存在数据质量问题,不同系统、数据协议、编码格式的多源数据集成也颇具难度。再加上数据质量参差不齐、探索维度的多变性与灵活性,使得数据供给工作困难重重,严重拖慢分析项目进度。
  • 认知不完备:在质量大数据分析中,除了当前数据集中已规划的要素,还存在大量未关联的要素以及未被明确表达的隐性信息。往往只有当领域专家看到不合理的分析结果时,才会意识到当前数据并不完备。
  • 技能分割:在强领域上下文知识的环境下,数据分析与领域知识最好能集中于一人身上。但目前二者在组织界面上划分清晰,领域专家虽掌握大量隐性知识和信息,具备改进措施的规划能力,却缺乏数据分析技能;而数据分析师又缺乏业务自由度,导致领域解读与数据分析需要大量跨组织分工界面的交互协同,极大地影响了质量分析课题的推进速度。第三方数据分析师每次面对新的领域问题,分析效率也难以提升。深入探究,上述原因只是表象,更深层次的原因在于工业大数据产业的资源配置机制存在问题。

解决之道#

总结共性的分析问题#

生产质量数据分析可从两个视角展开:

  • 质量要素视角:聚焦人、机、料、法、环等五个维度,深入研究共性分析需求和关键技术,构建物料不确定性、人工操控行为、设备运维、工艺参数和环境变化对质量影响的分析模型。
  • 生产活动视角:探索工业大数据分析在设计、生产、检测、调试和后服务等环节,如何实现质量管理的实时化、精细化、智能化、系统化和闭环化。

构建共性的领域数据服务#

无论采用何种质量管控手段,质量相关数据都是最为关键的基础。为实现数据的高效管理和利用,首先需搭建质量数据平台,横向打通各条业务线数据,对质量相关数据进行统一汇聚和集成。同时,数据平台应充分考虑端到端的数据消费场景,支持数据管理、数据分析计算管理和质量分析应用。在数据模型方面,有诸多标准模型可供参考,如流程行业的 ISA-88、重点描述离散行业且能兼容 ISA-88 模型的 ISA-99 生产信息整合模型等。需要注意的是,对于质量数据分析,数据供给不仅要有 Data Schema 层面的领域模型,还需包含语义(Semantic)和语境(Context)信息,其挑战在于不同分析课题的数据需求差异以及大量隐性信息的存在。

质量数据分析课题定义的规范化#

在质量分析课题中,大数据容易出现 “冒进” 现象,即将质量问题简单归结为少量因素作用下的封闭问题:y=f (x)。误以为有了一定量的数据,就能实现工艺参数优化,却忽略了实际需要考虑的维度远不止 x。实际上,只要对问题进行系统梳理,结合专家经验和浅层次的机理知识,大数据便能有效解决许多繁杂、模糊、不精准的生产质量问题。在定义任何一个分析课题时,应在分析前文表格中三个上下文维度的基础上,从业务应用、数据技术、组织能力等三个维度来精准确定质量分析课题的定位。

分析技能的普及#

在众多工业质量应用领域,专业知识和背景信息的流动性与传递效率远低于分析技术能力的传递。根据组织经济学原理,最佳的组织形态是让分析技能向质量领域靠拢,即让质量领域专家掌握基础分析技能,同时借助软件平台工具降低使用门槛。大部分工业分析问题遵循 8:2 原则,80% 的问题可通过 20% 的技术算法解决,将其余 20% 的技术难题交由第三方技术服务商或学界处理。通常的做法是分层化,底层解决共性问题,虽距离业务应用较远,但能逐步缩小范围、增加聚焦,在通用性和适用性之间寻求平衡。