白皮书
车联网设计与实现:搭建可靠、高效、符合行业需求的车联网平台 →

基于 Neuron 和 EMQX 的智能制造数据管理实践

Joey
2023-12-7
基于 Neuron 和 EMQX 的智能制造数据管理实践

先前的文章中,我们讨论了利用 Neuron 和 EMQX 构建 Open Manufacturing Hub(OMH) 解决方案的基本概念和核心原则。本文将更深入地分析实践中数据管理的关键要素,特别是在基于 Neuron 和 EMQX 进行实际建模的情景下。不论您是从事预测分析、机器学习还是其他任何数据驱动型的项目,强大的数据管理策略都是确保项目成功的关键因素。

对象命名规范

对象命名规范是一组规则和指导方针,用于指导数据管理系统中的对象如何命名。对象命名规范的核心目的在于确保命名的统一性与清晰度,从而便于开发者、管理员和用户理解及操作这些对象。

为了更清晰地阐述这一概念,让我们通过一个实例进行说明。假设我们拥有一款名为 ST1021 的测温设备,它能够感知房间内的湿度和温度。为了使设备 ST1021 与 Neuron 之间实现通信,我们选择采用 Modbus TCP 协议。分配给 ST1021 的 Modbus 设备 ID 为 1。在进行数据检索时,温度和湿度的标签地址分别被设置为 100 和 101。因此,测温设备内部的数据寄存器将按照以下方式进行组织。

标签名称 设备编号 寄存器编号
温度 1 100
湿度 1 101

假设我们有两个房间,每个房间都配备了两台相同的测温设备,那么总共有四台这样的设备。所有这些测温设备都接入了同一 Modbus 网络,并分别被分配了 Modbus 设备 ID:1、2、3 和 4。

位置 标签名称 设备编号 寄存器编号
房间 A 温度 1 100
房间 A 湿度 1 101
房间 A 温度 2 100
房间 A 湿度 2 101
房间 B 温度 3 100
房间 B 湿度 3 101
房间 B 温度 4 100
房间 B 湿度 4 101

通过使用 ISA95 标准,我们能够为测温设备的位置提供更加详细和一致的额外信息。为了简便,设备编号和寄存器编号将组合在一起,以‘!’作为分隔符,形成一个标签地址。

场所 区域 位置 单元 组件 标签地址
总部 1 楼 房间 A 右边角 温度 1!100
总部 1 楼 房间 A 右边角 湿度 1!101
总部 1 楼 房间 A 左边角 温度 2!100
总部 1 楼 房间 A 左边角 湿度 2!101
总部 1 楼 房间 B 右边角 温度 3!100
总部 1 楼 房间 B 右边角 湿度 3!101
总部 1 楼 房间 B 左边角 温度 4!100
总部 1 楼 房间 B 左边角 湿度 4!101

每一行代表一个映射到设备标签地址的对象。对象名称由前五列的内容组成,并以‘/’作为分隔符。例如,第一行的对象名称可能是 HQ/1F/A/Right/temp。这个名称将成为统一命名空间中独一无二的一个主题。

对象数据建模

数据建模可以类比于在建造房屋之前制定蓝图,其涵盖了定义数据结构和数据间相互关系的过程。一个经过精心设计的数据模型不仅确保了数据的一致性,还增强了对数据的理解和使用效率。在本系列文章中,我们将逐步引导您学习利用 EMQXNeuron 这两个基础组件,在统一命名空间中组织和管理数据。

让我们通过另一个例子来深入说明:假设我们负责管理三个化学反应罐,这些反应罐需要进行精确的温度控制,以实现金属表面处理过程中的最小能量消耗。在这个情境中,我们需要关注两个主要数据点:每个反应罐的温度和加热器的能源消耗情况。

Object Data Modeling

有一个温度控制器或读取器能够同时监测所有三个反应罐的温度,并且每秒钟向 Neuron 报告这三个温度值。但是,三个反应罐的电能表则是独立工作,各自将数据传输给 Neuron。在这种情况下,虽然化学反应罐与这些数据之间没有直接的联系,但从操作者的视角来看,化学反应罐才是关注的核心。温度和能耗数据作为反应罐的属性,用于控制加热器的运行。假设我们继续采用 Modbus TCP 协议来连接这些设备,三个电能表的 Modbus 设备 ID 分别为 1、2 和 3,温度读取器的 Modbus 设备 ID 为 4。电能表的数据标签地址定为 100,温度读取器中三个温度的数据标签地址则分别为 200、201 和 202。

本示例将在下列步骤(数据映射、数据规范化、赋予数据上下文)中继续使用。

数据映射

数据映射是连接设备数据模型和对象数据模型的过程,以实现数据集成、转换或迁移。这个过程涉及确定源设备数据集中的数据标记如何与目标对象数据集中的数据字段或属性相对应,或者如何将其转换为目标对象数据集中的数据字段或属性。在这个过程中,需要明确哪些字段可以直接映射,哪些字段需要进行转换,以及哪些字段可以被忽略。此外,数据映射还包括定义需要应用于源设备数据的规则或转换方法,以确保其与目标对象数据保持一致。这可能包括数据类型的转换、计算或数据的补充。

回到我们的例子。为了控制化学反应罐的温度,我们需要在 Modbus 网络中添加一个 I/O 继电器设备,其设备 ID 为 5。

Data Mapping

数据模型有两种不同的呈现方式。一种是直接从 Modbus 网络中按照设备的组织方式获取数据,这种数据组织方式取决于物理设备及其连接方式。另一种呈现方式是为了方便人类理解,需要将数据结构重新组织成人类能够理解的形式。Neuron 的任务就是把这些数据标签重新组织成对象模型。在 Neuron 中,用户可以灵活地创建对象,将不同设备的不同数据标签封装在一起。在我们的示例中,我们创建了三个对象:反应罐、加热器和电能表。

数据映射在多个数据相关的流程中发挥着重要作用,如数据集成、数据迁移、数据仓库和 ETL(抽取、转换、加载)过程。其核心功能是确保数据在不同系统之间正确传输和转换,以维护不同数据集和系统之间的数据完整性和一致性。

数据规范化

数据通常呈现多样性,以多种格式存在,并且可能存在杂乱、冗余和不一致等问题。为了解决这些数据问题,数据规范化应运而生。数据规范化是一种对数据进行结构化的过程,旨在减少冗余、提升一致性,从而有效地清理数据,提高数据质量。

在我们的示例中,我们拥有三个来自不同品牌和制造商的电力计量器,它们具有各自独特的特点和属性。第一个电力计量器以 kWh 为单位,使用浮点小数值表示功耗。而第二个电力计量器则以固定小数点格式表示功耗。最后一个电力计量器仅提供电压和安培值,需要额外的计算才能得到 kWh 的功耗。数据规范化对于确保整个生产过程中的数据一致性至关重要。得益于 Neuron 强大的处理能力,它能够顺利地转换这些不同的数据格式,并执行必要的计算。

此外,数据规范化还可视为一种改进数据组织的方法,它有助于消除无序或重复的数据,建立一种更合理和清晰的存储方式。

数据规范化的主要目标是在系统中确立一致的数据格式,以确保数据易于查询和分析,从而有助于做出更明智的决策。

第一范式(1NF)

第一范式是数据规范化的最基本级别,它解决了数据组中存在重复条目的问题。在第一范式中,每个条目只能包含单元格的一个值,而且每个记录都必须是唯一的。

第二范式(2NF)

为了达到第二范式的级别,数据必须首先满足第一范式的所有条件。此外,数据还必须具有一个独一无二的主键。为实现这一点,需要将可能分散在多个行中的数据的子集提取出来,放置在单独的表中。然后,通过引入新的外键标签来建立这些表之间的关联。

第三范式(3NF)

为了满足第三范式的要求,数据必须首先符合第二范式的所有先决条件。除此之外,表中的数据只能依赖于主键。如果主键发生了变化,所有受到影响的数据都必须迁移到一个新的表中。

normalization process

按照上述的数据规范化过程,在我们的示例中,数据源列表中就不需要温度对象和能量对象了。

数据情景化

没有上下文的数据就像是一副缺失了一块的拼图。数据情景化是通过将数据置于特定的语境中,使其具有意义和相关性的过程。它将原始数据转化为可操作的信息。这就是统一命名空间通过添加上下文信息为数据分析提供服务的方式。

统一命名空间是连接数据与其情景的纽带。通过定义标准化的结构,它使数据架构可以将数据师与其相关的情景关联起来,例如时间、地点或业务流程。情景化数据更具价值,因为它能够提供针对特定情境或问题的见解。它弥合了数据和决策之间的鸿沟,使企业能够从数据中获得可操作的信息。

在我们的例子中,应该将温度的高低限制添加到数据情景中,并且为每个反应罐设置报警信息,以便了解反应罐中化学反应的情况。这些限制可以在 MES 系统中的产品配方里找到。另外,浸泡在反应罐里的物料对生产过程也很重要。这些信息可以从 ERP 系统中的销售订单里获取。最后,对象的详情如下。

Data Contextualization

结语

在预测分析领域,熟知统一命名空间理念不仅仅是一个简单的先决条件,而是成功的关键。利用 NeuronEMQX 实现数据的有效收集、整合、质量保证、治理和访问,以及数据建模、规范化和情景化,是构建准确预测模型的基石。随着数据驱动革命的不断发展,关注统一命名空间理念和对象数据建模仍然是指引企业获得可操作洞察和可持续增长的指南针。

咨询 EMQ 技术专家
联系我们 →

推荐阅读

2023-11-8Joey
使用 EMQX 和 Neuron 实现统一命名空间架构

本文将深入探讨如何利用 EMQX 和 Neuron 这两个强大的平台来实现统一命名空间,并重点强调它们之间的协同作用,以及它们为工业环境带来的众多好处。