新宝与金蝶云星空数据集成优化方案分享
新宝-产业链协同平台与金蝶云星空的数据集成案例分享
在企业信息化建设中,数据的高效流动和准确对接是实现业务流程自动化的关键。本文将详细介绍一个实际运行的系统对接集成案例:新宝-产业链协同平台的数据集成到金蝶云星空,具体方案为“发货单-收料通知单”。
集成背景及需求
新宝-产业链协同平台作为企业供应链管理的重要组成部分,其发货单数据需要及时、准确地传递到金蝶云星空,以生成相应的收料通知单。这一过程不仅要求高吞吐量的数据写入能力,还需确保数据不漏单,并能实时监控和处理异常情况。
解决方案概述
为了实现这一目标,我们采用了以下技术方案:
-
高吞吐量的数据写入:通过优化数据写入策略,使得大量发货单数据能够快速、高效地被集成到金蝶云星空系统中,提升了整体数据处理时效性。
-
集中监控和告警系统:利用轻易云提供的集中监控和告警功能,实时跟踪数据集成任务的状态和性能,确保每个环节都在可控范围内运行。
-
API资产管理功能:新宝-产业链协同平台与金蝶云星空API资产管理功能,通过统一视图和控制台,帮助企业全面掌握API资产的使用情况,实现资源的高效利用和优化配置。
-
自定义数据转换逻辑:针对新宝-产业链协同平台与金蝶云星空之间的数据格式差异,我们设计了灵活的自定义数据转换逻辑,以适应特定业务需求。
-
分页与限流处理:在调用新宝-产业链协同平台接口(/wms/deliveryBill)时,特别注意处理分页和限流问题,以确保大批量数据能够稳定获取并传输至目标系统。
-
异常处理与错误重试机制:针对可能出现的数据对接异常情况,我们设计了完善的错误重试机制,以保证即使在网络波动或其他意外情况下,也能最大程度地完成数据传输任务。
-
实时监控与日志记录:通过实时监控与日志记录功能,对整个数据处理过程进行全程跟踪,从而及时发现并解决潜在问题,提高系统可靠性。
以上技术要点构成了我们此次“发货单-收料通知单”集成方案的核心内容。在后续章节中,将进一步详细阐述每个步骤及其实现细节。
调用新宝-产业链协同平台接口/wms/deliveryBill获取并加工数据
在轻易云数据集成平台的生命周期中,第一步是调用源系统新宝-产业链协同平台接口/wms/deliveryBill
获取并加工处理数据。这一步骤至关重要,因为它决定了后续数据处理和集成的基础。以下将详细探讨如何高效地完成这一过程。
接口调用配置
首先,我们需要配置元数据以便正确调用新宝-产业链协同平台的API接口。根据提供的元数据配置,可以看到以下关键参数:
api
:/wms/deliveryBill
method
:POST
number
:billNo
id
:billNo
idCheck
:true
sdk
:\\Adapter\\Donlim\\SDK\\DonlimSDK
errorMsgKey
:msg
dataListKey
:data
- 请求参数:
queryTime
这些参数定义了如何与API进行交互,包括请求方法、标识字段以及错误信息和数据列表的键值。
数据请求与清洗
在实际操作中,首先需要构建一个有效的API请求。这里我们使用POST
方法,并传递查询时间参数queryTime
,该参数用于指定查询时间范围内的数据,只支持查询跨度1个月内的数据。
{
"queryTime": "{{LAST_SYNC_TIME|dateTime}}"
}
这个请求体中的queryTime
字段通过模板变量动态生成,确保每次同步时都能获取最新的数据。
数据转换与写入
一旦成功获取到原始数据,需要对其进行清洗和转换,以适应目标系统(如金蝶云星空)的要求。在此过程中,可以利用轻易云平台提供的自定义数据转换逻辑功能。例如,将原始发货单数据映射为收料通知单格式:
{
"sourceField": "deliveryDate",
"targetField": "receiptDate",
"transformation": "dateFormat"
}
这种映射规则可以通过可视化工具直观地设计和管理,使得复杂的数据转换过程变得更加简单和透明。
分页与限流处理
考虑到可能存在大量数据需要处理,分页和限流是必须要解决的问题。通过设置分页参数,如:
{
"page_no": 1,
"page_size": 100
}
可以分批次拉取数据,避免一次性请求过多导致系统压力过大。同时,通过监控API响应中的限流信息(如HTTP状态码429),可以实现自动重试机制,提高整体稳定性。
实时监控与日志记录
为了确保整个流程顺利进行,实时监控和日志记录是必不可少的。轻易云平台提供了集中监控和告警系统,可以实时跟踪每个任务的状态和性能。一旦发现异常情况,如网络超时或接口返回错误信息,可以及时触发告警并采取相应措施。
例如,当检测到错误信息时,可以通过如下方式记录日志并发送告警:
{
"errorMsgKey": "msg",
"logLevel": "ERROR",
"alertType": "EMAIL"
}
这不仅提高了问题发现的及时性,也为后续问题排查提供了详实的数据支持。
确保不漏单
为了确保所有发货单都被正确集成,不出现漏单现象,可以启用ID检查功能,即在每次同步前后对比已处理过的ID列表。如果发现有遗漏,则重新发起补偿请求。这种机制极大地提高了数据集成过程中的可靠性。
综上所述,通过合理配置元数据、精细化管理API请求、实施有效的数据清洗与转换策略,以及加强实时监控与日志记录,我们能够高效且可靠地完成从新宝-产业链协同平台获取并加工处理发货单数据,为后续的数据集成打下坚实基础。
将源平台数据转换为金蝶云星空API接口格式的ETL过程
在轻易云数据集成平台中,将新宝-产业链协同平台的数据通过ETL(提取、转换、加载)过程转换为金蝶云星空API接口所能接收的格式,并最终写入目标平台,是数据集成生命周期的重要环节。本文将详细探讨该过程中涉及的关键技术点和操作步骤。
数据提取与清洗
首先,从新宝-产业链协同平台提取发货单数据。该数据可能包含多个字段,如单据编号、客户信息、物料编码等。在提取过程中,需要确保数据的完整性和准确性。可以通过调用新宝-产业链协同平台的接口 /wms/deliveryBill
获取原始发货单数据,并对其进行初步清洗,去除冗余或无效的数据。
数据转换
接下来是将清洗后的数据转换为金蝶云星空API接口所能接收的格式。这一步骤至关重要,因为不同系统之间的数据结构和字段名称可能存在差异。以下是一些关键字段的转换示例:
-
单据类型(FBillTypeID)
- 源数据中的单据类型需要转换为金蝶云星空系统中的对应值。例如,将源数据中的某个类型值映射为
FHTZD01_SYS
。
- 源数据中的单据类型需要转换为金蝶云星空系统中的对应值。例如,将源数据中的某个类型值映射为
-
日期(FDate)
- 日期字段通常需要格式化处理,确保符合目标系统的日期格式要求。例如,将源数据中的日期字段
{applyTime}
转换为符合金蝶云星空要求的格式。
- 日期字段通常需要格式化处理,确保符合目标系统的日期格式要求。例如,将源数据中的日期字段
-
客户信息(FCustomerID)
- 客户信息通常需要通过特定解析器进行转换,如
ConvertObjectParser
,并使用参数FNumber
进行映射。例如,将源数据中的客户ID{orgId}
转换为目标系统中的对应值。
- 客户信息通常需要通过特定解析器进行转换,如
-
明细信息(FEntity)
- 对于包含多个子项的明细信息,需要逐一处理每个子项。例如,物料编码
deliveryDetail.materialNo
和销售数量deliveryDetail.materialNum
等字段都需要进行相应的转换和映射。
- 对于包含多个子项的明细信息,需要逐一处理每个子项。例如,物料编码
以下是部分关键字段转换配置示例:
{
"field": "FBillTypeID",
"label": "单据类型",
"type": "string",
"parser": {
"name": "ConvertObjectParser",
"params": "FNumber"
},
"value": "FHTZD01_SYS"
},
{
"field": "FDate",
"label": "日期",
"type": "string",
"value": "{applyTime}"
},
{
"field": "FCustomerID",
"label": "客户",
"type": "string",
"parser": {
"name": "ConvertObjectParser",
"params": "FNumber"
},
"value": "{orgId}"
}
数据写入
经过上述步骤的数据转换后,需要将处理后的数据批量写入到金蝶云星空系统中。轻易云提供了高吞吐量的数据写入能力,使得大量数据能够快速被集成到目标系统中,提升了处理效率。以下是一个典型的数据写入配置示例:
{
"api": "batchSave",
"method": "POST",
...
}
在实际操作中,通过调用金蝶云星空API接口 batchSave
方法,将所有已转换的数据批量提交到目标系统。为了确保数据写入过程的可靠性,可以启用自动提交和审核功能(IsAutoSubmitAndAudit),以及基础资料验证功能(IsVerifyBaseDataField)。
异常处理与监控
在整个ETL过程中,异常处理和实时监控是必不可少的环节。轻易云平台提供了集中的监控和告警系统,可以实时跟踪每个数据集成任务的状态和性能。一旦发现异常情况,例如网络故障或接口调用失败,可以及时进行重试或报警处理,确保数据集成过程顺利进行。
通过上述步骤,我们可以实现从新宝-产业链协同平台到金蝶云星空系统的数据无缝对接,为企业提供高效可靠的数据集成解决方案。