三步搞定:轻易云平台上的ETL数据集成

  • 轻易云集成顾问-潘裕

系统对接集成案例分享:店铺旺店通→金蝶

在实际项目中,电商企业运营过程中经常面临不同系统间的数据孤岛问题。本文将详细介绍如何通过灵活配置轻易云数据集成平台,实现旺店通·企业奇门数据高效、稳定地集成到金蝶云星空,从而解决这一难题。

在该案例中,我们需要确保从旺店通·企业奇门获取的订单数据不漏单,并快速写入到金蝶云星空中,同时实现定时可靠抓取与异常处理重试机制。此外,还要重点关注接口调用、分页及限流等技术细节,以保证全流程的顺畅进行。

首先,通过调用wdt.shop.query接口来获取最新的订单数据。这一过程涉及实时监控和日志记录,确保任何失败或异常都能被及时捕捉和处理。为此,采用了基于轻易云平台内置功能的详细错误日志记录机制。

随后,我们针对大批量数据集成进行了优化设计。在大量订单数据准备好之后,将其批量写入到金蝶云星空中,利用其提供的batchSave API接口。这种方式不仅提升了性能,还减少了网络耗时成本,有效提高整个系统运行效率。

为了进一步完善此次集成方案,在技术实现上考虑到了两端系统之间的数据格式差异以及对接中的个性化需求。例如,对于时间戳字段和货币单位等特定字段,需要进行精细映射和转换,以确保一致性。同时,对每次调度任务设立了重试机制,当发生网络波动或请求失败时,可自动重新尝试提交,从而避免遗漏重要业务信息。

以上便是本次“店铺旺店通→金蝶”系统对接案例的一些核心环节。在后续内容中,我将继续展现具体实施步骤与代码示例,为大家呈现一个完整、高效、安全的数据集成解决方案。 用友与外部系统接口集成开发

调用旺店通·企业奇门接口wdt.shop.query获取并加工数据

在数据集成的生命周期中,调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.shop.query来获取并加工数据。

接口概述

wdt.shop.query接口用于查询旺店通系统中的店铺信息。该接口采用POST请求方式,主要参数包括平台类型和店铺编号。以下是元数据配置:

{
  "api": "wdt.shop.query",
  "effect": "QUERY",
  "method": "POST",
  "number": "shop_no",
  "id": "shop_no",
  "name": "shop_no",
  "idCheck": true,
  "request": [
    {"field": "platform", "label": "platform", "type": "string", "describe": "111", "value": "1"},
    {"field": "shop_no", "label": "店铺编号", "type": "string", 
     "describe": "代表店铺所有属性的唯一编码,用于店铺区分,ERP内支持自定义(ERP店铺界面设置),用于获取指定店铺数据信息"}
  ],
  "otherRequest": [
    {"field": "page_size", 
     "label": "分页大小", 
     "type": "string", 
     "describe":"每页返回的数据条数,输入值范围1~100,不传本参数,输入值默认为40,使用举例单击这里", 
     "value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"page_no",
     "label":"页号",
     "type":"string",
     "describe":"不传值默认从0页开始",
     "value":"{PAGINATION_START_PAGE}"}
  ],
  "autoFillResponse": true
}

请求参数配置

在调用wdt.shop.query接口时,需要配置以下请求参数:

  1. platform: 表示平台类型,固定值为"1"。
  2. shop_no: 店铺编号,是唯一标识,用于区分不同的店铺。
  3. page_size: 分页大小,可选参数,默认值为40。
  4. page_no: 页号,可选参数,默认从0页开始。

示例请求体如下:

{
  "platform": "1",
  "shop_no": "{SHOP_NO}",
  "page_size": "{PAGINATION_PAGE_SIZE}",
  "page_no": "{PAGINATION_START_PAGE}"
}

数据清洗与转换

获取到原始数据后,需要进行清洗和转换,以便后续处理和写入目标系统。在轻易云数据集成平台上,可以通过可视化操作界面对数据进行清洗和转换。

  1. 字段映射:将源系统中的字段映射到目标系统所需的字段。例如,将shop_no映射到目标系统中的相应字段。
  2. 数据格式转换:根据目标系统的要求,对日期、数字等字段进行格式转换。
  3. 数据过滤:根据业务需求,对不符合条件的数据进行过滤。例如,只保留特定状态的店铺信息。

实现步骤

  1. 配置API调用:在轻易云平台上配置API调用模块,填写上述请求参数。
  2. 设置分页参数:如果需要分页处理,可以设置分页大小和页号,以确保获取完整的数据集。
  3. 执行API调用:执行API调用并获取响应数据。
  4. 数据清洗与转换:使用轻易云平台提供的数据处理工具,对响应数据进行清洗和转换。
  5. 写入目标系统:将处理后的数据写入金蝶等目标系统,实现数据的无缝对接。

通过上述步骤,可以高效地实现旺店通与金蝶之间的数据集成。轻易云平台提供了全生命周期管理和可视化操作界面,使得整个过程透明且高效。 轻易云数据集成平台金蝶集成接口配置

轻易云数据集成平台生命周期的第二步:ETL转换与写入金蝶云星空API接口

在轻易云数据集成平台中,ETL(Extract, Transform, Load)过程是数据处理生命周期中的关键环节之一。本文将详细探讨如何将源平台(如店铺旺店通)的数据通过ETL转换为金蝶云星空API接口所能接收的格式,并最终写入目标平台。

数据请求与清洗

在进行数据转换之前,首先需要从源平台获取原始数据,并对其进行清洗和预处理。这一步骤确保了后续的数据转换能够顺利进行。假设我们已经完成了这一阶段,现在进入数据转换与写入阶段。

数据转换与写入

为了将清洗后的数据转化为金蝶云星空API接口所能接收的格式,我们需要配置相应的元数据,并利用这些配置来实现数据的转换和写入。以下是具体的元数据配置及其解析:

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "FName", "label": "名称", "type": "string", "describe": "111", "value": "{shop_name}"},
    {"field": "FNumber", "label": "编码", "type": "string", "describe": "111", "value": "{shop_no}"},
    {"field": "FCreateOrgId", "label": "创建组织", "type": "string", "describe": "111", "value":"100","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field": "FUseOrgId", "label": "使用组织", "type": "string", "describe":"111","value":"100","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field":"FDescription","label":"描述","type":"string","describe":"111"},
    {"field":"FGroup","label":"客户分组","type":"string","value":"1000","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field":"FRECCONDITIONID","label":"收款条件","type":"string","value":"B004","parser":{"name":"ConvertObjectParser","params":"FNumber"}}
  ],
  ...
}
核心字段解析
  1. API接口配置

    • api: 指定调用的API接口名称,如batchSave
    • method: 指定HTTP请求方法,如POST
    • idCheck: 是否进行ID检查,设置为true表示需要检查。
  2. 请求参数配置

    • request: 定义了具体的数据字段及其属性。
      • field: 字段名称,如FName表示客户名称。
      • label: 字段标签,用于描述字段含义。
      • type: 字段类型,如string表示字符串类型。
      • value: 字段值,可以是固定值或变量,如{shop_name}表示从源数据中提取的店铺名称。
      • parser: 用于字段值的解析和转换,如ConvertObjectParser用于将值转换为指定格式。
  3. 其他请求参数

    • otherRequest: 包含一些额外的请求参数,如表单ID、操作类型等。
      • FormId: 表单ID,如BD_Customer表示客户表单。
      • Operation: 操作类型,如BatchSave表示批量保存操作。
      • IsAutoSubmitAndAudit: 是否自动提交和审核,布尔值设置为true
数据转换示例

假设从店铺旺店通获取的数据如下:


{
  "shop_name":
![打通企业微信数据接口](https://pic.qeasy.cloud/T24.png~tplv-syqr462i7n-qeasy.image)
更多系统对接方案