ETL转换与API集成：物料金蝶同步到旺店通技术探讨

  • 轻易云集成顾问-何语琴

案例分享：金蝶云星空数据集成到旺店通·企业奇门

在日益复杂的企业应用环境中，跨系统的数据集成已成为提升业务效率和透明度的关键。本文将聚焦于如何通过“物料金蝶同步旺店通”方案，实现从金蝶云星空到旺店通·企业奇门的数据对接。本案例不仅展现了完整的技术实施过程，还分享了诸多实际操作中的注意事项与优化技巧。

为了确保金蝶云星空的数据不漏单，我们使用了其提供的executeBillQuery接口来准确抓取所需数据。此接口支持定时可靠地拉取数据，使得我们可以精确地获得最新库存、订单等信息，并将其无缝写入到旺店通·企业奇门，通过调用wdt.goods.push接口完成这一任务。

在处理大量数据快速写入时，我们克服了一系列技术难题，包括分页抓取、限流控制和格式转换。在具体实现中，通过批量请求和分页查询，不但确保每次请求的数据量适宜，还能有效避免因单次请求过大而导致的性能瓶颈。另外，为应对两个系统间可能存在的数据格式差异，我们进行了细致的定制化映射，保证所有重要字段能够正确传递并匹配相应目标数据库结构。

错误重试机制是此次系统对接的重要保障之一。当面对网络波动或API临时异常等问题时，我们采用了自动重试策略，以最大程度降低数据丢失风险。同时，实时监控与日志记录功能则为整个流程提供了高透明度，可随时追踪并排查潜在的问题，从而达到统一管理和运维简单化。

本篇文章详细讲解以上关键步骤与解决方案，希望能为其他类似需求场景提供有价值的参考。 如何对接钉钉API接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在轻易云数据集成平台中，调用源系统接口是数据集成生命周期的第一步。本文将详细探讨如何通过金蝶云星空的executeBillQuery接口获取并加工数据，以实现物料信息的同步。

接口配置与调用

首先，我们需要配置executeBillQuery接口的元数据。以下是该接口的基本配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FMasterId",
  "pagination": {
    "pageSize": 100
  },
  "request": [
    {"field":"FMasterId","label":"id","type":"string","value":"FMasterId"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FSpecification","label":"规格型号","type":"string","value":"FSpecification"},
    {"field":"FMnemonicCode","label":"助记码","type":"string","value":"FMnemonicCode"},
    {"field":"FOldNumber","label":"旧物料编码","type":"string","value":"FOldNumber"},
    {"field":"FBARCODE","label":"条码","type":"string","value":"FBARCODE"},
    {"field":"FDescription","label":"描述","type":"string","value":"FDescription"},
    {"field":"FMaterialGroup_FNumber","label":"物料分组","type":"string","value":"FMaterialGroup.FNumber"},
    {"field":"FMaterialGroup_FName","label":"物料分组名称","type":"string","value":"FMaterialGroup.FName"},
    {"field":...},
    ...
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field":...},
    ...
  ]
}

请求参数解析

  1. 基础字段：如FMasterId、FNumber、FName等，这些字段对应了金蝶系统中的物料主键、编码和名称等信息。
  2. 扩展字段：如FMnemonicCode（助记码）、FOldNumber（旧物料编码）等，这些字段提供了更详细的物料信息。
  3. 分页参数：包括Limit和StartRow，用于控制每次请求的数据量和起始位置。
  4. 过滤条件：通过设置FilterString，可以对查询结果进行筛选。例如，过滤条件可以设定为： 
    (FUseOrgId.fnumber='106' or FUseOrgId.fnumber='114') and FApproveDate>='{{LAST_SYNC_TIME|datetime}}'

    这表示只查询使用组织编号为106或114，并且审批日期大于上次同步时间的数据。

数据请求与清洗

在调用接口时，需要构建请求体，并将元数据中的字段映射到实际请求参数中。以下是一个示例请求体：

{
  "FormId": "BD_MATERIAL",
  "FieldKeys": ["FMasterId", ..., ...].join(","),
  ...
}

通过POST方法发送请求后，系统会返回包含物料信息的数据集。此时，需要对返回的数据进行清洗和转换，以便后续处理。

数据转换与写入

清洗后的数据需要按照目标系统（如旺店通）的要求进行转换。通常包括以下步骤：

  1. 字段映射：将金蝶系统中的字段映射到目标系统对应的字段。例如，将金蝶中的FNumber映射到旺店通中的物料编码。
  2. 数据格式转换：根据目标系统要求，对数据格式进行转换。例如，将日期格式从YYYY-MM-DD转换为YYYYMMDD。
  3. 批量处理：对于大批量数据，可以分批次处理，每批次处理一定数量的数据，以提高效率。

实际案例分析

假设我们需要同步金蝶云星空中的物料信息到旺店通。首先，通过配置上述元数据并调用接口获取原始数据，然后对数据进行清洗和转换，最后将处理后的数据写入旺店通系统。

具体步骤如下：

  1. 配置元数据并调用接口获取原始数据。
  2. 对返回的数据进行清洗，包括去除无效字段、标准化字段名称等。
  3. 将清洗后的数据按照目标系统要求进行转换。
  4. 分批次将转换后的数据写入目标系统。

通过上述步骤，可以实现不同系统间的数据无缝对接，确保业务流程的顺畅运行。 金蝶与SCM系统接口开发配置

物料金蝶同步旺店通：ETL转换与API接口集成技术案例

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是关键的一步。本文将深入探讨如何将已经集成的源平台数据通过ETL转换，转为目标平台——旺店通·企业奇门API接口所能够接收的格式，并最终写入目标平台。

元数据配置解析

首先，我们需要理解元数据配置中的各个字段及其含义。以下是我们需要处理的主要字段：

  • api: "wdt.goods.push" - 这是我们要调用的API接口。
  • method: "POST" - 请求方法为POST。
  • idCheck: true - 表示需要进行ID校验。
  • request: 包含具体的数据结构和字段映射。
数据结构与字段映射

元数据配置中的request字段定义了请求参数的具体结构和映射关系。以下是主要节点及其子节点：

  1. goods_list（货品节点）
    • goods_no（货品编号）：映射到金蝶系统中的{FNumber}。
    • goods_type（货品类别）：固定值为"1"，表示销售商品。
    • goods_name（货品名称）：映射到金蝶系统中的{FName}。
    • spec_list（单品节点）
      • spec_no（商家编码）：映射到金蝶系统中的{FNumber}。
      • barcode（主条码）：映射到金蝶系统中的{FBARCODE}。
      • spec_name（规格名称）：映射到金蝶系统中的{FSpecification}。
      • is_allow_neg_stock（允许负库存）：固定值为"1"，表示允许负库存。
      • is_sn_enable（是否启用序列号）：默认不启用。

ETL转换过程

在ETL过程中，我们需要完成以下几个步骤：

  1. 数据提取（Extract）
  2. 数据转换（Transform）
  3. 数据加载（Load）
数据提取

从金蝶系统中提取原始数据，假设我们已经通过轻易云平台完成了这一阶段，获得了如下格式的数据：

{
    "FNumber": "123456",
    "FName": "商品A",
    "FBARCODE": "987654321",
    "FSpecification": "规格A"
}
数据转换

根据元数据配置，将提取的数据转换为旺店通·企业奇门API接口所需的格式：

{
    "goods_list": [
        {
            "goods_no": "123456",
            "goods_type": "1",
            "goods_name": "商品A",
            "spec_list": [
                {
                    "spec_no": "123456",
                    "barcode": "987654321",
                    "spec_name": "规格A",
                    "is_allow_neg_stock": "1",
                    "is_sn_enable": ""
                }
            ]
        }
    ]
}

在这个过程中，需要注意以下几点：

  • goods_no 和 spec_no 都映射到 {FNumber}，确保唯一性。
  • goods_type 固定为"1"，表示销售商品。
  • is_allow_neg_stock 固定为"1"，表示允许负库存。
数据加载

将转换后的数据通过POST请求发送到旺店通·企业奇门API接口。以下是一个示例请求代码：

import requests
import json

url = 'https://api.wangdian.cn/openapi2/goods_push.php'
headers = {'Content-Type': 'application/json'}
data = {
    'goods_list': [
        {
            'goods_no': '123456',
            'goods_type': '1',
            'goods_name': '商品A',
            'spec_list': [
                {
                    'spec_no': '123456',
                    'barcode': '987654321',
                    'spec_name': '规格A',
                    'is_allow_neg_stock': '1',
                    'is_sn_enable': ''
                }
            ]
        }
    ]
}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json())

以上代码使用Python的requests库发送POST请求，将转换后的数据推送到旺店通·企业奇门API接口。

监控与验证

为了确保数据成功写入目标平台，我们可以使用轻易云平台提供的实时监控功能，查看数据流动和处理状态。此外，还可以通过API返回结果进行验证，确保每个环节都正确执行。

通过上述步骤，我们成功地将金蝶系统的数据经过ETL转换后写入了旺店通·企业奇门，实现了不同系统间的数据无缝对接。这不仅提升了业务效率，也确保了数据的一致性和准确性。 如何开发金蝶云星空API接口

版权声明

该文章《ETL转换与API集成：物料金蝶同步到旺店通技术探讨》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案