详解ETL转换：将旺店通采购退料单数据写入金蝶云星空

  • 轻易云集成顾问-吴伟

旺店通·企业奇门到金蝶云星空的数据集成案例分享

在本技术案例中，我们将介绍如何通过轻易云数据集成平台实现旺店通·企业奇门数据与金蝶云星空的无缝对接，具体处理采购退料单的数据流转。本文聚焦于 wdt.purchase.return.query 接口获取数据及使用 batchSave 方法批量写入至金蝶云星空的技术细节与解决方案。

确保高效、安全、不漏单的数据抓取

为了确保从旺店通·企业奇门接口可靠地抓取采购退料单数据，我们定期调用 wdt.purchase.return.query API 接口，并设计了自动化调度系统来执行这一任务。该系统不仅能可靠地按指定时间间隔获取最新数据，还实时监控接口响应情况以防止漏单，实现了对全生命周期内每个环节的透明跟踪和管理。

处理分页和限流问题

由于API响应可能包含大量记录，需进行分页处理。同时还需要应对旺店通限制请求频率的问题。为此，我们实现了一种智能分页策略，可以动态调整每次请求的数据量；并加入了限流控制机制，以避免触发API调用限制。这些措施有效保障了大规模数据抓取时的稳定性和高效性。

数据格式转换与映射

读取到的数据往往不能直接用于目标系统，需要进行必要的格式转换。我们定制化配置了一套映射规则，将从旺店通检索到的原始JSON对象转换为符合金蝶云星空所需格式。在此过程中，不仅要考虑字段名称及类型的一一对应，还要预留空间以便扩展自定义字段，为日后进一步优化打下基础。

高效、准确、大批量写入金蝶云星空

对于批量写入操作，通过使用 batchSave API，极大提高了传输效率，使得大量数据能够快速、准确地存储在金蝶云星空中。同时，为更加准确捕捉各类异常情况，我们设置了详细日志记录与错误重试逻辑，使整个过程具备高度容错能力。一旦检测到异常状况，会立即重试相应步骤，并发送实时通知供人工干预，此举显著降低因网络波动或偶然故障造成的重要信息丢失风险。

以上几个方面构成我们成功集成方案中的重要核心部分，通过精细化设置保证每一步都达到理想效果，下文将详述相关配置详情及实际应用实例。 用友与CRM系统接口开发配置

调用源系统旺店通·企业奇门接口wdt.purchase.return.query获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.purchase.return.query来获取采购退料单数据，并对其进行初步加工。

接口配置与请求参数

首先，我们需要了解接口的基本配置和请求参数。根据提供的元数据配置，wdt.purchase.return.query接口的主要特性如下：

  • API名称: wdt.purchase.return.query
  • 请求方法: POST
  • 作用: 数据查询（QUERY）
  • 标识字段: return_no（采购退料单号）

请求参数包括以下几个关键字段：

  1. start_time 和 end_time:

    • 类型：datetime
    • 描述：用于增量获取数据，分别表示开始时间和结束时间。格式为yyyy-MM-dd HH:mm:ss。
    • 示例值：{{DAYS_AGO_1|datetime}} 和 {{CURRENT_TIME|datetime}}

  2. status:

    • 类型：string
    • 描述：采购退货单状态，多个状态值用逗号分隔。例如，50表示部分出库，60表示已完成。
    • 示例值：50,60

  3. stockout_no 和 outer_no:

    • 类型：string
    • 描述：分别表示出库单号和外部API单号，可选填。

  4. 其他分页相关参数：

    • page_size: 每页返回的数据条数，默认值为40。
    • page_no: 页码，从0页开始。

请求示例

基于上述配置，一个典型的请求体可能如下所示：

{
  "start_time": "2023-10-01 00:00:00",
  "end_time": "2023-10-02 00:00:00",
  "status": "50,60",
  "page_size": "40",
  "page_no": "0"
}

数据清洗与转换

在获取到原始数据后，需要对其进行清洗和转换，以便后续处理和写入目标系统。以下是一些常见的数据清洗与转换操作：

  1. 字段映射与重命名: 将源系统中的字段映射到目标系统中的对应字段。例如，将return_no映射为目标系统中的采购退料单号。

  2. 数据类型转换: 确保所有字段的数据类型符合目标系统的要求。例如，将日期字符串转换为标准日期格式。

  3. 过滤无效数据: 根据业务规则过滤掉不符合条件的数据。例如，只保留状态为50（部分出库）和60（已完成）的记录。

  4. 合并与拆分字段: 根据需要合并多个字段或拆分单个字段。例如，将地址信息拆分为省、市、区等多个字段。

实施步骤

  1. 配置API连接 在轻易云平台上，配置连接到旺店通·企业奇门接口的API，包括设置URL、请求方法、认证信息等。

  2. 定义请求参数 根据元数据配置定义请求参数，并设置动态值，如使用模板变量{{DAYS_AGO_1|datetime}}和{{CURRENT_TIME|datetime}}自动填充时间范围。

  3. 执行API调用 使用定义好的参数执行API调用，并获取返回的数据集。

  4. 处理返回结果 对返回的数据进行清洗、转换和过滤，确保其符合目标系统的要求。

  5. 日志记录与监控 在整个过程中记录日志，并通过轻易云平台提供的监控功能实时跟踪数据流动和处理状态，以便及时发现和解决问题。

通过以上步骤，我们可以高效地从旺店通·企业奇门接口获取采购退料单数据，并对其进行初步加工，为后续的数据写入和进一步处理打下坚实基础。 金蝶与SCM系统接口开发配置

使用轻易云数据集成平台实现旺店通采购退料单到金蝶云星空的ETL转换

在数据集成过程中，将源平台的数据转换为目标平台所能接收的格式是至关重要的一步。本文将详细探讨如何利用轻易云数据集成平台，将旺店通的采购退料单数据转换并写入金蝶云星空API接口中。

元数据配置解析

在进行ETL转换之前，首先需要理解和配置元数据。以下是针对金蝶云星空API接口batchSave方法的元数据配置：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "FBillNo", "label": "单据编号", "type": "string", "describe": "单据编号", "value": "{return_no}"},
    {"field": "FDate", "label": "退料日期", "type": "string", "describe": "日期", "value": "{modified}"},
    {"field": "FStockOrgId", ...
    ...
  ],
  ...
}

数据请求与清洗

首先，从旺店通获取采购退料单的数据。假设我们已经通过API请求获取到了以下JSON格式的数据：

{
  "return_no": "RT20231001",
  "modified": "2023-10-01",
  ...
}

这些数据将会在ETL过程中被清洗和转换为金蝶云星空所需的格式。

数据转换与写入

根据元数据配置，我们需要将源数据字段映射到目标API字段。例如：

  • return_no 映射到 FBillNo
  • modified 映射到 FDate
  • warehouse_no 映射到 FStockOrgId

具体步骤如下：

  1. 字段映射与转换：

    • 使用元数据中的parser进行必要的字段值转换。例如，FStockOrgId使用了ConvertObjectParser来解析组织编号。
    • 子节点（如明细信息）的处理也需要按照元数据中的定义进行递归处理。

  2. 构建请求体：

    • 根据元数据中的定义，构建符合金蝶云星空API要求的请求体。例如，构建一个包含所有必要字段和子节点的JSON对象。

  3. 发送请求：

    • 使用HTTP POST方法将构建好的请求体发送到金蝶云星空API接口。

示例代码片段如下：

import requests
import json

# 构建请求体
request_body = {
    ...
}

# 设置HTTP头部信息
headers = {
    'Content-Type': 'application/json'
}

# 发起POST请求
response = requests.post('https://api.kingdee.com/batchSave', headers=headers, data=json.dumps(request_body))

# 检查响应状态
if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud.")
else:
    print(f"Failed to write data: {response.text}")

明细信息处理

对于复杂的嵌套结构，如明细信息，需要特别注意字段的递归处理。例如，明细信息中的物料编码、实退数量等字段都需要逐一映射和转换。

"FPURMRBENTRY":[
    {
        ...
        {"field":"FMATERIALID","label":"物料编码","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{{detail_list.spec_no}}"},
        {"field":"FRMREALQTY","label":"实退数量","type":"string","describe":"数量","value":"{{detail_list.out_num}}"},
        ...
    }
]

通过递归处理，可以确保每个子节点都被正确地映射和转换。

自动提交与审核

元数据中还包括一些控制参数，例如是否自动提交并审核（IsAutoSubmitAndAudit），这些参数可以直接在请求体中设置，以简化后续操作流程。

{"field":"IsAutoSubmitAndAudit","label":"提交并审核","type":"bool","describe":"提交并审核","value":"true"}

通过以上步骤，我们可以高效地将旺店通采购退料单的数据转换为金蝶云星空所需的格式，并成功写入目标平台。这不仅提升了业务流程的自动化程度，也确保了数据的一致性和准确性。 钉钉与CRM系统接口开发配置

版权声明

该文章《API调用与分页限流：确保旺店通采购退料单数据抓取不漏单》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案