使用轻易云平台实现ETL转换到金蝶云星空

  • 轻易云集成顾问-谢楷斌

旺店通·企业奇门数据集成到金蝶云星空:销售退货同步案例

在本篇技术文章中,我们将分享一个具体的系统对接集成案例,即如何通过轻易云实现旺店通·企业奇门的数据高效、可靠地集成至金蝶云星空。方案名称为“销售退货同步到金蝶(正式)”,旨在解决电商平台与财务系统数据打通的问题。

首先,为了确保从旺店通·企业奇门获取的数据不漏单,同时能够快速、大量写入到金蝶云星空,我们使用了wdt.refund.query接口来抓取退款数据。这一接口支持分页查询,能够有效应对大量数据请求时的限流问题。通过定制化的数据映射,对接过程中实时监控并记录日志,保障每个步骤都透明可视。

在处理这些数据时,需要特别注意以下几个方面:

  1. 调用API的频率和分页处理

    • 由于涉及大量历史和实时交易记录,合理设置接口调用频率以及分页策略非常关键。我们设计了一套高效且自动调整的限流机制以确保不遗漏任何重要信息。
  2. 格式差异及转换

    • 旺店通·企业奇门与金蝶云星空之间存在着字段及格式上的差异,通过轻易云进行中间层转化操作,使得所有需要传输的数据保持一致性和完整性。例如,将退款订单中的金额、商品列表等信息进行重新组织,以适配目标系统的批量保存API(batchSave)。
  3. 异常处理与重试机制

    • 在实际运行环境中,不可避免会遇到网络波动或服务端响应超时等情况。在此次方案中,增加了详细且灵活的错误重试机制,一旦出现上述故障,会自动触发预设逻辑进行多次尝试提交,并记录相应日志以供后续分析和优化。
  4. 定时任务管理

    • 定期从旺店通·企业奇门接口提取最新退款订单,并及时更新至金蝶云星空,是整个流程顺畅运作的重要环节之一。为了保证这一点,在设计上引入了精确度较高且稳定运行的定时任务模块,最大程度降低人员干预成本并提高效率。

以上便是本案例开头部分要点介绍。在接下来的内容里,我们将深入解剖各个技术细节,包括具体代码实现、配置手段,以及遇见问题后的解决办法,希望能为类似需求提供有益参考。 金蝶与CRM系统接口开发配置

调用旺店通·企业奇门接口wdt.refund.query获取并加工数据

在数据集成生命周期的第一步中,调用源系统接口获取数据是至关重要的一环。本文将深入探讨如何通过轻易云数据集成平台调用旺店通·企业奇门接口wdt.refund.query,并对获取的数据进行初步加工。

接口概述

wdt.refund.query接口用于查询销售退货单信息。该接口采用POST请求方式,支持多种查询条件,并返回符合条件的退货单数据。以下是该接口的元数据配置:

{
  "api": "wdt.refund.query",
  "effect": "QUERY",
  "method": "POST",
  "number": "refund_no",
  "id": "refund_no",
  "name": "refund_no",
  "idCheck": true,
  "request": [
    {"field":"process_status","label":"退换单处理状态","type":"bool","describe":"退换单处理状态 5 补款 10已取消 20待审核 30已同意 40已拒绝 50待财审 60待收货 63待推送 64推送失败 65委外待收货 69待收货(已结算) 70部分到货 71部分到货(已结算) 80待结算 90已完成","value":"90"},
    {"field":"time_type","label":"时间类型","type":"string","describe":"0,最后更新时间,1,结算时间。默认值0"},
    {"field":"start_time","label":"开始时间","type":"string","describe":"按最后修改(结算)时间增量获取数据,start_time作为开始时间,格式:yyyy-MM-dd HH:mm:ss","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field":"end_time","label":"结束时间","type":"string","describe":"按最后修改时间(结算)增量获取数据,end_time作为结束时间,格式:yyyy-MM-dd HH:mm:ss","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"page_size","label":"分页大小","type":"string","describe":"每页返回的数据条数,输入值范围1~40,不传本参数,输入值默认为40,使用举例单击这里","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"shop_no","label":"店铺编号","type":"string","describe":"店铺编号"},
    {"field":"page_no","label":"页号","type":"string","describe":"不传值默认从0页开始"},
    {"field":"refund_no","label":"Erp内退换单编号","type":"string","describe":"Erp内退换单编号,传该字段可以不传时间"},
    {"field":"src_refund_no","label":"平台原始退换单号","type":"string","describe":"平台原始退换单号,传该字段可以不传时间"},
    {"field":"trade_no","label":"系统订单编号","type":"string","describe":"系统订单编号,传该字段可以不传时间"},
    {"field":"tid","label":"原始单号","type":""}
   ],
   "autoFillResponse": true,
   "condition":[[{"field": "type", "logic": "eqv2", "value": "2"}, {"field": "process_status", "logic": "eqv2", "value": "90"}]]
}

请求参数解析

在调用接口时,需要配置一系列请求参数以确保能够准确获取所需的数据:

  • process_status: 设置为90表示只查询已完成的退换单。
  • time_type: 默认为0表示按最后更新时间查询。
  • start_timeend_time: 分别表示查询的开始和结束时间,这两个参数通常根据上次同步时间和当前时间动态生成。
  • page_size: 每页返回的数据条数,可以根据需要设置,一般默认为40。
  • shop_no, page_no, refund_no, src_refund_no, trade_no, tid: 可选参数,用于进一步筛选特定条件下的退换单。

数据请求与清洗

在轻易云数据集成平台中,通过配置上述元数据,可以自动生成请求并发送到旺店通·企业奇门接口。以下是一个示例请求体:

{
    "process_status":90,
    "time_type":0,
    "start_time": "{{LAST_SYNC_TIME|datetime}}",
    "end_time": "{{CURRENT_TIME|datetime}}",
    "page_size": "{PAGINATION_PAGE_SIZE}",
    "shop_no":"",
    "page_no":"",
    "refund_no":"",
    "src_refund_no":"",
    "trade_no":"",
    "tid":"",
}

在接收到响应后,需要对数据进行初步清洗和验证。例如,可以检查每个退换单的状态是否为“已完成”,并过滤掉不符合条件的数据。此外,还可以根据业务需求对字段进行重命名、格式转换等操作。

数据转换与写入

经过清洗后的数据需要转换为目标系统所需的格式,并写入到相应的数据库或系统中。在此过程中,可以利用轻易云平台提供的可视化工具,对数据流动进行实时监控和管理,以确保每个环节都顺利进行。

通过上述步骤,我们实现了从旺店通·企业奇门接口获取销售退货数据,并对其进行初步加工,为后续的数据处理和分析打下坚实基础。这一过程不仅提高了业务透明度和效率,也为实现不同系统间的数据无缝对接提供了有力支持。 用友与MES系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中,第二步是将已经集成的源平台数据进行ETL(Extract, Transform, Load)转换,并将其转为目标平台——金蝶云星空API接口所能够接收的格式,最终写入目标平台。本文将详细探讨如何通过轻易云数据集成平台实现这一过程。

配置元数据

在进行ETL转换时,首先需要配置元数据以匹配金蝶云星空API接口的要求。以下是一个典型的元数据配置示例:

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field": "FBillTypeID", "label": "单据类型", "type": "string", "parser": {"name": "ConvertObjectParser", "params": "FNumber"}, "value": "XSTHD01_SYS"},
    {"field": "FBillNo", "label": "单据编号", "type": "string", "value": "{refund_no}"},
    {"field": "FSaleOrgId", "label": "销售组织", "type": "string", "parser": {"name": "ConvertObjectParser", "params": "FNumber"}, "value": "100"},
    {"field": "FDate", "label":"日期{check_time}",  ...
  ],
  ...
}

数据提取与转换

  1. 提取(Extract): 从源系统中提取销售退货数据。这一步通常涉及从数据库或其他存储系统中读取原始数据。

  2. 转换(Transform): 将提取的数据转换为金蝶云星空API所需的格式。这里需要特别注意字段的映射和格式的转换。例如:

    • FBillTypeID字段使用ConvertObjectParser解析器,将原始值转换为目标系统所需的编码。
    • FDate字段需要将日期格式化为金蝶云星空接受的格式。
    • FEntity数组中的每个子项都需要进行相应的字段映射和类型转换,如物料编码、实退数量等。
  3. 加载(Load): 将转换后的数据通过API接口写入到金蝶云星空系统中。使用POST方法调用batchSave接口,并确保所有必填字段和验证规则都满足要求。

API 接口调用示例

以下是一个调用金蝶云星空API接口的示例代码片段:

import requests
import json

url = 'https://api.kingdee.com/k3cloud/batchSave'
headers = {'Content-Type': 'application/json'}
data = {
    # 按照元数据配置生成的数据结构
}

response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
    print("Data successfully saved to Kingdee Cloud")
else:
    print(f"Failed to save data: {response.text}")

实践案例:销售退货同步

在实际操作中,我们可以通过以下步骤实现销售退货数据同步到金蝶云星空:

  1. 准备源数据: 从源系统中提取销售退货订单信息,包括订单编号、客户信息、商品明细等。

  2. 配置元数据: 根据上述元数据配置模板,设置各个字段的映射关系和解析规则。

  3. 执行ETL流程: 使用轻易云平台提供的可视化工具或编程接口,执行ETL流程,将源数据转换为目标格式。

  4. 调用API接口: 将转换后的数据通过HTTP请求发送到金蝶云星空API接口,实现数据写入。

注意事项

  • 确保所有必填字段均已正确填写,避免因缺少关键字段而导致的数据写入失败。
  • 使用解析器(如ConvertObjectParser)进行必要的数据格式转换,以符合目标系统要求。
  • 在实际操作中,可以启用实时监控功能,及时发现并解决潜在的问题,提高整体效率。

通过以上步骤,我们可以高效地完成从源系统到金蝶云星空的数据集成任务,实现不同系统间的数据无缝对接。 如何开发钉钉API接口

更多系统对接方案