轻易云数据集成与金蝶云星空API的ETL转换详解

  • 轻易云集成顾问-何语琴

旺店通·旗舰奇门库存盘亏单数据集成案例分享:从接口调用到批量写入金蝶云星空

在企业日常的库存管理中,及时准确地掌握库存变动情况至关重要。本文将详细探讨如何使用轻易云数据集成平台,将旺店通·旗舰奇门中的盘亏单数据无缝对接并快速高效地集成到金蝶云星空系统。

接口调用与分页处理

在这个案例中,我们首先需要从旺店通·旗舰奇门获取库存盘亏的数据。具体实现时,通过调用wdt.wms.stockpd.querystockpdoutdetail API,可以提取出所有相关的盘亏单记录。然而,由于返回数据可能会非常庞大,分页机制显得尤为重要。在编写API请求时,需要特别注意接口的限制和分页参数设置,以确保所有的数据都能被完整抓取而不漏单。同时,还要设计合理的限流策略,防止频繁请求导致服务拒绝或性能下降。

数据格式转换与映射

收到原始数据后,我们面临着一个棘手的问题,即如何解决两个系统间的数据格式差异。不同系统之间通常存在字段名称、类型和值域等方面的不一致。这就要求我们进行全面且严谨的数据映射工作,确保每一条记录能够准确无误地转换为金蝶云星空所需要的格式。在这一步骤中,可通过定制化脚本或配置来完成,从而有效提高效率和准确性。

批量写入与异常处理

为了提升整体运行效率,大规模的数据转移采用批量操作是明智之举。在本方案中,我们利用金蝶云星空提供的batchSave API接口,实现对多条记录的一次性写入。这种方式不仅加快了处理速度,同时也能简化事务控制。此外,为了保证操作过程中的稳定性和数据完整性,对异常情况予以充分考虑必不可少。当某些记录由于网络问题或者其他意外原因未能成功导入时,应启用错误重试机制,以及配套日志监控功能,以便随时检测并解决问题。

以上步骤展示了从源头数据采集到目标系统落地整个链路上的核心技术难点及其应对方法,下篇文章将逐一解析每个环节实施过程中需注意的具体细节及代码示例。 金蝶与外部系统打通接口

调用旺店通·旗舰奇门接口wdt.wms.stockpd.querystockpdoutdetail获取并加工数据

在数据集成生命周期的第一步,我们需要从源系统调用API接口获取数据,并对其进行初步加工。本文将详细探讨如何通过轻易云数据集成平台调用旺店通·旗舰奇门接口wdt.wms.stockpd.querystockpdoutdetail,并对返回的数据进行处理。

接口概述

接口wdt.wms.stockpd.querystockpdoutdetail用于查询盘亏单的出库明细。该接口采用POST请求方式,支持分页查询,并且可以根据时间、状态等多种条件进行过滤。以下是元数据配置:

{
  "api": "wdt.wms.stockpd.querystockpdoutdetail",
  "method": "POST",
  "number": "order_no",
  "id": "stockout_id",
  "idCheck": true,
  "request": [
    {
      "field": "pager",
      "label": "分页参数",
      "type": "object",
      "children": [
        {
          "field": "page_size",
          "label": "分页大小",
          "type": "string",
          "value": "50",
          "parent": "pager"
        },
        {
          "field": "page_no",
          "label": "页号",
          "type": "string",
          "value": "1",
          "parent": "pager"
        }
      ]
    },
    {
      "field": "params",
      "label": "业务参数",
      "type": "object",
      "children": [
        {
          "field": "start_time",
          "label": "开始时间",
          ...

请求参数配置

在实际调用过程中,我们需要根据业务需求设置请求参数。以下是关键参数的配置说明:

  • 分页参数

    • page_size: 每页返回的数据条数,默认设置为50。
    • page_no: 当前页号,从1开始。
  • 业务参数

    • start_time: 查询的起始时间,一般使用上次同步时间({{LAST_SYNC_TIME|datetime}})。
    • end_time: 查询的结束时间,一般使用当前时间({{CURRENT_TIME|datetime}})。
    • time_type: 时间类型,默认值为1,即按最后修改时间查询。
    • status: 出库单状态,110表示已完成状态。
    • warehouse_no, stockin_no, src_order_no: 可选的过滤条件,根据实际需求填写。

数据请求与清洗

在轻易云平台上配置好上述请求参数后,我们可以发起API调用。假设我们已经成功获取了响应数据,接下来需要对数据进行清洗和初步加工。

  1. 数据解析: 首先,将响应结果解析为JSON对象。确保所有字段都能正确映射到目标结构中。

  2. 字段校验: 根据元数据配置中的idCheck属性,对关键字段如stockout_id进行校验,确保其唯一性和完整性。

  3. 数据转换: 对于日期、状态等字段,根据业务需求进行格式转换。例如,将时间戳转换为标准日期格式,将状态码转换为对应的描述文本等。

  4. 异常处理: 在数据清洗过程中,需要处理可能出现的异常情况,如字段缺失、格式错误等。通过日志记录和告警机制,确保问题能够及时发现和解决。

示例代码

以下是一个简化的Python示例代码,用于展示如何调用该接口并处理返回的数据:

import requests
import json
from datetime import datetime

# 配置请求URL和头部信息
url = 'https://api.wangdian.cn/openapi2/wdt.wms.stockpd.querystockpdoutdetail'
headers = {'Content-Type': 'application/json'}

# 配置请求参数
params = {
    'pager': {
        'page_size': '50',
        'page_no': '1'
    },
    'params': {
        'start_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
        'end_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
        'time_type': '1',
        'status': '110'
    }
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(params))

# 检查响应状态码
if response.status_code == 200:
    data = response.json()

    # 数据清洗与转换
    for item in data.get('data', []):
        stockout_id = item.get('stockout_id')

        # 校验关键字段
        if not stockout_id:
            continue

        # 转换日期格式
        item['formatted_date'] = datetime.strptime(item['date'], '%Y-%m-%d %H:%M:%S').strftime('%Y-%m-%d')

        # 打印或保存处理后的数据
        print(item)
else:
    print(f"Error: {response.status_code}")

通过上述步骤,我们可以高效地从旺店通·旗舰奇门系统中获取所需的数据,并对其进行初步加工,为后续的数据集成和分析打下坚实基础。在整个过程中,轻易云平台提供了全透明可视化的操作界面,使得每个环节都清晰可见,大大提升了业务透明度和效率。 打通金蝶云星空数据接口

轻易云数据集成平台生命周期第二步:ETL转换与写入金蝶云星空API接口

在数据集成过程中,ETL(Extract, Transform, Load)是关键的一环。本文将深入探讨如何利用轻易云数据集成平台,将已经集成的源平台数据进行ETL转换,转为金蝶云星空API接口所能够接收的格式,并最终写入目标平台。

数据请求与清洗

在ETL过程的第一步,我们需要从源系统中提取数据,并对其进行清洗和预处理。这一步骤确保了数据的完整性和一致性,为后续的数据转换和写入奠定基础。

数据转换

接下来,我们进入数据转换阶段。我们将使用提供的元数据配置,将源平台的数据转换为金蝶云星空API接口所需的格式。以下是详细的字段映射和转换规则:

  1. 单据编号 (FBillNo)

    • 类型:字符串
    • 描述:单据编号
    • 值:{order_no}
  2. 单据类型 (FBillTypeID)

    • 类型:字符串
    • 描述:单据类型
    • 解析器:ConvertObjectParser,参数为 FNumber
    • 值:QTCKD01_SYS
  3. 库存组织 (FStockOrgId)

    • 类型:字符串
    • 描述:组织
    • 解析器:ConvertObjectParser,参数为 FNumber
    • 值:100
  4. 领用组织 (FPickOrgId)

    • 类型:字符串
    • 描述:组织
    • 解析器:ConvertObjectParser,参数为 FNumber
    • 值:100
  5. 库存方向 (FStockDirect)

    • 类型:字符串
    • 描述:下拉列表
  6. 日期 (FDate)

    • 类型:字符串
    • 描述:日期
    • 值:{{consign_time|datetime}}
  7. 领料部门 (FDeptId)

    • 类型:字符串
    • 描述:基础资料
    • 解析器:ConvertObjectParser,参数为 FNumber
    • 值:BM000032
  8. 领料人 (FPickerId)

    • 类型:字符串
    • 描述:基础资料
    • 解析器:ConvertObjectParser,参数为 FNumber
  9. 业务类型 (FBizType)

    • 类型: 字符串
    • 描述: 下拉列表
  10. 货主类型 (FOwnerTypeIdHead)

    • 类型: 字符串
    • 描述: 多类别基础资料列表
    • 值: BD_OwnerOrg
  11. 货主 (FOwnerIdHead)

    • 类型: 字符串
    • 描述: 多类别基础资料
    • 解析器: ConvertObjectParser, 参数为 FNumber
    • 值: 100
  12. 备注 (FNote):

    • 类型: 字符串
    • 描述: 多行文本 = 值: 盘亏单
  13. 明细信息 (FEntity): 明细信息是一个数组,其中每个元素包含以下字段:

    a) 物料编码 (FMaterialId):

    • 类型: 字符串
    • 描述: 基础资料
    • 解析器: ConvertObjectParser, 参数为 FNumber
    • 值: {{detail_list.spec_no}}

    b) 实发数量 (FQty):

    • 类型: 字符串
    • 描述: 数量
    • 值: {{detail_list.goods_count}}

    c) 发货仓库 (FStockId):

    • 类型: 字符串
    • 描述: 基础资料
    • 解析器: ConvertObjectParser, 参数为 FNumber
    • 值: {warehouse_no}

    d) 总成本 (FAmount):

    • 类型: 字符串
    • 描述: 金额

    e) 成本价 (FPrice):

    • 类型: 字符串
    • 描述: 单价

    f) 货主类型 (FOwnerTypeId):

    • 类型: 字符串
    • 描述: 多类别基础资料列表
    • 值:BD_OwnerOrg

    g) 货主 (FOwnerId):

    • 类型 : 字符串
    • 描述 : 多类别基础资料 = 解析器 : ConvertObjectParser , 参数为 FNumber
      =值 :100

h )备注(FEntryNote ) : 类型 :字符串
描述 :多行文本

i )成本价(旺店通)( F_TPRO_Decimal2 ) : 类型 :字符串
值 :{{ detail_list.cost_price }}

j )库存状态(FSTOCKSTATUSID ) : 类型 :字符串
值 :_function case '{defect}' when 'true' then 'KCZT08_SYS' else 'KCZT01_SYS' end
*解析器 : ConvertObjectParser , 参数为 FNumber

k )总成本(旺店通)( F_UBGN_Decimal ) : 类型 :字符串
值 :_function {{ detail_list.cost_price }}*{{ detail_list.goods_count }}

14 )对应旺店通单据( F_TPRO_Text2 ) : 类型 :字符串
值 :"盘亏出库单"

15 )制单人(旺店通)( F_UBGN_Text ) : 类型 :字符串
值 :{ operator_name }

16 )备注(旺店通)( F_UBGN_LargeText ) : 类型 :字符串
值:{ pd_order_remark }

数据写入

完成数据转换后,我们将这些数据通过金蝶云星空API接口进行写入。具体的API调用配置如下:

  • API接口名称:"batchSave"
  • 请求方法:"POST"
  • ID校验:"true"
  • 操作配置:"batchArraySave"

其他请求参数包括:

  1. 表单ID ("FormId") :"STK_MisDelivery"
  2. 提交并审核 ("IsAutoSubmitAndAudit") :"true"
  3. 验证基础资料 ("IsVerifyBaseDataField") :"true"
  4. 执行操作 ("Operation") :"Save"

通过上述配置,我们可以确保源平台的数据能够准确无误地转换并写入到金蝶云星空系统中,实现不同系统间的数据无缝对接。

总结

本文详细介绍了如何利用轻易云数据集成平台,将源平台的数据进行ETL转换,并通过金蝶云星空API接口进行写入。在这个过程中,我们重点关注了字段映射、数据转换规则以及API调用配置,以确保整个流程的顺利实施。 如何开发钉钉API接口

更多系统对接方案