轻易云数据集成平台:将销售数据ETL转换并写入金蝶云星空

  • 轻易云集成顾问-钟家寿

旺店通·旗舰奇门数据集成到金蝶云星空——07-ToC销售出库单集成方案-P-T

在实际的业务操作中,如何高效、准确地将旺店通·旗舰奇门的数据无缝对接到金蝶云星空,一直是众多企业面临的重要挑战。本次案例,我们深入探讨了“07-ToC销售出库单集成方案-P-T”,从技术层面详细解析了如何确保每一个环节的数据完美衔接。

首先,通过调用wdt.wms.stockout.sales.querywithdetail接口,从旺店通·旗舰奇门获取详尽的销售出库单数据。为保障大数据量情况下不会漏单,我们设计了一套定时可靠的抓取机制,每小时执行一次,并通过分页处理和并发请求来应对API限流问题。

在成功获取源数据后,接下来的任务是将这些信息快速、高效地写入金蝶云星空的系统中。我们采用了金蝶云星空提供的batchSave接口,该接口具备批量处理能力,可显著提升写入速度。同时,为应对两者之间的数据格式差异,本次解决方案还包含一套灵活的数据映射模块,对不同字段进行精确转换,以满足金蝶云星空的特定要求。

此外,在整个流程中,我们特别关注了异常处理与错误重试机制。一旦检测到任何异常情况,如网络波动或API调用失败,系统会自动记录错误日志,并启动重试策略以确保不遗漏任何关键数据。

实时监控也是本方案的一大亮点。通过轻易云平台全透明可视化操作界面的支持,使得各个环节都能够被清晰追踪,无论是数据提取、转换还是最终加载,都能实现毫秒级别适时监控和全面日志记录。这不仅提升了整个系统运行过程中的稳定性,也极大程度上提高了业务运营效率及透明度。

通过上述多个层面的优化与实现,本次“07-ToC销售出库单集成方案-P-T”为企业提供了一套切实可行且高效稳定的数据集成路径。这也进一步展示了现代技术手段在复杂业务场景中的应用潜力,为更多领域的信息化建设提供借鉴示范。 钉钉与WMS系统接口开发配置

调用旺店通·旗舰奇门接口获取并加工数据的技术案例

在轻易云数据集成平台中,调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过调用旺店通·旗舰奇门接口wdt.wms.stockout.sales.querywithdetail获取销售出库单数据,并进行初步的数据加工。

接口调用配置

首先,我们需要配置接口调用的元数据。根据提供的元数据配置,我们可以看到该接口采用POST方法,主要参数包括分页参数和业务参数。

{
  "api": "wdt.wms.stockout.sales.querywithdetail",
  "method": "POST",
  "number": "order_no",
  "id": "stockout_id",
  "idCheck": true,
  "request": [
    {
      "field": "pager",
      "label": "分页参数",
      "type": "object",
      "children": [
        {
          "field": "page_size",
          "label": "分页大小",
          "type": "int",
          "value": 50,
          "parent": "pager"
        },
        {
          "field": "page_no",
          "label": "页号",
          "type": "int",
          "value": 1,
          "parent": "pager"
        }
      ]
    },
    {
      ...
    }
  ],
  ...
}

分页参数设置

分页参数用于控制每次请求返回的数据量和页码。在本例中,page_size设置为50,表示每次请求返回50条记录;page_no设置为1,表示从第一页开始获取数据。

{
  "field": "pager",
  ...
  {
    ...
    {
      ...
      {
        ...
        {
          ...
        }
      }
    }
  }
}

业务参数设置

业务参数用于指定查询条件,包括时间范围、出库单状态、仓库编码等。以下是一些关键字段的配置:

  • start_timeend_time: 分别表示查询的开始时间和结束时间,这里使用动态变量{{LAST_SYNC_TIME|datetime}}{{CURRENT_TIME|datetime}}
  • status_type: 出库单状态类型,默认值为3,表示按照指定状态查询。
  • status: 出库单详细状态,在status_type=3情况下使用。
  • warehouse_no: 仓库编码,用于指定查询哪个仓库的数据。
  • shop_nos: 店铺编号,可以传多个店铺编号,用英文逗号分隔。
{
  ...
  {
    ...
    {
      ...
      {
        ...
        {
          ...
          {
            ...
            {
              ...
              {
                ...
                {
                  ...
                  {
                    ...
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

数据请求与清洗

在完成接口调用配置后,我们可以发起请求并获取原始数据。由于返回的数据可能包含多余或格式不一致的信息,因此需要进行初步清洗。例如:

  1. 过滤无效记录: 根据条件过滤掉不符合要求的记录,如平台ID不等于127、店铺编号不等于特定值等。
  2. 字段转换: 将某些字段转换为标准格式,如日期格式转换、数值类型转换等。
def clean_data(data):
    # 假设data是从接口返回的原始数据
    cleaned_data = []
    for record in data:
        if record['platform_id'] != '127' and \
           record['shop_no'] not in ['eca8a82', 'B0002'] and \
           record['warehouse_name'] != '保修仓':
            # 转换日期格式
            record['start_time'] = convert_datetime(record['start_time'])
            record['end_time'] = convert_datetime(record['end_time'])
            cleaned_data.append(record)
    return cleaned_data

数据转换与写入

清洗后的数据需要进一步转换以适应目标系统的需求。例如,将字段名转换为目标系统所需的命名规范,或者合并拆分某些字段。最后,将处理好的数据写入目标系统。

def transform_and_write(data):
    transformed_data = []
    for record in data:
        transformed_record = {}
        transformed_record['order_number'] = record['order_no']
        transformed_record['stock_out_id'] = record['stockout_id']
        # 更多字段转换...

        transformed_data.append(transformed_record)

    # 将转换后的数据写入目标系统
    write_to_target_system(transformed_data)

通过以上步骤,我们实现了从旺店通·旗舰奇门接口获取销售出库单数据,并进行了初步清洗和转换,为后续的数据处理奠定了基础。这一过程展示了轻易云数据集成平台在处理异构系统间数据对接时的高效性和灵活性。 用友与WMS系统接口开发配置

使用轻易云数据集成平台将源平台数据ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中,第二步是将已经集成的源平台数据进行ETL转换,并转为目标平台——金蝶云星空API接口所能够接收的格式,最终写入目标平台。本文将详细介绍如何利用轻易云数据集成平台实现这一过程。

元数据配置解析

首先,我们需要理解元数据配置中的各个字段及其用途。以下是关键字段的解释:

  1. api: "batchSave" 表示调用金蝶云星空的批量保存接口。
  2. method: "POST" 表示使用HTTP POST方法进行请求。
  3. idCheck: true 表示需要进行ID检查。
  4. operation: 包含了rowsKeyrows等信息,用于指定操作类型和行数。
  5. request: 包含具体的数据字段映射和转换规则。

以下是部分关键字段的详细解析:

  • FBillTypeID: 单据类型,固定值为"DSXSCHD07"。
  • FBillNo: 单据编号,从源数据中获取 {order_no}
  • FDate: 日期,从源数据中获取 {consign_time}
  • FStockOrgId: 发货组织,固定值为"106"。
  • FSaleOrgIdFSettleOrgID: 销售组织和结算组织,通过 _findCollection 函数从特定集合中查找 shop_no 对应的值。
  • FCustomerID: 客户,通过 ConvertObjectParser 解析 shop_no

数据转换逻辑

在ETL过程中,需要对源数据进行清洗和转换,以符合目标平台API的要求。以下是具体的数据转换逻辑:

  1. 基础资料解析

    • 使用 ConvertObjectParser 对某些字段进行解析,例如 FBillTypeID, FStockOrgId, FCustomerID 等。这些字段通常需要将业务系统中的编码转换为金蝶系统可识别的编码。
  2. 动态值替换

    • 某些字段需要从源数据中动态获取,例如 FBillNo, FDate, FLinkMan, FLinkPhone, 等。这些字段直接从源数据中提取相应的值。
  3. 复杂映射

    • 对于一些复杂映射,例如销售组织、结算组织,需要通过 _findCollection 函数从特定集合中查找对应关系。
  4. 数组处理

    • 明细信息(FEntity)是一个数组,需要对每一项明细进行处理,包括物料编码、实发数量、价税合计等。这些字段同样需要通过动态值替换或基础资料解析来获取正确的值。

示例代码

以下是一个示例代码片段,展示如何使用轻易云数据集成平台配置元数据并调用金蝶云星空API接口:

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "单据类型",
      "value": "DSXSCHD07",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      }
    },
    {
      ...
    },
    {
      "field": "FEntity",
      "label": "明细信息",
      "type": "array",
      ...
    }
  ],
  ...
}

调用API接口

在完成元数据配置后,可以通过HTTP POST方法调用金蝶云星空的批量保存接口,将处理后的数据写入目标平台。确保所有必要字段都已正确映射,并且基础资料经过验证,以避免因数据不一致导致的错误。

import requests
import json

url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
data = {
    # 根据元数据配置生成的数据
}

response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
    print('Data successfully written to Kingdee Cloud.')
else:
    print('Failed to write data:', response.content)

通过以上步骤,我们可以顺利地将源平台的数据经过ETL转换后写入金蝶云星空,实现不同系统间的数据无缝对接。 泛微OA与ERP系统接口开发配置

更多系统对接方案