使用ETL技术整合旺店通与金蝶云星空数据

  • 轻易云集成顾问-何语琴

旺店通·旗舰版数据集成到金蝶云星空案例分享

在复杂多变的电子商务生态中，如何高效、准确地实现不同系统之间的数据对接与集成，是许多企业面临的重要技术挑战。本文将重点介绍一个实际案例：如何通过轻易云数据集成平台，将旺店通·旗舰版中的入库瞬时成本数据快速而可靠地集成至金蝶云星空。在此过程中，我们采用的方案名称为“入库瞬时成本-退货预入库-1”，该方案不仅确保了数据传输过程中的零丢单，还实现了大批量、高效率的数据写入。

实现目标

我们的主要目标是从旺店通·旗舰版系统中准确抓取入库瞬时成本相关的数据，并将其快速且无误地转移至金蝶云星空，以便能在后续的财务和库存管理中进行有效利用。这一任务涉及到多个技术细节，包括API调用、分页查询处理、错误重试机制以及自定义数据映射等。

数据获取与加载流程

首先，通过调用旺店通·旗舰版提供的statistic.StockinCollect.queryCostWithDetail接口，我们能够获取包括商品名、数量、单价等详细信息的即时成本数据。由于接口本身存在请求限流问题，因此我们采用分批次、多线程并发访问的方法，充分利用系统资源，同时避免超过API限制。

为了实现定期自动化的数据同步操作，我们设置了定时任务，以固定时间间隔调度这些接口调用，这样可以确保新数据被及时获取。同时，在每个步骤均增加实时监控与日志记录功能，方便检测和解决可能出现的问题。

数据格式转换与映射

在接收到来自旺店通·旗舰版接口返回的数据后，需要针对不同字段进行相应格式转换以适配金蝶云星空要求。例如，对于日期类型字段需要统一为ISO标准格式，并根据业务需求重新校准各项指标值。之后，通过调用金蝶云星空的batchSave API完成最终的数据写入操作。其中，为提高速度和稳定性，我们使用了批量提交模式，大幅减少网络交互次数，从而提升整体运行效率。

同时，由于两个系统在部分字段命名及结构上存在显著差异，为此我们设计了一套灵活可配置化的数据映射规则，使得源端数据库内容能顺利、高效地映射到目标端。此外，对接过程中还设置了一系列异常处理逻辑，当发生任何失败或异常情况时，自动触发错误重试机制并发送告警通知，从而保证整个链路上的完备性与健壮性。 钉钉与CRM系统接口开发配置

调用旺店通·旗舰版接口statistic.StockinCollect.queryCostWithDetail获取并加工数据

在轻易云数据集成平台中，调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过调用旺店通·旗舰版接口statistic.StockinCollect.queryCostWithDetail来获取并加工数据。

接口调用配置

首先，我们需要配置元数据以便正确调用接口。根据提供的元数据配置，接口的基本信息如下：

  • API: statistic.StockinCollect.queryCostWithDetail
  • 请求方法: POST
  • 主要字段:
    • stockin_no: 入库单号
    • stockin_id: 入库ID
    • stockout_no: 出库单号

请求参数配置

请求参数分为查询参数和分页参数两部分。以下是详细的配置说明：

  1. 查询参数:

    • start_time 和 end_time: 分别表示起始时间和结束时间，格式为字符串。起始时间默认为上次同步时间，结束时间为当前时间。
    • warehouse_no: 仓库编号。
    • stockin_no: 入库单号，可以填写多个入库单号，用英文逗号分隔。
    • time_type: 时间查询类型，1表示创建时间，2表示审核时间，默认值为2。
    • status: 状态，默认值为30,40。

  2. 分页参数:

    • page_size: 每页记录数，默认值为100。
    • page_no: 页码。

以下是具体的请求参数配置示例：

{
  "params": {
    "start_time": "{{LAST_SYNC_TIME|datetime}}",
    "end_time": "{{CURRENT_TIME|datetime}}",
    "warehouse_no": "WH001",
    "stockin_no": "IN12345,IN67890",
    "time_type": "2",
    "status": "30,40"
  },
  "pager": {
    "page_size": "100",
    "page_no": "1"
  }
}

数据清洗与转换

在获取到原始数据后，需要对数据进行清洗和转换，以确保其符合目标系统的要求。以下是一些常见的数据清洗与转换操作：

  1. 字段映射: 将源系统中的字段映射到目标系统中的字段。例如，将stockin_no映射到目标系统中的入库单号。
  2. 数据格式转换: 将日期格式从字符串转换为标准日期格式，以便于后续处理。
  3. 数据过滤: 根据业务需求过滤掉不必要的数据。例如，只保留状态为30或40的数据。

自动填充响应

为了简化数据处理过程，可以启用自动填充响应功能。这意味着平台会自动将接口返回的数据填充到相应的目标字段中，无需手动处理每个字段。

条件判断

在某些情况下，需要根据特定条件来决定是否执行某些操作。例如，可以通过设置条件判断来确保只有当订单类型为22时才进行处理：

"condition": [
  [
    {
      "field": "src_order_type",
      "logic": "eqv2",
      "value": "22"
    }
  ]
]

通过上述配置和操作，我们可以高效地调用旺店通·旗舰版接口statistic.StockinCollect.queryCostWithDetail获取并加工所需的数据。这不仅提升了数据处理的效率，也确保了数据的一致性和准确性。 用友与MES系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。以下是如何通过轻易云数据集成平台实现这一过程的详细技术步骤。

配置API接口元数据

首先，我们需要配置金蝶云星空API接口的元数据，以确保能够正确地将转换后的数据写入目标系统。以下是一个典型的元数据配置示例：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "...",
      "parser": {"name": "ConvertObjectParser", "params": "FNumber"},
      "value": "XSTHD01_SYS"
    },
    {
      "field": "FBillNo",
      "label": "单据编号",
      "type": "string",
      "describe": "...",
      "value": "{stockin_no}"
    },
    ...
  ],
  ...
}

数据提取与清洗

在ETL过程的第一步，我们需要从源系统中提取原始数据，并对其进行清洗和预处理。这一步通常涉及到从数据库、文件系统或其他数据源中读取数据，并进行必要的数据格式转换和错误处理。

# 示例代码：从源系统提取数据
source_data = extract_data_from_source()

# 数据清洗
cleaned_data = clean_data(source_data)

数据转换

接下来，我们需要根据金蝶云星空API接口的要求，对清洗后的数据进行转换。这个过程中，主要是将源数据字段映射到目标系统所需的字段，并进行必要的数据格式转换。

# 示例代码：将源数据字段映射到目标字段
transformed_data = []
for record in cleaned_data:
    transformed_record = {
        'FBillTypeID': 'XSTHD01_SYS',
        'FBillNo': record['stockin_no'],
        'FSaleOrgId': '100',
        'FDate': convert_date(record['check_time']),
        ...
    }
    transformed_data.append(transformed_record)

数据加载

在完成数据转换后，我们需要将这些转换后的数据通过API接口写入到金蝶云星空系统。这里我们使用batchSave API方法，通过HTTP POST请求将数据发送到目标系统。

import requests

# 示例代码：通过API接口写入目标系统
url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
response = requests.post(url, json=transformed_data, headers=headers)

if response.status_code == 200:
    print('Data successfully written to Kingdee Cloud')
else:
    print('Failed to write data:', response.text)

配置子对象与嵌套结构

在实际应用中，API请求可能包含复杂的嵌套结构，例如明细信息和财务信息等子对象。在配置元数据时，需要特别注意这些嵌套结构，以确保所有必要的信息都能正确传递。

{
  ...
  "request": [
    {
      ...
    },
    {
      "field": "FEntity",
      "label": "明细信息",
      ...
      "children": [
        {
          ...
          {
            "field": "FMaterialId",
            ...
          },
          ...
        }
      ]
    },
    {
      ...
    }
  ],
  ...
}

在实现代码中，也需要相应地处理这些嵌套结构：

# 示例代码：处理嵌套结构的数据转换
for record in cleaned_data:
    detail_list = []
    for detail in record['detail_list']:
        detail_record = {
            'FMaterialId': detail['spec_no'],
            'FRealQty': detail['num'],
            ...
        }
        detail_list.append(detail_record)

    transformed_record = {
        'FBillTypeID': 'XSTHD01_SYS',
        'FBillNo': record['stockin_no'],
        'FEntity': detail_list,
        ...
    }
    transformed_data.append(transformed_record)

通过上述步骤，我们可以有效地将源平台的数据经过ETL转换后，写入到金蝶云星空API接口，实现不同系统间的数据无缝对接。这一过程不仅提高了业务流程的透明度和效率，也确保了各环节的数据准确性和一致性。 钉钉与ERP系统接口开发配置

版权声明

该文章《如何将旺店通数据无缝集成到金蝶云星空》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

百威BEES系统与经销商ERP对接
更多系统对接方案