如何通过轻易云完成金蝶云星空数据ETL转换

  • 轻易云集成顾问-蔡威

旺店通·企业奇门数据集成到金蝶云星空方案分享

本文将探讨如何通过轻易云数据集成平台高效地实现旺店通·企业奇门的数据对接到金蝶云星空，以具体的"旺店通调拨单（非后补仓）>云星空直接调拨单"为案例。

首先，在确保不漏单的前提下，我们利用定时任务可靠抓取旺店通·企业奇门接口wdt.stock.transfer.query的数据。这一步骤至关重要，因为它能保证我们获取的每一条调拨单都准确无误。为了应对大量数据，我们采取了分页处理技术，结合限流策略，有效避免请求过载导致接口响应延迟或失败。

其次，对从旺店通·企业奇门获取的数据进行预处理，根据金蝶云星空需求进行格式转换。例如，将JSON格式的数据转化为XML，并根据其字段要求做适当调整。同时，实现批量写入功能，通过调用金蝶云星空API batchSave，大幅提升数据存储效率，同时减少网络通信开销。

在与金蝶云星空对接过程中，异常处理和错误重试机制同样不可忽视。一旦出现网络中断或其他异常情况，我们设计了自动重试逻辑并记录详细日志，确保尽可能降低因为偶发错误而造成的数据丢失风险。此外，通过实时监控和日志记录，可以随时掌握数据流动状态，为后续运维提供有力支持。

最后，由于两个系统在结构及字段命名上的差异性，需要特别注意的是定制化映射问题。针对不同业务需求，可配置个性化映射规则，使得不同来源的元数据能够完美对接，实现系统间无缝衔接。

通过上述步骤，无论是在保障数据完整性还是提高传输效率方面，都能明显提升业务流程透明度与稳定性，为企业数字化运营提供坚实基础。 如何对接企业微信API接口

调用源系统旺店通·企业奇门接口wdt.stock.transfer.query获取并加工数据

在数据集成生命周期的第一步中，调用源系统接口以获取原始数据是至关重要的。本文将深入探讨如何通过轻易云数据集成平台配置元数据，调用旺店通·企业奇门接口wdt.stock.transfer.query，并对获取的数据进行初步加工。

接口调用配置

首先，我们需要配置元数据以便正确调用wdt.stock.transfer.query接口。该接口采用POST方法，通过传递一系列参数来获取调拨单信息。以下是关键的元数据配置细节：

  • API: wdt.stock.transfer.query
  • Method: POST
  • Pagination: 支持分页，每页大小为100条记录。
  • ID Check: 启用ID检查，确保每条记录唯一。

请求参数包括：

  • start_time 和 end_time：用于限定查询时间范围，分别取上次同步时间和当前时间。
  • from_warehouse_no 和 to_warehouse_no：指定源仓库和目标仓库。
  • status：固定值90，表示调拨单状态。
  • 其他分页参数如 page_size 和 page_no。

此外，还包含条件过滤：

  • 排除特定仓库编号（如010, 022, 015）的记录。

元数据配置示例

{
    "api": "wdt.stock.transfer.query",
    "method": "POST",
    "number": "transfer_no",
    "id": "transfer_id",
    "pagination": {
        "pageSize": 100
    },
    "idCheck": true,
    "request": [
        {"field": "start_time", "label": "开始时间", "type": "datetime", "value": "{{LAST_SYNC_TIME|datetime}}"},
        {"field": "end_time", "label": "结束时间", "type": "datetime", "value": "{{CURRENT_TIME|datetime}}"},
        {"field": "from_warehouse_no", "label": "源仓库", "type": "string"},
        {"field": "to_warehouse_no", "label": "目标仓库", "type": "string"},
        {"field": "status", "label": "调拨单状态", "type":"string","value":"90"}
    ],
    ...
}

数据请求与清洗

在成功调用接口并获取到原始数据后，需要对数据进行初步清洗和加工。以下是常见的数据清洗步骤：

  1. 去重处理：利用ID检查功能，确保每条记录唯一，避免重复数据。
  2. 字段转换：根据业务需求，将字段类型进行转换，例如将字符串类型的日期转换为标准日期格式。
  3. 过滤无效数据：根据预设条件过滤掉不符合要求的数据，例如排除特定仓库编号的记录。

实际案例

假设我们需要从2023年1月1日到2023年1月31日期间，从仓库编号为001到002之间的所有调拨单，并且排除仓库编号为010, 022, 015的记录。我们可以通过以下方式配置请求参数：

{
    ...
    "request":[
        {"field":"start_time","label":"开始时间","type":"datetime","value":"2023-01-01T00:00:00Z"},
        {"field":"end_time","label":"结束时间","type":"datetime","value":"2023-01-31T23:59:59Z"},
        {"field":"from_warehouse_no","label":"源仓库","type":"string","value":"001"},
        {"field":"to_warehouse_no","label":"目标仓库","type":"string","value":"002"},
        {"field":"status","label":"调拨单状态","type":"string","value":"90"}
    ],
    ...
}

通过上述配置，我们可以精准地获取所需的调拨单信息，并在后续步骤中进一步处理和分析这些数据。

总结

通过轻易云数据集成平台，我们能够高效地调用旺店通·企业奇门接口wdt.stock.transfer.query，并对获取的数据进行初步清洗和加工。这一步骤为后续的数据转换与写入奠定了坚实基础，有助于实现不同系统间的数据无缝对接。 用友与MES系统接口开发配置

使用轻易云数据集成平台进行金蝶云星空API接口的数据ETL转换

在数据集成生命周期的第二步，我们将已经集成的源平台数据进行ETL转换，使其符合目标平台金蝶云星空API接口的要求，并最终写入目标平台。本文将深入探讨如何利用轻易云数据集成平台进行这一过程的配置和实现。

数据请求与清洗

在进行数据转换之前，首先需要从源平台（如旺店通）获取调拨单数据。假设我们已经完成了这一阶段，接下来进入数据转换与写入阶段。

数据转换与写入

为了将调拨单数据转换为金蝶云星空API接口能够接收的格式，我们需要配置元数据。以下是详细的元数据配置示例：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {
      "field": "FBillNo",
      "label": "单据编号",
      "type": "string",
      "value": "{transfer_no}"
    },
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "value": "ZJDB01_SYS",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      }
    },
    {
      ...
    }
  ],
  ...
}

配置解析

  1. 基本信息字段：

    • FBillNo：对应调拨单编号，直接从源数据中获取。
    • FBillTypeID：固定值ZJDB01_SYS，通过ConvertObjectParser解析为目标系统所需格式。
    • FBizType、FTransferDirect、FTransferBizType：这些字段均为固定值，表示业务类型、调拨方向和调拨类型。

  2. 组织信息字段：

    • FStockOutOrgId、FOwnerOutIdHead、FStockOrgId：根据仓库编号动态映射库存组织和货主。例如，通过如下逻辑映射： 
      _function case when '{from_warehouse_no}' in ('049','050','052','053','055') then '114' when '{from_warehouse_no}' in ('047','048','051') then '105' else '100' end

  3. 日期和备注字段：

    • FDate：直接从源数据中获取修改日期。
    • FNote：备注信息，同样从源数据中提取。

  4. 明细信息字段：

    • FBillEntry：包含多个子字段，如物料编码、零售条形码、调拨数量等。这些字段通过解析器和映射规则从源数据中获取并转换为目标格式。例如： 
      {
...
{
 "field": "FMaterialId",
 ...
 "value": "{{details_list.goods_no}}"
},
...
}

提交与审核

在所有字段配置完成后，通过以下配置自动提交并审核生成的调拨单：

{
  ...
  {
    "field": "IsAutoSubmitAndAudit",
    ...
    "value": true
  },
  ...
}

执行操作

最后，通过指定操作类型为“Save”来执行保存操作：

{
  ...
  {
    ...
    {
      ...
      {
        ...
        {
          ...
          {
            ...
            {
              ...
              {
                ...
                {
                  ...
                  {
                    ...
                    {
                      ...
                      {
                        ...
                        {
                          ...
                          {
                            field: 'Operation',
                            label: '执行的操作',
                            type: 'string',
                            value: 'Save'
                          }
                        }
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  },
}

通过以上配置，我们可以确保从旺店通获取的调拨单数据经过ETL转换后，符合金蝶云星空API接口的要求，并成功写入目标平台。这一过程充分利用了轻易云数据集成平台的强大功能，实现了高效的数据集成和转换。 如何开发金蝶云星空API接口

版权声明

该文章《如何通过轻易云完成金蝶云星空数据ETL转换》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案