ETL转换：使用轻易云平台写入金蝶云星空API案例

2021-09-01 02:19:07
轻易云集成顾问-林峰

审核分步式调入单：聚水潭到金蝶云星空的数据集成案例分享

在现代企业的实际运营过程中，实现不同系统之间的数据无缝集成至关重要。在本案例中，我们将详细介绍如何通过轻易云数据集成平台，将聚水潭系统中的调入单数据高效、安全地传输到金蝶云星空，实现业务流程优化和信息流畅。我们选择了“审核分步式调入单”方案，以此为例，探讨各个环节中的技术要点。

首先，为实现从聚水潭到金蝶云星空的数据对接，我们需要合理利用两者提供的API接口，其中包括：从聚水潭获取数据的/open/other/inout/query接口，以及将数据写入金蝶云星空的Audit接口。为了确保每条数据不漏发，并且能高效处理大量并发请求，我们设计了一套定时抓取和分页处理机制，同时应用限流策略来保证系统稳定性。

数据抓取与初步转换

通过调用聚水潭的/open/other/inout/query API，我们可以实时、批量地抓取所需的调入单数据。这一步骤涉及分页操作及异常重试逻辑，以防止因网络波动或接口限制导致的数据丢失。此外，通过自定义转换逻辑，我们将这些原始数据进行初步清洗和格式化，适配至目标系统要求。

高吞吐量写入与性能监控

由于具备支持高吞吐量的数据写入能力，轻易云平台能够快速将来自聚水潭的大量数据信息注入金蝶云星空。这一特性极大提高了整体数据处理效率，特别是在繁忙业务时段，例如财务结算周期等。同时，通过集中监控和告警系统，可以实时跟踪每个任务状态及其性能表现，在问题出现时即时响应和调整。

异常检测与错误重试机制

在对接过程中，不可避免会遇到各种异常情况，如网络抖动、API超时等。因此，一个可靠有效的错误重试机制尤为重要。当向金蝶云星空提交审计请求(Audit)失败时，该机制能够自动重新尝试，并视具体情况采取不同级别的告警措施，以确保最终所有合法合规的数据均被成功处理并记录。

本文开头即覆盖了几个关键环节，包括定期抓取、分页限流、自定义转换、高效写入以及全面监控。在后续内容中，将继续深入解析各部分配置细节及相关代码实现。栽植于这种方法论，无疑有助于大幅提升企业内部信息化水平，更好地服务于商业决电商OMS与ERP系统接口开发配置

调用聚水潭接口获取并加工数据的技术案例

在数据集成生命周期的第一步，我们需要从源系统获取数据并进行初步加工。本文将详细探讨如何通过调用聚水潭接口 /open/other/inout/query 来实现这一过程。

API 接口配置

首先，了解我们要调用的 API 接口配置是至关重要的。根据提供的元数据配置，我们需要使用 POST 方法来请求数据，并且该接口支持多种参数以满足不同的数据查询需求。

{
  "api": "/open/other/inout/query",
  "effect": "QUERY",
  "method": "POST",
  "number": "io_id",
  "id": "io_id",
  "idCheck": true,
  "request": [
    {"field":"modified_begin","label":"开始修改时间","type":"string","describe":"111","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field":"modified_end","label":"结束修改时间","type":"string","describe":"111","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"so_ids","label":"线上订单号","type":"string","describe":"111"},
    {"field":"status","label":"单据状态","type":"string","describe":"单据状态，Confirmed=生效，WaitConfirm待审核，Archive=归档，Cancelled=取消","value":"Confirmed"},
    {"field":"page_index","label":"page_index","type":"string","describe":"111","value":"1"},
    {"field":"page_size","label":"page_size","type":"string","describe":"111","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"type","label":"单据类型","type":"string","value":"其它退货"}
  ],
  "autoFillResponse": true,
  "condition": [
    [{"field": "so_id", "logic": "like", "value": "FBDR"}]
  ]
}

请求参数解析

modified_begin 和 modified_end: 用于指定查询的时间范围。{{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}} 分别表示上次同步时间和当前时间，这两个参数确保我们只获取自上次同步以来的新数据。
so_ids: 可选参数，用于指定特定的线上订单号。
status: 固定值为 Confirmed，表示只查询已生效的单据。
page_index 和 page_size: 用于分页查询，确保每次请求的数据量可控。
type: 固定值为 其它退货，表示只查询特定类型的单据。

数据请求与清洗

在实际操作中，我们需要构建一个 POST 请求，将上述参数传递给聚水潭接口。以下是一个示例请求体：

{
  "modified_begin": "2023-01-01T00:00:00Z",
  "modified_end": "2023-01-31T23:59:59Z",
  "status": "Confirmed",
  "page_index": 1,
  "page_size": 100,
  "type": ["其它退货"]
}

通过这种方式，我们可以获取到符合条件的数据集。接下来，我们需要对返回的数据进行初步清洗和处理。例如，可以过滤掉不必要的字段或根据业务需求进行数据格式转换。

数据转换与写入

在完成数据清洗后，我们需要将其转换为目标系统所需的格式，并写入到目标数据库或其他存储介质中。这一步通常涉及到字段映射、数据类型转换等操作。

例如，如果目标系统要求的数据格式如下：

{
  "order_id": "",
  "order_status": "",
  ...
}

我们需要将从聚水潭接口获取到的数据字段映射到目标系统所需的字段，并确保数据类型一致。

实践案例

假设我们从聚水潭接口获取到了以下原始数据：

[
  {
    "io_id": "12345",
    ...
    // 更多字段
  }
]

我们需要将其转换为目标系统所需的格式：

[
  {
    "order_id": "12345",
    ...
    // 更多字段
  }
]

通过编写相应的数据转换脚本或使用轻易云平台提供的数据转换工具，可以轻松实现这一过程。

总结

通过调用聚水潭接口 /open/other/inout/query 并结合元数据配置，我们能够高效地获取并加工源系统的数据。这一步骤是整个数据集成生命周期中的关键环节，为后续的数据处理和分析奠定了坚实基础。电商OMS与ERP系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步中，已集成的源平台数据需要经过ETL（提取、转换、加载）过程，转换为目标平台可接受的格式，并最终写入目标平台。在本案例中，我们将重点探讨如何将数据转换为金蝶云星空API接口所能接收的格式，并通过API写入目标平台。

元数据配置解析

在进行ETL转换之前，首先需要理解和配置元数据。以下是我们要使用的元数据配置：

{
  "api": "Audit",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FormId",
      "label": "FormId",
      "type": "string",
      "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder",
      "value": "STK_TRANSFERIN"
    },
    {
      "field": "Ids",
      "label": "Ids",
      "type": "string",
      "describe": "111",
      "value": "_findCollection find FID from 4f465a57-5195-3cd0-814b-d4f870c18584 where FBillNo={so_id}"
    },
    {
      "field": "InterationFlags",
      "label": "InterationFlags",
      "type": "string",
      "describe": "\"flag1;flag2;...\"（非必录） 例如（允许负库存标识：STK_InvCheckResult）",
      "value": "STK_InvCheckResult"
    },
    {
      "field": "IgnoreInterationFlag",
      "label": "IgnoreInterationFlag",
      "type": "string",
      "describe": "",
      "value":"true"
    },
    {
      ...
    }
  ]
}

数据请求与清洗

首先，我们需要从源系统提取原始数据并进行清洗。假设我们已经从源系统提取了如下数据：

{
  "_findCollection find FID from 4f465a57-5195-3cd0-814b-d4f870c18584 where FBillNo='SO12345'":
  {
    ...
  }
}

这些数据需要根据业务需求进行清洗和预处理，以确保其符合目标系统的要求。

数据转换

接下来，我们将清洗后的数据进行转换，使其符合金蝶云星空API接口的格式。根据元数据配置，主要字段及其要求如下：

FormId: 必须填写金蝶的表单ID，例如PUR_PurchaseOrder。在本案例中，值为STK_TRANSFERIN。
Ids: 从源系统中提取的订单编号SO12345需要转换为目标系统中的唯一标识符。
InterationFlags: 可选字段，用于指定特定操作标识，例如允许负库存标识。
IgnoreInterationFlag: 布尔类型，默认值为true。
NetworkCtrl: 布尔类型，默认值为false。
IsVerifyProcInst: 布尔类型，默认值为false。

数据写入

完成上述步骤后，我们将转换后的数据通过POST方法写入金蝶云星空API接口。具体请求示例如下：

{
  “FormId”: “STK_TRANSFERIN”,
  “Ids”: “_findCollection find FID from 4f465a57-5195-3cd0-814b-d4f870c18584 where FBillNo=‘SO12345’”,
  “InterationFlags”: “STK_InvCheckResult”,
  “IgnoreInterationFlag”: true,
  “NetworkCtrl”: false,
  “IsVerifyProcInst”: false
}

通过轻易云平台，我们可以轻松地将上述JSON请求发送到金蝶云星空API接口，实现无缝的数据对接和写入。

技术要点总结

元数据配置：详细解析了每个字段及其要求，为后续的数据转换提供了依据。
数据清洗与转换：确保从源系统提取的数据符合目标系统的格式要求。
API请求构建：基于元数据配置构建符合规范的API请求，实现数据的无缝对接和写入。

通过以上步骤，我们成功地将源平台的数据经过ETL处理后写入了金蝶云星空系统，实现了高效的数据集成和业务流程自动化。用友与MES系统接口开发配置

版权声明

该文章《ETL转换：使用轻易云平台写入金蝶云星空API案例》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。