轻易云平台中的ETL转换与金蝶API集成实战

  • 轻易云集成顾问-冯潇

备货签收马帮=》金蝶（测试通过）案例分享

在实际的业务操作中，如何实现高效、可靠的数据集成一直是企业信息化建设中的重要环节。本文将具体介绍一次备货签收数据从马帮系统集成到金蝶云星空的解决方案。

API接口调用与数据抓取

首先，我们通过调用马帮的hwc-shippbatch-get-shipment-list接口来获取待处理的物流信息。这个API提供了分页及限流机制，实现大量数据稳定获取尤为关键。因此，我们设计了一个定时任务，确保每隔一段时间自动抓取最新数据，同时在代码层面实现分页处理，以有效避免因单次请求过大导致的数据丢失问题。此外，通过实时监控和日志记录，我们能即时掌握每个环节的数据流动情况，这对后续排查和优化都是极大的帮助。

数据过滤与格式转换

在成功抓取到原始数据后，需要进行一定的预处理和过滤。由于马帮与金蝶云星空之间存在着一定的数据格式差异，例如字段名称不同或数值类型不一致，这就要求我们对原始数据做进一步加工，并映射到符合金蝶云星空标准的格式。在此过程中，自定义映射规则及相应脚本发挥了关键作用，可以有效地将非结构化数据转化为可用的信息，为后续写入提供保障。

批量写入至金蝶云星空

接下来，通过调用金蝶云星空提供的batchSave接口，将已经清洗并转换好的物流信息批量写入到目标数据库。这一步骤中，应特别注意网络传输过程中的异常捕获与重试机制。例如，针对可能出现超时或网络抖动问题，我们设置了一套完整错误重试策略以保证最终一致性。同时，为了提升整体性能，利用轻易云平台内置的大量数据快速写入特性，一次性完成多条记录插入，有效减少请求次数，提高效率。

此次系统对接，不仅验证了架构设计上的可行性，还体现出技术选型以及流程管理的重要角色。从初始API接口调用，到最终批量写入，每个细节都经过精心打磨，使得整个集成过程顺畅、高效且可靠。 如何对接企业微信API接口

调用马帮接口获取并加工数据的技术案例

在轻易云数据集成平台中，调用源系统马帮接口hwc-shippbatch-get-shipment-list是数据生命周期管理的第一步。本文将详细探讨如何通过该接口获取并加工数据，以实现高效的数据集成。

接口配置与调用

首先，我们需要了解接口的基本配置。根据提供的元数据配置，hwc-shippbatch-get-shipment-list接口采用POST方法进行数据请求，其主要参数如下：

  • timeLastModifiedStart：更新开始时间，表示出入库开始时间。
  • timeLastModifiedEnd：更新结束时间，表示出入库结束时间，时间跨度不大于7天。
  • status：状态参数，1表示等待发货，2表示已发货，3表示已签收，空值表示所有状态。
  • page：页数，用于分页查询。
  • pageSize：每页显示的数据条数。

这些参数在实际调用时需要动态填充，例如使用{{LAST_SYNC_TIME|datetime}}和{{CURRENT_TIME|datetime}}来获取相应的时间戳。

数据请求与清洗

在进行数据请求时，我们需要确保请求参数的准确性和完整性。以下是一个示例请求体：

{
  "timeLastModifiedStart": "{{LAST_SYNC_TIME|datetime}}",
  "timeLastModifiedEnd": "{{CURRENT_TIME|datetime}}",
  "status": "",
  "page": "1",
  "pageSize": "20"
}

这个请求体将获取从上次同步时间到当前时间之间的所有状态的数据，每页显示20条记录。从响应结果中，我们可以提取所需字段并进行初步清洗。例如，如果响应结果包含以下字段：

  • shipmentId: 发货单ID
  • stockName: 库存名称
  • expressTimeStart: 快递开始时间

我们可以通过映射关系将这些字段转换为目标系统所需格式。

数据转换与写入

在数据清洗完成后，需要对数据进行转换，以符合目标系统（如金蝶）的要求。假设目标系统需要以下字段：

  • id: 唯一标识符，对应于shipmentId
  • name: 名称，对应于stockName
  • startTime: 开始时间，对应于expressTimeStart

我们可以通过以下代码片段实现字段映射和转换：

def transform_data(response_data):
    transformed_data = []
    for item in response_data:
        transformed_record = {
            "id": item["shipmentId"],
            "name": item["stockName"],
            "startTime": item["expressTimeStart"]
        }
        transformed_data.append(transformed_record)
    return transformed_data

异常处理与补偿机制

在实际操作中，可能会遇到网络波动、接口超时等异常情况。为此，我们需要设计异常处理和补偿机制。根据元数据配置中的补偿机制设置，可以定期执行补偿任务以确保数据完整性。例如，通过crontab表达式15 */6 * * *每6小时执行一次补偿任务，并使用如下补偿请求体：

{
  "expressTimeStart": "_function FROM_UNIXTIME( unix_timestamp() -21600 , '%Y-%m-%d %H:%i:%s' )"
}

这个请求体将获取过去6小时内的数据，以弥补可能遗漏的数据。

条件过滤与逻辑判断

最后，在数据集成过程中，我们还需要根据特定条件过滤数据。例如，仅处理状态为“RECEIVING”或“CLOSED”的发货单，可以通过以下条件过滤实现：

"condition":[[{"field":"ShipmentStatus","logic":"in","value":"RECEIVING,CLOSED"}]]

这种条件过滤确保了仅处理符合业务逻辑的数据，提高了数据处理效率和准确性。

综上所述，通过调用马帮接口获取并加工数据，是轻易云数据集成平台生命周期管理的重要环节。通过准确配置接口参数、清洗和转换数据、设计异常处理机制以及应用条件过滤，可以实现高效、可靠的数据集成。 如何对接用友BIP接口

轻易云数据集成平台：ETL转换与金蝶云星空API接口集成

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（提取、转换、加载）处理，转为目标平台金蝶云星空API接口所能够接收的格式，并最终写入目标平台。本文将深入探讨这一过程中的技术细节和实现方法。

元数据配置解析

首先，我们来看一下元数据配置，这是我们进行ETL转换的基础。以下是关键字段的详细解析：

  1. 基本信息字段

    • FBillNo: 单据编号，通过模板字符串 {shipmentId}-QS 生成。
    • FStockOrgId: 调入库存组织，固定值 100，通过 ConvertObjectParser 转换为金蝶系统识别的编码。
    • FDate: 日期，直接使用 {timeLastModified}。
    • FBillTypeID: 单据类型，固定值 ZJDB01_SYS，同样通过 ConvertObjectParser 转换。
    • 其他类似字段如 FOwnerTypeIdHead, FTransferBizType, FStockOutOrgId, 等等，都有固定值或简单的映射关系。

  2. 复杂字段

    • F_ora_Base: 调入仓库，这个字段比较复杂，需要根据条件 _findCollection find FNumber from 900d01d5-e1d0-39fd-b201-9d985b76f46f where F_VPWO_Text_qtr={fbaWarehouseId} 动态查询并转换。

  3. 明细信息

    明细信息是一个数组，每个元素包含多个字段，如物料编码、单位、调出仓库、调入仓库等。这些字段大部分都需要通过特定的解析器（如 ConvertObjectParser）进行转换。

数据请求与清洗

在进行数据转换之前，我们首先需要从源系统获取原始数据，并进行必要的清洗和预处理。假设我们已经从马帮系统获取了以下原始数据：

{
    "shipmentId": "SH123456",
    "timeLastModified": "2023-10-01T12:00:00Z",
    "fbaWarehouseId": "WH001",
    "itemList": [
        {
            "localInfo": {
                "stockSku": "SKU123"
            },
            "deliveryQuantity": 100
        }
    ]
}

数据转换

接下来，我们利用元数据配置对原始数据进行ETL转换。以下是具体步骤：

  1. 单据编号和日期

    {
   "FBillNo": "SH123456-QS",
   "FDate": "2023-10-01T12:00:00Z"
}

  2. 库存组织和货主类型

    {
   "FStockOrgId": {"FNumber": "100"},
   "FOwnerTypeIdHead": {"FNumber": "BD_OwnerOrg"},
   ...
}

  3. 动态查询字段

    对于调入仓库，需要根据条件动态查询：

    {
   "F_ora_Base": {"FNumber": "_findCollection find FNumber from 900d01d5-e1d0-39fd-b201-9d985b76f46f where F_VPWO_Text_qtr=WH001"}
}

  4. 明细信息

    明细信息数组中的每个元素都需要逐一处理：

    {
   "FBillEntry": [
       {
           "FMaterialId": {"FNumber": "SKU123"},
           ...
           "FDestStockId": {"FNumber": "_findCollection find FNumber from 900d01d5-e1d0-39fd-b201-9d985b76f46f where F_VPWO_Text_qtr=WH001"},
           ...
       }
   ]
}

数据写入

完成上述转换后，我们将生成的数据通过HTTP POST请求发送到金蝶云星空API接口。以下是请求示例：

{
    "FormId": "STK_TransferDirect",
    "Operation": "Save",
    ...
    "Model": {
        ...
        // 包含前述所有转换后的字段
    }
}

请求头部应包含必要的认证信息，以确保请求能够被成功处理。

实现代码示例

以下是一个简化的Python代码示例，用于展示如何实现上述ETL过程：

import requests
import json

# 原始数据
raw_data = {
    # 包含前述示例中的原始数据内容
}

# 转换后的数据结构初始化
transformed_data = {
    # 根据元数据配置填充内容
}

# 将转换后的数据发送到金蝶云星空API接口
response = requests.post(
    url="https://api.kingdee.com/batchSave",
    headers={"Content-Type": "application/json", ...},
    data=json.dumps(transformed_data)
)

if response.status_code == 200:
    print("Data successfully written to Kingdee Cloud.")
else:
    print(f"Failed to write data: {response.text}")

通过以上步骤和代码示例，我们可以实现从源系统到目标系统的数据无缝对接，实现高效的数据集成和业务流程自动化。 轻易云数据集成平台金蝶集成接口配置

版权声明

该文章《轻易云平台中的ETL转换与金蝶API集成实战》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案