通过轻易云平台进行高效数据ETL并写入目标系统

  • 轻易云集成顾问-冯潇

金蝶云星空数据集成到轻易云集成平台的技术案例

在本文中，我们将探讨如何实现金蝶云星空与轻易云集成平台的无缝对接，以确保关键业务数据的高效传输和可靠管理。本次分享的具体案例是“(金蝶)查询分布式调出单列表”，重点介绍如何调用金蝶云星空接口 executeBillQuery，并通过轻易云集成平台进行批量数据写入，同时应对分页和限流问题。

为了确保集成过程中的高可靠性与稳定性，需要关注以下几个关键点：

  1. 确保不漏单：通过定时任务可靠地抓取金蝶云星空API接口的数据。利用轻易云提供的实时监控功能，可以全程跟踪每一条记录，从而大幅度降低漏单风险。

  2. 快速批量处理：面对大量数据时，必须采用高效的方法进行快速写入操作。针对这个需求，利用轻易云集成平台高级写入API，实现大规模数据的有效存储，并支持并发处理，以提升整体速度。

  3. API执行及其优化：调用executeBillQuery以获得分布式调出单列表的数据，需考虑分页处理及限流策略，以免触发服务端限制。此外，对于返回的数据格式差异，要做好预先映射工作，通过自定义映射适配目标数据结构。

  4. 异常处理与错误重试机制：在整个过程中，不可避免会出现网络异常或其他意外情况，因此，在设计方案时加入错误捕获和自动重试机制显得尤为重要。这不仅提高了系统健壮性，还保证了即使在发生故障时也不会丢失任何关键信息。

  5. 日志记录与监控：最后，通过配置实时监控和详细日志记录，使我们能够随时掌握当前系统运行状态，并快速定位可能存在的问题，为后续维护提供便利条件。

以上布局为我们构建一个稳健且高效的数据交换框架奠定基础，使得企业可以更好地管理和利用其核心业务信息。在接下来的部分，将深入探讨具体实施步骤及相关代码示例。 如何开发金蝶云星空API接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在轻易云数据集成平台中，调用源系统的API接口是数据集成生命周期的第一步。本文将深入探讨如何通过调用金蝶云星空的executeBillQuery接口来获取和加工数据。

接口配置与请求参数

首先，我们需要了解executeBillQuery接口的基本配置和请求参数。根据提供的元数据配置，以下是我们需要关注的主要字段：

  • API名称: executeBillQuery
  • 请求方法: POST
  • 主要字段:
    • FBillNo: 单据编号
    • FSTKTRSOUTENTRY_FEntryID: 分录ID
    • FID: 主键ID
    • FDocumentStatus: 单据状态
    • FStockOrgID_FNumber: 库存组织编号
    • 其他字段...

这些字段构成了我们请求和处理数据的基础。在实际操作中，我们需要根据业务需求选择合适的字段进行查询和加工。

构建请求体

为了调用executeBillQuery接口，我们需要构建一个包含所有必要参数的请求体。以下是一个示例请求体：

{
    "FormId": "STK_TRANSFEROUT",
    "FieldKeys": ["FBillNo", "FSTKTRSOUTENTRY_FEntryID", "FID", "FDocumentStatus", "FStockOrgID.FNumber"],
    "FilterString": "FApproveDate>='2023-01-01'",
    "Limit": 100,
    "StartRow": 0
}

在这个请求体中：

  • FormId指定了要查询的表单ID，这里为STK_TRANSFEROUT。
  • FieldKeys列出了我们感兴趣的字段。
  • FilterString用于过滤条件，这里示例为查询2023年1月1日之后批准的单据。
  • Limit和StartRow用于分页控制。

调用接口

使用轻易云数据集成平台，我们可以通过可视化界面配置上述请求参数，并发起API调用。以下是伪代码示例：

import requests

url = "https://api.kingdee.com/k3cloud/Kingdee.BOS.WebApi.ServicesStub.DynamicFormService.ExecuteBillQuery"
headers = {
    'Content-Type': 'application/json'
}
payload = {
    "FormId": "STK_TRANSFEROUT",
    "FieldKeys": ["FBillNo", "FSTKTRSOUTENTRY_FEntryID", "FID", "FDocumentStatus", "FStockOrgID.FNumber"],
    "FilterString": "FApproveDate>='2023-01-01'",
    "Limit": 100,
    "StartRow": 0
}

response = requests.post(url, headers=headers, json=payload)
data = response.json()

数据清洗与转换

获取到原始数据后，下一步是对数据进行清洗和转换。这一步骤通常包括：

  1. 数据格式转换: 将金蝶返回的数据格式转换为目标系统所需的数据格式。
  2. 字段映射: 根据业务需求，对字段进行重命名或重新组织。
  3. 数据校验: 确保所有必填字段都有值，并且值符合预期格式。

例如，对于返回的数据，可以使用Python进行简单的数据清洗：

cleaned_data = []
for entry in data:
    cleaned_entry = {
        'bill_no': entry['FBillNo'],
        'entry_id': entry['FSTKTRSOUTENTRY_FEntryID'],
        'document_status': entry['FDocumentStatus'],
        'stock_org_number': entry['FStockOrgID.FNumber']
        # 添加其他需要处理的字段...
    }
    cleaned_data.append(cleaned_entry)

写入目标系统

最后，将清洗后的数据写入目标系统。这一步通常涉及调用目标系统的API接口或通过数据库连接将数据插入到相应表中。

总结来说，通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，可以高效地获取并加工所需的数据。关键在于正确配置请求参数、构建合理的过滤条件，并对返回的数据进行适当清洗和转换，以满足业务需求。 打通用友BIP数据接口

使用轻易云数据集成平台进行ETL转换并写入目标平台

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是至关重要的一环。本文将详细探讨如何利用轻易云数据集成平台，将从金蝶系统获取的分布式调出单列表数据，转换为目标平台所能接收的格式，并通过API接口写入目标平台。

数据提取与初步清洗

首先，从金蝶系统中提取分布式调出单列表数据。假设我们已经完成了数据请求与初步清洗阶段，获得了结构化的数据集。此时的数据可能包含多个字段，如订单编号、商品名称、数量、价格等。

数据转换

接下来，我们需要将这些数据转换为目标平台所能接受的格式。根据元数据配置，目标平台要求的数据格式如下：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

在这个过程中，我们需要确保以下几点：

  1. 字段映射：将源数据中的字段映射到目标平台所需的字段。
  2. 数据类型转换：确保所有字段的数据类型符合目标平台的要求。
  3. 数据验证：根据idCheck参数，对关键字段进行验证，以确保数据唯一性和完整性。

具体实现步骤如下：

  1. 字段映射： 假设源数据包含以下字段：

    • order_id: 订单编号
    • product_name: 商品名称
    • quantity: 数量
    • price: 价格

    我们需要将这些字段映射到目标平台的相应字段。例如：

    {
 "orderId": "order_id",
 "productName": "product_name",
 "quantity": "quantity",
 "price": "price"
}

  2. 数据类型转换： 确保每个字段的数据类型符合目标平台要求。例如，如果目标平台要求quantity为整数类型，而源数据为字符串类型，则需要进行类型转换。

  3. 数据验证： 根据元数据配置中的idCheck参数，对关键字段（如订单编号）进行唯一性检查，避免重复写入。

数据加载

完成上述步骤后，我们可以通过API接口将转换后的数据写入目标平台。根据元数据配置，使用POST方法调用API接口：

import requests
import json

# 构建请求头和请求体
headers = {
    'Content-Type': 'application/json'
}
data = {
    # 转换后的数据
    "orderId": transformed_data['order_id'],
    "productName": transformed_data['product_name'],
    "quantity": int(transformed_data['quantity']),
    "price": float(transformed_data['price'])
}

# 发起POST请求
response = requests.post('https://api.targetplatform.com/write', headers=headers, data=json.dumps(data))

# 检查响应状态码及返回结果
if response.status_code == 200:
    print("Data written successfully")
else:
    print(f"Failed to write data: {response.text}")

在实际操作中，需要处理更多细节，例如错误处理、重试机制等，以确保数据可靠地写入目标平台。

实时监控与优化

在整个ETL过程中，实时监控是不可或缺的一部分。通过轻易云集成平台提供的可视化界面，可以实时监控每个环节的数据流动和处理状态，及时发现并解决问题。此外，通过分析日志和监控指标，可以不断优化ETL流程，提高整体效率和稳定性。

总结而言，通过合理配置元数据并利用轻易云集成平台强大的ETL功能，可以高效地实现不同系统间的数据无缝对接，为业务决策提供可靠的数据支持。 用友BIP接口开发配置

版权声明

该文章《通过轻易云平台进行高效数据ETL并写入目标系统》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

小满CRM与畅捷通T+对接
更多系统对接方案