从数据提取到ETL转换：轻易云平台的数据集成最佳实践

  • 轻易云集成顾问-姚缘

金蝶云星空数据集成到轻易云集成平台案例分享 — 金蝶采购订单_覆盖_联查a

在数字化转型的浪潮中，针对跨系统的数据集成需求日益迫切。本篇技术文章将重点讨论如何通过轻易云集成平台实现金蝶云星空系统中的采购订单数据高效、可靠地对接，并实际分享"金蝶采购订单_覆盖_联查a"这个具体案例。在该方案中，我们主要依托了金蝶云星空提供的executeBillQuery接口进行数据获取，并使用轻易云的写入操作API实现数据流动至目标平台。

为了确保整个过程不漏单且具有高度可靠性，本次方案采取了多项技术实践：

  1. 定时可靠抓取：通过定时任务机制，定期调用金蝶云星空的executeBillQuery接口，从源头上保证数据引入的及时与完整。
  2. 处理分页与限流：考虑到大批量数据请求可能带来的接口限流问题，我们设计了一套完善的分页策略及重试机制，以应对可能出现的数据拉取延迟和错误。
  3. 批量快速写入：在大量数据传输过程中，通过优化批量处理逻辑，大幅提升了向轻易云集成平台写入操作效率，同时降低网络开销。
  4. 格式差异转换：为了解决两个系统之间的数据格式差异问题，制定了一系列映射规则，使得不同字段类型和结构能够顺利转换并准确存储于目标数据库中。
  5. 实时监控与日志记录：利用轻易云提供的数据处理全生命周期管理功能，实现对每个操作步骤的实时监控，同时详细记录日志，以便后续分析及调试。

无论是新手还是资深开发者，本案均能作为一个典型范例，为您的系统对接项目提供实操指导。随后的章节中，将更详细地介绍具体实现步骤、代码示例以及关键注意事项。 用友与WMS系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，获取采购订单数据并进行初步加工。

接口配置与请求参数

首先，我们需要了解executeBillQuery接口的基本配置和请求参数。根据提供的元数据配置，接口采用POST方法，主要参数如下：

  • api: executeBillQuery
  • method: POST
  • number: F_QGWK_Link_FSId
  • id: F_QGWK_Link_FSId
  • pagination: 每页100条记录

请求字段包括但不限于以下内容：

  • FPOOrderEntry_FEntryId: 采购订单分录内码
  • FID: 内码
  • F_QGWK_Link_FSId: 单号行号
  • FBillNo: 单据编号
  • FSourceBillNo: 源单编号
  • FBillTypeID_FNumber: 单据类型
  • FBusinessType: 业务类型
  • FSupplierId_FNumber: 供应商编码
  • FSettleModeId_FNumber: 结算方式编码
  • ...

其他请求字段如采购日期、单据状态、预付已核销金额等也在元数据中详细列出。

构建请求体

根据元数据配置，我们需要构建一个完整的请求体。以下是一个示例请求体：

{
  "FormId": "PUR_PurchaseOrder",
  "FieldKeys": "FID,FBillNo,FDate,FDocumentStatus,FSupplierId.FNumber,FQty,FPrice,FAllAmount",
  "FilterString": "FCloseStatus = 'A' and (FBillTypeID.FNumber='CXCGDD' or FBillTypeID.FNumber='CGDD02_SYS' or FBillTypeID.FNumber='BHCGDD') and (FPurchaseOrgId.FNumber ='100' or FPurchaseOrgId.FNumber ='200'  or FPurchaseOrgId.FNumber ='400')",
  "Limit": "2000",
  "StartRow": "0",
  "TopRowCount": 100
}

该请求体指定了业务对象表单ID为PUR_PurchaseOrder，查询字段包括内码、单据编号、日期、单据状态、供应商编码、数量、单价和价税合计等。同时，通过过滤条件筛选出关闭状态为'A'且符合特定单据类型和采购组织的数据。

调用接口

使用轻易云平台提供的API调用功能，我们可以发送上述请求体到金蝶云星空的executeBillQuery接口。以下是一个示例代码片段：

import requests

url = "https://api.kingdee.com/executeBillQuery"
headers = {
    "Content-Type": "application/json"
}
data = {
    # 请求体内容，如上所述
}

response = requests.post(url, headers=headers, json=data)

if response.status_code == 200:
    result = response.json()
    # 对结果进行处理
else:
    print(f"Error: {response.status_code}")

数据处理与清洗

成功获取数据后，需要对原始数据进行清洗和初步加工。常见的数据处理步骤包括：

  1. 字段重命名：将原始字段名转换为更具可读性的名称。
  2. 数据类型转换：确保数值型字段正确转换为浮点数或整数，日期型字段转换为标准日期格式。
  3. 缺失值处理：填补或删除缺失值，以确保后续分析的准确性。

例如，对于返回的数据，可以使用Pandas库进行处理：

import pandas as pd

# 假设result包含返回的数据列表
df = pd.DataFrame(result)

# 字段重命名示例
df.rename(columns={
    'FID': '内码',
    'FBillNo': '单据编号',
    'FDate': '日期',
    'FDocumentStatus': '单据状态',
    'FSupplierId.FNumber': '供应商编码',
    'FQty': '数量',
    'FPrice': '单价',
    'FAllAmount': '价税合计'
}, inplace=True)

# 数据类型转换示例
df['数量'] = df['数量'].astype(float)
df['单价'] = df['单价'].astype(float)
df['日期'] = pd.to_datetime(df['日期'])

# 缺失值处理示例（填充0）
df.fillna(0, inplace=True)

小结

通过轻易云平台调用金蝶云星空的executeBillQuery接口，我们能够高效地获取采购订单数据，并通过适当的数据清洗和初步加工，为后续的数据分析和业务决策打下坚实基础。这一过程不仅提升了数据透明度，也极大地提高了业务效率。 泛微OA与ERP系统接口开发配置

数据集成生命周期中的ETL转换与写入

在数据集成的过程中，ETL（Extract, Transform, Load）是至关重要的一步。本文将深入探讨如何将已经集成的源平台数据进行ETL转换，转为目标平台轻易云集成平台API接口所能够接收的格式，并最终写入目标平台。

数据请求与清洗

在数据请求与清洗阶段，我们从金蝶采购订单系统中提取原始数据。这些数据可能包含多种格式和结构，因此需要进行初步的清洗和标准化处理，以确保后续转换过程的顺利进行。此步骤通常包括去除冗余数据、修正错误信息以及统一数据格式等操作。

数据转换

在完成初步清洗后，进入数据转换阶段。此阶段的核心任务是将源平台的数据结构和格式转换为目标平台能够识别和处理的形式。在本案例中，我们需要将金蝶采购订单系统的数据转换为轻易云集成平台API接口所能接收的格式。

元数据配置解析

根据提供的元数据配置：

{
    "api": "写入空操作",
    "method": "POST",
    "idCheck": true
}

我们可以得知以下信息：

  • api字段指明了目标API接口为“写入空操作”。
  • method字段表明使用HTTP POST方法进行数据传输。
  • idCheck字段表示需要进行ID校验。
转换逻辑

  1. 字段映射：首先，需要确定源平台和目标平台之间的数据字段映射关系。例如，金蝶采购订单中的“订单号”可能对应轻易云平台中的“order_id”，而“供应商名称”可能对应“supplier_name”。

  2. 数据类型转换：确保源平台的数据类型与目标平台要求的数据类型一致。例如，将字符串类型的日期转换为目标平台所需的日期格式。

  3. 业务规则应用：根据业务需求，可能需要对某些字段进行计算或拼接。例如，将多个地址字段合并为一个完整地址字符串。

示例代码

以下是一个简单的Python示例代码，用于演示如何将金蝶采购订单系统的数据转换为轻易云集成平台API接口所需的格式：

import requests
import json

# 假设已经从金蝶系统提取到原始数据
source_data = {
    "订单号": "PO12345",
    "供应商名称": "ABC供应商",
    "订单日期": "2023-10-01"
}

# 定义字段映射关系
field_mapping = {
    "订单号": "order_id",
    "供应商名称": "supplier_name",
    "订单日期": "order_date"
}

# 转换后的目标数据
target_data = {}
for source_field, target_field in field_mapping.items():
    target_data[target_field] = source_data[source_field]

# 发送POST请求到轻易云集成平台API接口
api_url = "https://api.qingyiyun.com/写入空操作"
headers = {
    'Content-Type': 'application/json'
}
response = requests.post(api_url, headers=headers, data=json.dumps(target_data))

if response.status_code == 200:
    print("数据成功写入目标平台")
else:
    print(f"写入失败，状态码: {response.status_code}")

数据写入

在完成数据转换后，最后一步是将处理好的数据通过API接口写入到目标平台。在本案例中，通过HTTP POST方法将JSON格式的数据发送到轻易云集成平台指定的API接口。需要特别注意的是，在发送请求之前，应确保所有必填字段均已正确填充，并且符合目标API接口的规范要求。

ID校验

根据元数据配置中的idCheck: true，在实际操作中还需执行ID校验，以确保每条记录在目标系统中唯一且不重复。这通常涉及查询现有记录并比对ID，如果发现重复则采取相应措施，如更新现有记录或抛出异常提示。

通过上述步骤，我们实现了从源平台到目标平台的数据无缝对接，确保了整个ETL过程的顺利进行。 用友与MES系统接口开发配置

版权声明

该文章《跨系统数据集成：金蝶云星空采购订单到轻易云全流程实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台集成生命周期
更多系统对接方案