ETL转换与数据写入：轻易云对接金蝶云星空的实战解析

  • 轻易云集成顾问-何语琴

金蝶云星空数据集成案例：采购退料test

在本技术案例中，我们将深入探讨如何通过轻易云数据集成平台，实现金蝶云星空系统之间的高效数据对接。针对实际业务场景中的“采购退料test”方案，我们详细解析从获取到写入的数据处理过程，确保每一环节无缝衔接和高度可靠。

为完成该任务，我们利用了金蝶云星空提供的API接口进行数据交换。其中，executeBillQuery接口用于实时抓取源头系统中的相关单据数据，而目标系统则借助batchSave接口实现大批量、高吞吐量的数据写入。这种方法不仅提升了业务处理时效性，还极大优化了资源配置。

关键技术点分享：

  1. API资产管理： 借助金蝶云星空所提供的统一视图与控制台，可以全面掌握和监控各个API资产的使用情况。这样，在实施采购退料test过程中，我们能够有效追踪每一个调用请求，并及时进行参数调整，以适应特定业务需求，确保高效利用现有资源。

  2. 实时监控与告警： 数据集成过程中，通过集中化监控和告警机制，对所有正在运行的任务进行实时跟踪。当检测到异常或性能瓶颈时，自动触发告警以便及时响应，从而最大限度地减少潜在风险对整体流程带来的影响。

  3. 自定义转换逻辑： 为解决不同系统间的数据格式差异问题，我们灵活运用了轻易云平台支持的自定义转换功能，使得原始获取的数据能快速、准确地转化为符合目标系统要求的信息格式。具体而言，这包括字段映射、值替换等操作，以保证最终写入数据库的信息完全契合实际业务场景需要。

  4. 分页与限流： 在大量并发数据处理情况下，有效管理分页以及合理设置限流策略，是保证稳定性的核心措施之一。本次实施过程中，通过自动分页机制，将海量单据分批次加载，再结合动态速率限制策略，使整个流程保持平稳高效运作。同时，对于短时间内出现的大规模请求，也能够有条不紊地进行调度分配，实现持续服务可用性。

  5. 错误重试机制及日志记录： 遇到网络抖动或临时外部环境变化导致操作失败时，引入完整错误重试机制是保证事务一致性的必要手段。同样重要的是，每一步操作均详细记录日志，有利于后续回溯分析，大幅提高问题定位效率及改进效果评估精确度。

通过上述技术要点解读，可以 钉钉与WMS系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在轻易云数据集成平台中，调用源系统的API接口是数据集成生命周期的第一步。本文将详细探讨如何通过调用金蝶云星空的executeBillQuery接口来获取采购退料数据，并进行初步加工。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FBillNo",
  "id": "FPURMRBENTRY_FEntryID",
  "pagination": {
    "pageSize": 500
  },
  "idCheck": true,
  "request": [
    {"field":"FPURMRBENTRY_FEntryID","label":"明细信息ID","type":"string","value":"FPURMRBENTRY_FEntryID"},
    {"field":"FID","label":"实体主键","type":"string","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","value":"FBillNo"},
    {"field":"FDocumentStatus","label":"单据状态","type":"string","value":"FDocumentStatus"},
    {"field":"FStockOrgId_FNumber","label":"退料组织","type":"string","value":"FStockOrgId.FNumber"},
    {"field":"FDate","label":"退料日期","type":"string","value":"FDate"},
    {"field":"FBillTypeID_FNumber","label":"单据类型","type":"string","value":"FBillTypeID.FNumber"},
    {"field":"FTAKEDELIVERYNO","label":"提货单号","type":"string","value":"FTAKEDELIVERYNO"},
    {"field":"FSupplierID_FNumber","label":"供应商","type":"string","value":"FSupplierID.FNumber"},
    {"field":"FDESCRIPTION","label":"备注","type":"string","value":"FDESCRIPTION"}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field": "FilterString", "label": "过滤条件", "type": "string", "describe": "", 
        "value": "{{LAST_SYNC_TIME|dateTime}}"}
  ]
}

请求示例

为了获取采购退料的数据，我们需要构建一个HTTP POST请求。以下是一个请求示例：

{
  "FormId": "PUR_MRB",
  "FieldKeys": [
    "FPURMRBENTRY_FEntryID",
    ...
  ],
  ...
}

在这个请求中，FormId指定了业务对象表单ID为PUR_MRB，表示我们要查询的是采购退料相关的数据。FieldKeys字段包含了我们需要查询的字段集合。

数据处理与清洗

一旦我们成功从金蝶云星空获取到数据，接下来就是对这些数据进行清洗和初步加工。这一步骤非常重要，因为它确保了后续的数据转换和写入过程能够顺利进行。

  1. 字段映射：将从API返回的数据字段映射到目标系统所需的字段。例如，将FPURMRBENTRY_FEntryID映射到目标系统中的相应字段。
  2. 数据格式转换：根据目标系统的要求，对日期、数值等字段进行格式转换。例如，将日期格式从YYYY-MM-DD转换为目标系统所需的格式。
  3. 过滤无效数据：移除不符合业务逻辑或无效的数据记录。例如，过滤掉单据状态为“作废”的记录。

示例代码

以下是一个简单的数据处理示例代码：

import requests
import json

# 构建请求体
payload = {
    'FormId': 'PUR_MRB',
    'FieldKeys': 'FPURMRBENTRY_FEntryID,FDate,FBillNo',
    'FilterString': f"FApproveDate>='{last_sync_time}'",
}

# 发起POST请求
response = requests.post('https://api.kingdee.com/executeBillQuery', json=payload)
data = response.json()

# 数据清洗与处理
processed_data = []
for record in data:
    processed_record = {
        'entry_id': record['FPURMRBENTRY_FEntryID'],
        'date': record['FDate'],
        'bill_no': record['FBillNo'],
        # 添加更多字段处理逻辑...
    }
    processed_data.append(processed_record)

# 输出处理后的数据
print(json.dumps(processed_data, indent=4))

在这个示例中，我们首先构建了请求体，并发起了POST请求以获取采购退料的数据。然后，我们对返回的数据进行了清洗和初步加工，将其转换为目标系统所需的格式。

小结

通过上述步骤，我们可以高效地调用金蝶云星空的executeBillQuery接口获取采购退料数据，并对其进行清洗和初步加工。这为后续的数据转换和写入奠定了坚实基础。在实际操作中，根据具体业务需求，可以进一步调整和优化这些步骤，以实现更高效、更准确的数据集成。 如何对接企业微信API接口

轻易云数据集成平台生命周期的第二步：ETL转换与数据写入金蝶云星空API接口

在数据集成过程中，ETL（Extract, Transform, Load）是关键的一环。本文将详细探讨如何利用轻易云数据集成平台，将已集成的源平台数据进行ETL转换，并转为金蝶云星空API接口所能接收的格式，最终写入目标平台。

API接口配置与元数据解析

首先，我们需要理解金蝶云星空API接口的配置。根据提供的元数据配置，目标API为batchSave，请求方法为POST。以下是主要字段及其描述：

  • FBillNo: 单据编号
  • FDate: 退料日期
  • FSupplierID: 供应商（基础资料，需要通过ConvertObjectParser解析）
  • FMRTYPE: 退料类型（下拉列表，通过ConvertObjectParser解析）
  • FMRMODE: 退料方式（下拉列表）
  • FStockOrgId: 退料组织（组织，通过ConvertObjectParser解析）
  • FDESCRIPTION: 备注
  • FSettleOrgId: 结算组织（组织，通过ConvertObjectParser解析）
  • FSettleCurrId: 结算币别（基础资料，通过ConvertObjectParser解析）
  • FPayOrgId: 付款组织（组织，通过 ConvertObjectParser解析）

此外，还有一个名为 FPURMRBENTRY 的数组字段，用于存储明细信息，包括物料编码、实退数量、仓库等。

数据转换与映射

在ETL过程中，数据转换是最重要的一步。我们需要确保源平台的数据能够正确映射到目标平台所需的格式和字段中。

  1. 单据编号 (FBillNo) 和 退料日期 (FDate)：

    • 直接从源数据中提取并赋值，无需额外处理。

  2. 供应商 (FSupplierID)：

    • 使用 ConvertObjectParser 将供应商编号转换为金蝶云星空系统可识别的格式。

  3. 退料类型 (FMRTYPE) 和 退料方式 (FMRMODE)：

    • 同样使用 ConvertObjectParser 对退料类型进行转换，而退料方式则直接赋值。

  4. 组织相关字段 (FStockOrgId, FSettleOrgId, FPayOrgId)：

    • 使用 ConvertObjectParser 将这些字段统一转换为系统识别的格式。

  5. 明细信息 (FPURMRBENTRY)：

    • 明细信息包含多个子字段，如物料编码、实退数量、仓库等。
    • 每个子字段都需要进行相应的转换，例如物料编码、仓库等基础资料字段同样使用 ConvertObjectParser。

数据写入

完成数据转换后，即可将处理后的数据通过API接口写入金蝶云星空系统。以下是一个示例请求结构：

{
    "FormId": "PUR_MRB",
    "Operation": "batchSave",
    "IsAutoSubmitAndAudit": true,
    "IsVerifyBaseDataField": false,
    "SubSystemId": "21",
    "Model": {
        "FBillNo": "{FBillNo}",
        "FDate": "{FDate}",
        "FSupplierID": { "FNumber": "{FSupplierID}" },
        "FMRTYPE": { "FNumber": "{FMRTYPE}" },
        "FMRMODE": "{FMRMODE}",
        "FStockOrgId": { "FNumber": "{FStockOrgId}" },
        "FDESCRIPTION": "{FDESCRIPTION}",
        "FSettleOrgId": { "FNumber": "{FSettleOrgId}" },
        "FSettleCurrId": { "FNumber": "{FSettleCurrId}" },
        "FPayOrgId": { "FNumber": "{FPayOrgId}" },
        "FPURMRBENTRY": [
            {
                "FMATERIALID": { "FNumber": "{FMATERIALID}" },
                "FRMREALQTY": "{FRMREALQTY}",
                "FSTOCKID": { "FNumber": "{FSTOCKID}" },
                ...
            }
            ...
        ]
    }
}

实际案例分析

假设我们有一条采购退料记录，其源数据如下：

{
    "FBillNo": "PR20231001",
    "FDate": "2023-10-01",
    ...
}

经过ETL转换后，生成的请求结构如下：

{
    ...
    "Model":
    {
        ...
        // 转换后的具体值
        ...
    }
}

通过上述步骤，我们成功地将源平台的数据转化并写入到金蝶云星空系统，实现了不同系统间的数据无缝对接。这不仅提高了业务流程的效率，也确保了数据的一致性和准确性。 如何对接用友BIP接口

版权声明

该文章《轻易云平台：采购退料数据实时监控与处理技术》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案