金蝶云星空与轻易云的付款申请单数据对接实战

数据ETL转换与写入平台实现详细步骤解析

2024-03-08 14:43:10
轻易云集成顾问-张妍琪

查询金蝶付款申请单②：从金蝶云星空到轻易云集成平台的数据对接实践

在数据集成的实际应用中，高效、可靠地实现多个系统间的数据交换，是确保业务流程顺畅运行的关键。本文将分享一个具体案例，即如何通过轻易云集成平台实现与金蝶云星空系统的无缝对接，重点讲解“查询金蝶付款申请单②”方案的实施过程。

本案例中的技术核心在于使用金蝶云星空API接口executeBillQuery获取付款申请单数据，并确保这些数据能够准确且高效地传输到轻易云集成平台进行存储和处理。以下是解决此任务的一系列关键技术步骤和注意事项：

调用executeBillQuery接口：首先，我们需要通过编写合适的脚本或程序，利用executeBillQuery API接口从金蝶云星空系统中提取所需的付款申请单数据。该API支持多种参数形式，可精确定位并返回特定条件下的数据。
分页和限流问题处理：在大规模数据获取操作中，为了避免服务器负载过高导致请求失败，我们必须合理设计请求分页机制及限流策略。这不仅有助于提升数据获取效率，也提高了系统稳定性。
定时抓取与调度管理：使用定时器服务可实现按预设时间周期自动抓取最新的数据。一方面，通过设定批量任务调度器保证了持续不断的数据更新；另一方面，有利于及时捕捉业务动态变化，提高响应速度。
处理数据格式差异：数据从金蝶传输至轻易过程中，会涉及不同数据库间字段名称及类型转换的问题。在这里，通过用自定义映射工具进行对应转换，可以有效规避格式差异带来的潜在错误。同时，也能简化后续的数据分析工作。
异常处理与重试机制：在网络通信过程中，不可避免会遇到短暂故障或连接超时现象。因此，在脚本执行逻辑中加入异常捕获模块以及自动重试功能，可以显著提升整个流程的健壮性与容错能力。
快速写入轻易数据库：一旦成功获取并转换好目标信息，就可以利用轻易平台提供的数据写入API（如"写入空操作"）来完成最终存储。采用批量插入模式进一步加速了大量记录输入, 极大减少处理中断时间。另外值得注意的是，对每笔交易日志也应该记录下来，以便日后审计追溯之用。
实时监控与日志记录: 最后但同样重要

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空接口executeBillQuery，以获取付款申请单的数据，并进行初步加工。

接口配置与请求参数

在轻易云数据集成平台中，我们使用元数据配置来定义API接口的请求参数和返回字段。以下是针对金蝶云星空接口executeBillQuery的元数据配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FBillNo",
  "id": "FBillNo",
  "pagination": {
    "pageSize": 500
  },
  "idCheck": true,
  "condition": [[]],
  "request": [
    {"field":"FID","label":"实体主键","type":"string","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","value":"FBillNo"},
    {"field":"FDOCUMENTSTATUS","label":"单据状态","type":"string","value":"FDOCUMENTSTATUS"},
    {"field":"FCREATORID","label":"创建人","type":"string","value":"FCREATORID"},
    {"field":"FAPPROVERID","label":"审核人","type":"string","value":"FAPPROVERID"},
    {"field":"FCREATEDATE","label":"创建日期","type":"string","value":"FCREATEDATE"},
    {"field":"FSETTLEORGID","label":"结算组织","type":"string","value":"FSETTLEORGID.fname"},
    {"field":"FAPPROVEDATE","label":"审核日期","type":"string","value":"FAPPROVEDATE"},
    {"field":"FPURCHASEORGID","label":"采购组织","type":"string","value":"FPURCHASEORGID"},
    {"field":"FPAYAMOUNTFOR_H","label":"应付金额","type":"string","value":"FPAYAMOUNTFOR_H"}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field": "FilterString", "label": "过滤条件", "type": "string", 
        "describe": 
        "示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=", 
        "value":
        "FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'"},
    {"field": 
        "FieldKeys", 
        "label":
            "需查询的字段key集合",
            "type":
            "array",
            "describe":
            "金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber",
            "parser":{
                "name":
                "ArrayToString",
                "params":
                ","
             }
     },
     {
        "field":
        "FormId",
        "label":
        "业务对象表单Id",
        "type":
        "string",
        "describe":
        "必须填写金蝶的表单ID如:PUR_PurchaseOrder",
        "value":
        "CN_PAYAPPLY"
     }
   ]
}

数据请求与清洗

构建请求体：根据元数据配置，构建API请求体。主要包括以下几个部分：
- FormId: 表单ID，指定为CN_PAYAPPLY。
- FieldKeys: 查询字段集合，通过解析器将数组转换为字符串。
- FilterString: 过滤条件，例如按时间过滤。
- Limit和StartRow: 分页参数。
发送请求：使用POST方法调用executeBillQuery接口，将构建好的请求体发送到金蝶云星空系统。
接收响应：接收并解析响应数据。响应数据通常是一个JSON对象，包含了所请求的付款申请单信息。
初步清洗：对接收到的数据进行初步清洗和验证。例如：
- 检查必填字段是否存在。
- 格式化日期字段。
- 转换金额字段为标准货币格式。

数据转换与写入

在完成初步清洗后，下一步是将数据转换为目标系统所需的格式，并写入目标数据库或系统。这一步通常包括以下操作：

字段映射：根据目标系统的数据结构，将源系统的数据字段映射到目标系统的相应字段。例如，将FBillNo映射到目标系统中的订单编号字段。
数据转换：对某些特定字段进行必要的转换。例如，将日期字符串转换为日期对象，将金额字符串转换为数值类型等。
批量写入：将处理好的数据批量写入目标数据库或通过API接口发送到目标系统。确保在写入过程中处理好事务管理，以保证数据的一致性和完整性。

通过上述步骤，我们可以高效地从金蝶云星空系统获取付款申请单的数据，并进行必要的清洗和转换，为后续的数据处理和分析打下坚实基础。在实际操作中，还需要根据具体业务需求调整过滤条件、分页参数以及字段映射规则，以确保数据集成过程顺利进行。钉钉与WMS系统接口开发配置

数据ETL转换与写入目标平台的实现

在数据集成过程中，ETL（Extract, Transform, Load）是至关重要的一环。本文将重点探讨如何将已经集成的源平台数据进行ETL转换，并最终通过轻易云集成平台API接口写入目标平台。

数据请求与清洗

首先，我们从源平台（金蝶付款申请单）获取数据。假设我们已经完成了数据请求和初步清洗工作，接下来需要进行的是数据转换和写入。

数据转换

在数据转换阶段，我们需要将源平台的数据格式转化为目标平台所能接受的格式。以下是一个简单的示例，展示如何将金蝶付款申请单的数据结构转换为轻易云集成平台API接口所需的格式：

{
  "sourceData": {
    "requestId": "12345",
    "applicant": "张三",
    "amount": 1000,
    "currency": "CNY",
    "requestDate": "2023-10-01"
  },
  "targetData": {
    "id": "",
    "name": "",
    "value": "",
    "unit": "",
    "date": ""
  }
}

在这个示例中，sourceData 是从金蝶系统获取的数据，而 targetData 是我们需要转换后的格式。具体的转换规则如下：

requestId 转换为 id
applicant 转换为 name
amount 转换为 value
currency 转换为 unit
requestDate 转换为 date

实现代码

为了实现上述数据转换，可以使用以下Python代码：

def transform_data(source_data):
    target_data = {
        "id": source_data["requestId"],
        "name": source_data["applicant"],
        "value": source_data["amount"],
        "unit": source_data["currency"],
        "date": source_data["requestDate"]
    }
    return target_data

# 示例数据
source_data = {
    "requestId": "12345",
    "applicant": "张三",
    "amount": 1000,
    "currency": "CNY",
    "requestDate": "2023-10-01"
}

# 执行转换
transformed_data = transform_data(source_data)
print(transformed_data)

数据写入目标平台

在完成数据转换后，我们需要将其写入目标平台。根据元数据配置，我们使用轻易云集成平台提供的API接口进行写入操作。以下是API调用的详细步骤：

API配置：根据元数据配置，API接口信息如下：
- 接口名称：写入空操作
- 请求方法：POST
- ID校验：启用（idCheck: true）
构建请求：使用Python中的requests库来发送POST请求。

import requests

def write_to_target_platform(data):
    url = 'https://api.qingyiyun.com/write'

    headers = {
        'Content-Type': 'application/json'
    }

    response = requests.post(url, json=data, headers=headers)

    if response.status_code == 200:
        print("数据写入成功")
    else:
        print(f"数据写入失败，状态码: {response.status_code}")

# 执行写入操作
write_to_target_platform(transformed_data)

注意事项

ID校验：根据元数据配置中的idCheck: true，确保每条记录都有唯一标识符（即ID）。如果ID为空或重复，会导致写入失败。
错误处理：在实际应用中，需要增加更多的错误处理逻辑，例如重试机制、日志记录等，以确保系统的健壮性。
安全性：确保API调用时的数据传输安全，可以考虑使用HTTPS协议和身份验证机制。

通过以上步骤，我们实现了从源平台到目标平台的数据ETL过程，并成功将转换后的数据通过轻易云集成平台API接口写入目标系统。这一过程不仅提升了数据处理效率，还确保了不同系统间的数据一致性和完整性。打通企业微信数据接口

版权声明

该文章《金蝶云星空与轻易云的付款申请单数据对接实战》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据ETL转换与写入平台实现详细步骤解析

查询金蝶付款申请单②：从金蝶云星空到轻易云集成平台的数据对接实践

调用金蝶云星空接口executeBillQuery获取并加工数据

接口配置与请求参数

数据请求与清洗

数据转换与写入

数据ETL转换与写入目标平台的实现

数据请求与清洗

数据转换

实现代码

数据写入目标平台

注意事项

版权声明

数据集成平台架构

更多系统对接方案