从金蝶到轻易云：ETL转换与数据写入方案解析

  • 轻易云集成顾问-陈洁琳

金蝶云星空数据集成到轻易云平台的技术对接案例

在本案例中，我们将重点分享如何通过使用轻易云数据集成平台，将金蝶云星空系统中的付款单数据高效、准确地集成至轻易云平台，以实现业务流程的自动化和透明化。本次集成方案名为“查询金蝶付款单（关联修改单据信息）all”，主要涉及以下几个关键技术点：API接口调用、批量处理、多线程写入及异常处理。

首先，我们需要从金蝶云星空系统中获取所需的数据。为此，使用了executeBillQuery API接口，该接口允许我们通过灵活的查询条件抓取大量的付款单信息。在实施过程中，为确保不遗漏任何记录，必须仔细设置分页参数，并考虑到接口本身的限流特性。这一阶段工作的核心在于保证所有付款单都能被完整且无重复地提取出来。

下一步是将这些获取到的数据迅速而准确地写入到轻易云集成平台。利用其提供的“写入空操作”API，通过多线程并行处理，有效提升数据写入速度，同时适应大规模数据量的需求。此外，通过精确配置定时任务，实现了对金蝶云星空接口数据进行可靠、周期性的抓取和更新，从而保持目标系统中的信息实时同步。

为了解决不同系统之间的数据格式差异问题，借助于轻易云强大的定制化映射功能，对源端与目标端字段进行了有效匹配，并针对异常情况设计了详尽的错误重试机制。例如，当遇到网络波动或暂时性故障导致的数据传输失败时，系统会智能触发重试策略以最大程度减少因偶发错误引起的数据漏失。

整个过程中，还特别注意到了监控与日志记录的重要性。实时监控不仅能够全面掌握每个环节运行状态，还便于快速定位和排查潜在问题。同时详细完备的日志记录，为后续分析优化提供坚实依据。这些措施保证了从采集、转换直至最终存储各阶段全程可跟踪，使得流程变得更加透明高效。

以上小结为项目具体实施过程奠定基础，在随后的内容里我们将进一步深入探讨各方法和实现细节，包括分步演示实际方案执行过程及对应代码示例。

金蝶与CRM系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成过程中，调用源系统的API接口是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，以获取并加工付款单数据。

接口配置与调用

首先，我们需要配置和调用金蝶云星空的executeBillQuery接口。以下是元数据配置的详细说明：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FBillNo",
  "id": "FPAYBILLENTRY_FEntryID",
  "pagination": {
    "pageSize": 500
  },
  "idCheck": true,
  "request": [
    {"field":"FPAYBILLENTRY_FEntryID","label":"FPAYBILLENTRY_FEntryID","type":"string","value":"FPAYBILLENTRY_FEntryID"},
    {"field":"FID","label":"实体主键","type":"string","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","value":"FBillNo"},
    {"field":"FDOCUMENTSTATUS","label":"单据状态","type":"string","value":"FDOCUMENTSTATUS"},
    {"field":"FCreatorId","label":"创建人","type":"string","value":"FCreatorId"},
    {"field":"FAPPROVERID","label":"审核人","type":"string","value":"FAPPROVERID"},
    {"field":"FCreateDate","label":"创建日期","type":"string","value":"FCreateDate"},
    {"field":"FSETTLEORGID","label":"结算组织","type":"string","value":"FSETTLEORGID.FNumber"},
    {"field":"FApproveDate","label":"审核日期","type":"string","value":"FApproveDate"},
    {"field":"FPURCHASEORGID","label":"采购组织","type":"string","value":"FPURCHASEORGID.FNumber"},
    {"field":...},
    ...
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field":...},
    ...
  ]
}

请求参数解析

  1. 基本请求字段：

    • FPAYBILLENTRY_FEntryID: 金蝶付款单分录主键。
    • FID: 实体主键。
    • FBillNo: 单据编号。
    • FDOCUMENTSTATUS: 单据状态。
    • FCreatorId: 创建人。
    • FAPPROVERID: 审核人。
    • FCreateDate: 创建日期。
    • FSETTLEORGID.FNumber: 结算组织编号。

  2. 分页参数：

    • Limit: 最大行数，控制每次请求返回的数据量，避免一次性获取过多数据导致性能问题。
    • StartRow: 开始行索引，用于实现分页查询。

  3. 过滤条件：

    • FilterString: 用于指定查询条件，例如根据创建日期过滤：FCreateDate>='{{LAST_SYNC_TIME|dateTime}}'。

  4. 字段集合：

    • FieldKeys: 指定需要查询的字段集合，格式为数组，通过解析器转换为字符串形式。

数据请求与清洗

在实际调用过程中，我们通过HTTP POST请求将上述配置发送到金蝶云星空接口。以下是一个示例请求体：

{
  "FormId": "AP_PAYBILL",
  "FieldKeys": ["FBillNo", ...],
  ...
}

通过轻易云平台，我们可以自动化处理这些请求，并对返回的数据进行清洗和转换。例如，将日期格式统一、去除无效字符等操作，以确保数据的一致性和准确性。

数据转换与写入

在获取并清洗完数据后，下一步是将其转换为目标系统所需的格式，并写入到相应的数据存储中。这一步通常涉及字段映射、数据类型转换等操作。轻易云平台提供了丰富的工具和功能来简化这一过程，例如自动映射、规则引擎等。

通过上述步骤，我们可以高效地从金蝶云星空获取付款单数据，并进行必要的加工处理，为后续的数据分析和业务决策提供可靠的数据支持。 如何对接企业微信API接口

将金蝶付款单数据转换并写入目标平台的技术实现

在数据集成过程中，ETL（Extract, Transform, Load）转换是至关重要的一步。本文将深入探讨如何将从金蝶系统获取的付款单数据，通过ETL转换为轻易云集成平台API接口所能接收的格式，并最终写入目标平台。

数据请求与清洗

首先，从金蝶系统中提取付款单数据。假设我们已经通过API或数据库查询获取了这些数据，并进行了初步的清洗工作。清洗后的数据可能包含以下字段：

  • 付款单号（PaymentID）
  • 付款日期（PaymentDate）
  • 付款金额（Amount）
  • 供应商ID（SupplierID）
  • 备注（Remarks）

数据转换

接下来，我们需要将这些数据转换为轻易云集成平台API接口能够接收的格式。根据提供的元数据配置，目标平台的API接口为“写入空操作”，使用POST方法，并且需要进行ID校验。

转换规则

  1. 字段映射：将源系统中的字段映射到目标系统中对应的字段。例如：

    • PaymentID -> id
    • PaymentDate -> date
    • Amount -> amount
    • SupplierID -> supplier_id
    • Remarks -> remarks

  2. 格式调整：确保日期、金额等字段符合目标系统要求的格式。例如，将日期格式从YYYY-MM-DD转换为YYYYMMDD。

  3. ID校验：根据元数据配置中的idCheck属性，需要对每条记录进行ID校验，以确保唯一性和完整性。

示例代码

以下是一个Python示例代码，用于将金蝶系统的数据转换并准备发送到轻易云集成平台：

import requests
import json

# 假设从金蝶系统获取的数据
kingdee_data = [
    {
        "PaymentID": "P001",
        "PaymentDate": "2023-10-01",
        "Amount": 1000.00,
        "SupplierID": "S001",
        "Remarks": "First payment"
    },
    # 更多记录...
]

# 转换函数
def transform_data(record):
    transformed_record = {
        "id": record["PaymentID"],
        "date": record["PaymentDate"].replace("-", ""),
        "amount": record["Amount"],
        "supplier_id": record["SupplierID"],
        "remarks": record["Remarks"]
    }
    return transformed_record

# 转换后的数据列表
transformed_data = [transform_data(record) for record in kingdee_data]

# 写入目标平台的API URL
api_url = "https://target-platform.com/api/write_empty_action"

# 请求头
headers = {
    'Content-Type': 'application/json'
}

# 发送请求并处理响应
for data in transformed_data:
    response = requests.post(api_url, headers=headers, data=json.dumps(data))
    if response.status_code == 200:
        print(f"Record {data['id']} written successfully.")
    else:
        print(f"Failed to write record {data['id']}. Status code: {response.status_code}")

数据写入

在完成数据转换后，下一步就是将这些数据通过轻易云集成平台API接口写入目标平台。根据元数据配置，我们使用POST方法来发送请求。

API调用细节
  1. API URL：根据实际情况填写目标平台的API URL。
  2. 请求头：设置合适的Content-Type，例如application/json。
  3. 请求体：包含转换后的JSON格式的数据。
  4. 错误处理：捕获和处理可能发生的错误，如网络问题、服务器错误等。

通过上述步骤，我们可以实现从金蝶系统到轻易云集成平台的数据无缝对接，确保每条记录都能正确地写入目标平台。这不仅提高了数据处理效率，也保证了业务流程的连续性和可靠性。 金蝶与MES系统接口开发配置

版权声明

该文章《从金蝶到轻易云：ETL转换与数据写入方案解析》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与吉客云对接
更多系统对接方案