利用轻易云进行ETL转换：实现目标数据平台的写入

  • 轻易云集成顾问-胡秀丛

金蝶云星空与轻易云集成平台的数据对接：查询银行账号案例分享

在企业数字化转型的过程中，数据的高效流动和无缝集成变得至关重要。本篇技术案例将详细介绍如何通过轻易云数据集成平台，实现金蝶云星空系统中银行账号数据的高效、稳定对接。我们选用具体运行方案“查询银行账号”为例，重点探讨API接口调用、高并发处理、异常管理等方面的问题。

首先，我们需要利用金蝶云星空提供的executeBillQuery API接口来获取目标数据。在实施过程中，为了确保从金蝶云星空系统中抓取到完整且准确的数据，需要特别关注以下几点：

  1. 分页和限流问题：由于金蝶云星空接口存在请求速率限制，当我们面对海量数据时，必须实现分页机制，同时控制单次请求数量。这样不仅可以避免因超量请求导致失败，还能提升整体效率。

  2. 批量集成与格式差异：抓取到的数据需要进行适当转换，然后批量写入到轻易云平台。这就涉及到两个系统之间的数据格式差异问题，以及如何通过定制化映射规则将其灵活转换，并使用轻易云中的“写入”API快速存储。

  3. 实时监控与异常重试：为了保证整个流程的不间断运行，在每一个关键环节都设置了实时监控功能。一旦发生错误，如网络波动或响应超时，将触发自动重试机制，以确保最终数据完整性和正确性。

综上所述，通过合理调用金蝶云星空以及灵活运用轻易云的平台优势，可以构建一个稳定、高效、安全的信息交互桥梁。在本文后续部分，我们将更加深入地解析核心技术细节，包括具体API调用参数配置、设计思路及实际操作步骤。

打通用友BIP数据接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是关键的第一步。本文将详细探讨如何使用轻易云数据集成平台，通过调用金蝶云星空的executeBillQuery接口来获取和加工银行账号数据。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FBANKACNTID",
  "pagination": {
    "pageSize": 100
  },
  "idCheck": true,
  "request": [
    {"field":"FBANKACNTID","label":"实体主键","type":"string","value":"FBANKACNTID"},
    {"field":"FDocumentStatus","label":"数据状态","type":"string","value":"FDocumentStatus"},
    {"field":"FForbidStatus","label":"禁用状态","type":"string","value":"FForbidStatus"},
    {"field":"FName","label":"账户名称","type":"string","value":"FName"},
    {"field":"FNumber","label":"银行账号","type":"string","value":"FNumber"},
    {"field":"FDescription","label":"备注","type":"string","value":"FDescription"},
    {"field":"FCreateOrgId_Fnumber","label":"创建组织","type":"string","value":"FCreateOrgId.fname"},
    {"field":"FUseOrgId_Fnumber","label":"使用组织","type":"string","value":"FUseOrgId.Fnumber"},
    {"field":"FCreateDate","label":"创建日期","type":"string","value":"FCreateDate"},
    {"field":"FModifyDate","label":"修改日期","type":"string","value":"FModifyDate"},
    {"field":...}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field":...}
  ]
}

请求示例

为了从金蝶云星空获取银行账号信息，我们需要构建一个POST请求，包含必要的字段和分页参数。以下是一个示例请求：

{
  "FormId": "CN_BANKACNT",
  "FieldKeys": [
    "FBANKACNTID",
    "FDocumentStatus",
    ...
  ],
  "FilterString": "",
  ...
}

在这个请求中，FormId指定了业务对象表单ID为银行账号表单（CN_BANKACNT），FieldKeys则列出了需要查询的字段集合。

数据清洗与转换

获取到原始数据后，需要进行清洗和转换，以确保其符合目标系统的数据格式和业务需求。以下是一些常见的数据清洗与转换操作：

  1. 字段映射：将源系统字段映射到目标系统字段。例如，将金蝶云星空中的FBANKACNTID映射到目标系统中的主键字段。
  2. 数据过滤：根据业务需求过滤掉不必要的数据。例如，只保留状态为“已审核”的记录。
  3. 格式转换：将日期格式从源系统格式转换为目标系统格式。

示例代码

以下是一个Python示例代码，用于调用接口并处理返回的数据：

import requests
import json

# 配置请求头和URL
url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}

# 构建请求体
payload = {
    'FormId': 'CN_BANKACNT',
    'FieldKeys': 'FBANKACNTID,FDocumentStatus,...',
    'FilterString': '',
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态码
if response.status_code == 200:
    data = response.json()

    # 数据清洗与转换
    cleaned_data = []

    for record in data:
        cleaned_record = {
            'id': record['FBANKACNTID'],
            'status': record['FDocumentStatus'],
            ...
        }
        cleaned_data.append(cleaned_record)

else:
    print(f"Error: {response.status_code}")

通过上述步骤，我们可以成功地从金蝶云星空获取银行账号信息，并进行必要的数据清洗和转换，为后续的数据写入做好准备。这一过程不仅确保了数据的一致性和准确性，还极大地提升了业务处理效率。 如何对接金蝶云星空API接口

使用轻易云数据集成平台进行ETL转换并写入目标平台

在数据集成的生命周期中，第二步至关重要，即将已经集成的源平台数据进行ETL转换，转为目标平台所能接收的格式，最终写入目标平台。本文将详细探讨如何使用轻易云数据集成平台API接口实现这一过程。

API接口配置与元数据解析

在本案例中，我们需要将查询到的银行账号数据通过轻易云API接口写入目标平台。首先，我们需要了解API接口的元数据配置：

{
  "api": "写入空操作",
  "method": "POST",
  "idCheck": true
}
  • api: 指定了要调用的API接口名称。
  • method: 指定了HTTP请求的方法，这里是POST。
  • idCheck: 表示是否需要进行ID检查。

数据请求与清洗

在ETL流程中，首先需要从源系统请求数据并进行清洗。假设我们已经从银行系统获取了以下格式的数据：

{
  "accounts": [
    {"accountId": "123", "accountName": "张三", "balance": 1000},
    {"accountId": "456", "accountName": "李四", "balance": 2000}
  ]
}

这些数据需要经过清洗和转换，以符合目标平台API接口要求的格式。

数据转换

根据目标平台API接口的要求，我们需要将上述数据转换为以下格式：

{
  "data": [
    {"id": "123", "name": "张三", "amount": 1000},
    {"id": "456", "name": "李四", "amount": 2000}
  ]
}

具体的转换逻辑可以使用轻易云提供的数据处理功能来实现。例如，可以通过编写自定义脚本或使用内置的数据转换工具，将字段名从accountId、accountName和balance分别映射到id、name和amount。

数据写入目标平台

完成数据转换后，我们需要将其通过API接口写入目标平台。根据元数据配置，需要使用HTTP POST方法，并进行ID检查。以下是一个示例代码片段，展示如何通过HTTP POST请求将转换后的数据发送到目标平台：

import requests
import json

url = 'https://api.qingyiyun.com/写入空操作'
headers = {'Content-Type': 'application/json'}
data = {
    'data': [
        {'id': '123', 'name': '张三', 'amount': 1000},
        {'id': '456', 'name': '李四', 'amount': 2000}
    ]
}

response = requests.post(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print('Data successfully written to the target platform.')
else:
    print('Failed to write data:', response.text)

实时监控与错误处理

在实际操作中，实时监控和错误处理也是不可忽视的重要环节。轻易云数据集成平台提供了实时监控功能，可以帮助我们及时发现和解决问题。例如，如果ID检查失败，可以根据返回的信息进行相应处理。

if response.status_code != 200:
    error_info = response.json()
    if error_info.get('error') == 'ID_CHECK_FAILED':
        # Handle ID check failure
        print('ID check failed:', error_info.get('message'))

通过上述步骤，我们可以高效地完成从源系统获取数据、进行ETL转换，并最终将其写入目标平台的全过程。这不仅提高了数据处理的效率，也确保了数据的一致性和准确性。 系统集成平台API接口配置

版权声明

该文章《数据高效流动：金蝶云星空与轻易云集成详解》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云企业AIGC应用
更多系统对接方案