数据转换与写入：ETL过程中的API配置技巧

  • 轻易云集成顾问-李国敏

用友BIP数据与轻易云集成平台的高效对接：查询YS销售退货单-v技术案例

在本次技术案例中，我们将探讨如何通过轻易云数据集成平台实现用友BIP系统中YS销售退货单的数据高效集成。具体方案名称为“查询YS销售退货单-v”。该方案不仅展示了API接口的调用方法，同时也描述了应对分页、限流等常见数据处理问题的方法。

首先，通过调用用友BIP获取YS销售退货单信息的API /yonbip/sd/vouchersalereturn/list，我们能够实时抓取所需的数据。然而，需要注意的是，这些接口常常面临着分页和限流的问题。因此，我们需要设计一个可靠的调度机制，以定时抓取数据，并确保不漏单。这一步至关重要，可以有效提升业务数据的完整性和及时性。

为了适应不同业务需求和特定的数据结构，轻易云集成平台提供了强大的自定义数据转换逻辑功能。这样一来，不同格式的数据可以被标准化处理，从而无缝写入到目标系统。在本例中，对从用友BIP获取到的原始数据进行清洗和转换后，将这些经过预处理后的信息快速录入到轻易云的平台。这一过程显著提高了大量数据写入能力，并且避免了因源数据信息格式差异导致的不一致性问题。

此外，为确保整个流程中的每一步都能顺利执行，轻易云提供了一套完备的监控与告警系统。通过这个集中式监控工具，可以实时追踪任务状态并检测潜在异常。一旦出现错误，例如网络波动或接口返回非正常响应码，该系统会即时告警并触发重试机制。这种配置极大地增强了整体解决方案运行的稳定性与容错能力。

总而言之，本方案不仅强调高吞吐量、大批量和定时可靠的数据提取，还通过可视化工具简化操作，使得即使非专业人士也能直观掌握每个环节。此外，由于支持全面的数据质量监控，这样使得自定义映射对接变得更加精准、高效。从而达到了快速、安全、高质量完成SYS销售退货单资料整合目的。 打通企业微信数据接口

调用源系统用友BIP接口/yonbip/sd/vouchersalereturn/list获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用用友BIP的接口/yonbip/sd/vouchersalereturn/list，获取并加工YS销售退货单的数据。

接口调用配置

首先，我们需要配置API调用的元数据。以下是元数据配置的详细内容：

{
  "api": "/yonbip/sd/vouchersalereturn/list",
  "method": "POST",
  "number": "code",
  "id": "saleReturnDetailId",
  "formatResponse": [
    {"old": "id", "new": "new_id", "format": "string"},
    {"old": "saleReturnDetailId", "new": "new_saleReturnDetailId", "format": "string"}
  ],
  "condition": [
    [{"field": "saleReturnStatus", "logic": "like", "value": "SALERETURNING"}],
    [{"field": "saleReturnStatus", "logic": "like", "value": "CONFIRMSALERETURNORDER"}]
  ],
  ...
}

请求参数设置

请求参数是API调用的重要组成部分。我们需要根据业务需求设置适当的请求参数，以确保获取到正确的数据。

{
  ...
  "request":[
    {"field":"open_createTime_begin","label":"制单开始时间","type":"string","describe":"制单开始时间"},
    {"field":"code","label":"单据编号","type":"string","describe":"单据编号"},
    {"field":"pageIndex","label":"页号 默认值：1","type":"string","describe":"页号 默认值：1","value":"1"},
    {"field":"pageSize","label":"每页行数 默认值：10","type":"string","describe":"每页行数 默认值：10","value":"500"},
    ...
  ]
}

这些参数包括制单开始时间、单据编号、页号、每页行数等，具体设置如下：

  • open_createTime_begin: 制单开始时间，用于过滤起始时间。
  • code: 单据编号，用于精确查询特定单据。
  • pageIndex: 页号，默认值为1。
  • pageSize: 每页行数，默认值为500。

数据过滤条件

为了确保只获取到符合业务需求的数据，我们需要设置过滤条件。在本例中，我们关注的是销售退货状态为“正在退货”或“确认退货订单”的记录。

{
  ...
  "condition":[
    [{"field":"saleReturnStatus","logic":"like","value":"SALERETURNING"}],
    [{"field":"saleReturnStatus","logic":"like","value":"CONFIRMSALERETURNORDER"}]
  ]
}

这些条件将被应用于API请求中，以筛选出符合条件的记录。

数据格式化处理

在获取到原始数据后，需要对其进行格式化处理，以便后续的数据转换和写入操作。以下是格式化处理的配置：

{
  ...
  "formatResponse":[
    {"old":"id","new":"new_id","format":"string"},
    {"old":"saleReturnDetailId","new":"new_saleReturnDetailId","format":"string"}
  ]
}

此处将原始字段id和saleReturnDetailId分别转换为new_id和new_saleReturnDetailId，并指定其格式为字符串。

实际调用与数据处理

在完成上述配置后，可以通过轻易云平台发起API请求，并对返回的数据进行处理。以下是一个示例代码片段，展示了如何发起请求并处理响应数据：

import requests
import json

url = 'https://api.yonyoucloud.com/yonbip/sd/vouchersalereturn/list'
headers = {'Content-Type': 'application/json'}
payload = {
    # 请求参数填充
}

response = requests.post(url, headers=headers, data=json.dumps(payload))

if response.status_code == 200:
    data = response.json()
    # 格式化处理
    formatted_data = []
    for item in data['data']:
        formatted_item = {
            'new_id': str(item['id']),
            'new_saleReturnDetailId': str(item['saleReturnDetailId']),
            # 更多字段处理...
        }
        formatted_data.append(formatted_item)
else:
    print(f"Error: {response.status_code}")

通过上述步骤，我们成功地从用友BIP系统获取了YS销售退货单的数据，并进行了必要的格式化处理，为后续的数据转换和写入做好了准备。这一步骤不仅确保了数据的一致性和完整性，也为整个数据集成过程奠定了坚实的基础。 打通用友BIP数据接口

数据转换与写入：ETL过程中的API接口配置

在数据集成的生命周期中，数据转换与写入是关键的第二步。本文将重点探讨如何将已经集成的源平台数据进行ETL转换，转为目标平台轻易云集成平台API接口所能够接收的格式，并最终写入目标平台。

API接口配置

在ETL过程中，API接口配置至关重要。我们需要确保数据能够通过正确的API接口传输到目标平台。根据提供的元数据配置，我们将使用以下API接口进行数据写入：

{
  "api": "写入空操作",
  "method": "POST",
  "idCheck": true
}

数据转换步骤

  1. 数据请求与清洗：

    • 从源系统请求销售退货单数据。
    • 清洗数据以确保其完整性和一致性，例如去除重复记录、校验字段格式等。

  2. 数据转换：

    • 将清洗后的数据转换为目标平台所需的格式。这一步通常涉及字段映射和数据类型转换。
    • 根据元数据配置，我们需要确保每条记录包含一个唯一标识符（idCheck: true）。

  3. 构建API请求：

    • 使用POST方法构建API请求，将转换后的数据发送到目标平台。
    • 确保请求体符合目标平台API接口的要求。

实例代码

以下是一个示例代码片段，展示了如何将清洗后的销售退货单数据通过API接口写入目标平台：

import requests
import json

# 示例销售退货单数据
data = [
    {"id": 1, "order_id": "ORD123", "product_id": "PROD456", "quantity": 2, "return_reason": "Defective"},
    {"id": 2, "order_id": "ORD124", "product_id": "PROD457", "quantity": 1, "return_reason": "Not as described"}
]

# 转换为目标平台所需格式
def transform_data(data):
    transformed_data = []
    for record in data:
        transformed_record = {
            "unique_id": record["id"],
            "orderReference": record["order_id"],
            "productCode": record["product_id"],
            "returnQuantity": record["quantity"],
            "reasonForReturn": record["return_reason"]
        }
        transformed_data.append(transformed_record)
    return transformed_data

# 构建并发送API请求
def send_data_to_api(transformed_data):
    api_url = 'https://api.targetplatform.com/write'
    headers = {'Content-Type': 'application/json'}

    for record in transformed_data:
        response = requests.post(api_url, headers=headers, data=json.dumps(record))
        if response.status_code == 200:
            print(f"Record {record['unique_id']} successfully written to target platform.")
        else:
            print(f"Failed to write record {record['unique_id']}. Status code: {response.status_code}")

transformed_data = transform_data(data)
send_data_to_api(transformed_data)

技术要点

  • 字段映射：在transform_data函数中，我们将源系统的数据字段映射到目标平台所需的字段。这一步非常重要，因为不同系统之间的数据结构可能存在显著差异。
  • 唯一标识符检查：根据元数据配置中的idCheck: true，我们确保每条记录都包含一个唯一标识符。这有助于避免重复记录和潜在的数据冲突。
  • 错误处理：在send_data_to_api函数中，我们对API响应进行了基本的错误处理。如果写入失败，系统会输出相应的错误信息，以便后续排查问题。

通过以上步骤和技术要点，我们能够有效地将清洗后的源系统数据转化为目标平台所需的格式，并通过正确配置的API接口进行写入，从而完成ETL过程中的关键环节。 用友BIP接口开发配置

版权声明

该文章《用友BIP与轻易云数据集成：YS销售退货单查询方案》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与吉客云对接
更多系统对接方案