使用平台API实现ETL转换和数据加载

  • 轻易云集成顾问-胡秀丛

用友U8自定义数据集成至轻易云：查询销售出库单案例分析

在业务系统对接过程中，如何高效且稳定地实现不同平台间的数据集成往往是一个不小的挑战。这篇文章聚焦于将用友U8中自定义的销售出库单数据，通过API接口集成到轻易云数据集成平台，从而实现实时监控与高效处理。

案例背景

本次技术案例主要包括两个部分：从用友U8获取销售出库单列表(GetXSCKDList)以及将获取的数据写入轻易云平台(InsertStrategyData)。通过合理配置和优化，可以确保集成过程无缝进行，并解决可能出现的数据分页、限流及格式差异等问题。

集成功能实现细节

首先，我们需要调用用友U8提供的API接口GetXSCKDList来抓取所需的销售出库单数据。这个步骤要求我们能够定时可靠地访问这一接口，以便及时获取最新的数据。同时，为了防止因为网络波动或服务器负载导致的数据丢失和积压，需要设计一个错误重试机制，从而保证每次请求都能得到期望的响应结果。

def fetch_sales_outbound_list():
    url = "http://u8api.example.com/GetXSCKDList"
    params = {
        'page': 1,
        'limit': 100,
    }
    response = requests.get(url, params=params)

    if response.status_code == 200:
        return response.json()
    else:
        handle_error(response)

# 错误处理与重试机制
def handle_error(response):
    # 实现类似指数退避算法，逐步增加重试时间间隔

其次，在取得这些数据之后，需要将其批量写入到轻易云平台。这一过程中，必须考虑到两者之间可能存在的数据格式差异。因此我们会使用轻易云定制化的数据映射功能，将原始数据转换为目标格式。此外，还需确保大批量数据可以快速、安全地写入，这不仅需要调整API调用策略，也要有异常处理和错链重连机制，以应对突发情况。

def insert_data_to_qingyi_cloud(data):
    transform_data = custom_mapping_function(data)

    url = "http://qingyicloud.example.com/InsertStrategyData"

    for batch in chunked(transform_data, 1000): # 批量写入，每次1000条记录
        response = requests.post(url, json=batch)

        if not check_response_success(response):
            retry_insert(batch)

# 数据映射函数示例：
def custom_mapping_function(original_data):
     # 将原始字段映射为目标字段，实现必要的类型
![打通钉钉数据接口](https://pic.qeasy.cloud/D11.png~tplv-syqr462i7n-qeasy.image)
### 调用用友U8自定义接口GetXSCKDList获取并加工数据

在轻易云数据集成平台中，调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过用友U8自定义接口GetXSCKDList获取销售出库单数据，并对其进行初步加工。

#### 接口调用配置

首先，我们需要配置调用用友U8自定义接口GetXSCKDList的元数据。以下是具体的元数据配置：

```json
{
  "api": "GetXSCKDList",
  "effect": "QUERY",
  "method": "GET",
  "number": "autoid",
  "id": "autoid",
  "name": "{random}",
  "idCheck": true,
  "request": [
    {
      "field": "beginDate",
      "label": "开始时间",
      "type": "string",
      "value": "{{DAYS_AGO_2|datetime}}"
    },
    {
      "field": "endDate",
      "label": "结束日期",
      "type": "string",
      "value": "{{CURRENT_TIME|datetime}}"
    }
  ],
  "autoFillResponse": true
}

请求参数说明

在上述配置中，beginDate和endDate是两个关键的请求参数，用于限定查询销售出库单的时间范围。beginDate使用了模板变量{{DAYS_AGO_2|datetime}}，表示两天前的日期时间；而endDate使用了模板变量{{CURRENT_TIME|datetime}}，表示当前时间。这种动态参数设置方式能够确保每次请求的数据都是最新的。

数据请求与清洗

通过配置好的元数据，我们可以发起GET请求来获取销售出库单列表。轻易云平台会自动处理响应数据，并根据配置中的字段映射关系进行初步清洗和整理。

{
  // 示例响应数据
  [
    {
      "autoid": 1,
      "orderNumber": "SO20231001",
      "customerName": "客户A",
      // 更多字段...
    },
    {
      "autoid": 2,
      "orderNumber": "SO20231002",
      "customerName": "客户B",
      // 更多字段...
    }
  ]
}

在这个过程中，平台会自动填充响应数据中的字段，并根据配置中的autoFillResponse: true选项，将所有返回的数据直接映射到目标结构中。

数据转换与写入

获取并清洗后的数据需要进一步转换，以便写入到目标系统或数据库中。在这个阶段，可以利用轻易云平台提供的数据转换工具，对字段进行重新命名、类型转换、格式化等操作。例如，将订单编号从orderNumber转换为目标系统所需的格式：

{
  // 转换后的示例数据
  [
    {
      "_id": 1,
      "_order_no": "#SO20231001#",
      "_customer_name": "[客户A]",
      // 更多字段...
    },
    {
      "_id": 2,
      "_order_no": "#SO20231002#",
      "_customer_name": "[客户B]",
      // 更多字段...
    }
  ]
}

这种灵活的数据转换能力，使得不同系统间的数据对接变得更加高效和准确。

小结

通过以上步骤，我们实现了从用友U8系统获取销售出库单数据并进行初步加工的过程。轻易云平台提供了强大的元数据配置和自动化处理能力，使得整个过程透明且高效。在实际应用中，还可以根据业务需求进一步定制和优化这些流程，以满足更复杂的数据集成场景。 金蝶与MES系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入目标平台的技术案例

在数据集成生命周期的第二步中，我们将已经集成的源平台数据进行ETL（提取、转换、加载）转换，转为目标平台轻易云集成平台API接口所能够接收的格式，最终写入目标平台。本文将详细介绍如何使用轻易云数据集成平台的API接口InsertStrategyData来实现这一过程。

API接口配置

我们使用的API接口是InsertStrategyData，其元数据配置如下：

{
  "api": "InsertStrategyData",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {"field":"id","label":"id","value":"{id}","type":"string","describe":"_autoFillResponse"},
    {"field":"brdflag","label":"brdflag","value":"{id}{brdflag}","type":"string","describe":"_autoFillResponse"},
    {"field":"cvouchtype","label":"cvouchtype","value":"{cvouchtype}","type":"string","describe":"_autoFillResponse"},
    // ...（省略部分字段）
    {"field":"dconfirmdate","label":"dconfirmdate","value":"{dconfirmdate}","type":"string","describe":"_autoFillResponse"}
  ]
}

数据提取与转换

首先，从源系统提取数据。假设我们从一个销售出库单系统中获取了以下数据：

{
  "id": "12345",
  "brdflag": "A",
  "cvouchtype": "SaleOut",
  // ...（省略部分字段）
  "dconfirmdate": "2023-10-01"
}

在提取数据后，需要根据目标平台API接口的要求进行转换。这里，我们将源数据字段映射到API请求字段。例如：

  • id 映射到 id
  • brdflag 映射到 brdflag
  • cvouchtype 映射到 cvouchtype
  • ...

数据加载

转换完成后，将数据加载到目标平台。我们使用HTTP POST方法调用InsertStrategyData接口，并传递转换后的JSON数据。

以下是一个示例代码片段，展示如何通过Python脚本实现这一过程：

import requests
import json

# 源系统提取的数据
source_data = {
    "id": "12345",
    "brdflag": "A",
    "cvouchtype": "SaleOut",
    # ...（省略部分字段）
    "dconfirmdate": "2023-10-01"
}

# 转换后的目标数据
target_data = {
    field["field"]: source_data[field["value"].strip("{}")]
    for field in metadata["request"]
}

# API请求URL和头部信息
url = 'https://api.qingyiyun.com/InsertStrategyData'
headers = {'Content-Type': 'application/json'}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(target_data))

# 检查响应状态
if response.status_code == 200:
    print("Data successfully inserted.")
else:
    print(f"Failed to insert data. Status code: {response.status_code}")

技术细节

  1. 异步处理：轻易云数据集成平台支持全异步处理，这意味着在发起请求后，不需要等待响应，可以继续处理其他任务，提高了系统效率。

  2. 多种异构系统支持：该平台能够无缝对接不同类型的系统，无论是ERP、CRM还是其他业务系统，都可以通过配置相应的元数据，实现数据集成。

  3. 实时监控：在ETL过程中，可以实时监控每个环节的数据流动和处理状态，确保每一步都透明可见，有助于及时发现和解决问题。

  4. 自动填充响应：在元数据配置中，许多字段使用了_autoFillResponse描述，这意味着这些字段会自动填充来自响应的数据，无需手动干预，进一步简化了操作流程。

通过上述步骤，我们成功地将源系统的数据经过ETL转换后写入到了目标平台。这一过程不仅提高了数据处理效率，还保证了数据的一致性和准确性。 打通企业微信数据接口

版权声明

该文章《用友U8与平台数据集成：实现实时销售出库监控》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

营销云系统与经销商ERP对接
更多系统对接方案