ETL转换与MySQL数据写入解决方案

  • 轻易云集成顾问-杨嫦

聚水潭数据集成到MySQL：供应商信息查询与存储方案

在本案例中，我们将探讨如何高效地将聚水潭系统中的供应商信息集成到MySQL数据库中，以支持企业业务分析需求。通过使用轻易云数据集成平台，借助其强大的可视化工具和实时监控功能，实现了对这两个系统的无缝对接。

我们重点关注以下技术点：

1. 数据获取与API接口调用 首先，通过调用聚水潭提供的API接口/open/supplier/query来抓取供应商相关的数据。在实际操作中，我们需要处理分页和限流问题，以确保不会遗漏任何数据条目。这过程需要设计可靠的调度机制，定时从聚水潭拉取最新的信息。

2. 数据转换与格式适配 由于聚水潭与MySQL之间存在数据格式差异，因此必须进行自定义的数据转换。我们利用轻易云提供的转换逻辑配置功能，将原始JSON结构的数据转化为MySQL所需的表格形式。同时，还会进行必要的数据清洗和质量检查，以保证写入数据库的是准确且干净的数据。

3. 高吞吐量数据写入 在获取并处理好数据后，需要快速、大批量地将这些数据信息写入到指定的MySQL表——BI崛起-供应商信息表_copy（execute API实现）。为了提升效率，我们采用了批量插入方式，并优化了数据库连接池设置以应对可能的大规模并发请求。

4. 实时监控与异常处理 整个集成流程离不开稳定、高效的运行保障。通过集中监控和告警系统，可以实时跟踪每一个步骤，包括各个API调用状态、任务执行时间以及潜在错误发生点。一旦出现异常，如网络失败或者超时等情况，将触发自动重试机制以最大程度降低任务失败率。

上述方法不仅提升了整体业务流程效率，也增强了事务透明度，为进一步的数据分析及决策提供坚实基础。下文将详细描述具体实施步骤及配置要点，确保读者能够顺利复现此解决方案。

打通金蝶云星空数据接口

调用聚水潭接口获取并加工数据

在轻易云数据集成平台中，调用源系统的API接口是数据集成生命周期的第一步。本文将详细探讨如何通过调用聚水潭接口/open/supplier/query来获取供应商信息，并对数据进行初步加工。

接口概述

聚水潭提供的/open/supplier/query接口用于查询供应商信息。该接口采用POST请求方式，支持分页查询和时间范围过滤。以下是元数据配置的详细说明：

  • API路径: /open/supplier/query
  • 请求方法: POST
  • 主要字段:
    • page_index: 页数，默认值为1。
    • page_size: 每页大小，默认值为50。
    • modified_begin: 修改开始时间，使用模板变量{{LAST_SYNC_TIME|datetime}}。
    • modified_end: 修改结束时间，使用模板变量{{CURRENT_TIME|datetime}}。

请求参数配置

在实际操作中，我们需要根据元数据配置构建请求参数。以下是一个示例请求参数配置：

{
  "page_index": "1",
  "page_size": "50",
  "modified_begin": "{{LAST_SYNC_TIME|datetime}}",
  "modified_end": "{{CURRENT_TIME|datetime}}"
}

这些参数确保我们能够获取到指定时间范围内的供应商信息，并且分页处理有助于避免一次性拉取大量数据导致的性能问题。

数据清洗与转换

在获取到原始数据后，需要对其进行清洗和转换，以便后续的数据写入和分析。以下是一些常见的数据清洗步骤：

  1. 去除无效数据: 检查返回的数据中是否存在空值或无效值，并进行相应处理。例如，可以过滤掉enabled字段不为true的记录。
  2. 字段映射: 将原始数据中的字段映射到目标系统所需的字段。例如，将supplier_id映射到目标系统中的相应字段。
  3. 格式转换: 根据目标系统的要求，对日期、数值等字段进行格式转换。

以下是一个简单的数据清洗示例代码（假设使用Python）：

import requests
import json
from datetime import datetime

# 构建请求参数
params = {
    "page_index": "1",
    "page_size": "50",
    "modified_begin": datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
    "modified_end": datetime.now().strftime('%Y-%m-%d %H:%M:%S')
}

# 发起POST请求
response = requests.post('https://api.jushuitan.com/open/supplier/query', data=json.dumps(params))
data = response.json()

# 数据清洗与转换
cleaned_data = []
for item in data['suppliers']:
    if item['enabled'] == 'true':
        cleaned_item = {
            'supplier_id': item['supplier_id'],
            'supplier_name': item['supplier_name'],
            # 添加其他需要映射的字段
        }
        cleaned_data.append(cleaned_item)

# 输出清洗后的数据
print(cleaned_data)

自动填充响应

轻易云平台提供了自动填充响应功能，这意味着我们可以直接将API返回的数据自动填充到目标表中。这极大地简化了数据处理流程，提高了效率。

在元数据配置中，我们可以看到autoFillResponse被设置为true，这表示平台会自动处理响应数据并填充到目标表中，无需手动编写额外代码。

条件过滤

为了确保只获取有效的数据，我们可以在请求参数中添加条件过滤。例如，在元数据配置中，我们可以看到条件过滤配置如下：

"condition_bk":[[{"field":"enabled","logic":"in","value":"true"}]]

这表示我们只会获取enabled字段值为true的记录，从而避免无效数据进入后续处理环节。

通过上述步骤，我们实现了从调用聚水潭接口获取供应商信息，到对数据进行清洗和转换，再到自动填充响应的一整套流程。这不仅提高了数据处理效率，还确保了数据质量，为后续的数据分析和决策提供了可靠保障。 如何对接用友BIP接口

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口

在数据集成的生命周期中，第二步是将已经集成的源平台数据进行ETL转换，并转为目标平台MySQLAPI接口所能够接收的格式，最终写入目标平台。以下是具体的技术实现案例。

数据请求与清洗

在进行ETL转换之前，首先需要从源平台（例如聚水潭）获取供应商信息。这一步通常涉及到通过API调用或数据库查询来获取原始数据。假设我们已经成功获取了如下格式的数据：

{
  "supplier_id": "12345",
  "name": "ABC供应商"
}

数据转换与写入

接下来，我们需要将上述数据转换为目标平台MySQLAPI接口所能接收的格式，并写入到MySQL数据库中。我们使用轻易云数据集成平台提供的元数据配置来完成这一任务。

元数据配置解析

根据提供的元数据配置，我们需要执行以下操作：

  1. 定义主参数：主参数包含两个字段，co_name和supplier_co_id，分别对应供应商公司名和供应商编号。
  2. 构建SQL语句：主语句是一个REPLACE INTO语句，用于将数据插入到querymysupplier表中。

以下是元数据配置的详细解析：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "SQL",
  "number": "id",
  "id": "id",
  "name": "id",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "主参数",
      "type": "object",
      "describe": "对应主语句内的动态参数",
      "children": [
        {
          "field": "co_name",
          "label": "供应商公司名",
          "type": "string",
          "value": "{name}"
        },
        {
          "field": "supplier_co_id",
          "label": "供应商编号",
          "type": "string",
          "value": "{supplier_id}"
        }
      ]
    }
  ],
  ...
}
构建SQL语句

根据元数据配置中的main_sql字段，我们可以构建出如下SQL语句：

REPLACE INTO querymysupplier (
    co_name,
    supplier_co_id
) VALUES (
    :co_name,
    :supplier_co_id
);

这里:co_name和:supplier_co_id是占位符，将在执行时被实际的数据替换。

数据映射与执行

使用轻易云的数据映射功能，我们将源数据中的字段映射到目标字段：

  • name -> co_name
  • supplier_id -> supplier_co_id

然后，通过API调用执行上述SQL语句，将数据写入到MySQL数据库中。以下是伪代码示例：

import requests

# 定义要插入的数据
data = {
    'main_params': {
        'co_name': 'ABC供应商',
        'supplier_co_id': '12345'
    },
    'main_sql': """
        REPLACE INTO querymysupplier (
            co_name,
            supplier_co_id
        ) VALUES (
            :co_name,
            :supplier_co_id
        );
    """
}

# 调用轻易云API执行SQL语句
response = requests.post('https://api.qingyiyun.com/execute', json=data)

# 检查响应状态
if response.status_code == 200:
    print("Data inserted successfully.")
else:
    print("Failed to insert data.")

通过上述步骤，我们成功地将源平台的数据经过ETL转换后写入到了目标平台MySQL数据库中。这一过程充分利用了轻易云数据集成平台提供的元数据配置和API接口，实现了不同系统间的数据无缝对接。 系统集成平台API接口配置

版权声明

该文章《使用轻易云平台实现聚水潭数据清洗与转换》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案