用轻易云实现从聚水潭到MySQL的ETL自动化

  • 轻易云集成顾问-彭萍

聚水潭到MySQL数据集成实战案例分享

在本次技术案例中，我们将深入探讨如何通过轻易云数据集成平台实现聚水潭系统的商品信息数据（/open/sku/query API）自动化、可靠的集成到MySQL数据库(batchexecute API)。这个任务有一个明确的业务需求：确保每次执行时仅新增最新的商品信息记录，且不能出现漏单现象。

1. 数据流设计与架构概述

首先，通过轻易云提供的可视化数据流设计工具，我们搭建了从聚水潭到MySQL的数据管道。在此过程中，用到了以下关键特性：

  • 高吞吐量的数据写入能力：针对大规模商品信息，确保能快速、大批量地写入MySQL。
  • 实时监控和告警系统：能在每个环节实时跟踪并通知异常情况，有效提升故障排查效率。

2. 调用聚水潭API获取商品信息

我们使用了聚水潭开放接口/open/sku/query来抓取最新的商品数据信息。为了解决接口分页和限流问题，实现了请求队列管理和重试机制：

{
  "method": "GET",
  "url": "/open/sku/query",
  "params": {
    "pageIndex": "{{currentPage}}",
    "pageSize": {{defaultPageSize}}
  }
}

重点处理：

  • 分页控制参数 pageIndex 和 pageSize 间隔合理设置，以防止触发API调用限额。
  • 错误重试机制: 对于失败调用进行智能重试，并记录日志以便后续分析。

3. 数据转换及映射逻辑

为了适应目标MySQL库的数据结构要求，自定义了转换逻辑，将原始JSON格式数据映射为符合数据库字段规范的新格式。同时利用平台自带的数据质量监控功能，设置规则及时检测并处理潜在的问题，如空值过滤、重复记录校正等。

{
  "sourceFieldMapping": {
    "itemCode": "<DB_FIELD_ITEM_CODE>",
    ....
   },
   ...
}

这个步骤主要包括：

  • 字段类型转换
  • 标准化日期时间格式
  • 数据清洗与预处理（缺失值填充、去除特殊字符）

总结

以上是对“聚水谭 - 商品信息单”通过轻易云平台集成至“MySQL - 商品信息表(只新增)”方案开头部分的一些技术要点展示。接下来将详细解析具体流程、自主配置与测试阶段中的经验教训以及优化策略，为大家提供更具价值的实践参考。 电商OMS与ERP系统接口开发配置

调用聚水潭接口/open/sku/query获取并加工数据的技术案例

在数据集成生命周期的第一步，我们需要从源系统聚水潭调用接口/open/sku/query来获取商品信息，并对数据进行初步加工。本文将详细探讨如何配置和使用该接口，以及如何处理返回的数据。

接口配置与请求参数

首先，我们需要了解该接口的元数据配置。以下是接口的主要参数及其描述：

  • api: /open/sku/query
  • effect: QUERY
  • method: POST
  • number: i_id
  • id: sku_id
  • name: name

请求参数包括：

  1. page_index（开始页）：

    • 类型：string
    • 描述：第几页，从第一页开始，默认1
    • 默认值：1

  2. page_size（页行数）：

    • 类型：string
    • 描述：每页多少条，默认30，最大50
    • 默认值：500

  3. modified_begin（修改开始时间）：

    • 类型：string
    • 描述：修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与商品编码不能同时为空
    • 默认值：{{LAST_SYNC_TIME|datetime}}

  4. modified_end（修改结束时间）：

    • 类型：string
    • 描述：修改结束时间，和起始时间必须同时存在，时间间隔不能超过七天，与商品编码不能同时为空
    • 默认值：{{CURRENT_TIME|datetime}}

  5. sku_ids（商品编码）：

    • 类型：string
    • 描述：商品编码，与修改时间不能同时为空，最多20

数据请求与清洗

在实际操作中，我们首先需要构建一个POST请求，以获取指定条件下的商品信息。以下是一个示例请求体：

{
  "page_index": "1",
  "page_size": "500",
  "modified_begin": "2023-09-01T00:00:00Z",
  "modified_end": "2023-09-07T23:59:59Z",
  "sku_ids": ""
}

此请求将返回在指定时间范围内被修改过的商品信息。为了确保数据完整性和一致性，我们需要对返回的数据进行清洗和验证。

数据转换与写入

获取到原始数据后，需要对其进行必要的转换，以便写入目标系统BI斯莱蒙。在这个过程中，我们通常会进行以下步骤：

  1. 字段映射与转换： 根据元数据配置，将源系统字段映射到目标系统字段。例如，将sku_id映射为目标系统中的商品ID，将name映射为商品名称。

  2. 数据过滤与去重： 过滤掉不必要的数据，并确保没有重复记录。这一步可以通过编写自定义脚本或使用平台内置功能实现。

  3. 增量更新逻辑： 确保只新增新记录，而不覆盖已有记录。这可以通过比较上次同步时间和当前记录的修改时间来实现。

以下是一个简单的数据转换示例：

def transform_data(raw_data):
    transformed_data = []
    for item in raw_data:
        transformed_record = {
            "product_id": item["sku_id"],
            "product_name": item["name"],
            # 添加其他必要的字段映射
        }
        transformed_data.append(transformed_record)
    return transformed_data

实时监控与错误处理

在整个数据集成过程中，实时监控和错误处理至关重要。我们可以利用平台提供的监控工具来跟踪每个环节的数据流动和处理状态。一旦出现错误，可以及时捕获并处理，例如重新发送请求或记录错误日志以供后续分析。

通过以上步骤，我们能够高效地从聚水潭获取并加工商品信息，为后续的数据集成奠定坚实基础。 企业微信与ERP系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是关键的一步。在这一步中，我们需要将已经集成的源平台数据进行转换，以符合目标平台MySQLAPI接口所能够接收的格式，并最终写入目标平台。以下将详细介绍如何通过轻易云数据集成平台配置元数据，实现这一过程。

配置元数据

在轻易云数据集成平台中，我们通过配置元数据来实现ETL过程。以下是具体的元数据配置示例：

{
  "api": "batchexecute",
  "effect": "EXECUTE",
  "method": "SQL",
  "idCheck": true,
  "request": [
    {"field": "sku_id", "label": "商品编码", "type": "string", "value": "{sku_id}"},
    {"field": "i_id", "label": "款式编码", "type": "string", "value": "{i_id}"},
    {"field": "name", "label": "商品名称", "type": "string", "value": "{name}"},
    {"field": "short_name", "label": "商品简称", "type": "string", "value": "{short_name}"},
    {"field": "sale_price", "label": "销售价", "type": "string", "value": "{sale_price}"},
    {"field": "cost_price", "label": "成本价", "type": "string", "value": "{cost_price}"},
    {"field": ...},
    ...
  ],
  ...
}

上述配置中，request部分定义了需要从源平台提取的数据字段及其对应的目标字段。每个字段都包含以下信息：

  • field: 目标数据库中的字段名。
  • label: 字段描述。
  • type: 数据类型。
  • value: 从源平台获取的数据值。

数据转换

在数据转换过程中，需要确保源平台的数据格式与目标平台的数据格式一致。例如，如果源平台的日期格式为YYYY-MM-DD，而目标平台要求为YYYY/MM/DD，则需要进行相应的格式转换。

在轻易云数据集成平台中，可以通过自定义脚本或内置函数来实现这种转换。例如：

SELECT 
  REPLACE(CONVERT(VARCHAR, GETDATE(), 111), '/', '-') AS formatted_date
FROM 
  source_table;

上述SQL语句将日期格式从YYYY/MM/DD转换为YYYY-MM-DD。

数据写入

一旦完成数据转换，下一步就是将转换后的数据写入目标平台。在本案例中，目标平台是MySQL，通过API接口进行写入。以下是具体的SQL插入语句：

INSERT INTO sku_query (
  sku_id, i_id, name, short_name, sale_price, cost_price, properties_value,
  c_id, category, pic_big, pic, enabled, weight, market_price, brand,
  supplier_id, supplier_name, modified, sku_code, supplier_sku_id,
  supplier_i_id, vc_name, sku_type, creator, created, remark,
  item_type, stock_disabled, unit, shelf_life, labels,
  production_licence, l, w, h,
  is_series_number, other_price_1,
  other_price_2,...)
VALUES (
  '{sku_id}', '{i_id}', '{name}', '{short_name}', '{sale_price}', '{cost_price}', '{properties_value}',
  '{c_id}', '{category}', '{pic_big}', '{pic}', '{enabled}', '{weight}', '{market_price}', '{brand}',
  '{supplier_id}', '{supplier_name}', '{modified}', '{sku_code}', '{supplier_sku_id}',
  '{supplier_i_id}', '{vc_name}', '{sku_type}', '{creator}', '{created}', '{remark}',
  ...
);

上述SQL语句将所有必要的数据字段插入到目标表sku_query中。

API调用

为了执行上述SQL插入操作，需要通过API调用来实现。在轻易云数据集成平台中，可以使用如下配置来进行API调用：

{
  ...
  {
    field: 'main_sql',
    label: '主语句',
    type: 'string',
    describe: '111',
    value: 'INSERT INTO sku_query (sku_id,i_id,name,...'
  },
  {
    field: 'limit',
    label: 'limit',
    type: 'string',
    value: '1000'
  }
}

该配置确保了批量执行插入操作，并设置了每次插入操作的记录数限制（如1000条）。

通过以上步骤，我们成功地完成了从源平台到目标MySQL数据库的数据ETL过程。这种方法不仅提高了数据处理效率，还确保了数据的一致性和完整性。 轻易云数据集成平台金蝶集成接口配置

版权声明

该文章《用轻易云实现从聚水潭到MySQL的ETL自动化》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案