使用轻易云及SQLServer优化ETL流程实战

  • 轻易云集成顾问-蔡威

汤臣倍健营销云数据集成到SQL Server技术案例分享：退货入库-（Life-Space）江油泰熙

在本次技术案例中，我们将聚焦于如何实现汤臣倍健营销云与SQL Server的高效、安全、稳定的数据集成，具体方案名称为“退货入库-（Life-Space）江油泰熙”。通过启用轻易云平台，我们能够确保营销云接口数据的全流程管理，从而大幅提升业务透明度和效率。

关键问题: 如何确保数据不漏单及快速写入

针对如何从汤臣倍健营销云抓取订单数据并准确无误地同步到SQL Server，本方案采用了一系列可靠且高效的方法。首先，通过调用/erp/api/order/query/saleReturnOrder API接口，定时获取营销云中的退货订单。这一步骤需要处理好分页和限流问题，以保证即使在大批量请求情况下也能顺利完成数据拉取。

为了进一步提高性能，大量数据会以批处理模式插入至SQL Server，并使用高级分区机制来优化写入速度。同时，通过精心设计的数据映射规则，解决了两者之间的数据格式差异，使得整个过程更加顺畅。此外，我们还配置了详细的数据对接日志记录和错误重试机制，以应对可能出现的异常情况，从而确保每一笔订单都不会错过。

数据实时监控与可视化操作

对于如此复杂且重要的系统对接任务，全程实时监控是必不可少的一环。借助轻易云平台提供的全透明可视化界面，我们可以随时跟踪每个步骤执行状态，包括API调用次数、成功率以及即时反馈的问题报告。这不仅有助于迅速识别并解决潜在风险，还能够通过多维度报表提供精准诊断支持，辅助决策制定。

接下来章节中，将详细讲解整个实施过程及各项细节，包括具体API调用参数设置、分页策略实现方法，以及异常情况处理等内容。 如何对接金蝶云星空API接口

调用源系统汤臣倍健营销云接口获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用汤臣倍健营销云的/erp/api/order/query/saleReturnOrder接口，获取并加工退货入库数据。

接口配置与调用

首先，我们需要了解接口的基本配置和调用方式。根据元数据配置，/erp/api/order/query/saleReturnOrder接口采用POST方法进行请求。以下是请求参数的详细说明：

  • tenantId（经销商id）：必填项，用于标识具体的经销商。
  • yxyNumber（营销云销售订单号）：可选项，传此参数时其他条件无效。
  • number（系统订单号）：可选项，传此参数时其他条件无效。
  • status（订单状态）：默认为1，即已审核状态。
  • beginTime（开始时间）：用于基于创建时间或更新时间查询的数据起始时间。
  • endTime（结束时间）：用于基于创建时间或更新时间查询的数据结束时间。
  • pageNo（页码）：默认值为1。
  • pageSize（每页条数）：默认值为30。
  • timeType（时间段标志）：0表示基于创建时间查询，1表示基于更新时间查询。

请求参数构建

在实际操作中，我们需要根据业务需求动态构建请求参数。例如：

{
  "tenantId": "34cc4109705e4c058b7b3b0352e57d31",
  "status": "1",
  "beginTime": "{{LAST_SYNC_TIME|datetime}}",
  "endTime": "{{CURRENT_TIME|datetime}}",
  "pageNo": "1",
  "pageSize": "100",
  "timeType": "0"
}

上述JSON对象中，beginTime和endTime使用了模板变量，这些变量会在实际请求时被替换为相应的日期时间值。

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换，以便后续处理。常见的数据清洗操作包括：

  1. 字段映射：将源系统中的字段映射到目标系统所需的字段。例如，将源系统的订单ID映射到目标系统的订单编号。
  2. 数据格式转换：将日期、金额等字段转换为目标系统所需的格式。例如，将日期格式从"YYYY-MM-DD HH:MM:SS"转换为"YYYYMMDDHHMMSS"。
  3. 数据过滤：根据业务规则过滤掉不需要的数据。例如，只保留状态为已审核的订单。

以下是一个简单的数据清洗示例：

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            "order_id": record["id"],
            "order_number": record["number"],
            "order_status": record["status"],
            "created_time": convert_date_format(record["created_time"]),
            # 其他字段处理...
        }
        cleaned_data.append(cleaned_record)
    return cleaned_data

def convert_date_format(date_str):
    # 假设输入格式为"YYYY-MM-DD HH:MM:SS"，输出格式为"YYYYMMDDHHMMSS"
    return date_str.replace("-", "").replace(" ", "").replace(":", "")

数据写入

经过清洗和转换后的数据，需要写入到目标系统中。这一步通常涉及到调用目标系统的API接口，将处理好的数据批量插入或更新到目标数据库中。

def write_to_target_system(cleaned_data):
    target_api_url = "https://target-system/api/orders"
    headers = {"Content-Type": "application/json"}
    response = requests.post(target_api_url, json=cleaned_data, headers=headers)
    if response.status_code == 200:
        print("Data successfully written to target system.")
    else:
        print(f"Failed to write data: {response.text}")

通过以上步骤，我们实现了从汤臣倍健营销云获取退货入库数据，并对其进行清洗、转换和写入目标系统的全过程。这一过程不仅提高了数据处理效率，还确保了数据的一致性和准确性。 金蝶与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入SQL Server

在轻易云数据集成平台中，数据处理的第二阶段是将已经集成的源平台数据进行ETL转换，并转为目标平台SQL Server API接口所能够接收的格式，最终写入目标平台。本文将详细探讨如何配置元数据以实现这一过程。

元数据配置解析

元数据配置是实现ETL转换和数据写入的关键。以下是具体的元数据配置：

{
  "api": "insert",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "label": "主表参数",
      "field": "main_params",
      "type": "object",
      "children": [
        {"parent": "main_params", "label": "单号编号", "field": "djbh", "type": "string", "value": "{number}"},
        {"parent": "main_params", "label": "采购入库传CGC  销售退回传XHH", "field": "djlx", "type": "string", "value":"XHH"},
        {"parent": "main_params", "label": "日期", "field": "rq", "type": "string", "value":"{{auditTime|date}}"},
        {"parent": "main_params", 
         ...
        }
      ]
    },
    {
      ...
    }
  ],
  ...
}

该配置文件定义了API接口的请求方法、参数类型以及SQL语句等信息。

主表参数配置

主表参数（main_params）定义了主要的数据字段，包括单号编号、日期、时间、单位内码等。这些字段通过模板变量（如{number}、{{auditTime|date}}）从源数据中提取并进行格式化。

例如：

  • 单号编号（djbh）：使用模板变量{number}从源数据中提取单号编号。
  • 日期（rq）：使用模板变量{{auditTime|date}}将审核时间格式化为日期字符串。

这些参数最终会被映射到SQL语句中的相应字段，如下所示：

INSERT INTO gxkphz (djbh, djlx, rq, ontime, wldwid, hsje, beizhu, webdjbh) 
VALUES (:djbh, :djlx, :rq, :ontime, :wldwid, :hsje, :beizhu, :webdjbh)

扩展表参数配置

扩展表参数（extend_params_1）用于处理多条记录的数据，这些记录通常存储在数组中。每个记录包含多个字段，如单号、序号、商品内码等。

例如：

  • 商品内码（spid）：通过复杂查询从另一个集合中找到相应的商品ID。
  • 仓库编号（ckid）：直接从源数据中的仓库编号字段提取。

这些扩展表参数也会被映射到相应的SQL语句中：

INSERT INTO gxkpmx (djbh, dj_sn, spid, ckid, pihao, sxrq, baozhiqi, shl, hshj, hsje, xgdjbh, recnum,hzid ,ckname) 
VALUES (:djbh,:dj_sn,:spid,:ckid,:pihao,:sxrq,:baozhiqi,:shl,:hshj,:hsje,:xgdjbh,:recnum,:hzid ,:ckname)

数据转换与写入

在实际操作中，轻易云平台会根据上述元数据配置，自动完成以下步骤：

  1. 数据请求与清洗：从源系统获取原始数据，并进行必要的清洗和预处理。
  2. 数据转换：根据元数据配置，将清洗后的数据转换为目标平台所需的格式。
  3. 写入目标平台：通过API接口，将转换后的数据写入目标平台SQL Server。

实际案例应用

假设我们有一组退货入库的数据，需要将其写入SQL Server。首先，我们需要确保源数据符合元数据配置中的要求，例如包含正确的单号编号、日期等信息。然后，通过轻易云平台自动执行上述步骤，最终实现将退货入库的数据无缝写入SQL Server。

在整个过程中，轻易云平台提供全透明可视化操作界面，使得每个环节都清晰可见，并实时监控数据流动和处理状态，从而极大提升业务透明度和效率。

通过这种方式，我们可以高效地完成复杂的数据集成任务，实现不同系统间的数据无缝对接。 金蝶与SCM系统接口开发配置

版权声明

该文章《汤臣倍健营销云与SQLServer的数据集成方案优化》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案