轻易云ETL及MySQL接口写入数据集成实操

  • 轻易云集成顾问-钟家寿

BDS对账吉客云采购退库明细数据集成到MySQL的技术案例分享

在企业的数据处理架构中，高效、可靠的数据集成是保证业务连续性和准确性的关键环节。本文将详细探讨如何通过轻易云数据集成平台，完成BDS对账吉客云采购退库明细数据的高效采集与写入，以实现对接到MySQL数据库。

我们所面对的主要任务是从吉客云获取采购退库明细，并确保数据完整、无遗漏地导入至MySQL系统。此过程中，我们采用了轻易云的数据流设计工具，通过可视化界面配置各类节点，实现了复杂的数据转换与映射。此外，还利用其强大的监控和告警机制，实时跟踪整个集成过程中的每一步操作状态：

  1. 接口调用：首先，通过调用吉客云提供的erp.storage.goodsdocout API接口，定期抓取最新的采购退库明细数据。为了避免接口限流问题，我们配置了分页处理逻辑，分批次获取完整数据。

  2. 自定义数据转换：在抓取到初始原始数据后，根据业务需求进行字段映射与格式调整。借助轻易云的平台特性，我们能够灵活地自定义这些转换逻辑，从而确保最终导入MySQL的数据结构符合预期。

  3. 高吞吐量写入：为了要应对大量历史以及增量更新记录，必须保证这些记录能够快速且准确地插入至MySQL数据库。在这一部分，我们使用executeReturn API进行批量写入操作，大大提升了整体效率。

  4. 异常处理及重试机制：针对API调用或者执行过程中可能出现的问题，如网络抖动导致的请求失败等情况，我们设置了一套完善的错误检测和自动重试机制，以最大程度减少人为干预，并提高系统稳定性。

  5. 实时监控与日志记录：最后，为确保整个流程顺畅运行，对每一阶段都进行了详尽、实时的监控和日志记录。一旦发现任何异常情况，可以立即定位并解决问题，而不影响后续正常业务运作。

本案例展示了如何通过精心设计与合理配置，使得来自于不同来源系统的大规模异构数据能无缝、高效、安全地对接，实现企业内部信息资源优化整合。这不仅提升了各部门间协同工作的效率，同时也极大增强了整体运营管理水平。在下一步内容中，将会详细讲解具体实施方案及相关代码示例。 用友与WMS系统接口开发配置

调用吉客云接口erp.storage.goodsdocout获取并加工数据的技术案例

在数据集成的生命周期中，第一步是调用源系统接口以获取原始数据，并对其进行初步加工。本文将详细探讨如何通过轻易云数据集成平台调用吉客云接口erp.storage.goodsdocout来获取采购退库明细数据，并进行必要的数据清洗和转换。

接口调用配置

首先，我们需要配置元数据，以便正确调用吉客云的API接口。以下是我们使用的元数据配置：

{
  "api": "erp.storage.goodsdocout",
  "method": "POST",
  "number": "goodsdocNo",
  "id": "recId",
  "pagination": {
    "pageSize": 50
  },
  "idCheck": true,
  "request": [
    {"field": "pageIndex", "label": "分页页码", "type": "string"},
    {"field": "pageSize", "label": "分页页数", "type": "string", "value": "20"},
    {"field": "goodsDocNo", "label": "出库单号", "type": "string"},
    {"field": "startDate", "label": "创建时间的起始时间", "type": "string", 
        "value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field": "endDate",    "label":"创建时间的结束时间","type":"string",
        "value":"{{CURRENT_TIME|datetime}}"},
    {"field":"inouttype","label":"类型","type":"string","describe":"201-销售出库 202调拨出库 203 = 盘亏出库 204-其他出库 205采购退货 206生产领料 207组装拆卸出库 208翻新出库 209报废出库 210残次品出库 211倒冲出库 212 包材出库 215维修还厂 231成本调整出库","value":"205"},
    {"field":"sourceBillNo","label":"来源单号","type":"string"},
    {"field":"warehouseCode","label":"仓库编号","type":"string"},
    {"field":"vendCode","label":"供应商编号(往来单位)","type":"string"},
    {"field":"billNo","label":"上游单据号(关联单号)","type":"string"},
    {"field":"userName","label":"创建人名称","type":"string"}
   ]
}

请求参数解析

  1. 分页参数：pageIndex和pageSize用于控制分页请求。默认每页返回20条记录。
  2. 时间范围：startDate和endDate用于指定查询的时间范围，分别代表上次同步时间和当前时间。
  3. 类型过滤：inouttype固定为“205”，表示只查询采购退货类型的数据。
  4. 其他可选参数：如goodsDocNo, sourceBillNo, warehouseCode, vendCode, billNo, userName等，用于进一步过滤查询结果。

数据请求与清洗

在实际操作中，我们通过POST请求向吉客云API发送上述配置的参数，获取原始数据。以下是一个示例请求：

POST /api/erp.storage.goodsdocout HTTP/1.1
Host: api.jikecloud.com
Content-Type: application/json

{
    "pageIndex":1,
    "pageSize":20,
    "startDate":"2023-01-01T00:00:00Z",
    "endDate":"2023-01-31T23:59:59Z",
    "inouttype":"205"
}

响应的数据通常包含多个字段，需要根据业务需求进行清洗和转换。例如：

{
    "data":[
        {
            "recId":"12345",
            "goodsDocNo":"GD202301010001",
            "warehouseCode":"WH001",
            "vendCode":"VEND001",
            "userName":"张三",
            ...
        },
        ...
    ],
    "totalCount":100
}

在清洗过程中，我们可以执行以下操作：

  1. 字段筛选：只保留业务需要的字段，如recId, goodsDocNo, warehouseCode, vendCode, userName等。
  2. 数据转换：将日期格式统一转换为标准格式，确保后续处理的一致性。
  3. 去重处理：根据主键字段（如recId）去重，避免重复记录影响后续处理。

数据转换与写入

经过清洗后的数据，需要进一步转换为目标系统所需的格式，并写入目标数据库或系统。这一步通常包括：

  1. 字段映射：将源系统字段映射到目标系统字段。
  2. 格式调整：根据目标系统要求调整数据格式，如日期、数值精度等。
  3. 批量写入：将处理好的数据批量写入目标系统，提高效率。

例如，将清洗后的数据批量插入到目标数据库：

INSERT INTO target_table (id, doc_no, warehouse_code, vendor_code, user_name)
VALUES (?, ?, ?, ?, ?)

通过以上步骤，我们实现了从吉客云接口获取采购退货明细数据，并进行初步加工，为后续的数据处理奠定基础。在整个过程中，轻易云平台提供了全透明可视化的操作界面，使得每个环节都清晰可见，大大提升了业务透明度和效率。 数据集成平台API接口配置

轻易云数据集成平台的ETL转换与MySQLAPI接口写入技术案例

在数据集成过程中，ETL（提取、转换、加载）是一个关键环节。本文将详细探讨如何利用轻易云数据集成平台，将源平台的数据进行ETL转换，并通过MySQLAPI接口写入目标平台。

数据请求与清洗

首先，我们需要从源平台提取所需的数据。假设我们已经完成了数据请求与清洗阶段，获得了结构化的源数据。接下来，我们将重点放在如何将这些数据转换为目标平台MySQLAPI接口能够接收的格式，并最终写入目标数据库。

数据转换

在数据转换阶段，我们需要根据目标平台的要求，对数据进行必要的格式调整和字段映射。以下是一个具体的元数据配置示例，用于指导我们如何进行这些操作：

{
    "api": "executeReturn",
    "method": "POST",
    "idCheck": true,
    "request": [
        {
            "field": "main_params",
            "label": "主参数",
            "type": "object",
            "children": [
                {"field": "bill_no", "label": "出入库单号", "type": "string", "value":"{goodsdocNo}"},
                {"field": "in_out_type", "label": "出入库类型", "type": "string", 
                 "describe":"出入库类型（101-采购入库，205-采购退货）", 
                 "value":"205"},
                {"field": "in_out_date", 
                 "label":"出入库时间", 
                 "type":"datetime", 
                 "value":"_function FROM_UNIXTIME(  ( {inOutDate} / 1000 ) ,'%Y-%m-%d %T' )"},
                {"field": "in_out_reason", 
                 "label":"出入库原因", 
                 "type":"string", 
                 "value":"{inOutReason}"},
                {"field": "source_bill_no", 
                 "label":"来源单号", 
                 ...

通过上述配置，我们可以看到，每个字段都有明确的映射关系和转换规则。例如，in_out_date字段需要将Unix时间戳转换为标准日期时间格式，这里使用了FROM_UNIXTIME函数进行处理。

数据写入

在完成数据转换后，我们需要将处理好的数据写入目标平台。这一步通常涉及到调用API接口或执行SQL语句。在本案例中，我们使用MySQLAPI接口来实现这一功能。

主表插入语句
INSERT INTO `lhhy_srm`.`supplier_purchase_in_out`
(`bill_no`, `in_out_type`, `in_out_date`, `in_out_reason`, `source_bill_no`, `status`, `send_type`, `create_type`, `suppiler_code`, `suppiler_name`, `warehouse_code`, `warehouse_name`, `purchase_org_code`, `purchase_org_name`, `purchase_dept`, `purchaser`, `delivery_bill`, `take_delivery_bill`, `purchase_memo`, `remark`, `create_time`, `create_by`)
VALUES
(<{bill_no: }>, <{in_out_type: }>, <{in_out_date: CURRENT_TIMESTAMP}>, <{in_out_reason: }>, <{source_bill_no: }>, <{status: }>, <{send_type: }>, <{create_type: 1}>, <{suppiler_code: }>, <{suppiler_name: }>, <{warehouse_code: }>, <{warehouse_name: }>, <{purchase_org_code: }>, <{purchase_org_name: }>, <{purchase_dept: }>, <{purchaser: }>, <{delivery_bill: }>, <{take_delivery_bill: }>, <{purchase_memo: }>, <{remark: }>, <{create_time: }>, <{create_by: }>);
明细表插入语句
INSERT INTO `lhhy_srm`.`supplier_purchase_in_out_detail`
(`order_id`, `goods_no`, `goods_name`, `bar_code`, `spec_name`, `cate_name`, `brand_name`, `price`,`unit`,`quantity`,`tax_price`,`tax_rate`,`tax_amount`,`purchaser_tax_price`,`supplier_tax_price`,`confirm_tax_price`,`goods_memo`,`remark`)
VALUES
(<{lastInsertId: }>,<{goods_no: }>,<{goods_name: }>,<{bar_code: }>,<{spec_name: }>...

通过上述SQL语句，我们可以将主表和明细表的数据分别插入到目标数据库中。注意这里使用了占位符<{}>来表示动态参数，这些参数将在实际执行时被替换为具体的值。

API调用

最后一步是通过HTTP POST请求调用MySQLAPI接口，将构建好的SQL语句发送到目标数据库进行执行。以下是一个简单的HTTP POST请求示例：

import requests

url = 'http://your-mysql-api-endpoint/executeReturn'
headers = {'Content-Type': 'application/json'}
data = {
    # 包含构建好的SQL语句和其他必要参数
}

response = requests.post(url, headers=headers, json=data)

if response.status_code == 200:
    print('Data inserted successfully')
else:
    print('Failed to insert data:', response.text)

通过上述代码，我们可以将构建好的SQL语句发送到MySQLAPI接口，并检查返回结果以确认数据是否成功插入。

总结来说，通过轻易云数据集成平台的ETL功能，我们能够高效地将源平台的数据转换为目标平台所需的格式，并通过MySQLAPI接口实现无缝的数据写入。这不仅提升了数据处理效率，也确保了数据的一致性和准确性。 电商OMS与WMS系统接口开发配置

版权声明

该文章《高效数据集成：如何将吉客云采购退库数据集成到MySQL》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与聚水潭对接
更多系统对接方案