ETL转换与数据写入：金蝶云星辰V2与汤臣倍健对接

  • 轻易云集成顾问-何语琴

汤臣倍健营销云数据集成到金蝶云星辰V2的系统对接案例分享

在本案例中，我们将详细探讨汤臣倍健营销云数据如何高效、安全地集成到金蝶云星辰V2系统，实现仓库调拨业务（方案名称：仓库调拨-杭州汤臣倍健）。此项任务依赖于轻易云数据集成平台强大的可视化和实时监控功能，以及其提供的多种高度定制化的数据转换和质量监控能力。

项目起始阶段，首先调用汤臣倍健营销云接口/erp/api/order/query/borrowOrder来抓取所需的借货订单数据。由于API接口会涉及分页和限流问题，我们实现了一个可靠且定时触发的数据抓取机制，并加入了错误重试机制，以确保数据不漏单。

从物流与库存管理角度出发，该解决方案需要处理大量的数据写入操作。因此，通过轻易云平台支持的大容量、高吞吐量特性，大批量的数据能够快速、准确地传输至金蝶云星辰V2。在这一过程中，还设置了集中式监控和告警系统，实时跟踪每个批次任务的状态，确保各环节无缝对接。

其次，在进行跨系统对接时，不同系统间的数据格式差异是必须克服的问题。我们使用自定义的数据转换逻辑，将从汤臣倍健营销云获取的原始订单数据格式化后，映射为符合金蝶云星辰V2 API /jdy/v2/scm/inv_tfmove要求的目标结构。这一过程通过直观的可视化工具设计并实施，使得整个数据流程清晰明了、可追溯。

最后，为保障所有写入操作合规完成，每当向金蝶云星辰V2注入新纪录时，通过其资产管理功能全面掌握API资源使用情况，并进行必要优化配置。同时，也结合实时日志记录与异常检测手段，即使发生任何突发状况，都能迅速反应并做出适当调整，从而最大限度减少业务影响，实现稳定运行。 金蝶与WMS系统接口开发配置

调用源系统汤臣倍健营销云接口/erp/api/order/query/borrowOrder获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用汤臣倍健营销云的接口/erp/api/order/query/borrowOrder，并对获取的数据进行初步加工。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用API接口。以下是关键的元数据配置：

{
  "api": "/erp/api/order/query/borrowOrder",
  "method": "POST",
  "number": "number",
  "id": "id",
  "pagination": {
    "pageSize": 30
  },
  "omissionRemedy": {
    "crontab": "2 */2 * * *",
    "takeOverRequest": [
      {
        "field": "beginTime",
        "label": "修改时间开始段",
        "type": "string",
        "is_required": true,
        "value": "{{HOURE_AGO_2|datetime}}"
      }
    ]
  },
  "condition": [
    [
      {
        "field": "subtype",
        "logic": "eq",
        "value": "301"
      }
    ]
  ],
  "idCheck": true,
  "request": [
    {
      "field": "tenantId",
      "label": "经销商id",
      "type": "string",
      "describe": "(必填,营销云id)如：08e2fd9d074f4ef7b5e6416b74d006d6",
      "value": ""
    },
    {
      "field": "number",
      "label": "(调拨出库单)",
      "type": "string",
      "",
      "",
      "",
      "",
    },
    {

    },

  ]
}

在这个配置中，我们定义了API的路径、请求方法（POST）、分页信息以及必要的请求参数。特别注意的是，tenantId是必填项，用于标识经销商ID。

请求参数详解

  1. tenantId: 经销商ID，必填项，用于唯一标识请求来源。
  2. number: 系统订单号（调拨出库单），如果提供此参数，其他时间状态等条件无效。
  3. status: 订单状态，0表示未审核，1表示已审核（已出库）。
  4. beginTime: 开始时间，基于更新时间查询，如果不传单号，此字段必填。
  5. endTime: 结束时间，同样基于更新时间查询，如果不传单号，此字段必填。
  6. pageNo: 页码，默认值为1。
  7. pageSize: 每页条数，默认值为30。

数据请求与清洗

在实际操作中，我们会先构建一个完整的请求体，然后通过POST方法发送到指定API路径。以下是一个示例请求体：

{
  “tenantId”: “08e2fd9d074f4ef7b5e6416b74d006d6”,
  “status”: “1”,
  “beginTime”: “2023-10-01T00:00:00”,
  “endTime”: “2023-10-02T00:00:00”,
  “pageNo”: “1”,
  “pageSize”: “30”
}

发送请求后，我们会接收到一组订单数据。这些数据可能包含冗余或不符合业务需求的信息，因此需要进行清洗和初步加工。例如，可以过滤掉无效订单或根据特定字段进行排序。

数据转换与写入

在完成数据清洗后，我们需要将其转换为目标系统所需的格式，并写入到相应的数据存储中。这一步通常涉及到字段映射、格式转换等操作。例如，将日期格式从YYYY-MM-DD HH:mm:ss转换为目标系统所需的格式。

以下是一个简单的数据转换示例：

{
   “order_id”: “123456”,
   “order_status”: “已审核”,
   “update_time”: “2023-10-01T12:34:56”
}

异常处理与重试机制

在调用API过程中，可能会遇到网络异常或接口响应超时等问题。为了确保数据集成过程的稳定性和可靠性，可以设置重试机制。例如，通过配置omissionRemedy中的crontab和takeOverRequest字段，实现定时重试和补偿机制。

{
   “crontab”: “2 */2 * * *”,
   “takeOverRequest”: [
     {
       “field”: “beginTime”,
       “value”: "{{HOURE_AGO_2|datetime}}"
     }
   ]
}

以上配置表示每隔两小时重新尝试获取过去两小时内的数据，以确保不会遗漏任何重要信息。

通过上述步骤，我们可以高效地调用汤臣倍健营销云接口获取并加工数据，为后续的数据集成和分析打下坚实基础。 泛微OA与ERP系统接口开发配置

数据集成与ETL转换：实现金蝶云星辰V2 API接口的数据写入

在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，转为目标平台金蝶云星辰V2 API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台配置元数据，完成这一过程。

1. 配置API接口元数据

我们首先需要配置金蝶云星辰V2的API接口元数据。根据提供的元数据配置，我们可以看到该API接口/jdy/v2/scm/inv_tfmove是通过POST方法来执行调拨操作的。以下是具体的字段配置：

  • bill_date：出库日期，格式为YYYY-MM-DD。
  • trans_type：业务类型，默认值为1（同价调拨）。
  • trans_fer_status：调拨状态，默认值为3（全部入库）。
  • remark：单据备注，包含来自营销云的单据编号。
  • material_entity：商品分录，是一个数组，包含多个商品条目。

2. 数据提取与清洗

在ETL流程中，首先需要从源系统提取数据并进行清洗。这一步骤确保数据符合目标系统的要求。例如，对于日期字段，需要确保其格式为YYYY-MM-DD；对于数量字段，需要确保其数值正确且单位一致。

3. 数据转换

在数据转换阶段，我们将源系统的数据映射到目标系统所需的数据结构中。以下是具体的字段映射规则：

  • bill_date: 映射到源系统中的创建日期字段 {created}。
  • trans_type: 固定值为1（同价调拨）。
  • trans_fer_status: 固定值为3（全部入库）。
  • remark: 映射到源系统中的单据编号 {number}，并添加前缀 "来自营销云"。
  • material_entity: 商品分录数组，需要进一步细化每个子字段的映射。

对于商品分录中的子字段：

  • material_id: 根据商品编码从特定集合中查找ID。
  • in_stock_id: 根据调入仓库编码从特定集合中查找ID。
  • out_stock_id: 根据调出仓库编码从特定集合中查找ID。
  • batch_no: 映射到批次号 {itemList._Flot}。
  • kf_date: 映射到生产日期 {itemList._Fmfg}。
  • valid_date: 映射到有效日期 {itemList._Fexp}。
  • kf_period: 固定值为730天（保质期天数）。
  • kf_type: 固定值为1（保质期单位为天）。
  • qty: 映射到数量 {itemList.opernumber}。
  • unit_id: 根据商品编码从特定集合中查找单位ID。

4. 数据写入

完成数据转换后，我们使用POST方法将转换后的数据写入金蝶云星辰V2 API接口。以下是一个示例请求体：

{
    "bill_date": "2023-10-01",
    "trans_type": "1",
    "trans_fer_status": "3",
    "remark": "来自营销云123456",
    "material_entity": [
        {
            "material_id": "12345",
            "in_stock_id": "67890",
            "out_stock_id": "54321",
            "batch_no": "BATCH001",
            "kf_date": "2023-09-01",
            "valid_date": "2024-09-01",
            "kf_period": "730",
            "kf_type": "1",
            "qty": "100",
            "unit_id": "UNIT001"
        }
    ]
}

通过这种方式，我们可以确保源系统的数据经过清洗和转换后，能够无缝对接到金蝶云星辰V2，并满足其API接口的所有要求。

5. 实时监控与错误处理

在整个ETL过程中，实时监控和错误处理至关重要。我们需要确保每一步都能成功执行，并在出现错误时及时捕获和处理。例如，如果某个字段映射失败或API请求返回错误，我们需要记录详细日志并采取相应措施，以保证数据集成过程的顺利进行。

通过上述步骤，我们可以高效地完成从源系统到金蝶云星辰V2 API接口的数据集成，实现不同系统间的数据无缝对接。 金蝶与MES系统接口开发配置

版权声明

该文章《ETL转换与数据写入：金蝶云星辰V2与汤臣倍健对接》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案