从ETL转换到金蝶云API写入：数据集成全过程解析

  • 轻易云集成顾问-卢剑航

MySQL数据集成到金蝶云星空：W物料分配-广东天一-组装物料部分

在本技术案例中，我们聚焦于将MySQL数据库中的数据高效、安全地集成至金蝶云星空平台，具体应用场景为“W物料分配-广东天一-组装物料部分”。通过配合API接口的调用及轻易云的数据集成功能，实现对企业资源的精准管理和优化。

数据源与目标系统简介

首先，需要明确的是我们的主要数据源是MySQL数据库，通过select API接口获取相关业务信息。而作为目标系统，金蝶云星空使用allocate API接口进行数据写入，这两个操作是实现整个集成流程的关键步骤。

高吞吐量的数据写入能力

为了确保大量业务数据能够快速、高效地被引入到目标系统中，选用了高吞吐量的数据写入能力。在实际运行过程中，这种特性显著提升了整个数据处理链条的时效性。通过合理配置，可以使得来自MySQL的大批量原材料资料几乎实时反映在金蝶云星空当中，为组件生产过程提供可靠的数据支持。

实时监控与告警机制

我们部署了一套集中化的监控和告警系统，用于实时跟踪每个数据集成任务的执行状态和性能表现。当检测到异常情况，如网络故障或API响应时间过长，该机制会自动发出告警通知，并可根据预设规则触发重试逻辑。这不仅保证了系统稳定性，更有效减小因意外导致的数据丢失或重复问题。

自定义转换逻辑与格式差异处理

由于不同平台间可能存在着一定的数据格式差异，我们引入了自定义转换逻辑。例如，在从MySQL提取出来的一些特定字段需要转化为满足金蝶云星空规范的新字段结构。这个过程使得两端之间复杂多样的信息可以准确匹配，从而确保业务运作的一致性和完整性。

以上介绍仅涵盖了项目实施中的一部分关键技术点，在接下来的内容中，将详细描述如何具体配置各类参数，以及应对各种潜在挑战的方法论。 泛微OA与ERP系统接口开发配置

调用MySQL接口获取并加工数据的技术实现

在数据集成过程中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用MySQL接口select获取并加工数据。

元数据配置解析

首先，我们需要理解元数据配置的各个字段及其作用：

{
  "api": "select",
  "effect": "QUERY",
  "method": "POST",
  "id": "sourceid",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "value": "1",
      "children": [
        {
          "field": "limit",
          "label": "limit",
          "type": "string",
          "value": "2000"
        },
        {
          "field": "offset",
          "label": "offset",
          "type": "string"
        }
      ]
    }
  ],
  ...
}
  • api: 表示调用的API类型，这里是select，用于查询数据。
  • effect: 定义了API的作用类型，这里是QUERY，表示查询操作。
  • method: 指定HTTP请求方法，这里是POST。
  • id: 标识唯一记录的字段名，这里是sourceid。
  • idCheck: 表示是否检查ID的唯一性。

请求参数配置

请求参数部分定义了需要传递给API的参数：

"request": [
  {
    ...
    "children": [
      {
        ...
        {
          ...
        },
        {
          ...
        }
      ]
    ]
  }
]

这里定义了两个子参数：

  • limit: 限制返回记录数，默认值为2000。
  • offset: 偏移量，用于分页查询。

SQL查询语句

核心部分是SQL查询语句，它定义了从MySQL数据库中提取哪些数据：

"otherRequest":[
  {
    ...
    "value":"SELECT\n\tpart_no AS 物料编号,\n\t'1' AS is_sucess,\n\tid AS sourceid \nFROM\n\tmbs_bom_take_apart_detail \nWHERE\n\tbusiness_uuid IN (\n\tSELECT\n\t\ttake_apart_resume_uuid \n\tFROM\n\t\tmbs_bom_take_apart_resume \n\tWHERE\n\t\ttake_apart_type IN ( '1', '2' ) \n\tAND bom_uuid IN ( SELECT bom_uuid FROM mbs_order_bom WHERE delivery_org = 'T04' )) \n\tOR business_uuid IN (\n\tSELECT\n\t\tspare_part_uuid \nFROM\n\tmbs_eng_spare_part_task \nWHERE\norder_uuid IN ( SELECT order_uuid FROM mbs_order_bom WHERE delivery_org = 'T04' ))\nand is_success<>'1'\nlimit :limit offset :offset"
  }
]

这段SQL语句执行以下操作：

  1. 从表mbs_bom_take_apart_detail中选择字段part_no, '1', 和 id，分别映射为物料编号、is_sucess和sourceid。
  2. 使用子查询过滤符合条件的记录，其中包括：
    • take_apart_resume_uuid在特定条件下匹配的记录。
    • spare_part_uuid在特定条件下匹配的记录。
  3. 最后，通过参数化查询限制返回结果数量和偏移量。

实际调用过程

在实际调用过程中，平台会根据上述配置生成并发送HTTP POST请求到MySQL数据库接口。请求体包含必要的参数，如下所示：

{
  "main_params":{
    "limit":"2000",
    // offset可以根据具体需求动态设置
    // 如 {"offset":"100"}
  },
  // SQL语句中的占位符 :limit 和 :offset 会被替换为实际值
}

平台将自动处理响应，并根据配置进行相应的数据清洗和转换。

自动填充与补救机制

为了确保数据完整性和一致性，平台提供了自动填充响应和遗漏补救机制：

"autoFillResponse": true,
"omissionRemedy":{
  ...
}
  • autoFillResponse: 启用自动填充响应功能。
  • omissionRemedy: 配置遗漏补救机制，如定时任务（crontab）等。

通过这些配置，可以确保即使在某些情况下出现数据遗漏，也能通过补救机制进行修复。

综上所述，通过合理配置元数据，可以高效地调用MySQL接口获取并加工数据，为后续的数据转换与写入奠定坚实基础。 如何开发企业微信API接口

数据集成生命周期第二步：ETL转换与写入金蝶云星空API接口

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是至关重要的一步。本文将深入探讨如何使用轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，并最终通过金蝶云星空API接口写入目标平台。

元数据配置解析

在进行ETL转换之前，我们需要先了解元数据配置。以下是我们将在本文中使用的元数据配置：

{
  "api": "allocate",
  "effect": "EXECUTE",
  "method": "POST",
  "number": "number",
  "id": "id",
  "name": "name",
  "idCheck": true,
  "request": [
    {
      "field": "FormId",
      "label": "业务对象表单Id",
      "type": "string",
      "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder",
      "value": "BD_MATERIAL"
    },
    {
      "field": "TOrgIds",
      "label": "目标组织内码",
      "type": "string",
      "describe": "需要分配的目标组织内码，字符串类型，格式：123,3123,5123,5123",
      "value": "802345"
    },
    {
      "field": "PkIds",
      "label": "需要分配的物料内码",
      "type": "string",
      "describe": 
        "\"被分配的物料内码集合，字符串类型，格式：123,312,4123\"",
        \"value\": \"_mongoQuery 9f845ce5-cf31-3ae6-ab67-21f2d881489b findField=content.FMasterId where={\\\"content.FNumber\\\":{\\\"$eq\\\":\\\"{{物料编号}}\\\"}}\"
    },
    {
      ...
    }
  ],
  ...
}

数据请求与清洗

在ETL过程中，首先需要从源系统中提取数据并进行清洗。假设我们已经完成了这一步，现在我们拥有了清洗后的原始数据。接下来，我们将这些数据转换为金蝶云星空API能够接受的格式。

数据转换

为了确保数据能够正确写入金蝶云星空，我们需要将原始数据按照API要求进行转换。以下是一个示例代码片段，展示了如何将原始数据映射到API请求所需的字段：

import requests
import json

# 原始数据
raw_data = {
    '物料编号': 'MATERIAL_001',
    '组织编号': 'ORG_001'
}

# 转换后的数据
transformed_data = {
    'FormId': 'BD_MATERIAL',
    'TOrgIds': '802345',
    'PkIds': f"_mongoQuery 9f845ce5-cf31-3ae6-ab67-21f2d881489b findField=content.FMasterId where={{\"content.FNumber\":{{\"$eq\":\"{raw_data['物料编号']}\"}}}}",
    'IsAutoSubmitAndAudit': True
}

# 将转换后的数据转为JSON格式
json_data = json.dumps(transformed_data)

数据写入

完成数据转换后，我们可以使用HTTP POST方法将其写入金蝶云星空。以下是一个示例代码片段，展示了如何通过API接口执行这个操作：

# API URL
api_url = 'https://api.kingdee.com/allocate'

# 请求头部信息
headers = {
    'Content-Type': 'application/json'
}

# 发起POST请求
response = requests.post(api_url, headers=headers, data=json_data)

# 检查响应状态码
if response.status_code == 200:
    print('Data successfully written to Kingdee Cloud.')
else:
    print(f'Failed to write data. Status code: {response.status_code}')

技术要点总结

  1. 元数据配置：理解并正确配置元数据是成功进行ETL转换的前提。
  2. 数据清洗与转换：确保原始数据经过清洗后，能够准确映射到目标平台所需的字段格式。
  3. API请求：通过HTTP POST方法，将转换后的JSON格式数据发送到金蝶云星空API接口。

通过上述步骤，我们实现了从源平台到目标平台的数据无缝对接。这不仅提升了业务效率，也确保了每个环节的数据透明度和准确性。 打通用友BIP数据接口

版权声明

该文章《从ETL转换到金蝶云API写入：数据集成全过程解析》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案