从金蝶云星空到MySQL的数据集成：关键技术与实施细节

  • 轻易云集成顾问-林峰

金蝶云星空数据集成到MySQL的技术案例分享

在本案例中，我们将详细探讨如何通过轻易云数据集成平台实现金蝶云星空的数据高效、安全地集成到MySQL数据库。本次实际运行方案名称为SZ-组织间结算价目表拉取方案-修改，旨在解决数据规模大、频率高、质量要求高等多重挑战。

案例背景及技术需求

为了确保企业财务与管理系统中的组织间结算价目表能够及时准确反映，各系统之间的数据交互需具备可靠性和实时性。我们采用了金蝶云星空API接口executeBillQuery抓取所需数据，并使用MySQL API execute进行数据存储。在这一过程中，需要重点处理以下几个关键技术环节：

  1. 大量数据快速写入：由于涉及的数据量较大，效率是关键。因此，本次方案特别关注如何优化批量数据写入，提高吞吐量。

  2. 定时抓取任务的可靠性：利用集中监控和告警系统，加强对定时任务执行过程中的状态跟踪和异常预警，确保每一个作业都能按计划顺利完成。

  3. 分页与限流机制：金蝶云星空API有调用限制，为此必须设计合理的分页策略并结合限流控制，避免因过度请求导致接口性能下降甚至服务被禁用。

  4. 自定义转换逻辑支持：由于在格式上存在差异，我们需要针对特定业务需求编写自定义的数据转换程序，以保证源端与目标端的数据结构一致，从而提高兼容性。

  5. 异常处理与错误重试机制：为保障整个流程的健壮性，当出现网络波动或其他不可预见的问题时，将通过设立完整的错误捕获和自动重试机制来确保成功率。

接下来，我们将逐步剖析上述各个环节的具体实施过程及相关技术细节。 用友与SCM系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的第一步。本文将深入探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口，获取并加工所需的数据。

接口配置与请求参数

首先，我们需要了解executeBillQuery接口的基本配置和请求参数。根据提供的元数据配置，接口采用POST方法进行调用，主要用于查询操作（effect为QUERY）。

以下是请求参数的详细说明：

  • 实体行主键（FEntryID）: 对应金蝶系统中的FEntity_FEntryID字段。
  • 实体主键（FID）: 对应金蝶系统中的FID字段。
  • 核算组织（FCREATE_ORG_ID）: 对应金蝶系统中的FCreateOrgId.FNumber字段。
  • 创建日期（FCREATE_DATE）: 对应金蝶系统中的FCreateDate字段。
  • 最后修改日期（FMODIFIER_DATE）: 对应金蝶系统中的FModifyDate字段。
  • 物料编码（FMATERIALID）: 对应金蝶系统中的FMATERIALID.FNumber字段。
  • 生效日期（FENTRY_EFFECTIVE_DATE）: 对应金蝶系统中的FEntryEffectiveDate字段。
  • 失效日期（FENTRY_EXPRIY_DATE）: 对应金蝶系统中的FEntryExpriyDate字段。
  • 行审核状态（FROW_AUDIT_STATUS）: 对应金蝶系统中的FRowAuditStatus字段。
  • 含税单价（FTAX_PRICE）: 对应金蝶系统中的FTaxPrice字段。

此外，还有一些其他请求参数，用于控制查询行为：

  • 最大行数（Limit）: 设置为2000，表示每次查询最多返回2000行数据。
  • 开始行索引（StartRow）: 用于分页查询，通常由外部变量{PAGINATION_START_ROW}动态赋值。
  • 返回总行数（TopRowCount）: 用于指定返回的数据总行数。
  • 过滤条件（FilterString）: 示例写法为FCreateOrgId.FNumber='T02' and FRowAuditStatus='A' and FModifyDate>='{{LAST_SYNC_TIME|datetime}}'，用于筛选符合条件的数据。
  • 排序条件（OrderString）: 示例写法为FCreateDate desc，表示按创建日期降序排列。
  • 需查询的字段key集合（FieldKeys）: 通过解析器将数组转换为字符串，例如：[ "FID", "FMATERIALID.FNumber", "FTaxPrice" ]将被解析为字符串形式。

实际应用案例

在实际应用中，我们可以通过以下步骤来调用接口并处理返回的数据：

  1. 构建请求体 根据元数据配置构建请求体，例如：

    {
   "FormId": "IOS_PriceList",
   "FieldKeys": "FID,FMATERIALID.FNumber,FTaxPrice",
   "FilterString": "FCreateOrgId.FNumber='T02' and FRowAuditStatus='A' and FModifyDate>='2023-01-01'",
   "OrderString": "FCreateDate desc",
   "Limit": 2000,
   "StartRow": 0
}

  2. 发送请求 使用轻易云平台提供的API调用功能发送POST请求，并接收响应数据。

  3. 处理响应数据 响应数据通常会包含多个记录，每个记录对应一个物料信息。我们可以根据业务需求对这些数据进行进一步处理和清洗，例如：

    • 转换日期格式
    • 计算价格区间
    • 过滤无效或重复记录

  4. 写入目标系统 最后，将处理后的数据写入目标系统，如数据库或另一个业务应用中，以完成整个数据集成过程。

示例代码

以下是一个示例代码片段，用于展示如何在轻易云平台上实现上述步骤：

import requests
import json

# 构建请求体
request_body = {
    "FormId": "IOS_PriceList",
    "FieldKeys": ",".join(["FID", "FMATERIALID.FNumber", "FTaxPrice"]),
    "FilterString": "FCreateOrgId.FNumber='T02' and FRowAuditStatus='A' and FModifyDate>='2023-01-01'",
    "OrderString": "FCreateDate desc",
    "Limit": 2000,
    "StartRow": 0
}

# 发送POST请求
response = requests.post(
    url="https://api.kingdee.com/executeBillQuery",
    headers={"Content-Type": "application/json"},
    data=json.dumps(request_body)
)

# 处理响应数据
if response.status_code == 200:
    data = response.json()
    for record in data:
        # 数据清洗和加工逻辑
        print(record)
else:
    print(f"Error: {response.status_code}")

# 将处理后的数据写入目标系统 (示例)
# write_to_target_system(processed_data)

通过以上步骤，我们可以高效地从金蝶云星空获取所需的数据，并进行必要的加工和处理，为后续的数据集成奠定基础。 打通钉钉数据接口

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口

在数据集成生命周期的第二步中，关键任务是将已集成的源平台数据进行ETL转换，转为目标平台 MySQL API 接口所能接收的格式，并最终写入目标平台。以下是具体操作步骤和技术细节。

数据请求与清洗

首先，从源系统拉取数据。假设我们已经完成了数据请求和清洗阶段，获得了如下结构的数据：

{
  "FCREATE_ORG_ID": "1001",
  "FID": "2002",
  "FMATERIALID": "3003",
  "FTAX_PRICE": "400.50",
  "FCREATE_DATE": "2023-01-01",
  "FMODIFIER_DATE": "2023-10-01",
  "FENTRY_EFFECTIVE_DATE": "2023-02-01",
  "FENTRY_EXPRIY_DATE": "2024-01-01",
  "FROW_AUDIT_STATUS": "1",
  "FEntryID": "5005",
  "FForbidStatus": "0"
}

数据转换与写入

接下来，我们将这些数据转换为 MySQL API 接口所能接收的格式，并通过 POST 请求将其写入目标平台。根据元数据配置，API 接口定义如下：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "",
      "children": [
        {"field":"FCreateOrgID","label":"核算组织","type":"string","value":"{FCREATE_ORG_ID}"},
        {"field":"FID","label":"实体主键","type":"string","value":"{FID}"},
        {"field":"FMaterialID","label":"物料编码","type":"string","value":"{FMATERIALID}"},
        {"field":"FTaxPrice","label":"含税单价","type":"string","value":"{FTAX_PRICE}"},
        {"field":"FCreateDate","label":"创建日期","type":"string","value":"{FCREATE_DATE}"},
        {"field":"FModifyDate","label":"最后修改日期","type":"string","value":"{FMODIFIER_DATE}"},
        {"field":"FEntryEffectiveDate","label":"生效日期","type":"string","value":"{FENTRY_EFFECTIVE_DATE}"},
        {"field":"FEntryExpriyDate","label":"失效日期","type":"string","value":"{FENTRY_EXPRIY_DATE}"},
        {"field":"FRowAuditStatus","label":"行审核状态","type":"string","value":"{FROW_AUDIT_STATUS}"},
        {"field":"FEntity_FEntryID","label":"实体行主键","type":"string","value":"{FEntryID}"},
        {"field":"FForbidStatus","label":"","type":"","value":{"$ref":["$.main_params.FForbidStatus"]}}
      ]
    }
  ],
  "otherRequest":[
    {
      "field": "main_sql",
      "label": "",
      "type": "",
      ...
    }
  ]
}

构建请求体

根据上述元数据配置，我们需要构建如下的请求体：

{
  'main_params': {
    'FCreateOrgID': '1001',
    'FID': '2002',
    'FMaterialID': '3003',
    'FTaxPrice': '400.50',
    'FCreateDate': '2023-01-01',
    'FModifyDate': '2023-10-01',
    'FEntryEffectiveDate': '2023-02-01',
    'FEntryExpriyDate': '2024-01-01',
    'FRowAuditStatus': '1',
    'FEntity_FEntryID': '5005',
    'FForbidStatus': '0'
  }
}

执行 SQL 更新语句

在构建好请求体后，通过 POST 方法调用 MySQL API 接口，将数据写入目标数据库。对应的 SQL 更新语句为：

UPDATE kingdee_inter_oganization_price 
SET 
 FCreateOrgID = :FCreateOrgID,
 FID = :FID,
 FMaterialID = :FMATERIALID,
 FTaxPrice = :FTAX_PRICE,
 FCreateDate = :FCREATE_DATE,
 FModifyDate = :FMODIFIER_DATE,
 FEntryEffectiveDate = :FENTRY_EFFECTIVE_DATE,
 FEntryExpriyDate = :FENTRY_EXPRIY_DATE,
 FRowAuditStatus = :FROW_AUDIT_STATUS,
 FForbidStatus = :FFORBID_STATUS 
WHERE 
 FEntity_FEntryID = :ENTITY_FENTRY_ID;

该 SQL 更新语句确保了数据的准确性和一致性。

实际调用示例

最终，我们通过 HTTP 客户端（如 curl 或其他编程语言中的 HTTP 库）发送 POST 请求：

curl -X POST http://example.com/api/execute \
-H 'Content-Type: application/json' \
-d '{"main_params":{"FCreateOrgID":"'1001'...}}'

或者使用 Python 的 requests 库：

import requests
import json

url = 'http://example.com/api/execute'
headers = {'Content-Type': 'application/json'}
data = {
   # 构建好的请求体
}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json())

通过以上步骤，我们成功地将源平台的数据经过 ETL 转换后，写入到目标平台 MySQL 中，实现了不同系统间的数据无缝对接。 数据集成平台可视化配置API接口

版权声明

该文章《从金蝶云星空到MySQL的数据集成：关键技术与实施细节》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台架构
更多系统对接方案