利用轻易云平台进行ETL转换与数据写入金蝶云星空

2021-12-03 14:59:44
轻易云集成顾问-钟家寿

金蝶云星空数据集成方案案例分享：分布调出（寄售）-直接调拨OK

在实际的企业运营过程中，跨系统的数据集成往往是一个复杂而又富有挑战的任务。本文将具体解析如何利用轻易云数据集成平台，将金蝶云星空系统中的数据进行高效且无缝地对接。本次案例聚焦于“分布调出（寄售）-直接调拨OK”，其中关键步骤之一是实现从京东自营客户仓库到目标仓库的数据传输。

核心技术点：

API调用与数据写入：为了确保数据能够准确、高效地写入到金蝶云星空中，我们采用了batchSave API。这一API支持高吞吐量的数据批量处理，使得大量业务信息可以快速、可靠地被集成到目标系统中。同时，通过设置批量大小和并发数，可以有效提升写入效率。
实时监控与告警机制：在大规模数据处理过程中，实时监控和及时告警至关重要。我们配置了集中化的监控和告警体系，通过全透明可视化界面来跟踪每个接口的调用状态以及整体性能。一旦出现异常情况，可立即通过触发相应告警策略进行干预，确保业务不中断。
定制化数据转换逻辑：由于不同系统间可能存在较大的结构差异，因此需要灵活、强大的转换功能。基于特定业务需求，我们定义了一套专属的数据映射规则，从而实现精准且高效的数据转换，为后续读写操作打下坚实基础。
分页与限流问题解决：针对executeBillQuery API的一些限制，我们采取了分页抓取和动态限流策略。在极端高并发情况下，可根据服务器负载自动调整请求速率，避免因短时间内访问过多导致服务不可用的问题，同时保证数据不漏单、不重复。
异常重试机制：面对网络波动或API响应超时等突发情形，多层次错误处理及重试机制显得尤为重要。通过捕获各类异常，并设定合理的重试策略，可以有效降低单次失败带来的影响，使整个流程更具弹性和稳健性。

此方案不仅展示了如何利用轻易云平台在实际项目中实施高级别的数据对接，还体现了其独特优势，如可视化配置、高吞吐能效、全面质量控制等。在下一步详细介绍中，我们将逐个拆解上述技术要点，并提供具体代码示例以供参考。

如何开发企业微信API接口

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的第一步。本文将详细介绍如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取和加工数据。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用金蝶云星空的executeBillQuery接口。以下是关键的元数据配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FBillNo",
  "id": "FSTKTRSOUTENTRY_FEntryID",
  "pagination": {
    "pageSize": 500
  },
  "idCheck": true,
  "request": [
    {"field":"FSTKTRSOUTENTRY_FEntryID","label":"FEntryID","type":"string","value":"FSTKTRSOUTENTRY_FEntryID"},
    {"field":"FID","label":"实体主键","type":"string","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","value":"FBillNo"},
    {"field":"FDocumentStatus","label":"单据状态","type":"string","value":"FDocumentStatus"},
    {"field":"FStockOrgID_FNumber","label":"调入库存组织","type":"string","value":"FStockOrgID.FNumber"},
    {"field":"FDate","label":"日期","type":"string","value":"FDate"},
    {"field":"FBillTypeID","label":"单据类型","type":"string","value":"FBillTypeID"},
    {"field":"FTransferDirect","label":"调拨方向","type":"string","value":"FTransferDirect"},
    {"field":"FNOTE","label":"备注","type":"string","value":"FNOTE"},
    {"field":"FCreateDate","label":"创建日期","type":"string","value":"FCreateDate"},
    {"field":"FApproveDate","label":"审核日期","type":"string","value":"FApproveDate"},
    {"field":"FTransferBizType","label":"调拨类型","type":"string","value":"FTransferBizType"},
    {"field": "FBizType", "label": "业务类型", "type": "string", "value": "FBizType"}
  ],
  "otherRequest":[
    {
      "field": "Limit",
      "label": "最大行数",
      "type": "string",
      "describe": "金蝶的查询分页参数",
      "value": "{PAGINATION_PAGE_SIZE}"
    },
    {
      "field": "StartRow",
      "label": "开始行索引",
      "type": "string",
      "describe": "金蝶的查询分页参数",
      "value": "{PAGINATION_START_ROW}"
    },
    {
      "field": "FilterString",
      "label": "过滤条件",
      "type": "string",
      ...

请求参数解析

API和方法：我们使用POST方法调用executeBillQuery API。
分页设置：每次请求获取500条记录，通过Limit和StartRow控制分页。
字段映射：定义了多个字段，如FBillNo（单据编号）、FID（实体主键）等，用于从源系统提取相应的数据。

构建请求体

根据上述配置，我们构建请求体如下：

数据清洗与转换

在获取到原始数据后，下一步是对数据进行清洗和转换。以下是一些常见的数据处理操作：

字段重命名：将源系统中的字段名称转换为目标系统所需的名称。
数据格式转换：例如，将日期字符串转换为标准日期格式。
过滤无效数据：移除不符合业务规则的数据记录。

示例代码：

import pandas as pd

# 假设我们已经从API获取了JSON响应，并将其加载到DataFrame中
data = pd.DataFrame(api_response)

# 字段重命名
data.rename(columns={
    'FBillNo': 'bill_number',
    'FID': 'entity_id',
}, inplace=True)

# 日期格式转换
data['date'] = pd.to_datetime(data['date'])

# 过滤无效数据
data = data[data['status'] == 'Approved']

# 清洗后的数据可以进一步处理或写入目标系统

数据写入目标系统

经过清洗和转换后的数据，可以通过轻易云平台写入到目标系统。这一步通常涉及到调用目标系统的API或数据库操作。

示例代码：

import requests

for index, row in data.iterrows():
    payload = row.to_dict()

    response = requests.post(target_system_api_url, json=payload)

    if response.status_code == 200:
        print(f"Record {row['bill_number']} successfully written to target system.")

通过上述步骤，我们实现了从金蝶云星空接口获取、清洗、转换并写入目标系统的数据集成流程。这一过程确保了不同系统间的数据无缝对接，提高了业务透明度和效率。金蝶与SCM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成过程中，将源平台的数据转换为目标平台可接受的格式是关键的一步。本文将详细探讨如何使用轻易云数据集成平台，将已经集成的源平台数据进行ETL（提取、转换、加载）处理，最终通过金蝶云星空API接口写入目标平台。

元数据配置解析

元数据配置是实现数据转换和写入的核心部分。以下是一个详细的元数据配置示例：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "method": "merge",
    "field": "FBillNo,FTransferDirect,FDate",
    "bodyName": "details",
    "bodySum": ["FQty"],
    "header": ["FBillNo", "FTransferDirect", "FDate"],
    "body": ["FMaterialID_FNumber", "FQty"]
  },
  ...
}

该配置指定了使用batchSave API，通过POST方法提交请求，并启用了ID检查。操作部分定义了如何合并和处理字段，包括头部和明细信息。

请求字段映射

请求字段映射定义了从源系统提取的数据如何映射到目标系统的字段：

[
  {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{FBillNo}"},
  {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"ZJDB01_SYS"},
  {"field":"FBizType","label":"业务类型","type":"string","describe":"下拉列表","value":"NORMAL"},
  {"field":"FTransferDirect","label":"调拨方向","type":"string","describe":"下拉列表","value":"RETURN"},
  ...
]

每个字段都有详细的描述和映射规则。例如，FBillNo表示单据编号，直接从源数据中获取；FBillTypeID则需要通过ConvertObjectParser进行解析。

明细信息处理

明细信息（如物料编码、调拨数量等）需要特别处理：

{
  "field": "FBillEntry",
  "label": "明细信息",
  "type": "array",
  ...
}

每个明细项都包含多个子字段，例如：

[
  {"field":"FMaterialId","label":"物料编码","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{{details.FMaterialID_FNumber}}"},
  {"field":"FQty","label":"调拨数量","type":"string","describe":"数量","value":"{{details.FQty}}"},
  ...
]

这些子字段定义了如何从源数据中提取相应的信息，并通过解析器将其转换为目标系统所需的格式。

提交与审核

在所有数据准备就绪后，需要通过API提交并审核：

[
  {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "STK_TransferDirect"},
  {"field": "IsAutoSubmitAndAudit", "label": "提交并审核", "type": "bool", "value": false},
  {"field": "IsVerifyBaseDataField", "label": "验证基础资料", "type": bool, ...},
]

这些字段确保了提交过程中的正确性和完整性。

实际应用案例

假设我们有一批从京东自营客户仓调出的货物，需要将这些信息写入金蝶云星空。首先，我们通过轻易云平台提取原始数据，然后根据上述元数据配置进行ETL处理。具体步骤如下：

提取原始数据：从京东自营客户仓库系统中获取调出货物的信息。
转换数据格式：使用元数据配置中的映射规则，将原始数据转换为金蝶云星空API所需的格式。
写入目标系统：通过调用batchSave API，将转换后的数据写入金蝶云星空。

以下是一个简化的代码示例，展示了如何调用API：

import requests

url = 'https://api.kingdee.com/batchSave'
headers = {'Content-Type': 'application/json'}
data = {
    # 根据元数据配置生成的数据结构
}

response = requests.post(url, headers=headers, json=data)
if response.status_code == 200:
    print("Data successfully saved to Kingdee Cloud")
else:
    print("Failed to save data:", response.text)

以上代码展示了如何使用Python脚本调用金蝶云星空API，实现从源系统到目标系统的数据集成。

通过这种方式，我们可以高效地完成复杂的数据集成任务，确保不同系统之间的数据无缝对接，提高业务透明度和效率。用友与WMS系统接口开发配置

版权声明

该文章《利用轻易云平台进行ETL转换与数据写入金蝶云星空》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。