轻易云平台实现金蝶云星空的数据转换与写入

2021-11-27 17:19:45
轻易云集成顾问-曾平安

案例分享：管易云数据集成到金蝶云星空

在本案例中，我们将探讨如何实现从管易云到金蝶云星空系统的数据对接，聚焦于调拨单数据的高效透明传递。通过API接口gy.erp.stock.transfer.get获取管易云中的调拨单数据，并利用金蝶云星空提供的batchSave API接口进行快速写入。本次解析任务方案被命名为 gk_调拨单。

具体来说，面临的挑战包括：

确保集成过程中的准确性及无漏单：在调用管易云API时，需要特别注意分页和限流问题，避免漏掉任何一条重要的数据记录。
处理庞大数据量：多数情况下，企业在调拨过程中会产生大量记录。因此，实现批量集成数据是关键，希望借助轻易提供的平台处理强大并发能力，使得大量数据显示与存储不延迟、不卡顿。
定时可靠抓取与异常重试机制: 采用定时任务来周期性地抓取最新调拨信息，同时还需考虑网络波动等情况带来的异常，通过日志记录实时监控整个流程，并结合错误重试机制增强系统健壮性。
数据格式差异转换及映射: 管易云和金蝶云间可能存在诸多字段标准上的差异。为此，我们使用自定义映射规则来生成符合目标平台要求的数据结构。

示例代码片段：调用管易云API获取分页数据

对接技术细节 a) 调用 gy.erp.stock.transfer.get

{
  "method": "gy.erp.stock.transfer.get",
  "page_no": "1",
  "page_size": "50"
}

b) 数据预处理

for record in response_data['records']:
    # 具体字段映射逻辑处理...
    mapped_record = map_to_kd(record)
    batch_records.append(mapped_record)

写入至金蝶云星空

这里重点讨论了以下几点特性：

如何确保集成不遗漏任何调拨单
大量业务状态下迅速执行批量写入操作
遇到限流问题如何智能分配请求次数

如上所述，通过周密部署每个技术环节，从元数据配置、API调用优化，到完整生命周期管理等全方位保障整体效率与精度。在后续章节，我们将详解各项步骤实施细则，包括具体脚本编写和示例展示。电商OMS与WMS系统接口开发配置

调用管易云接口gy.erp.stock.transfer.get获取并加工数据的技术案例

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的第一步。本文将详细介绍如何通过轻易云数据集成平台调用管易云接口gy.erp.stock.transfer.get，并对获取的数据进行初步加工。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用管易云的API接口。以下是元数据配置的关键部分：

{
  "api": "gy.erp.stock.transfer.get",
  "method": "POST",
  "number": "code",
  "id": "code",
  "idCheck": true,
  "condition": [
    [
      {
        "field": "status",
        "logic": "eq",
        "value": "1"
      }
    ]
  ],
  "request": [
    {
      "field": "start_date",
      "label": "修改时间开始段",
      "type": "string",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "end_date",
      "label": "修改时间结束段",
      "type": "string",
      "value": "{{CURRENT_TIME|datetime}}"
    },
    {
      "field": "code",
      "label": "单据编号",
      "type": "string"
    },
    {
      "label": "入库状态",
      "field": "status_in",
      "type": "string",
      "value": "1"
    },
    {
      {
        ...

该配置定义了API的基本信息和请求参数，其中包括分页参数、时间范围以及状态过滤条件。

请求参数详解

start_date 和 end_date: 用于指定数据同步的时间范围。{{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}} 是动态变量，分别表示上次同步时间和当前时间。
code: 单据编号，用于唯一标识调拨单。
status_in 和 status_out: 分别表示入库和出库状态，值为"1"表示已完成。

分页参数：

page_size: 每页返回的数据条数，默认为10。
page_no: 当前页码，默认为1。

数据请求与清洗

在发送请求后，我们会收到一个包含调拨单信息的数据集。接下来，我们需要对这些数据进行清洗，以确保其质量和一致性。常见的数据清洗步骤包括：

去除重复项: 根据单据编号（code）去重。
格式化日期: 确保所有日期字段统一格式，例如将所有日期转换为ISO标准格式。
字段校验: 检查关键字段是否为空或格式错误，例如单据编号、状态等。

示例代码如下：

import requests
import json
from datetime import datetime

# 设置请求URL和头部信息
url = 'https://api.guanyiyun.com/erp/stock/transfer/get'
headers = {'Content-Type': 'application/json'}

# 构建请求体
payload = {
    'start_date': (datetime.now() - timedelta(days=1)).strftime('%Y-%m-%d %H:%M:%S'),
    'end_date': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
    'status_in': '1',
    'status_out': '1',
    'page_size': 10,
    'page_no': 1
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 处理响应数据
if response.status_code == 200:
    data = response.json()

    # 数据清洗示例
    cleaned_data = []
    seen_codes = set()

    for item in data['items']:
        if item['code'] not in seen_codes:
            seen_codes.add(item['code'])
            # 格式化日期字段
            item['modified_time'] = datetime.strptime(item['modified_time'], '%Y-%m-%d %H:%M:%S').isoformat()
            cleaned_data.append(item)
else:
    print(f"Error: {response.status_code}, {response.text}")

数据转换与写入

在完成数据清洗后，我们需要将其转换为目标系统所需的格式，并写入目标数据库或系统。这一步通常涉及字段映射、类型转换等操作。例如，将管易云中的字段映射到ERP系统中的相应字段，并确保数据类型一致。

def transform_and_write(data):
    transformed_data = []

    for item in data:
        transformed_item = {
            'document_id': item['code'],
            'warehouse_in_status': item['status_in'],
            'warehouse_out_status': item['status_out'],
            'last_modified': item['modified_time']
        }
        transformed_data.append(transformed_item)

    # 写入目标系统（示例：写入数据库）
    write_to_database(transformed_data)

def write_to_database(data):
    # 数据库写入逻辑（略）

通过上述步骤，我们实现了从调用管易云接口获取调拨单数据，到对数据进行清洗、转换并写入目标系统的完整流程。这不仅提高了数据处理效率，还确保了数据的一致性和准确性。金蝶与CRM系统接口开发配置

使用轻易云数据集成平台进行金蝶云星空API接口数据转换与写入

在数据集成生命周期的第二步中，关键任务是将已经集成的源平台数据进行ETL转换，使其符合目标平台（如金蝶云星空API接口）的接收格式，并最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台的元数据配置，实现这一过程。

元数据配置解析

元数据配置是实现数据转换和写入的核心。以下是一个典型的元数据配置示例：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{code}"},
    {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"ZJDB01_SYS"},
    {"field":"FBizType","label":"业务类型","type":"string","describe":"下拉列表","value":"NORMAL"},
    {"field":"FTransferDirect","label":"调拨方向","type":"string","describe":"下拉列表","value":"GENERAL"},
    {"field":"FTransferBizType","label":"调拨类型","type":"string","describe":"下拉列表","value":"InnerOrgTransfer"},
    {"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"field":"FSettleOrgId","label":"结算组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"field":"FStockOutOrgId","label":"调出库存组织","type":"string","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""}
  ],
  "otherRequest":[
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""}
  ]
}

数据请求与清洗

在进行ETL转换之前，首先需要确保从源系统获取的数据是干净且结构化的。这一步骤包括：

数据请求：通过API或数据库查询获取原始数据。
数据清洗：去除冗余信息，处理缺失值和异常值，确保数据质量。

数据转换

根据元数据配置，将清洗后的源数据映射到目标平台所需的格式。以下是关键字段及其转换逻辑：

FBillNo（单据编号）：直接映射为{code}。
FBillTypeID（单据类型）：使用ConvertObjectParser解析器，将固定值ZJDB01_SYS转为目标格式。
FBizType（业务类型）、FTransferDirect（调拨方向）、FTransferBizType（调拨类型）等字段均为固定值，可直接赋值。
FSaleOrgId（销售组织）、FSettleOrgId（结算组织）等字段通过ConvertObjectParser解析器，将固定值100转为目标格式。

对于数组类型字段如FBillEntry中的子项，需要特别注意每个子项的映射关系：

FMaterialId（物料编码）：通过ConvertObjectParser解析器，将动态值{{details.sku_code}}转为目标格式。
FQty（调拨数量）：直接映射为动态值{{details.qty}}。
FSrcStockId（调出仓库）、FDestStockId（调入仓库）：通过解析器将动态值分别映射为目标格式。

数据写入

完成所有字段的映射后，通过API接口将转换后的数据写入金蝶云星空。根据元数据配置，使用POST方法调用批量保存接口：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  ...
}

在实际操作中，可以利用轻易云提供的全透明可视化界面，实时监控和调整每个环节的数据流动和处理状态，确保整个过程顺利进行。

实践案例

假设我们有一组待处理的调拨单数据，其结构如下：

{
  "code": "DB20231001",
  "create_date": "2023-10-01",
  "details":[
    {
      "sku_code": "MAT001",
      "qty": 100,
      "warehouse_out": "WH001",
      "warehouse_in": "WH002"
    }
  ]
}

通过上述元数据配置和ETL转换逻辑，该组数据将被转换并写入金蝶云星空系统，实现不同系统间的数据无缝对接。金蝶与WMS系统接口开发配置

版权声明

该文章《轻易云平台实现金蝶云星空的数据转换与写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。