吉客云与金蝶云星空数据集成的最佳实践

轻易云数据集成平台：金蝶云API接口的ETL转换技术解析

2021-09-23 13:56:16
轻易云集成顾问-叶威宏

其他入库104v2对接其他入库_正负：吉客云数据集成到金蝶云星空的最佳实践

在实际业务中，为了实现更高效、无缝的数据流动，将吉客云的数据精准、快速地集成到金蝶云星空是一个重要挑战。本技术案例将重点分享如何利用轻易云数据集成平台，成功配置并对接两个系统，让业务流程得以顺畅运行。

高效抓取与精准写入

为确保从吉客云获取的数据不漏单，我们调用了erp.storage.goodsdocin.v2接口，设置定时任务可靠地抓取所有相关数据。通过轻易云的全透明可视化界面，可以实时监控每一次接口调用和数据传输状态，有助于及时发现和解决潜在问题。

与此同时，大量批量集成写入到金蝶云星空则使用了其提供的batchSave API。一方面，这种方式极大提升了处理速度；另一方面，通过配置合适的分页和限流策略，避免产生性能瓶颈或超负荷请求风险，从而保障系统稳定性。

数据格式差异与映射调整

在对接过程中，不同体系下的数据格式往往存在诸多差异。为了确保两边系统能顺利理解彼此传递的信息，我们进行了细致的字段映射工作，并根据具体需求进行必要的转换。此外，通过自定义的数据清洗和转换规则，使得输入输出更加契合业务逻辑要求。

异常处理及重试机制

值得一提的是，在应对可能出现的问题如网络异常或服务器故障时，我们设计了一套完善的错误重试机制。一旦某次请求失败，会按照预设策略自动重试，以最大程度保证任务最终达成。这部分功能也借助于轻易云全面性的日志记录和监控能力，使运维人员能够随时掌握运行状况并快速响应突发情况。

总之，本次技术实施不仅展示了解决复杂应用间接口对接的一系列策略，还体现出我们如何灵活运用先进工具来优化整个过程。以上工作为后续更广泛、更深入的数据整合奠定了坚实基础。在下一节内容中，我们将详细解析具体实施步骤及代码实现。如何开发用友BIP接口

调用吉客云接口erp.storage.goodsdocin.v2获取并加工数据的技术案例

在轻易云数据集成平台中，生命周期的第一步是调用源系统接口以获取原始数据。本文将详细探讨如何通过调用吉客云接口erp.storage.goodsdocin.v2来实现数据的请求与清洗。

接口配置与请求参数

为了高效地获取数据，我们需要配置API接口及其请求参数。以下是元数据配置中的关键部分：

{
  "api": "erp.storage.goodsdocin.v2",
  "method": "POST",
  "number": "goodsdocNo",
  "id": "recId",
  "pagination": {"pageSize": 10},
  "idCheck": true,
  "request": [
    {"field":"pageIndex","label":"分页页码","type":"int"},
    {"field":"pageSize","label":"分页页数","type":"int","value":"100"},
    {"field":"goodsDocNo","label":"入库单号","type":"string"},
    {"field":"gmtModifiedStart","label":"主表更新时间起始","type":"string","value":"_function from_unixtime(({LAST_SYNC_TIME}-86400),'%Y-%m-%d %H:%i:%s')"},
    {"field":"gmtModifiedEnd","label":"主表更新时间截至","type":"string","value":"_function from_unixtime(({CURRENT_TIME}-86400),'%Y-%m-%d %H:%i:%s')"},
    {"field":"startDate","label":"创建时间的起始时间","type":"string"},
    {"field":"endDate","label":"创建时间的结束时间","type":"string"},
    {"field":"inouttype","label":"入库类型","type":"string","describe": "...", "value": "104"},
    ...
  ],
  ...
}

请求参数解析

分页参数：pageIndex和pageSize用于控制分页，确保每次请求的数据量适中，提高查询效率。
时间范围：gmtModifiedStart和gmtModifiedEnd用于限定数据更新时间范围，确保只获取最近更新的数据。这些字段通过函数计算得到，确保动态调整。
入库类型：固定值为"104"，表示其他入库类型。
其他可选参数：如goodsDocNo, startDate, endDate, warehouseCode, vendCode等，用于进一步筛选数据。

数据清洗与转换

在获取到原始数据后，需要进行初步清洗和转换，以便后续处理。以下是一些关键步骤：

字段选择：通过配置中的selelctFields字段，明确需要返回的数据字段。这些字段包括基础信息（如单据号、仓库编号）以及详细信息（如商品名称、数量、批次号等）。
```
{
 "selelctFields": "...goodsDocDetailList.goodsName, goodsDocDetailList.quantity, ..."
}
```
条件过滤：根据业务需求，可以设置条件过滤。例如，只保留数量大于0的记录：
```
{
 "condition_bk": [[{"field": "goodsDocDetailList.quantity", "logic": "gt", "value": "0"}]]
}
```
异常处理：通过配置中的补偿机制，确保在异常情况下的数据完整性。例如，当某次同步失败时，可以通过设置接管字段重新拉取数据：
```
{
 "omissionRemedy": {
   ...
   "takeOverRequest": [
     {"field": "gmtModifiedStart", ...},
     {"field": "gmtModifiedEnd", ...}
   ]
 }
}
```

实际调用示例

以下是一个实际调用该接口的示例代码片段：

import requests
import json

url = 'https://api.jikexyun.com/erp/storage/goodsdocin/v2'
headers = {'Content-Type': 'application/json'}
payload = {
    'pageIndex': 1,
    'pageSize': 100,
    'gmtModifiedStart': '2023-01-01 00:00:00',
    'gmtModifiedEnd': '2023-01-02 00:00:00',
    'inouttype': '104'
}

response = requests.post(url, headers=headers, data=json.dumps(payload))
data = response.json()

# 数据清洗与转换
filtered_data = [item for item in data['data'] if item['goodsDocDetailList']['quantity'] > 0]

以上代码展示了如何构建请求并处理返回的数据，通过简单的过滤操作实现初步的数据清洗。

小结

通过上述步骤，我们可以高效地调用吉客云接口获取所需的入库数据，并进行初步清洗和转换，为后续的数据处理打下坚实基础。在实际应用中，还可以根据具体业务需求进一步优化和扩展这些操作。打通钉钉数据接口

轻易云数据集成平台ETL转换：对接金蝶云星空API接口

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是关键步骤之一。本文将深入探讨如何利用轻易云数据集成平台，将已经集成的源平台数据进行ETL转换，并转为金蝶云星空API接口所能接收的格式，最终写入目标平台。

接口配置与元数据解析

在对接金蝶云星空API接口时，我们需要根据其要求配置相应的元数据。以下是一个典型的元数据配置示例：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{goodsdocNo}"},
    {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"QTRKD01_SYS"},
    {"field":"FStockOrgId","label":"库存组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{companyCode}"},
    {"field":"FStockDirect","label":"库存方向","type":"string","describe":"下拉列表","value":"_function IF( {redStatus}<>9 , \"GENERAL\" , \"RETURN\")"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"_function DATE_FORMAT('{inOutDate}', '%Y-%m-%d')"},
    {"field":"FDEPTID","label":"部门","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"BM000016"},
    {"field":"FOwnerTypeIdHead","label":"货主类型","type":"string","describe":"多类别基础资料列表","value":"BD_OwnerOrg"},
    {"field":"FOwnerIdHead","label":"货主","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"value":""},
    {"field":"","label":"","type":"","describe","","parser":{"name","","params"}},"value":

数据转换与写入

字段映射与转换：根据金蝶云星空API的要求，我们需要将源数据中的字段映射到目标字段。例如，FBillNo对应源数据中的goodsdocNo，FStockOrgId对应companyCode等。这些字段映射通过配置文件中的"value"属性实现。
自定义函数处理：在某些情况下，需要对源数据进行特定处理。例如，库存方向字段FStockDirect需要根据条件判断设置为"GENERAL"或"RETURN"，这可以通过自定义函数实现：
```
{
 "field": "FStockDirect",
 "label": "库存方向",
 "type": "string",
 "describe": "下拉列表",
 "value": "_function IF( {redStatus}<>9 , \"GENERAL\" , \"RETURN\")"
}
```
日期格式化：日期字段需要按照特定格式进行转换，例如将源数据中的日期格式化为YYYY-MM-DD：
```
{
 "field": "FDate",
 "label": "日期",
 "type": "string",
 "describe": "",
 "",
 "",
 "",
 ""
}
```
数组处理：对于明细信息（如物料明细），需要将其作为数组处理，并逐一映射每个子字段。例如，物料编码字段FMATERIALID对应源数据中的goodsDocDetailList.goodsNo：
```
{
 "",
```


![轻易云数据集成平台金蝶集成接口配置](https://pic.qeasy.cloud/T2.png~tplv-syqr462i7n-qeasy.image)

版权声明

该文章《吉客云与金蝶云星空数据集成的最佳实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。