如何利用轻易云平台调用吉客云API获取并加工数据

使用轻易云平台进行数据ETL与写入金蝶云星空的实战技巧

2023-03-03 01:08:57
轻易云集成顾问-何语琴

销售单对接销售出库_类型92代发销售_合并案例分享

在多个系统对接的复杂场景中，如何高效、准确地进行数据集成和处理是一个关键问题。本文将聚焦于通过轻易云数据集成平台，将吉客云·奇门的数据无缝集成至金蝶云星空，实现销售单对接销售出库_类型92代发销售_合并方案。

首先，我们利用吉客云·奇门提供的API接口jackyun.tradenotsensitiveinfos.list.get来定时、可靠地抓取相关业务数据。在此过程中，必须处理分页和限流等技术性挑战，以确保尽可能全面获取所需信息，并避免漏单。这不仅需要精准的调度策略，还要实现实时监控与日志记录，从而及时发现和处理潜在的问题。

得到原始数据之后，通过轻易云平台支持的数据质量监控功能，对其进行初步筛选和清洗。在这一阶段，有效识别并修正异常数据显得尤为重要，这直接影响后续流程的稳定性及最终效果。随后，通过自定义的数据转换逻辑完成格式差异处理，使之符合金蝶云星空要求。

进入到写入环节，采用金蝶云星空的批量写入API batchSave 快速、高效地将大量订单数据导入系统。其中，为了应对大规模、高吞吐量的数据传输需求，我们借助集中监控告警机制，全程跟踪任务状态与性能表现。一旦出现异常情况，可自动触发错误重试机制以保证整体流程的连续性和完整性。同时，在每一步操作中都保持透明可视化管理，使整个过程一目了然，提高运维效率。

本文将在后续详细阐述具体实施步骤与技术细节，包括接口调用方法、分页及限流策略、自定义转换规则设计等多个方面，希望能为类似项目提供实战经验参考。数据集成平台可视化配置API接口

使用轻易云数据集成平台调用吉客云·奇门接口获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细介绍如何使用轻易云数据集成平台调用吉客云·奇门接口 jackyun.tradenotsensitiveinfos.list.get 获取并加工数据。

接口配置与请求参数

我们首先需要配置接口和请求参数。根据提供的元数据配置，我们可以看到接口的基本信息和请求参数如下：

API: jackyun.tradenotsensitiveinfos.list.get
Method: POST
Pagination: 每页记录数为20
条件过滤: 订单状态（tradeStatus）大于等于6000

请求参数包括但不限于以下字段：

modified_begin 和 modified_end：修改时间的起始和结束时间，必须同时存在，且时间间隔不能超过七天。
startConsignTime 和 endConsignTime：发货时间的起始和结束时间，默认值为当前时间减去两天。
tradeNo：销售单号，可以传多个，用半角逗号分隔。
pageSize 和 pageIndex：分页参数，每页记录数最大200，页码从0开始。
fields：需要返回的字段列表，以逗号分隔。

请求示例

基于上述配置，我们可以构建一个请求示例：

{
  "api": "jackyun.tradenotsensitiveinfos.list.get",
  "method": "POST",
  "params": {
    "modified_begin": "2023-09-01 00:00:00",
    "modified_end": "2023-09-07 23:59:59",
    "startConsignTime": "_function from_unixtime(({CURRENT_TIME}-172800),'%Y-%m-%d 00:00:00')",
    "endConsignTime": "_function from_unixtime(({CURRENT_TIME}-172800),'%Y-%m-%d 23:59:59')",
    "tradeNo": "",
    "pageSize": 200,
    "pageIndex": 0,
    "fields": "checkTotal,tradeNo,postFee,otherFee,chargeCurrency,accountName,payType,payNo,sellerMemo,buyerMemo,goodsDetail.goodsNo,goodsDetail.goodsName"
  }
}

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换。根据元数据配置中的 formatResponse 字段，我们需要将 consignTime 字段重命名为 consign_date 并格式化为日期类型。

假设我们获取到的数据如下：

{
  "data": [
    {
      "tradeNo": "1234567890",
      "postFee": 10.0,
      "otherFee": 5.0,
      ...
      "consignTime": "2023-09-05T12:34:56"
    },
    ...
  ]
}

清洗与转换后的数据应如下所示：

{
  "data": [
    {
      "tradeNo": "1234567890",
      "postFee": 10.0,
      ...
      "consign_date": "2023-09-05"
    },
    ...
  ]
}

异常处理与补偿机制

为了确保数据完整性，我们还需要设置异常处理与补偿机制。根据元数据配置中的 omissionRemedy 字段，可以看到我们设置了一个定时任务，每天凌晨1点运行一次，重新拉取前两天的数据，以防止漏单情况发生。

定时任务配置如下：

{
  "crontab": "5 1 * * *",
  "takeOverRequest": [
    {
      "field": "startConsignTime",
      "value": "_function from_unixtime(({CURRENT_TIME}-172800),'%Y-%m-%d 00:00:00')"
    },
    {
      "field": "endConsignTime",
      "value": "_function from_unixtime(({CURRENT_TIME}-172800),'%Y-%m-%d 23:59:59')"
    }
  ]
}

通过上述步骤，我们可以高效地调用吉客云·奇门接口获取并加工销售单数据，为后续的数据处理和分析打下坚实基础。钉钉与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成过程中，将源平台的数据转换为目标平台所需的格式是关键步骤之一。本文将深入探讨如何利用轻易云数据集成平台，将销售单对接销售出库（类型92代发销售_合并）的数据转换为金蝶云星空API接口所能接收的格式，并最终写入目标平台。

元数据配置解析

元数据配置是实现数据转换和写入的核心。以下是配置中的关键字段及其解析方式：

请求方法和API接口：
```
{"api":"batchSave","method":"POST"}
```
我们使用POST方法调用金蝶云星空的batchSave API接口。

单据类型：

{"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD01_SYS"}

通过ConvertObjectParser解析器，将单据类型设置为XSCKD01_SYS。

日期：

{"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{consign_date}"}

日期字段直接从源数据中的consign_date提取。

销售组织、库存组织、货主：

{"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"_mongoQuery 38faaa66-9955-34e5-bd58-7c4099b53af5 findField=content.warehouseCompanyCode where={\"content.warehouseCode\" : {\"$eq\":\"{warehouseCode}\"}}"}

这些字段均通过MongoDB查询获取，利用仓库编码（warehouseCode）进行匹配，并使用ConvertObjectParser解析器进行转换。

客户：

{"field":"FCustomerID","label":"客户","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{shopCode}"}

客户字段直接从源数据中的店铺编码（shopCode）提取，并使用解析器进行转换。

备注及其他文本信息：

{"field":"FNote","label":"备注","type":"string","describe":"多行文本"}

明细信息（FEntity）：

物料编码：

{"field":"FMaterialId","label":"物料编码","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{goodsDetail_goodsNo}","parent":"FEntity"}

实退数量：

{"field":"FRealQty","label":"实退数量","type": "string", "describe": "数量", "value": "{goodsDetail_sellCount}", "parent": "FEntity"}

金额：

{"field": "FAmount", "label": "金额", "type": "string", "describe": "金额", "value": "{{goodsDetail_shareFavourableAfterFee}}", "parent": "FEntity"}

业务对象表单ID和操作参数：

{"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "SAL_OUTSTOCK"},
{"field": "Operation", "label": "执行的操作", "type": "string", "value": "Save"},
{"field": "IsAutoSubmitAndAudit", "label": "提交并审核", "type": bool, value: true}

数据转换与写入过程

数据清洗与预处理：首先，通过轻易云的数据清洗功能，确保源数据符合目标平台要求。例如，日期格式、数值精度等。
字段映射与解析：根据元数据配置，将源数据字段映射到目标平台所需的字段，并使用相应的解析器进行转换。例如，物料编码、客户等需要通过特定解析器进行处理。
批量保存操作：调用金蝶云星空的batchSave API接口，将处理后的数据以批量方式保存到目标系统中。此过程包括自动提交和审核，以确保数据的一致性和完整性。
实时监控与日志记录：在整个过程中，通过轻易云的数据流监控功能，实时监控每个环节的数据流动和处理状态，并记录日志以备后续分析和故障排查。

实际应用案例

假设我们有一批销售订单需要对接到金蝶云星空系统。以下是具体操作步骤：

从源系统中提取销售订单数据，包括订单编号、日期、客户信息、商品明细等。
根据元数据配置，对提取的数据进行清洗和预处理。
将预处理后的数据按照配置要求进行字段映射和解析。
调用金蝶云星空的API接口，将转换后的数据批量写入目标系统。
通过实时监控功能，确保所有数据成功写入，并记录相关日志信息。

通过上述步骤，我们可以高效地将源平台的数据转换并写入到金蝶云星空系统中，实现不同系统间的数据无缝对接。这不仅提高了业务透明度和效率，也确保了数据的一致性和准确性。如何开发钉钉API接口

版权声明

该文章《如何利用轻易云平台调用吉客云API获取并加工数据》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。