轻易云平台实现聚水潭与金蝶云星空的数据转换与写入

  • 轻易云集成顾问-彭亮

聚水潭·奇门数据集成到金蝶云星空的技术实现：从销售出库单到批量写入

在本文中，我们将探讨如何通过轻易云数据集成平台，实现聚水潭·奇门系统中的销售出库单数据无缝对接到金蝶云星空系统。该方案的核心是通过调用jushuitan.saleout.list.query接口来获取聚水潭·奇门的数据，并利用金蝶云星空的batchSave接口进行快速批量写入。在此过程中，确保每个环节的数据完整性和准确性至关重要。

首先，通过API接口jushuitan.saleout.list.query定时可靠地抓取聚水潭·奇门的销售出库单数据，是整个流程启动的重要步骤。这一过程需要处理分页和限流问题，以确保大规模数据提取时不会漏单或丢失。同时，为了应对可能出现的数据抓取异常情况，我们还需要设计错误重试机制和日志记录功能，以便实时监控并解决任何潜在的问题。

随后，在获取到原始数据后，需要进行必要的数据格式转换与映射。在这一阶段，考虑到了聚水潭·奇门与金蝶云星空之间的数据结构差异，对字段名、值类型等做相应转换，并保证逻辑上的一致性。此外，为了避免因大规模数据写入导致性能瓶颈，采用分批次、多线程方式进行高效处理是至关重要的一点。

实际操作中，还需关注以下几点细节：

  1. API调用限速处理：对于请求频率较高的大量查询任务，应设置合理的间隔时间以避免触发目标系统的限流策略。
  2. 边界条件检查：例如，当某些关键字段为空或格式不符要求时，可提前检测并过滤掉这些异常记录。
  3. 容错与重试机制：针对偶发性的网络波动或服务端响应超时等问题，设置多级重试策略，并记录相关日志以便后续排查。
  4. 定制化映射规则：根据业务需求，将一些自定义字段加入进来，例如客户标识、仓储信息等，这些都可以通过灵活配置实现。

基于以上技术要点，我们构建了一整套稳健、高效且可扩展的数据集成解决方案。接下来部分将详细介绍各环节具体实施方案及代码示例，包括如何实现上述特性的最佳实践方法。 打通钉钉数据接口

调用聚水潭·奇门接口获取并加工数据的技术案例

在轻易云数据集成平台中，调用聚水潭·奇门接口jushuitan.saleout.list.query是数据生命周期的第一步。本文将详细探讨如何通过该接口获取销售出库单数据，并进行必要的数据加工。

接口配置与请求参数

首先，我们需要配置API接口和请求参数。根据元数据配置，jushuitan.saleout.list.query接口采用POST方法，主要参数如下：

  • page_index: 页数，从第一页开始，默认值为1。
  • page_size: 每页行数，默认25，最大50。
  • start_time: 修改起始时间，与结束时间必须同时存在，时间间隔不能超过七天。
  • end_time: 修改结束时间，与起始时间必须同时存在。
  • status: 单据状态，此处固定为“Confirmed”表示已出库。
  • so_ids: 线上单号，可选参数。
  • date_type: 时间类型，此处固定为2。

这些参数的配置如下所示：

{
  "api": "jushuitan.saleout.list.query",
  "method": "POST",
  "number": "so_id",
  "id": "o_id",
  "pagination": {
    "pageSize": 50
  },
  "idCheck": true,
  "request": [
    {"field":"page_index","label":"页数","type":"string","describe":"第几页，从第一页开始，默认1","value":"{PAGINATION_START_PAGE}"},
    {"field":"page_size","label":"每页行数","type":"string","describe":"每页多少条，默认25，最大50","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"start_time","label":"开始时间","type":"string","describe":"修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field":"end_time","label":"结束时间","type":"string","describe":"修改结束时间，和起始时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"status","label":"单据状态","type":"string","describe":"单据状态: WaitConfirm=待出库; Confirmed=已出库; Cancelled=作废","value":"Confirmed"},
    {"field":"so_ids","label":"线上单号","type":"string"},
    {"field":"date_type","label":"时间类型","type":"string","value":"2"}
  ]
}

数据请求与清洗

在实际调用过程中，我们需要确保分页机制的正确性，以便完整获取所有数据。通过设置page_index和page_size参数，可以控制每次请求的数据量，并逐页获取。

例如：

{
  "page_index": 1,
  "page_size": 50,
  "start_time": "{{LAST_SYNC_TIME|datetime}}",
  "end_time": "{{CURRENT_TIME|datetime}}",
  "status": "Confirmed",
  "date_type": 2
}

每次请求返回的数据需要进行清洗，包括去除无效字段、标准化字段格式等。例如，对于日期字段，可以统一转换为标准的ISO8601格式。

数据转换与写入

获取并清洗后的数据，需要进行转换以适配目标系统（如金蝶）的要求。这可能包括字段重命名、数据类型转换等操作。例如，将聚水潭中的订单ID字段so_id映射到金蝶中的订单ID字段o_id。

以下是一个简单的数据映射示例：

{
  "source_field": "so_id",
  "target_field": "o_id"
}

异常处理与补偿机制

在实际操作中，不可避免会遇到网络异常或其他问题导致部分数据未能成功同步。此时，需要设计补偿机制以确保数据完整性。元数据配置中提供了定时任务（crontab）和补偿请求（takeOverRequest）功能，用于自动补偿遗漏的数据。

例如，通过定时任务每天凌晨执行一次补偿操作：

{
  "crontab": "2 0 * * *",
  "takeOverRequest": [
    {
      "id": "start_timeYrXph",
      "field": "start_time",
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
      ...
![电商OMS与WMS系统接口开发配置](https://pic.qeasy.cloud/S1.png~tplv-syqr462i7n-qeasy.image)
### 使用轻易云数据集成平台实现聚水潭销售出库单到金蝶云星空的ETL转换

在数据集成过程中，将聚水潭销售出库单的数据转换并写入金蝶云星空API接口是一个关键步骤。本文将详细探讨如何利用轻易云数据集成平台的元数据配置，实现这一ETL（Extract, Transform, Load）过程。

#### 1. 配置API接口

首先，我们需要定义目标平台的API接口配置。根据提供的元数据配置，金蝶云星空的API接口为`batchSave`，采用`POST`方法进行数据提交。

```json
{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  }
}

2. 请求参数配置

在请求参数部分，我们需要根据业务需求和目标平台的数据结构，配置具体的字段映射和转换规则。

  • 单据类型 (FBillTypeID)：固定值为XSCKD01_SYS
  • 单据编号 (FBillNo)：映射自源平台的订单ID ({o_id})
  • 日期 (FDate)：映射自源平台的订单日期 ({io_date})
  • 销售组织 (FSaleOrgId)：固定值为100
  • 客户 (FCustomerID)：映射自源平台的店铺ID ({shop_id})，并通过ConvertObjectParser进行转换
  • 销售员 (FSalesManID)：通过集合查找方式获取对应销售员编号
  • 运输单号 (FCarriageNO)：映射自源平台的物流ID ({l_id})
  • 发货组织 (FStockOrgId)：固定值为100
[
  {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD01_SYS"},
  {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{o_id}"},
  {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{io_date}"},
  {"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
  {"field":"FCustomerID","label":"客户","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{shop_id}"},
  {"field":"FSalesManID","label":"销售员","type":"string","value":"_findCollection find FNumber from collection where FName={business_staff}"},
  {"field":"FCarriageNO","label":"运输单号","type":"string","describe":"文本","value":"{l_id}"},
  {"field":"FStockOrgId","label":"发货组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":100}
]

3. 明细信息配置

对于明细信息部分，需要逐项处理每个商品行的数据，包括物料编码、含税单价、实发数量、是否赠品、仓库、金额以及订单单号等字段。

{
  "field": "FEntity",
  "label": "明细信息",
  "type": "array",
  "children": [
    {"field": "FMaterialID", "label": "物料编码", "type": "string", "describe": "基础资料", "parser":{"name": "ConvertObjectParser", "params": "FNumber"}, "value": "{{items.sku_id}}"},
    {"field": "FTaxPrice", "label": "含税单价", "type": "string", "describe": "单价", "value": "{{items.sale_price}}"},
    {"parent": "FEntity", "label": "实发数量", "field": ": FRealQty", type: : string, value: : "{{items.qty}}"},
    {"parent"::" FEntity", label: : 是否赠品, field: : FIsFree, type: : string, value: : "_function case '{{items.sale_price}}' when '0.0' then 'true' else 'false' end"},
    {"parent"::" FEntity", label: : 仓库, field: : FStockID, type: : string, value: : '01.03', parser:{name:" ConvertObjectParser ", params:" FNumber"}},
    {"parent"::" FEntity", label: : 金额, field: : FAllAmount, type: : string, value: : "{{items.sale_amount}}"},
    {"field"::" FSoorDerno ", label:"订单单号 ", type:" string ", value:" {so_id}"}
   ],
   value:" items "
}

4. 财务信息配置

财务信息部分包含收货人地址、收货人姓名、收货人手机以及整单折扣额等字段。

{
  field:" SubHeadEntity ",
   label:" 财务信息 ",
   type:" object ",
   children:[
     { field:" FReceiverAddress ", label:" 收货人地址 ", type:" string ", describe:" 文本 ", parent:" SubHeadEntity "} ,
     { field:" FReceiverName ", label:" 收货人 ", type:" string ", describe:" 文本 ", parent:" SubHeadEntity "} ,
     { field:" FReceiverMobile ", label:" 收货人手机 ", type:" string ", describe:" 文本 ", parent:" SubHeadEntity "} ,
     { field:" FAllDisCount ", label:" 整单折扣额 ", type=" string "," value=" {free_amount}," parent=" SubHeadEntity "}
   ]
}

5. 执行操作配置

最后，我们需要配置执行操作相关的信息，包括业务对象表单Id、执行操作、是否自动提交并审核等。

[
   { field=" FormId "," label="业务对象表单Id "," type=" string "," describe="必须填写金蝶的表单ID如:PUR_PurchaseOrder "," value=" SAL_OUTSTOCK "} ,
   { field=" Operation "," label="执行的操作 "," type=" string "," value=" Save "} ,
   { field=" IsAutoSubmitAndAudit "," label="提交并审核 "," type=" bool "," value=" true "} ,
   { field=" IsVerifyBaseDataField "," label="验证基础资料 "," type=bool," describe=是否验证所有的基础资料有效性，布尔类，默认false（非必录）," value=true },
   { field=SubSystemId,label=系统模块,type=string,describe=默认仓库模块,value=21},
   { field=InterationFlags,label=交互标志集合,type=string,value=STK_InvCheckResult }
]

通过上述详细配置，我们可以实现将聚水潭销售出库单的数据转换为金蝶云星空API接口所能接收的格式，并成功写入目标平台。这个过程不仅提高了数据处理效率，还确保了数据的一致性和准确性。 金蝶与SCM系统接口开发配置

版权声明

该文章《如何实现聚水潭和金蝶云星空的数据集成》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与吉客云对接
更多系统对接方案