轻易云数据集成平台与金蝶云星空API的ETL转换技术详解

  • 轻易云集成顾问-贺强

聚水潭·奇门数据集成到金蝶云星空的实战案例：聚水潭奇门销售出库传金蝶

在此次技术案例中，我们将详细探讨如何通过轻易云数据集成平台，将聚水潭·奇门的销售出库数据高效、准确地传输至金蝶云星空系统。该方案旨在处理大规模的数据同步需求，并确保各环节的数据一致性和可靠性。

首先，我们需要调用聚水潭·奇门提供的API接口jushuitan.saleout.list.query来抓取销售出库的数据。在这个过程中，必须特别留意分页处理以及API限流问题，以保证我们能够稳定、高效地获取完整的数据集。此外，为了防止漏单情况发生，我们引入定时任务机制，周期性地检索最新数据，并实现实时监控与日志记录，提高整体系统透明度。

随后，通过轻易云对接平台，实现从源头到目标系统——即金蝶云星空的无缝衔接。在批量写入大量数据至金蝶云星空时，需使用其提供的batchSave API接口。配置过程中，需要注意两者之间的数据格式差异及映射关系，例如字段名、类型等，因为这是确保成功写入的重要前提之一。为了应对可能出现的异常情况，该方案还设立了一套健全的错误重试机制，即便发生失败，也能迅速自动恢复。

综合以上方法，通过合理利用API接口、分页限流策略、多层监控及自我修复机制，全方位保障了聚水潭·奇门与金蝶云星空之间大规模、高频次业务数据交互的一致性和实时性。这不仅简化了复杂业务流程中的痛点，更为企业数字化管理赋予更强大的灵活性能。 钉钉与MES系统接口开发配置

调用聚水潭·奇门接口jushuitan.saleout.list.query获取并加工数据

在数据集成生命周期的第一步，我们需要调用源系统的API接口获取数据，并对其进行初步加工。本文将详细探讨如何通过轻易云数据集成平台调用聚水潭·奇门接口jushuitan.saleout.list.query，并对返回的数据进行处理。

接口调用配置

首先，我们需要配置接口调用的元数据。以下是我们使用的元数据配置：

{
  "api": "jushuitan.saleout.list.query",
  "method": "POST",
  "number": "io_id",
  "id": "io_id",
  "idCheck": true,
  "omissionRemedy": {
    "crontab": "0 */2 * * *",
    "takeOverRequest": [
      {
        "field": "start_time",
        "label": "开始时间",
        "type": "string",
        "is_required": true,
        "describe": null,
        "value": "{{DAYS_AGO_3|datetime}}"
      }
    ]
  },
  "condition": [
    [
      {
        "field": "is_print",
        "logic": "like",
        "value": "True"
      }
    ]
  ],
  "request": [
    {
      "field": "page_index",
      "label": "页码",
      "type": "string",
      "value": "1"
    },
    {
      "field": "page_size",
      "label":"页数",
      'type': 'string',
      'value': '50'
    },
    {
      'field': 'start_time',
      'label': '开始时间',
      'type': 'string',
      'value': '{{LAST_SYNC_TIME|datetime}}'
    },
    {
      'field': 'end_time',
      'label': '结束时间',
      'type': 'string',
      'value': '{{CURRENT_TIME|datetime}}'
    },
    {
      'label': '状态',
      'field': 'status',
      'type': 'string'
    },
    {
      'label': '时间类型',
      'field': 'date_type',
      'type': 'string'
    }
  ],
  'condition_bk':[[]]
}

数据请求与清洗

在配置好元数据后，我们需要通过POST方法向jushuitan.saleout.list.query接口发送请求。请求参数包括分页信息、时间范围以及其他必要的过滤条件。

  • 分页参数：

    • page_index: 页码，默认值为1。
    • page_size: 每页记录数，默认值为50。

  • 时间参数：

    • start_time: 开始时间，取上次同步时间。
    • end_time: 结束时间，取当前时间。

  • 过滤条件：

    • is_print: 是否打印，值为"True"。

示例请求体如下：

{
  “page_index”: “1”,
  “page_size”: “50”,
  “start_time”: “2023-09-01T00:00:00Z”,
  “end_time”: “2023-09-30T23:59:59Z”,
  “status”: “”,
  “date_type”: “”
}

数据转换与写入

在获取到原始数据后，我们需要对其进行清洗和转换，以便后续写入目标系统。在这个过程中，可以根据业务需求进行字段映射、格式转换等操作。例如，将日期格式从ISO8601转换为目标系统所需的格式。

假设我们从接口获取到以下JSON响应：

{
   “code”:0,
   “msg”:“success”,
   “data”:[
       {
           “io_id”:“12345”,
           “order_no”:“SO202309010001”,
           “warehouse_code”:“WH001”,
           “is_print”:true,
           ...
       },
       ...
   ]
}

我们可以提取并转换所需字段，例如：

[
   {
       “出库单号”:“12345”,
       “订单编号”:“SO202309010001”,
       “仓库编码”:“WH001”,
       ...
   },
   ...
]

异常处理与补偿机制

为了确保数据集成过程的可靠性，我们需要考虑异常处理和补偿机制。在元数据配置中，通过omissionRemedy字段定义了定时任务和接管请求参数。例如，每两小时执行一次任务，并在缺失数据时自动补偿：

{
   ‘crontab’: ‘0 */2 * * *’,
   ‘takeOverRequest’: [
       {
           ‘field’: ‘start_time’,
           ‘label’: ‘开始时间’,
           ‘type’: ‘string’,
           ‘is_required’: true,
           ‘describe’: null,
           ‘value’: ‘{{DAYS_AGO_3|datetime}}’
       }
   ]
}

以上配置确保了即使某次同步失败，也能在下次任务中自动补偿缺失的数据，从而保证数据的一致性和完整性。

通过上述步骤，我们成功实现了从聚水潭·奇门接口获取销售出库数据，并对其进行初步加工，为后续的数据写入和处理打下坚实基础。这是轻易云数据集成平台生命周期管理中的关键一步，有助于提升业务透明度和效率。 如何对接钉钉API接口

轻易云数据集成平台：ETL转换与金蝶云星空API接口集成技术案例

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台将源平台的数据转换为金蝶云星空API接口所能接收的格式，并最终写入目标平台。

数据请求与清洗

在数据请求与清洗阶段，我们已经从源平台聚水潭奇门获取了销售出库的数据。接下来，我们需要将这些数据进行适当的转换，以符合金蝶云星空API接口的要求。

数据转换与写入

金蝶云星空API接口采用的是RESTful风格，通常使用POST方法来进行批量保存操作。以下是我们需要配置的元数据：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 1,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD01_SYS"},
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{io_id}"},
    {"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"销售组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{io_date}"},
    {"field":"FCustomerID","label":"客户 ","type":"string","describe":"客户 ","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{drp_co_id_from}"},
    {"field":"FStockOrgId","label":"发货组织","type":"string","describe":"发货组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"100"},
    {"label":"销售员","field":"FSalesManID","type":"string","value":"{business_staff}","parser":{"name":"ConvertObjectParser","params":"FNumber"}},
    {"field": "FNote", "label": "备注", "type": "string", "describe": "备注"},
    {
      "field": "FEntity",
      "label": "明细信息",
      "type": "array",
      "describe": "明细信息",
      "children":[
        {"field": "FMaterialId", "label": "物料编码", "type": "string", 
            "describe": "物料编码", 
            "parser":{"name": "ConvertObjectParser", 
            "params": ["FNumber"]}, 
            "value": "{{items.sku_id}}", 
            "parent": ["FEntity"]},
        {"field": "FRealQty", 
            "label": "", 
            "type": "", 
            "value":"","parent":[""]},
        // ... more fields
      ],
      // ... more configurations
    }
  ],
  // ... more configurations
}

元数据解析与配置

  1. FBillTypeID: 单据类型，固定值XSCKD01_SYS。
  2. FBillNo: 单据编号，对应于源数据中的io_id。
  3. FSaleOrgId: 销售组织，固定值100。
  4. FDate: 日期，对应于源数据中的io_date。
  5. FCustomerID: 客户，对应于源数据中的drp_co_id_from。
  6. FStockOrgId: 发货组织，固定值100。
  7. FSalesManID: 销售员，对应于源数据中的business_staff。
  8. FEntity: 明细信息，是一个数组，每个元素包含多个字段，如物料编码、实发数量、单价等。

数据转换逻辑

在实际操作中，需要对每个字段进行解析和转换。例如：

  • FBillTypeID: 使用 ConvertObjectParser 将固定值 XSCKD01_SYS 转换为目标系统所需格式。
  • FCustomerID: 同样使用 ConvertObjectParser, 将客户编号从源系统格式转换为目标系统格式。

对于数组类型的字段 FEntity, 我们需要遍历每个子项并进行相应的转换。这可以通过配置元数据中的 children 属性来实现。

API调用示例

最终，我们将生成一个JSON对象，该对象符合金蝶云星空API接口的要求，并通过HTTP POST方法发送到目标系统。示例如下：

{
  ...
}

通过以上步骤，我们成功地将源平台的数据进行了ETL转换，并写入到了金蝶云星空系统中。这一过程充分利用了轻易云数据集成平台提供的可视化界面和强大的解析能力，实现了高效、透明的数据处理。 如何对接企业微信API接口

版权声明

该文章《聚水潭·奇门销售出库数据实时传输至金蝶云星空：实战案例分析》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

营销云系统与经销商ERP对接
更多系统对接方案