使用平台工具进行数据ETL转换与写入金蝶云星空

  • 轻易云集成顾问-林峰

案例分享：聚水潭·奇门数据集成到金蝶云星空

在本案例中，我们探讨了如何高效可靠地将聚水潭·奇门平台的数据集成到金蝶云星空财务系统，具体方案为[自动]-04销售出库同步（fubeisi芙倍丝）。这一过程中涉及的关键技术点包括调用聚水潭·奇门的jushuitan.saleout.list.query接口获取订单数据，并批量写入到金蝶云星空的batchSave接口。以下是该方案实施过程中所涵盖的重要步骤和对应解决的方法：

首先，确保从聚水潭·奇门抓取的数据全面且及时，以防止漏单现象。在本方案中，定时任务被设置为每小时调用一次jushuitan.saleout.list.query接口，从而保证新销售出库数据能够按时获取。

其次，对于大量订单数据需要快速、安全写入到金蝶云星空，实现顺利的数据对接。我们通过设计合理的数据分片策略，将大批量数据拆分为小块，每个小块以事务形式处理，使得整体传输更加高效和稳定。同时，为了解决分页和限流问题，在API调用过程中加入了适当的限速机制及分页配置，以避免因超载导致服务不可用。

此外，还要特别注意处理两者之间的数据格式差异。例如，可能会存在字段名称、类型不匹配等情况。因此，需要进行细致的映射转换工作。利用自定义映射规则，可以自动将来自聚水潭·奇门的数据字段转换为符合金蝶云规范的格式。

对于潜在异常处理，如网络波动或某些特殊情况下API请求失败，本系统也实现了错误重试机制。当检测到异常时，会记录详细日志并触发重试逻辑，以便尽快恢复正常操作。这种方式不仅提高了稳健性，还提供了一套完善的问题追踪与解决方法，有力保障业务连续性。

最后，通过实时监控与日志记录功能，对整个数据处理过程进行了全程跟踪。一旦出现任何问题，可以迅速定位并采取相应措施进行修复，从而确保系统运行始终如一。

以上初步介绍展示了如何通过精密设计实现从聚水潭·奇门到金蝶云星空的一体化、高效率、低风险的数据集成过程。------ 钉钉与WMS系统接口开发配置

调用源系统聚水潭·奇门接口jushuitan.saleout.list.query获取并加工数据

在数据集成生命周期的第一步，我们需要从源系统获取数据并进行初步加工。本文将深入探讨如何通过调用聚水潭·奇门接口jushuitan.saleout.list.query来实现这一目标，并详细解析元数据配置。

API接口调用与请求参数配置

首先，我们需要理解API接口的基本信息和请求参数。根据元数据配置，jushuitan.saleout.list.query接口采用POST方法，主要用于查询销售出库单列表。以下是请求参数的详细配置：

  • page_index: 页数，从第一页开始，默认值为1。
  • page_size: 每页行数，默认值为25，最大值为25。在本例中，我们将其设置为50，但需要注意实际调用时可能会受到限制。
  • start_time: 修改开始时间，与结束时间必须同时存在，时间间隔不能超过七天。使用占位符{{LAST_SYNC_TIME|datetime}}动态获取上次同步时间。
  • end_time: 修改结束时间，与起始时间必须同时存在，使用占位符{{CURRENT_TIME|datetime}}动态获取当前时间。
  • status: 单据状态，此处设置为已出库（Confirmed）。
  • shop_id: 店铺ID，此处设置为16040526。

请求参数示例

{
  "page_index": "1",
  "page_size": "50",
  "start_time": "{{LAST_SYNC_TIME|datetime}}",
  "end_time": "{{CURRENT_TIME|datetime}}",
  "status": "Confirmed",
  "shop_id": "16040526"
}

数据清洗与转换

在获取到原始数据后，需要对数据进行清洗和转换，以便后续处理和存储。以下是一些常见的数据清洗和转换操作：

  1. 字段映射：将API返回的数据字段映射到目标系统所需的字段。例如，将io_id映射为目标系统中的唯一标识符。
  2. 数据格式转换：确保日期、数字等字段的格式符合目标系统要求。例如，将日期格式从YYYY-MM-DD HH:MM:SS转换为YYYYMMDDHHMMSS。
  3. 缺失值处理：对于缺失或异常值进行填充或删除，以保证数据完整性。

异常处理与重试机制

在实际操作中，可能会遇到各种异常情况，如网络超时、API调用失败等。为了保证数据集成过程的稳定性，需要设计健壮的异常处理与重试机制：

  1. 异常捕获：在每次API调用时捕获可能出现的异常，并记录日志以便后续分析。
  2. 重试策略：对于临时性错误，可以设置重试机制，例如每隔5分钟重试一次，最多重试3次。
  3. 补偿机制：通过定时任务（如crontab）定期检查并补偿遗漏的数据。例如，每天凌晨0点2分执行一次补偿任务，将起始时间设置为三天前。
{
  "crontab": "2 0 * * *",
  "takeOverRequest": [
    {
      "id": "start_timeYrXph",
      "field": "start_time",
      "label": "修改开始时间",
      "type": "string",
      "is_required": false,
      "describe": "修改起始时间，和结束时间必须同时存在，时间间隔不能超过七天，与线上单号不能同时为空",
      "value": "{{DAYS_AGO_3|datetime}}"
    }
  ]
}

通过上述步骤，我们可以高效地从聚水潭·奇门接口获取销售出库单列表，并对数据进行清洗和转换，为后续的数据处理和存储打下坚实基础。这一过程不仅提高了数据集成的透明度和效率，也确保了业务流程的顺畅运行。 打通用友BIP数据接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中，第二步是将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，并转为目标平台能够接收的格式。本文将详细探讨如何通过轻易云数据集成平台将销售出库数据转换为金蝶云星空API接口所需的格式，并最终写入目标平台。

数据请求与清洗

在数据请求阶段，我们从源系统获取原始数据。假设我们已经完成了这一阶段，接下来我们需要对这些数据进行清洗和转换，以符合金蝶云星空API接口的要求。

数据转换与写入

以下是元数据配置，用于将销售出库同步至金蝶云星空：

{
  "api": "batchSave",
  "method": "POST",
  "idCheck": true,
  "operation": {
    "rowsKey": "array",
    "rows": 40,
    "method": "batchArraySave"
  },
  "request": [
    {"field":"FBillTypeID","label":"单据类型","type":"string","describe":"单据类型","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"XSCKD01_SYS"},
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"{io_id}"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"{io_date}"},
    {"field":"FSaleOrgId","label":"销售组织","type":"string","describe":"组织","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"_function case '{shop_id}' when '10593320' then '100' else '101' end"},
    {"field":"FCustomerID","label":"客户","type":"string","describe":"基础资料","parser":{"name":"ConvertObjectParser","params":"FNumber"},"value":"{shop_id}"},
    {"field":"FSaleDeptID","label":"销售部门","type":"string","value":"_function case when '{{items.sku_id}}' like 'A%' or '{{items.sku_id}}' like 'M%' or '{{items.sku_id}}' like 'X%' or '{{items.sku_id}}' like 'D%' or '{{items.sku_id}}' like 'T%' then 'LJ006' else 'LJ011' end"},
    {"field":"F_TLWD_Text","label":"平台单号","type":"string","value":"{so_id}"},
    {"field":"F_TLWD_Assistant","label":"店铺","type":"","value":"","parser":{"name":"","params":""},"mapping":{"target":"","direction":""}},
    {"label":"","field":"","type":"","describe":"","parser":{"name":"","params":""},"mapping":{"target":"","direction":""}},
    {"field":"","label":"","type":"","describe":"","parser":{"name":"","params":""},"mapping":{"target":"","direction":""}}
  ],
  "otherRequest":[
    {"field":"",
      "label":"",
      "type":"",
      "describe":"",
      "parser":{
        "name":"",
        "params":[]
      },
      "mapping":{
        "target":"",
        "direction":[]
      }
    }
  ]
}

元数据解析

  1. FBillTypeID（单据类型）：

    • 类型：字符串
    • 描述：单据类型
    • 转换器：ConvertObjectParser，参数为FNumber
    • 值：XSCKD01_SYS

  2. FBillNo（单据编号）：

    • 类型：字符串
    • 描述：单据编号
    • 值：{io_id}

  3. FDate（日期）：

    • 类型：字符串
    • 描述：日期
    • 值：{io_date}

  4. FSaleOrgId（销售组织）：

    • 类型：字符串
    • 描述：组织
    • 转换器：ConvertObjectParser，参数为FNumber
    • 值：根据店铺ID判断，如果是特定店铺则返回特定值，否则返回默认值。

  5. FCustomerID（客户）：

    • 类型：字符串
    • 描述：基础资料
    • 转换器：ConvertObjectParser，参数为FNumber
    • 值：{shop_id}

  6. FSaleDeptID（销售部门）：

    • 类型：字符串
    • 值：根据SKU ID判断，如果匹配特定模式则返回特定值，否则返回默认值。

  7. F_TLWD_Text（平台单号）：

    • 类型：字符串
    • 值：{so_id}

  8. FEntity（明细信息）： 包含多个子字段，如物料编码、含税单价、实发数量等，每个字段都有相应的解析和转换规则。

  9. SubHeadEntity（财务信息）： 包含整单折扣额等财务信息字段。

  10. 其他字段配置： 包括业务对象表单Id、执行操作、提交并审核等配置项，用于控制整个数据写入过程。

实现步骤

  1. 定义API接口和方法： 配置API接口为batchSave，使用POST方法提交请求。

  2. 设置请求参数和字段映射： 根据元数据配置，将源系统的数据字段映射到目标系统所需的字段格式，并进行必要的转换和解析。

  3. 批量处理和提交： 使用批量处理方法，将多条记录一次性提交到目标系统，提高效率并减少网络开销。

  4. 验证和监控： 配置基础资料验证选项，确保所有基础资料有效。同时，通过实时监控功能，跟踪每个环节的数据流动和处理状态，确保整个过程透明可控。

通过上述步骤，我们可以高效地将源平台的数据转换并写入到金蝶云星空API接口，实现不同系统间的数据无缝对接。 如何对接用友BIP接口

版权声明

该文章《使用平台工具进行数据ETL转换与写入金蝶云星空》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星空与旺店通打通
更多系统对接方案