管易云·奇门数据集成到金蝶云星空的技术实践

在本案例中，我们将深入探讨如何实现管易云·奇门的数据高效集成到金蝶云星空，具体场景为“管易销售发货单同步至金蝶销售出库单”。这个任务需要稳健的技术方案来保证数据的准确性、时效性和完整性。以下是我们实施这一解决方案的核心技术要点。

首先，我们选择了利用gy.erp.trade.deliverys.get接口从管易云·奇门系统获取销售发货单数据。由于每次抓取的数据量较大，通过分页处理和限流策略确保系统不会因为瞬时请求过多而导致性能下降。同时，我们通过定时调度机制可靠地周期性抓取这些数据，避免遗漏或重复。

接下来，为了解决两个系统之间的数据差异问题，我们设计了一套自定义的数据转换逻辑，将管易云·奇门中的发货单格式转化为符合金蝶云星空batchSave接口规范的出库单格式。这种映射过程不仅考虑到了字段名称的一致性，还针对业务上的特定需求进行了额外调整，以确保最终写入的数据能够满足使用要求。

在实际操作过程中，对于批量处理部分，通过并行批量写入功能，有效提升了大量数据快速写入至金蝶云星空平台的效率。此外，实时监控与日志记录体系则对整个流程进行全方位跟踪，一旦检测到异常情况，可以及时采取措施进行重试或告警，从而保障系统稳定运行。

上述方法中，每一步都得益于集中监控和告警机制，使得我们能够在第一时间掌握任务状态与性能，并迅速定位和解决潜在问题。在后续文章中，将详细描述具体实施步骤及注意事项。

调用管易云·奇门接口gy.erp.trade.deliverys.get获取并加工数据的技术案例

在数据集成过程中，调用源系统接口是关键的第一步。本文将详细探讨如何通过轻易云数据集成平台调用管易云·奇门接口gy.erp.trade.deliverys.get，并对获取的数据进行初步加工，以便后续的数据转换与写入。

接口调用配置

首先，我们需要配置接口调用的元数据。以下是具体的配置细节：

{
  "api": "gy.erp.trade.deliverys.get",
  "method": "POST",
  "number": "code",
  "id": "code",
  "pagination": {
    "pageSize": 50
  },
  "formatResponse": [
    {
      "old": "delivery_statusInfo.delivery_date",
      "new": "delivery_date_new",
      "format": "date"
    }
  ],
  "idCheck": true,
  "omissionRemedy": {
    "crontab": "20 0 * * *",
    "takeOverRequest": [
      {
        "field": "start_delivery_date",
        "label": "发货时间结束段",
        "type": "string",
        "value": "{{DAYS_AGO_1|datetime}}"
      },
      {
        "field": "end_delivery_date",
        "value": "{{LAST_SYNC_TIME|datetime}}",
        "type": "string",
        "label": "接管字段"
      }
    ]
  },
  ...
}

请求参数设置

请求参数决定了我们从源系统获取哪些数据。在本案例中，我们设置了多个时间段参数来控制数据范围，并指定了分页大小和页号：

{
  ...
  "request": [
    {"field":"start_create","label":"创建时间开始段","type":"string"},
    {"field":"end_create","label":"创建时间结束段","type":"string"},
    {"field":"start_delivery_date","label":"发货时间开始段","type":"string","value":"{{LAST_SYNC_TIME|datetime}}"},
    {"field":"end_delivery_date","label":"发货时间结束段","type":"string","value":"{{CURRENT_TIME|datetime}}"},
    {"field":"start_modify_date","label":"修改时间开始段","type":"string"},
    {"field":"end_modify_date","label":"修改时间结束段","type":"string"},
    {"field":"del","label":"返回是否作废的单据","type":"string"},
    {"field":"delivery","label":"发货状态","type":"string","value":"1"},
    {"field":"code","label":"单据编号","type":"string"}
  ],
  ...
}

数据格式化与转换

为了确保数据的一致性和可读性，我们需要对返回的数据进行格式化处理。例如，将delivery_statusInfo.delivery_date字段格式化为日期类型，并重命名为delivery_date_new：

{
  ...
  "formatResponse":[
    {
      "old": "delivery_statusInfo.delivery_date",
      "new": "delivery_date_new",
      "format": "date"
    }
  ],
  ...
}

数据缺失补救机制

在实际操作中，可能会遇到数据缺失的情况。为此，我们设置了定时任务（crontab）和接管请求参数，以确保在特定时间点自动补救缺失的数据：

{
  ...
  “omissionRemedy”: {
    “crontab”: “20 0 * * *”,
    “takeOverRequest”: [
      {
        “field”: “start_delivery_date”,
        “label”: “发货时间结束段”,
        “type”: “string”,
        “value”: “{{DAYS_AGO_1|datetime}}”
      },
      {
        “field”: “end_delivery_date”,
        “value”: “{{LAST_SYNC_TIME|datetime}}”,
        “type”: “string”,
        “label”: “接管字段”
      }
    ]
   },
   ...
}

条件过滤

为了进一步精确地筛选所需数据，我们可以添加条件过滤。例如，仅获取平台代码包含“XXXSDD”的记录，并排除订单类型为“Maintain”的详情记录：

{
   ...
   “condition_bk”: [
     [{"field”:“platform_code”,“logic”:“like”,“value”:“XXXSDD”}]
   ],
   “condition”: [
     [{"field”:“platform_code”,“logic”:“like”,“value”:“XXXSDD”},
     {“field”:“details.order_type”,“logic”:“neqv2”,“value”:“Maintain”}]
   ]
}

通过以上配置，我们能够高效地调用管易云·奇门接口gy.erp.trade.deliverys.get，并对返回的数据进行初步加工，为后续的数据转换与写入奠定基础。这样不仅提升了数据处理的透明度和效率，也确保了数据的一致性和完整性。

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台金蝶云星空API接口所能接收的格式，并最终写入目标平台。本文将详细探讨如何利用轻易云数据集成平台配置元数据，实现这一过程。

数据请求与清洗

首先，我们需要从源平台获取销售发货单的数据。这些数据将经过清洗和初步处理，以确保其质量和一致性。接下来，我们重点关注如何将这些清洗后的数据转换为金蝶云星空API接口所需的格式。

数据转换与写入

在轻易云数据集成平台中，我们使用以下元数据配置来实现ETL转换：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "单据类型",
      "parser": {"name": "ConvertObjectParser", "params": "FNumber"},
      "value": "XSCKD10_SYS"
    },
    {
      "field": "FBillNo",
      "label": "单据编号",
      "type": "string",
      "describe": "单据编号"
    },
    {
      ...
    }
  ],
  ...
}

上述配置定义了多个字段，每个字段都有其特定的属性和解析器（parser）。下面我们详细分析几个关键字段及其解析方式：

1. 单据类型 (FBillTypeID)

   • field: FBillTypeID
   • parser: ConvertObjectParser
   • params: FNumber
   • value: XSCKD10_SYS

   此字段表示单据类型，使用ConvertObjectParser解析器将参数FNumber转换为目标系统所需的格式。

2. 日期 (FDate)

   • field: FDate
   • value: {{delivery_statusInfo.delivery_date}}

   此字段直接从源数据中提取交货日期，并保持字符串格式。

3. 销售组织 (FSaleOrgId)

   • field: FSaleOrgId
   • parser: ConvertObjectParser
   • params: FNumber
   • value: _findCollection find FSaleOrgId from cace251c-bd87-39cc-99f1-ab0c7164cc13 where FBillNo={{details.platform_code}}

   此字段通过查找集合中的销售组织ID，并使用ConvertObjectParser进行解析。

4. 客户 (FCustomerID)

   • field: FCustomerID
   • parser: ConvertObjectParser
   • params: FNumber
   • value: _findCollection find FCustId from cace251c-bd87-39cc-99f1-ab0c7164cc13 where FBillNo={{details.platform_code}}

   类似地，客户信息通过查找集合中的客户ID，并使用解析器进行转换。

子实体和嵌套结构

元数据配置中还包含子实体和嵌套结构，例如财务信息（SubHeadEntity）和明细信息（FEntity）。这些子实体包含进一步的字段和子结构：

{
  ...
  {
    "field": "SubHeadEntity",
    ...
    {
      ...
      {
        ...
        {
          ...
          {
            ...
          }
        }
      }
    }
  },
  {
    ...
    {
      ...
      {
        ...
        {
          ...
          {
            ...
          }
        }
      }
    }
  }
}

这些嵌套结构允许我们对复杂的数据关系进行建模，并确保所有相关信息都能正确映射到目标系统中。

操作配置

最后，我们定义操作配置以指定如何执行批量保存操作：

{
  ...
  {
    ...
    {
      ...
      {
        ...
        {
          ...
          {"rowsKey":"array","rows":1,"method":"batchArraySave"}
        }
      }
    }
  }
}

此部分配置指定了批量保存方法以及相关参数，确保整个ETL过程顺利完成。

通过以上步骤，我们成功地将源平台的数据经过ETL转换，转为金蝶云星空API接口所能接收的格式，并最终写入目标平台。这一过程展示了轻易云数据集成平台在处理复杂数据集成任务时的强大功能和灵活性。