从金蝶云星空到目标平台的数据ETL实战

  • 轻易云集成顾问-杨嫦

查询金蝶销售出库：从金蝶云星空到轻易云数据集成平台的实现

在一个典型的企业环境中，实现不同系统之间的数据无缝对接是提升业务效率的重要环节。本文将聚焦于如何将金蝶云星空中的销售出库数据集成到轻易云数据集成平台，确保整个过程高效、可靠且透明。

首先，我们需要调用金蝶云星空提供的executeBillQuery API接口获取销售出库相关的数据。这个接口支持复杂查询条件，可以精确地抓取所需的数据。然而，实时处理和大规模数据传输带来了一些技术挑战，如分页和限流问题。为了保证数据不漏单，我们进行了详细的设计，包括定时任务调度和错误重试机制，以捕获并修正任何请求失败或异常情况。

接下来，在处理从金蝶云星空获取的大批量数据时，轻易云集成平台必须进行快速写入操作。这涉及使用其“写入空操作”API，并结合批量处理策略，有效加速了数据写入速度。此外，由于两个系统间存在一定的数据格式差异，我们通过自定义映射规则解决了这一问题，使输入输出格式能够完美契合。

整个过程中，对每个阶段实现细致监控与日志记录至关重要，这不仅能帮助我们追踪每一条数据信息，还可以在出现异常时迅速采取相应措施。通过实时监控，对突发情况做出即时响应，从而保障整体流程顺畅运行。

最后，为增强整体方案的可靠性和可维护性，在轻易云集成平台中实施了高级别的异常处理机制，包括自动重试策略和分布式事务管理。这些功能使得我们的系统对接更加稳健，无论面临何种复杂场景，都能有效应对各种不确定因素。

这就是本次系统集成案例分享的大致背景，下文将具体阐述各步骤技术细节及实现方法。 金蝶云星空API接口配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成生命周期的第一步中，调用源系统接口获取数据是至关重要的一环。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取销售出库单据，并对数据进行初步加工。

接口配置与请求参数

首先，我们需要配置API接口的元数据。根据提供的元数据配置，executeBillQuery接口使用POST方法进行调用。以下是关键的请求参数配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FBillNo",
  "id": "FEntity_FENTRYID",
  "pagination": {
    "pageSize": 100
  },
  "idCheck": true,
  "formatResponse": [
    {
      "old": "FDate",
      "new": "FDate_new",
      "format": "date"
    }
  ],
  "request": [
    {"field":"FBillTypeID_FNumber","label":"单据类型","type":"string","describe":"单据类型","value":"FBillTypeID.FNumber"},
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"FBillNo"},
    {"field":"FEntity_FENTRYID","label":"FEntity_FENTRYID","type":"string","describe":"单据编号","value":"FEntity_FENTRYID"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"FDate"},
    {"field":"FSaleOrgId_FNumber","label":"销售组织","type":"string","describe":"组织","value":"FSaleOrgId.FNumber"},
    {"field":"FCustomerID_FNumber","label":"客户","type":"string","describe":"基础资料","value":"FCustomerID.FNumber"},
    // ...（其他字段省略）
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field": "TopRowCount", "label": "返回总行数", "type": int, describe: 金蝶的查询分页参数},
    {"field: FilterString, label: 过滤条件, type: string, describe: 示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=,"value:" FApproveDate>='{{LAST_SYNC_TIME|datetime}}'"},
    {"field: FieldKeys, label:需查询的字段key集合,type: array, describe: 金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber,"parser":{"name:"ArrayToString,"params:",}},
    {"field:"FormId,"label:"业务对象表单Id,"type:"string,"describe:"必须填写金蝶的表单ID如:PUR_PurchaseOrder,"value:"SAL_OUTSTOCK"}
  ]
}

数据请求与清洗

在配置好元数据后，我们可以通过轻易云平台发起对金蝶云星空接口的请求。请求的数据会包含多个字段，如单据类型、单据编号、日期、销售组织等。这些字段在请求中作为查询条件或返回结果的一部分。

  1. 分页处理：为了避免一次性获取大量数据导致性能问题，我们使用分页参数Limit和StartRow来控制每次请求的数据量。
  2. 过滤条件：通过FilterString设置过滤条件，例如只获取最近同步时间之后的数据。
  3. 字段选择：使用FieldKeys指定需要查询的字段集合，以减少不必要的数据传输。

数据转换与格式化

获取到原始数据后，需要对部分字段进行转换和格式化。例如，将日期字段FDate转换为新的格式并重命名为FDate_new：

"formatResponse":[
  {
    "old":"FDate",
    "new":"FDate_new",
    "format":"date"
  }
]

这种转换可以通过轻易云平台内置的函数实现，确保数据符合目标系统或业务需求。

实际应用案例

假设我们需要从金蝶云星空中获取所有状态为“已审核”的销售出库单，并将其导入到另一个系统中。具体步骤如下：

  1. 设置过滤条件：

    {
 field: FilterString,
 value: FDocumentStatus='C'
}

  2. 发起API请求： 使用上述配置，通过轻易云平台发起POST请求，获取符合条件的数据。

  3. 处理响应数据： 对响应中的日期字段进行格式化，并根据业务需求进行其他必要的数据清洗和转换。

  4. 写入目标系统： 将处理后的数据写入目标系统，完成整个数据集成过程。

通过以上步骤，我们实现了从金蝶云星空获取销售出库单并进行初步加工，为后续的数据处理和分析打下了坚实基础。这种方法不仅提高了数据处理效率，还确保了数据的一致性和准确性。 如何对接企业微信API接口

使用轻易云数据集成平台实现金蝶销售出库数据ETL转换与写入

在数据集成过程中，数据的ETL（提取、转换、加载）是一个至关重要的环节。本文将深入探讨如何利用轻易云数据集成平台将金蝶销售出库的数据进行ETL转换，并通过API接口将其写入目标平台。

数据提取与清洗

首先，我们需要从金蝶系统中提取销售出库的数据。这一步通常涉及到调用金蝶的API接口，获取原始的销售出库记录。在此过程中，我们可能会遇到数据格式不一致、字段缺失等问题，因此需要对数据进行清洗和标准化处理。

# 示例代码：从金蝶系统中提取销售出库数据
import requests

def fetch_kingdee_data(api_url, headers):
    response = requests.get(api_url, headers=headers)
    if response.status_code == 200:
        return response.json()
    else:
        raise Exception("Failed to fetch data from Kingdee API")

api_url = "https://api.kingdee.com/sales/outbound"
headers = {"Authorization": "Bearer your_token"}
sales_data = fetch_kingdee_data(api_url, headers)

数据转换

在完成数据提取与清洗后，接下来就是将这些数据转换为目标平台所能接受的格式。轻易云集成平台提供了丰富的元数据配置选项，可以帮助我们实现这一过程。

根据提供的元数据配置，我们需要使用POST方法，并且启用ID检查功能。以下是一个示例代码片段，展示了如何进行数据转换：

# 示例代码：将金蝶销售出库数据转换为目标平台格式
def transform_data(sales_data):
    transformed_data = []
    for record in sales_data:
        transformed_record = {
            "id": record["id"],
            "product_name": record["productName"],
            "quantity": record["quantity"],
            "price": record["price"]
        }
        transformed_data.append(transformed_record)
    return transformed_data

transformed_sales_data = transform_data(sales_data)

数据写入目标平台

最后一步是将转换后的数据通过API接口写入目标平台。根据元数据配置，我们使用POST方法，并且需要确保ID检查功能已启用。这可以防止重复写入相同的数据记录，提高数据一致性和可靠性。

# 示例代码：通过API接口将转换后的数据写入目标平台
def write_to_target_platform(api_url, data, headers):
    for record in data:
        response = requests.post(api_url, json=record, headers=headers)
        if response.status_code != 200:
            raise Exception(f"Failed to write data: {response.text}")

target_api_url = "https://api.qingyiyun.com/data/write"
headers = {"Authorization": "Bearer your_token"}
write_to_target_platform(target_api_url, transformed_sales_data, headers)

元数据配置解读

在上述过程中，元数据配置起到了关键作用。以下是对元数据配置的详细解读：

  • api: 指定了目标API接口名称，这里是“写入空操作”。
  • method: 指定了HTTP请求方法，这里是POST。
  • idCheck: 启用了ID检查功能，确保不会重复写入相同的数据记录。

通过合理利用这些元数据配置，我们可以确保整个ETL过程高效、可靠地完成。

总结而言，通过轻易云集成平台的强大功能，我们能够顺利实现从金蝶系统到目标平台的数据ETL转换与写入。这不仅提高了业务流程的自动化程度，也显著提升了数据处理的效率和准确性。 金蝶与MES系统接口开发配置

版权声明

该文章《从金蝶云星空到目标平台的数据ETL实战》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台集成生命周期
更多系统对接方案