高效数据处理：轻易云平台API搭建ETL流程

  • 轻易云集成顾问-何语琴

金蝶云星空与轻易云的数据集成案例分享：MOM-SCLL-生产领料单查询-OK

在数字化工厂中，实现不同系统之间的无缝数据对接至关重要。本文将探讨如何通过轻易云数据集成平台，将金蝶云星空中的生产领料单数据高效且可靠地集成到企业的统一管理系统中。本次技术方案以“MOM-SCLL-生产领料单查询-OK”为例，展示了从获取数据、处理转换到写入存储的完整过程，并重点分析关键技术细节和实现步骤。

首先，通过调用金蝶云星空提供的 executeBillQuery 接口，我们能够实时抓取最新的生产领料单信息。在此过程中，我们采用定时任务机制，确保数据不漏单且及时更新。由于实际业务需求涉及大量的数据，我们特别注重接口分页处理和限流问题，以防止因请求量过大导致服务不可用或者超时。

为了应对金蝶云星空与轻易云集成平台之间可能存在的数据格式差异，实施自定义的数据转换逻辑是必不可少的一步。我们利用轻易云提供的可视化数据流设计工具，对拉取回来的原始JSON结构进行解析、映射和转换，使其符合目标系统所需的格式要求。这不仅提高了开发效率，也使得后续维护更加直观便捷。

此外，在数据写入环节上，因为需要支持高吞吐量的大规模数据写入操作，我们选择了轻易云的平台API“写入空操作”。该API具有快速响应能力，可以保障海量业务数据在短时间内完成存储，并通过集中式监控和告警系统实时跟踪整个过程，保证任务执行状态可控、性能达标。

面对这些复杂而精细化的数据处理需求，本方案还加入了一系列异常检测与错误重试机制。例如，当插入数据库操作失败或出现网络异常时，会自动记录日志并尝试多次重新提交，以保证最终一致性。同时，通过详细的日志记录功能，可以随时审查每一步骤发生的问题及其解决情况，为后续优化改进提供依据。

总之，此次金蝶云星空与轻易云集成平台的数据对接，不仅完美实现了从源头获取到目标保存各环节无缝衔接，还充分考虑到了实际运行中的各种挑战，相信能为类似项目提供宝贵参考。 打通钉钉数据接口

使用轻易云数据集成平台调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成过程中，调用源系统接口是至关重要的一步。本文将详细介绍如何使用轻易云数据集成平台，通过调用金蝶云星空的executeBillQuery接口，获取并加工生产领料单的数据。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用金蝶云星空的executeBillQuery接口。以下是关键的元数据配置：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FBillNo",
  "id": "FEntity_FEntryID",
  "name": "FBillNo",
  "idCheck": true,
  "request": [
    {"field":"FEntity_FEntryID","label":"id","type":"string","describe":"id","value":"FEntity_FEntryID"},
    {"field":"FMoEntrySeq","label":"生产订单号","type":"string","describe":"生产订单号","value":"FMoEntrySeq"},
    {"field":"FID","label":"实体主键","type":"string","describe":"实体主键","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"FBillNo"},
    {"field":"FDate","label":"日期","type":"string","describe":"日期","value":"FDate"},
    {"field":"FPrdOrgId","label":"生产组织","type":"string","describe":"生产组织","value":"FPrdOrgId.FNumber"},
    {"field":"FStockOrgId","label":"发料组织","type":"string","describe":"发料组织","value":"FStockOrgId.FNumber"},
    {"field":"FMoBillNo","label":"生产订单编号","type":"string","describe":"","value":""},
    {"field":...}
  ],
  ...
}

请求参数解析

  • FormId: PRD_PickMtrl，表示业务对象表单ID。
  • FieldKeys: 包含需要查询的字段集合，如FBillNo, FID, FDate等。
  • FilterString: 用于过滤条件，例如："FPrdOrgId.FNumber in ('T02', 'T02.01') and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'"。

数据请求与清洗

在实际操作中，我们通过POST请求向金蝶云星空发送查询请求。以下是一个示例请求体：

{
  "FormId": "PRD_PickMtrl",
  "FieldKeys": ["FBillNo", "FID", "FDate", ...],
  "FilterString": "FPrdOrgId.FNumber in ('T02', 'T02.01') and FApproveDate>='2023-01-01'",
  ...
}

该请求将返回符合条件的生产领料单数据。接下来，我们需要对返回的数据进行清洗和转换，以确保其符合目标系统的要求。

数据转换与写入

在清洗阶段，我们可能需要对某些字段进行格式转换或值映射。例如，将日期格式从YYYY-MM-DD转换为目标系统所需的格式，或者将物料编码映射到内部编码体系。

以下是一个简单的数据清洗示例：

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            'bill_no': record['FBillNo'],
            'date': convert_date_format(record['FDate']),
            'material_code': map_material_code(record['FMaterialId.FNumber']),
            ...
        }
        cleaned_data.append(cleaned_record)
    return cleaned_data

实时监控与异常处理

轻易云数据集成平台提供了实时监控功能，可以随时查看数据流动和处理状态。如果在调用接口或处理数据时发生异常，可以通过平台提供的日志和告警机制及时发现并解决问题。

例如，当某个字段值不符合预期时，可以设置自动告警，并通过重试机制或手动干预来修正错误。

{
  "omissionRemedy": {
    "crontab": "*\/5 * * * *",
    ...
  }
}

以上内容展示了如何使用轻易云数据集成平台调用金蝶云星空接口获取并加工生产领料单的数据。在实际应用中，根据具体业务需求，可以进一步调整和优化配置，以实现更高效的数据集成。 如何开发用友BIP接口

数据转换与写入：轻易云数据集成平台API接口的应用案例

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，使其符合目标平台轻易云集成平台API接口所能够接收的格式，并最终写入目标平台。本文将详细探讨这一过程，特别是如何利用元数据配置来实现高效的数据转换与写入。

元数据配置解析

在本案例中，我们的元数据配置如下：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "number": "number",
  "id": "id",
  "name": "编码",
  "idCheck": true
}

通过解析上述元数据配置，可以得出以下关键点：

  1. API接口名称：写入空操作
  2. 操作效果：EXECUTE
  3. HTTP方法：POST
  4. 字段映射：
    • number 对应源数据中的 number
    • id 对应源数据中的 id
    • name 对应源数据中的 编码
  5. ID检查：启用ID检查 (idCheck: true)

数据转换过程

在进行ETL转换时，首先需要从源系统中提取原始数据。假设我们从MOM-SCLL系统中提取了以下生产领料单查询结果：

{
  "number": "12345",
  "id": "67890",
  "编码": "ABC123"
}

根据元数据配置，我们需要将这些字段映射到目标平台所需的格式。具体步骤如下：

  1. 字段映射：根据元数据配置，将源数据字段映射到目标字段。
  2. ID检查：如果启用了ID检查，则需要验证ID是否存在或符合特定规则。
  3. 构建请求体：将映射后的字段构建为目标平台API所需的请求体格式。

构建请求体

根据上述步骤，映射后的请求体应如下：

{
  "number": "12345",
  "id": "67890",
  "name": "ABC123"
}

API接口调用

接下来，我们使用HTTP POST方法将构建好的请求体发送到轻易云集成平台的API接口。示例代码如下：

import requests

url = 'https://api.qingyiyun.com/execute'
headers = {
    'Content-Type': 'application/json'
}
data = {
    'number': '12345',
    'id': '67890',
    'name': 'ABC123'
}

response = requests.post(url, headers=headers, json=data)

if response.status_code == 200:
    print("Data successfully written to the target platform.")
else:
    print(f"Failed to write data: {response.status_code}")

在上述代码中，我们构建了一个HTTP POST请求，将已转换的数据发送到指定的API接口地址。如果响应状态码为200，则表示数据成功写入目标平台。

实践中的注意事项

  1. 异常处理：在实际应用中，需要对可能出现的异常情况进行处理，如网络错误、API接口返回错误信息等。
  2. 日志记录：建议记录每次API调用及其结果，以便于后续排查问题。
  3. 性能优化：对于大批量的数据写入，可以考虑批量处理或异步处理，以提高效率。

通过以上步骤，我们完成了从源系统提取、转换并写入目标平台的全过程。在实际项目中，根据具体需求和场景，还可能涉及更多复杂的数据清洗和转换逻辑，但核心流程基本类似。希望本文能为您的系统集成工作提供实用参考。 数据集成平台可视化配置API接口

版权声明

该文章《高效数据处理：轻易云平台API搭建ETL流程》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台运行原理
更多系统对接方案