数据集成生命周期中的ETL：从提取到写入的全过程

  • 轻易云集成顾问-曹润

金蝶云星空数据集成到轻易云平台：查询金蝶部门的实现

在数据驱动业务决策的时代中，高效的数据集成对保持企业竞争力至关重要。本文将探讨如何通过轻易云数据集成平台，成功实现从金蝶云星空系统中获取部门信息，并进行实时处理和监控。我们具体关注一个实际运行方案：“查询金蝶部门”。

在这个案例中，我们使用了金蝶云星空API executeBillQuery 接口来获取所需的部门信息，并将这些数据快速高效地写入到轻易云集成平台，通过其强大的支持功能进行进一步处理。

首先，为确保从金蝶云星空接口抓取的数据准确且不遗漏，我们设置了定时任务，定期调用 executeBillQuery API。一旦获取到原始数据，这些信息会立即进入轻易云的平台，在接下来的步骤里执行批量写入操作。

为了适应不同业务需求和特定的数据结构，我们利用了平台提供的自定义数据转换逻辑功能，使得每个部门的信息能够准确映射并符合我们的数据库标准。同时，通过可视化的数据流设计工具，大大简化了复杂的数据映射过程，使一切变得更加直观和易于管理。

此外，在整个数据集成过程中，平台内置的集中监控和告警系统持续跟踪每个任务状态，从而迅速发现及解决可能存在的问题。这不仅有效保障了系统对接流程无缝运行，而且提升了运维效率，实现实时预警与问题解决相结合。

特别值得一提的是，当面对分页及限流等挑战时，我们采取了一系列优化措施，例如按页数逐步拉取并合并结果、以及针对接口吞吐量挑选最佳实践，以保证所有需要同步的数据都能顺利传输至目标端。而当出现异常情况时，如网络波动或API返回错误码等，实施完善的重试机制以重新发起请求，实现高可用性与稳定性的双重保障。

综上所述，本技术案例详解了一套行之有效的方法，将来自金蝶云星空的大量部门数据信息通过合理配置及全面监控，有序引导进轻易云集成平台，为后续更深层次的数据分析和应用奠定坚实基础。 打通钉钉数据接口

调用源系统金蝶云星空接口executeBillQuery获取并加工数据

在轻易云数据集成平台中，调用金蝶云星空接口executeBillQuery是数据集成生命周期的第一步。本文将详细探讨如何通过该接口获取并加工数据，确保数据在后续处理阶段的高效流转。

接口配置与请求参数

首先，我们需要配置元数据，以便正确调用金蝶云星空的API接口。以下是关键的元数据配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FName",
  "id": "FDEPTID",
  "pagination": {
    "pageSize": 100
  },
  "request": [
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FCreateOrgId","label":"创建组织","type":"string","value":"FCreateOrgId"},
    {"label":"使用组织","field":"FUseOrgId","type":"string","value":"FUseOrgId"},
    {"label":"实体主键","field":"FDEPTID","type":"string","value":"FDEPTID"}
  ],
  "otherRequest": [
    {"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"TopRowCount","label":"返回总行数","type":"int","describe":"金蝶的查询分页参数"},
    {"field":"FilterString","label":"过滤条件","type":"string","describe":"示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=","value":"FAuditDate>='{{LAST_SYNC_TIME|datetime}}'"},
    {"field":"FieldKeys","label":"需查询的字段key集合","type":"array","describe":"金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber", "parser":{"name": "ArrayToString", "params": ","}},
    {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_Department"}
  ]
}

请求参数解析

  1. API和方法：

    • api: 指定要调用的API接口，这里为executeBillQuery。
    • method: HTTP请求方法，使用POST。

  2. 字段映射：

    • number: 字段名称，用于标识记录。
    • id: 实体主键字段。

  3. 分页配置：

    • pagination.pageSize: 每次请求的数据条数，这里设置为100。

  4. 请求字段：

    • request: 包含了需要从源系统获取的数据字段，如名称（FName）、编码（FNumber）、创建组织（FCreateOrgId）、使用组织（FUseOrgId）和实体主键（FDEPTID）。

  5. 其他请求参数：

    • Limit: 最大行数，使用分页参数。
    • StartRow: 开始行索引，使用分页参数。
    • TopRowCount: 返回总行数，用于控制查询结果集。
    • FilterString: 过滤条件，这里示例为审核日期大于等于上次同步时间（FAuditDate>='{{LAST_SYNC_TIME|datetime}}'）。
    • FieldKeys: 查询字段集合，格式化为字符串。
    • FormId: 表单ID，这里为部门表单（BD_Department）。

调用接口与处理响应

在配置好元数据后，可以通过轻易云平台发起HTTP POST请求到金蝶云星空API。以下是一个示例请求体：

{
  "FormId": "BD_Department",
  "FieldKeys": ["FName", "FNumber", "FCreateOrgId", "FUseOrgId", "FDEPTID"].join(","),
  "FilterString": "FAuditDate>='2023-01-01'",
  "Limit": 100,
  "StartRow": 0
}

响应结果将包含所请求的数据字段及其对应值，例如：

{
  "Result": [
    {
      "FName": "财务部",
      "FNumber": "D001",
      ...
      }
    ]
}

数据清洗与转换

获取到响应数据后，需要进行清洗和转换，以便适应目标系统的数据结构和业务需求。例如，可以对日期格式进行标准化处理，对编码进行校验等。

def clean_data(data):
    for record in data:
        record['FAuditDate'] = standardize_date(record['FAuditDate'])
        # 更多清洗逻辑...
    return data

通过上述步骤，我们可以高效地从金蝶云星空系统中提取所需数据，并为后续的数据转换与写入做好准备。这一过程不仅确保了数据的一致性和准确性，也极大提升了业务流程的透明度和效率。 金蝶云星空API接口配置

数据集成生命周期中的ETL转换与写入

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，最终转为目标平台能够接收的格式并写入。本文将详细探讨如何通过轻易云数据集成平台实现这一过程，特别是如何利用API接口进行数据写入。

数据提取与清洗

在数据集成过程中，首先从源系统中提取原始数据，并对其进行必要的清洗和预处理。这一步骤确保了数据的完整性和一致性，为后续的转换和加载打下基础。假设我们从金蝶系统中提取了部门信息，这些信息可能包括部门ID、部门名称、上级部门等字段。

数据转换

在数据转换阶段，我们需要根据目标平台的要求，对提取的数据进行格式化和转换。例如，金蝶系统中的部门信息可能需要映射到目标平台中的特定字段。在这个过程中，我们可以使用轻易云平台提供的各种工具和功能来实现数据的转换。

以下是一个简单的数据转换示例：

{
  "sourceData": {
    "deptId": "123",
    "deptName": "研发部",
    "parentDeptId": "001"
  },
  "transformedData": {
    "department_id": "123",
    "department_name": "研发部",
    "parent_department_id": "001"
  }
}

在这个示例中，我们将金蝶系统中的deptId、deptName和parentDeptId字段分别映射到目标平台中的department_id、department_name和parent_department_id字段。

数据写入

完成数据转换后，下一步是将这些转换后的数据写入目标平台。轻易云数据集成平台提供了丰富的API接口，可以方便地实现这一过程。根据提供的元数据配置，我们可以看到以下关键信息：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

我们需要通过POST请求调用“写入空操作”API接口，将转换后的数据传递给目标平台。以下是一个具体的实现示例：

import requests
import json

# 转换后的数据
transformed_data = {
    "department_id": "123",
    "department_name": "研发部",
    "parent_department_id": "001"
}

# API请求头
headers = {
    'Content-Type': 'application/json'
}

# API请求URL
url = 'https://api.targetplatform.com/write'

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(transformed_data))

# 检查响应状态码
if response.status_code == 200:
    print("数据成功写入目标平台")
else:
    print(f"写入失败，状态码: {response.status_code}")

在这个示例中，我们使用Python的requests库发起POST请求，将转换后的JSON格式的数据发送到目标平台。如果响应状态码为200，则表示数据成功写入。

接口特性与注意事项

  1. 异步处理：轻易云平台支持全异步处理，这意味着在发起API请求后，不必等待响应即可继续执行其他操作。这极大提升了系统性能和响应速度。
  2. ID检查：根据元数据配置中的idCheck: true，我们需要确保每条记录都有唯一标识符，以避免重复或冲突。
  3. 错误处理：在实际应用中，需要加入更多的错误处理机制，例如重试策略、日志记录等，以确保数据可靠性。

通过上述步骤，我们可以高效地将源系统的数据经过ETL转换后，成功写入到目标平台。这不仅提升了业务流程的自动化程度，也确保了数据的一致性和准确性。 用友与SCM系统接口开发配置

版权声明

该文章《详解executeBillQuery接口：从金蝶云星空提取与处理数据》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云企业AIGC应用
更多系统对接方案