使用轻易云平台实现ETL转换与写入钉钉

  • 轻易云集成顾问-卢剑航

金蝶云星空数据集成案例：从金蝶到钉钉的顺畅对接

在许多企业信息化建设中，系统间的数据集成是一个常见且至关重要的环节。本文将分享一个具体的案例，介绍如何借助轻易云数据集成平台，将金蝶云星空的数据高效地集成到钉钉平台上。本次案例实际运行方案为basic-（新环境）KY客户 (V4.0)，详细阐述整个数据流动过程，从数据获取、转换优化，再到写入及监控。

为了实现这一目标，我们首先利用金蝶云星空提供的executeBillQuery API接口来抓取所需业务数据。考虑到可能存在大量数据需要批量处理，以及API调用时会面临分页和限流问题，通过定时任务机制可靠地抓取这些分段的数据，并确保不会漏单。在此过程中，我们使用自定义的数据转换逻辑，将获取的数据适配以符合钉钉要求的数据格式。

下一个关键点是通过钉钉开放平台/v1.0/yida/forms/instances接口，实现大规模、高吞吐量地将清洗后的业务数据快速写入至指定位置。在整合过程中，为了确保所有操作透明可视，每一步都受到集中监控与实时告警系统的关注，同时实施异常检测及错误重试机制，以增加稳定性和鲁棒性。

面对复杂多变的需求场景，上述方案展示了轻易云强大的功能特性，包括全生命周期管理、可视化设计工具以及细粒度权限控制等，充分满足业务流程对效率、安全和灵活性的苛刻要求。此次技术实操不仅提升了企业内部管理协同性，也为未来类似项目积累了宝贵经验。 金蝶云星空API接口配置

调用源系统金蝶云星空接口executeBillQuery获取并加工数据

在数据集成生命周期的第一步，我们需要从源系统获取数据并进行初步加工。本文将详细介绍如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来实现这一过程。

接口配置与调用

首先，我们需要配置和调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FCUSTID",
  "pagination": {
    "pageSize": 100
  },
  "idCheck": true,
  "request": [
    {"field":"FCUSTID","label":"FCUSTID","type":"string","value":"FCUSTID"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FCreateOrgId_FNumber","label":"创建组织","type":"string","value":"FCreateOrgId.FNumber"},
    {"field":"FUseOrgId_FNumber","label":"使用组织","type":"string","value":"FUseOrgId.FNumber"},
    {"field":"FDescription","label":"描述","type":"string","value":"FDescription"},
    {"field":"FIsTrade","label":"是否交易客户","type":"string","value":"FIsTrade"},
    {"field":"FCustTypeId_FNumber","label":"客户类别","type":"string","value":"FCustTypeId.FNumber"},
    {"field":"FGroup_FNumber","label":"客户分组","type":"string","value":"FGroup.FNumber"},
    {"field":"FSALDEPTID_FNumber","label":"销售部门","type":"string","value":"FSALDEPTID.FNumber"},
    {"field":"FSELLER_FNumber","label":"销售员","type":"string","value":"FSELLER.FNumber"},
    {"field":...}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field":...}
  ]
}

数据请求与清洗

在调用接口之前，我们需要确保请求参数的正确性和完整性。以下是一个典型的请求示例：

{
  "FormId": "BD_Customer",
  "FieldKeys": ["FCUSTID", ..., "..."],
  "FilterString": "",
  ...
}
  1. FormId：业务对象表单Id，必须填写金蝶的表单ID，如BD_Customer。
  2. FieldKeys：需查询的字段key集合，这里我们使用了多个字段，如FCUSTID, FName, FDescription等。
  3. FilterString：过滤条件，可以根据业务需求进行设置，例如：FSupplierId.FNumber = 'VEN00010' and FApproveDate>= '2023-01-01'。

数据转换与写入

在获取到原始数据后，需要对数据进行清洗和转换，以便后续处理。以下是一个简单的数据转换示例：

def transform_data(raw_data):
    transformed_data = []
    for item in raw_data:
        transformed_item = {
            'CustomerID': item['FCUSTID'],
            'CustomerName': item['FName'],
            'Organization': item['FCreateOrgId_FNumber'],
            ...
        }
        transformed_data.append(transformed_item)
    return transformed_data

通过上述代码，我们将原始数据中的字段重新映射为更具业务意义的字段名，并进行必要的数据格式转换。

分页处理

由于接口返回的数据量可能较大，我们需要进行分页处理。元数据配置中已经包含了分页参数：

{
  "pagination": {
    "pageSize": 100
  }
}

在实际调用时，可以通过循环或递归方式逐页获取数据，直到所有数据都被处理完毕。例如：

page_size = metadata['pagination']['pageSize']
start_row = 0

while True:
    response = execute_bill_query(page_size, start_row)
    data = response['data']

    if not data:
        break

    processed_data = transform_data(data)

    # 写入数据库或其他存储系统
    write_to_storage(processed_data)

    start_row += page_size

通过这种方式，我们可以确保所有数据都被完整地获取和处理。

总结

本文详细介绍了如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取并加工数据，包括接口配置、请求参数设置、数据清洗与转换以及分页处理等技术细节。这些步骤对于实现高效、可靠的数据集成至关重要。 用友与WMS系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入钉钉API接口

在数据集成的生命周期中，将源平台的数据转换为目标平台所能接收的格式是关键步骤之一。本文将详细探讨如何利用轻易云数据集成平台将已经集成的源平台数据进行ETL转换，并通过钉钉API接口写入目标平台。

配置元数据

首先，我们需要配置元数据以匹配钉钉API接口的要求。以下是我们需要配置的元数据：

{
  "api": "/v1.0/yida/forms/instances",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "label": "客户名称",
      "field": "textField_lgg53q3l",
      "type": "string",
      "value": "{FName}"
    },
    {
      "label": "客户编码",
      "field": "textField_lgg53q3n",
      "type": "string",
      "value": "{FNumber}"
    },
    {
      "label": "类型",
      "field": "textField_lgg53q3j",
      "type": "string",
      "value": "客户"
    },
    {
      "field": "textField_lhbf2v06",
      "label": "类型编码",
      "type": "string",
      "value": "BD_Customer",
      "default": "BD_Customer"
    }
  ],
  "otherRequest": [
    {
      "field": "appType",
      "label": "应用ID",
      "type": "string",
      "describe":"APP_PBKT0MFBEBTDO8T7SLVP",
      "value":"APP_WTSCMZ1WOOHGIM5N28BQ"
    },
    {
      "field":"systemToken",
      ...

上述配置定义了我们需要发送到钉钉API的数据结构。主要包括以下几部分：

  • api: 钉钉API的URL路径。
  • method: HTTP请求方法，这里是POST。
  • idCheck: 是否进行ID检查。
  • request: 包含实际业务数据的字段映射。
  • otherRequest: 包含其他必要的请求参数，如应用ID、应用秘钥等。

数据清洗与转换

在ETL过程中，首先要进行数据清洗和转换，以确保源平台的数据符合目标平台（钉钉API）的要求。具体操作如下：

  1. 提取源数据：从源系统提取原始数据，例如客户名称（FName）和客户编码（FNumber）。
  2. 字段映射：根据元数据配置，将提取的数据映射到目标字段。例如，{FName}映射到textField_lgg53q3l，{FNumber}映射到textField_lgg53q3n。
  3. 固定值设置：对于一些固定值字段，如“类型”和“类型编码”，直接在配置中设定其默认值。

构建请求体

根据上述配置和清洗后的数据，构建最终发送给钉钉API的请求体：

{
  ...
  // 请求体示例
  {
    ...
    // 实际业务数据
    {
        textField_lgg53q3l: '客户名称示例',
        textField_lgg53q3n: '客户编码示例',
        textField_lgg53q3j: '客户',
        textField_lhbf2v06: 'BD_Customer'
    },
    // 其他请求参数
    appType: 'APP_WTSCMZ1WOOHGIM5N28BQ',
    systemToken: 'IS866HB1DXJ8ODN3EXSVD750RBTK2X72R8MELL4',
    language: 'zh_CN',
    formUuid: 'FORM-6W9667D1OWS9850AFKPOR7CO1IXA3ZB515GGL11',
    userId: '16000443318138909'
  }
}

数据写入

最后一步是将构建好的请求体通过HTTP POST方法发送到钉钉API接口。使用轻易云提供的全异步处理机制，可以确保高效、可靠地完成这一过程。

import requests

url = 'https://oapi.dingtalk.com/v1.0/yida/forms/instances'
headers = {'Content-Type': 'application/json'}
data = {
  # 构建好的请求体
}

response = requests.post(url, headers=headers, json=data)
if response.status_code == 200:
  print("Data successfully written to DingTalk API")
else:
  print(f"Failed to write data, status code: {response.status_code}")

以上代码展示了如何使用Python中的requests库将构建好的请求体发送到钉钉API接口，并检查返回结果。

通过以上步骤，我们成功实现了从源平台到目标平台（钉钉）的数据ETL转换和写入过程。整个过程基于轻易云提供的强大功能，使得不同系统间的数据集成变得更加高效和透明。 用友BIP接口开发配置

版权声明

该文章《金蝶云数据如何高效集成到钉钉平台？》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云AI数据分析
更多系统对接方案