通过轻易云平台实现金蝶云数据ETL转换与写入的实战指南

  • 轻易云集成顾问-李国敏

金蝶-部门查询--轻易云集成案例分享

在企业数据管理过程中，高效的系统对接与数据集成对于确保业务运作的顺畅至关重要。本文将分享一个以金蝶云星空的数据通过轻易云集成平台进行整合的具体技术案例——“金蝶-部门查询--轻易云”。

首先，我们需要利用金蝶云星空提供的executeBillQuery接口从其数据库中提取所需的数据。这一过程要求对于API调用具备高吞吐量和低延迟特性，以保证大量数据能够被快速、安全地读取并导入。

针对这一需求，轻易云集成平台提供了强大的批量数据写入能力，并结合自定义的数据转换逻辑，为我们处理来自金蝶云星空不同结构或格式的数据提供了便利。此外，通过集中式监控和告警系统，我们可以实时跟踪整个任务流程并即时响应潜在问题。

为了能准确、高效地获取到金蝶系统中的指定数据，需要解决分页、限流等问题，这不仅影响数据抓取效率，更直接关系到整体方案的成功实施。因此，如何巧妙处理这些细节成为重中之重。在具体操作层面上，由于两大平台间存在固有差异，必须通过灵活定制化配置来实现无缝对接，从而最大化发挥两者性能优势。

在此次对接项目中，异常处理及错误重试机制同样不可忽视。遇到API调用失败或者网络波动等情况时，通过轻易云内置的健壮设计，可以有效规避由于偶发错误导致的大规模任务中断，将风险降至最低。同时，在整个执行过程中，对关键步骤进行实时监控与日志记录，使得调试与后续优化更为便捷且高效。 用友与SCM系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取部门信息，并对数据进行初步加工。

接口配置与调用

首先，我们需要配置和调用金蝶云星空的executeBillQuery接口。该接口采用POST方法，主要用于查询业务单据。以下是元数据配置的详细说明：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FNumber",
  "id": "FDEPTID",
  "name": "FNumber",
  "request": [
    {"field": "FDEPTID", "label": "FID", "type": "string", "describe": "FID", "value": "FDEPTID"},
    {"field": "FNumber", "label": "编码", "type": "string", "describe": "编码", "value": "FNumber"},
    {"field": "FName", "label": "名称", "type": "string", "describe": "名称", "value": "FName"},
    {"field": "FUseOrgId", "label": "使用组织", "type": "string", 
        "describe":"使用组织","value":"FUseOrgId.FNumber"},
    {"field":"FCreateOrgId","label":"创建组织","type":"string","describe":"创建组织"},
    {"field":"FCreatorId","label":"创建人","type":"string","value":"FCreatorId"},
    {"field":"FCreateDate","label":"创建日期","type":"string","value":"FCreateDate"},
    {"field":"FGroup","label":"部门分组","type":"string","value":"FGroup"},
    {"field":"FFullName","label":"部门全称","type":"string","value":"FFullName"},
    {"field":"FUseOrgId_FName","label":"使用组织名称","type":"string",
        "value":"FUseOrgId.FName"}
  ],
  ...
}

请求参数解析

在请求参数中，我们需要特别关注以下几个字段：

  • FormId: 必须填写金蝶的表单ID，例如：BD_Department。
  • FieldKeys: 查询字段集合，格式为数组，最终会被转换为逗号分隔的字符串。
  • FilterString: 用于过滤查询结果的条件表达式，例如：FAuditDate>='{{LAST_SYNC_TIME|dateTime}}' and FUseOrgId.FNumber in ('04','0402','0401')。
  • Limit 和 StartRow: 分页参数，用于控制查询结果的返回行数和起始行索引。

数据请求与清洗

在发送请求之前，我们需要确保请求参数已经正确填充。例如：

{
  ...
  {
    field: 'FormId',
    value: 'BD_Department'
  },
  {
    field: 'FieldKeys',
    value: ['FID', 'FNumber', 'FName', 'FFullName']
  },
  {
    field: 'FilterString',
    value: `FAuditDate>='2023-01-01' and FUseOrgId.FNumber in ('04','0402','0401')`
  },
  {
    field: 'Limit',
    value: '100'
  },
  {
    field: 'StartRow',
    value: '0'
  }
}

发送请求后，我们会收到金蝶云星空返回的数据，这些数据通常是JSON格式。接下来，我们需要对这些原始数据进行清洗和初步加工，以便后续的数据转换与写入。

数据清洗与初步加工

清洗和加工过程包括但不限于以下步骤：

  1. 字段映射：将返回的数据字段映射到我们预定义的字段。例如，将FID映射到内部系统中的部门ID。
  2. 数据类型转换：确保所有字段的数据类型符合目标系统要求。例如，将日期字符串转换为标准日期格式。
  3. 过滤无效数据：移除不符合业务规则的数据记录，例如缺少必要字段或包含错误值的记录。

以下是一个简单的数据清洗示例：

def clean_data(raw_data):
    cleaned_data = []

    for record in raw_data:
        cleaned_record = {
            'department_id': record['FID'],
            'department_code': record['FNumber'],
            'department_name': record['FName'],
            'full_name': record['FFullName'],
            ...
        }

        # 数据类型转换
        cleaned_record['create_date'] = convert_to_date(record['FCreateDate'])

        # 添加到清洗后的数据列表中
        cleaned_data.append(cleaned_record)

    return cleaned_data

通过上述步骤，我们可以确保从金蝶云星空获取的数据经过清洗和初步加工后，能够顺利进入下一阶段的数据转换与写入流程。

综上所述，通过轻易云数据集成平台调用金蝶云星空接口并对返回的数据进行清洗和初步加工，是实现不同系统间无缝对接的重要环节。此过程不仅提高了数据处理效率，还保证了数据质量，为后续的数据处理奠定了坚实基础。 如何对接钉钉API接口

使用轻易云数据集成平台进行ETL转换与写入目标平台的技术案例

在数据集成生命周期的第二步中，重点是将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，使其符合目标平台API接口所能接收的格式，并最终写入目标平台。以下将详细探讨如何通过轻易云数据集成平台实现这一过程。

数据提取与清洗

首先，从源系统（金蝶）中提取部门查询相关的数据。假设我们已经完成了数据请求与清洗阶段，获得了结构化的数据。这些数据可能包含部门ID、部门名称、上级部门ID等字段。

数据转换

在进行数据转换之前，需要了解目标平台API接口的元数据配置。根据提供的元数据配置：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

该配置表明，我们需要调用一个名为“写入空操作”的API，使用HTTP POST方法，并且需要进行ID检查。

  1. 字段映射：首先，将源系统中的字段映射到目标系统所需的字段。例如：

    • 源系统字段 dept_id 映射到目标系统字段 departmentId
    • 源系统字段 dept_name 映射到目标系统字段 departmentName
    • 源系统字段 parent_dept_id 映射到目标系统字段 parentDepartmentId

  2. 数据格式转换：确保源系统的数据类型和格式符合目标系统的要求。例如，将日期格式从YYYY-MM-DD转换为MM/DD/YYYY，或将字符串类型的数据转换为整数类型等。

  3. ID检查：根据元数据配置中的idCheck: true，需要在写入前检查每条记录是否已经存在于目标系统中。如果存在，则更新记录；如果不存在，则插入新记录。

数据加载与写入

完成数据转换后，可以使用轻易云集成平台提供的API接口将数据写入目标平台。具体步骤如下：

  1. 构建HTTP请求：根据元数据配置，构建一个HTTP POST请求。请求体包含经过转换后的JSON格式的数据。例如：
{
  "departmentId": "123",
  "departmentName": "财务部",
  "parentDepartmentId": "001"
}

  1. 发送请求：使用轻易云集成平台提供的HTTP客户端发送POST请求至指定API端点“写入空操作”。

  2. 处理响应：根据API返回的响应信息，判断操作是否成功。如果返回成功状态码（如200或201），则表示写入成功；否则，需要根据错误信息进行相应处理。

  3. 日志记录与监控：为了确保整个过程透明可追溯，可以利用轻易云集成平台的实时监控功能记录每次API调用的详细信息，包括请求时间、响应时间、状态码和错误信息等。

技术实现示例

以下是一个Python代码示例，展示如何通过轻易云集成平台API接口实现上述步骤：

import requests
import json

# 定义源系统数据
source_data = [
    {"dept_id": "123", "dept_name": "财务部", "parent_dept_id": "001"},
    # 更多记录...
]

# 定义目标API端点和头信息
api_endpoint = 'https://api.qingyiyun.com/writeEmptyOperation'
headers = {'Content-Type': 'application/json'}

# 遍历源数据并进行ETL处理
for record in source_data:
    transformed_record = {
        "departmentId": record["dept_id"],
        "departmentName": record["dept_name"],
        "parentDepartmentId": record["parent_dept_id"]
    }

    # 发送POST请求
    response = requests.post(api_endpoint, headers=headers, data=json.dumps(transformed_record))

    # 检查响应状态码
    if response.status_code in [200, 201]:
        print(f"Record {record['dept_id']} written successfully.")
    else:
        print(f"Failed to write record {record['dept_id']}: {response.text}")

通过以上步骤和示例代码，我们可以高效地将金蝶中的部门查询数据经过ETL转换后，写入到轻易云集成平台，实现不同系统间的数据无缝对接。这不仅提升了业务流程的自动化程度，也确保了数据的一致性和准确性。 如何对接用友BIP接口

版权声明

该文章《使用轻易云平台集成金蝶云星空数据的最佳实践》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

旺店通金蝶对接业财一体化数据集成方案包全业务流程图下载
更多系统对接方案