ETL转换和数据写入小满OKKICRM的技术细节

  • 轻易云集成顾问-姚缘

畅捷通T+数据集成到小满OKKICRM案例分享

在本次技术案例中，我们将探讨如何高效地将畅捷通T+平台中的分类数据，通过轻易云数据集成平台无缝对接到小满OKKICRM。本方案名为“畅捷通分类=>小满分组（一级）”，旨在实现从源头获取实时更新的分类信息，并确保其正确、快速、安全地导入目标系统。

集成流程概述

首先，使用畅捷通T+提供的API接口/tplus/api/v2/inventoryClass/Query抓取最新的库存类目数据。这个过程需要处理接口的分页和限流问题，确保不会漏单。同时，为了保证数据传输的完整性和可靠性，将设置定时任务周期性地调用该接口，并配合日志记录与监控机制进行追踪。

一旦成功获取原始数据，需要解决的问题是如何转换这些信息，使其符合小满OKKICRM的数据格式要求。这部分可以通过定义定制化的数据映射规则来完成。在此过程中，要特别注意字段类型和结构上的差异，以防止因格式不匹配而导致的数据丢失或错误。

数据写入与验证

处理完上述步骤后，即可借助轻易云强大的批量集成功能，将转换后的数据快速写入到小满OKKICRM对应的分组模块。我们采用的是API /v1/product/push-groups 来执行这一操作。在实际应用中，我们要考虑网络延迟、并发及异常情况。因此，对写入操作进行了细致的错误重试机制设计，以最大程度上减低由于瞬时故障带来的影响。

此外，为提高整个流程透明度和维护起来更加便捷，还会实施实时监控以及详细日志记录功能。一旦出现任何异常情况，可以迅速排查问题原因，并作出及时修复调整，从而确保系统稳定运行。不仅有利于日常运维，还大幅提升业务效率与准确率。 金蝶与外部系统打通接口

调用畅捷通T+接口获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用畅捷通T+接口 /tplus/api/v2/inventoryClass/Query 获取并加工数据。

配置元数据

首先，我们需要配置元数据以便正确调用畅捷通T+接口。以下是具体的元数据配置：

{
  "api": "/tplus/api/v2/inventoryClass/Query",
  "method": "POST",
  "number": "code",
  "id": "id",
  "idCheck": true,
  "autoFillResponse": true,
  "request": [
    {
      "label": "指定返回字段",
      "field": "SelectFields",
      "type": "string",
      "value": "id,code,name,parent.id,parent.code,parent.name,isendnode"
    }
  ],
  "otherRequest": [
    {
      "field": "dataKey",
      "label": "dataKey",
      "type": "array",
      "value": ["param"]
    }
  ],
  "condition": [
    [
      {
        "field": "parent_name",
        "logic": "isnull",
        "value": ""
      }
    ]
  ]
}

调用接口

在配置好元数据后，我们使用POST方法调用 /tplus/api/v2/inventoryClass/Query 接口。请求体中包含了我们需要的字段 id, code, name, parent.id, parent.code, parent.name, isendnode。

请求示例如下：

{
  "param": {
    "SelectFields": ["id", "code", "name", "parent.id", "parent.code", "parent.name", "isendnode"]
  }
}

数据清洗与转换

在获取到原始数据后，下一步是进行数据清洗和转换。这一步骤确保我们得到的数据符合目标系统的要求，并且去除了不必要的信息。

假设我们从接口返回的数据如下：

{
  "dataKey": [
    {
      "id": 1,
      "code": "001",
      "name": "",
      ...
    },
    ...
  ]
}

我们需要对这些数据进行清洗，例如去除空值、格式化字段等。可以通过以下代码实现：

def clean_data(data):
    cleaned_data = []
    for item in data:
        if item['name']: # 去除name为空的数据
            cleaned_data.append({
                'ID': item['id'],
                'Code': item['code'],
                'Name': item['name'],
                'ParentID': item['parent']['id'] if 'parent' in item else None,
                'ParentCode': item['parent']['code'] if 'parent' in item else None,
                'ParentName': item['parent']['name'] if 'parent' in item else None,
                'IsEndNode': item['isendnode']
            })
    return cleaned_data

# 示例调用
cleaned_data = clean_data(response["dataKey"])

数据写入

最后，将清洗后的数据写入目标系统。在轻易云平台上，可以通过配置目标系统的API接口和相应的字段映射来实现这一过程。

例如，假设目标系统的API为 /target/api/v1/data/write，我们可以配置如下：

{
  ...
  // 配置目标系统API
}

然后，通过POST方法将清洗后的数据发送到目标系统：

import requests

url = "/target/api/v1/data/write"
headers = {"Content-Type":"application/json"}
response = requests.post(url, json=cleaned_data, headers=headers)

if response.status_code == 200:
    print("Data written successfully")
else:
    print("Failed to write data")

通过上述步骤，我们完成了从调用源系统接口获取数据，到清洗和转换，再到写入目标系统的全过程。这不仅提高了数据处理的效率，还确保了数据的一致性和准确性。 如何对接用友BIP接口

使用轻易云数据集成平台进行ETL转换并写入小满OKKICRMAPI接口

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台小满OKKICRMAPI接口的要求，并最终写入目标平台。本文将深入探讨这一过程中的技术细节，特别是如何利用元数据配置来实现这一目标。

API接口配置与数据转换

首先，我们需要了解目标平台小满OKKICRMAPI接口的具体要求。根据提供的元数据配置，目标API为/v1/product/push-groups，采用POST方法进行数据提交。以下是该API的详细配置：

{
  "api": "/v1/product/push-groups",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "parent_id",
      "label": "parent_id",
      "type": "string",
      "value": "_mongoQuery e3766efc-b87d-3931-bbec-6409b1a55019 findField=content.id where={\"content.name\":{\"$eq\":\"{parent_name}\"}}"
    },
    {
      "field": "name",
      "label": "name",
      "type": "string",
      "value": "{name}"
    }
  ]
}

数据请求与清洗

在数据请求与清洗阶段，我们从源平台获取原始数据，并对其进行必要的清洗和预处理，以确保数据质量和一致性。这一步骤虽然不是本文的重点，但它为后续的数据转换打下了坚实基础。

数据转换与写入

接下来，我们进入关键的ETL转换阶段。根据元数据配置，我们需要将源平台的数据字段映射到目标API所需的字段格式。

  1. parent_id字段处理：

    • parent_id字段需要通过一个MongoDB查询来获取对应值。具体查询语句为： 
      {
"_mongoQuery e3766efc-b87d-3931-bbec-6409b1a55019 findField=content.id where={\"content.name\":{\"$eq\":\"{parent_name}\"}}"
}
    • 这意味着我们需要从MongoDB中查找content.name等于{parent_name}的数据记录，并提取其content.id作为parent_id。

  2. name字段处理：

    • name字段直接从源数据中提取，对应于源数据中的同名字段。

实际操作步骤

  1. 提取源数据：

    • 从源平台（如畅捷通分类）提取原始分类数据，包括分类名称和父分类名称等信息。

  2. 执行MongoDB查询：

    • 根据每条记录中的父分类名称（{parent_name}），在MongoDB中执行查询，获取对应的父分类ID（content.id）。
    • 示例查询代码如下： 
      db.collection('categories').findOne({"content.name": parent_name}, function(err, result) {
if (err) throw err;
return result.content.id;
});

  3. 构建请求Payload：

    • 将提取到的父分类ID和分类名称构建成目标API所需的请求Payload。
    • 示例Payload格式如下： 
      {
"parent_id": "<extracted_parent_id>",
"name": "<category_name>"
}

  4. 发送POST请求：

    • 使用HTTP客户端（如Axios或Fetch）向小满OKKICRMAPI接口发送POST请求。

    • 示例代码如下：

      const axios = require('axios');

const payload = {
parent_id: extracted_parent_id,
name: category_name
};

axios.post('https://api.okki.com/v1/product/push-groups', payload)
.then(response => {
 console.log('Data successfully pushed:', response.data);
})
.catch(error => {
 console.error('Error pushing data:', error);
});

通过上述步骤，我们成功地将源平台的数据转换为符合小满OKKICRMAPI接口要求的格式，并将其写入目标平台。这一过程充分利用了轻易云数据集成平台提供的可视化操作界面和实时监控功能，确保每个环节都透明、可控，从而极大提升了业务效率和透明度。 电商OMS与WMS系统接口开发配置

版权声明

该文章《ETL转换和数据写入小满OKKICRM的技术细节》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台集成生命周期
更多系统对接方案