销售单吉客云至MySQL数据集成技术案例分享
在本次技术案例中，我们将深入探讨如何通过轻易云数据集成平台，实现吉客云·奇门销售单的数据高效对接到MySQL数据库。本方案名为“销售单吉客云=》mysql”，聚焦解决企业在大规模数据处理和实时监控方面的具体需求。
实现目标
确保从吉客云·奇门获取的销售单数据无遗漏地写入到MySQL，并实现批量处理能力及高吞吐量支持。主要涉及以下技术要点：
- 调用jackyun.tradenotsensitiveinfos.list.get接口：定时抓取销售订单信息，确保不漏单。
- 批量快速写入MySQL：利用batchexecute API实现大量数据的快速插入，提高写入效率。
- 分页与限流问题处理：应对API返回的数据分页以及调用频率限制，确保稳定性。
- 自定义转换逻辑：根据业务需要，对获取到的数据进行必要整理和格式调整，以适配MySQL存储结构。
- 异常检测与重试机制：处理对接过程中可能发生的错误，并设置自动重试机制保证任务完成。
数据提取与导入流程概述
首先，通过配置jackyun.tradenotsensitiveinfos.list.get接口，按预设时间间隔采集Data，再应用一系列自定义转换规则以匹配目标数据库表结构。在此过程中，系统会实时监控并记录日志，以便后续排查和优化。而所有清洗后的数据，通过batchexecute API，被批量安全地写入至MySQL。
接下来，将详细介绍每个步骤中的关键配置与实际执行策略。
使用轻易云数据集成平台调用吉客云·奇门接口获取并加工数据
在数据集成过程中，调用源系统接口是至关重要的一步。本文将详细介绍如何使用轻易云数据集成平台调用吉客云·奇门接口jackyun.tradenotsensitiveinfos.list.get，并对获取的数据进行初步加工。
接口概述
吉客云·奇门接口jackyun.tradenotsensitiveinfos.list.get用于查询销售单的非敏感信息。该接口支持POST请求，返回指定条件下的销售单信息。以下是该接口的主要参数配置：
tradeNo: 销售单号，多个用半角逗号分隔。pageSize: 每页记录数，默认50，最大1000。pageIndex: 页码，0为第1页。startModified: 开始更新时间。endModified: 最后更新时间。tradeStatus: 订单状态。tradeType: 订单类型。fields: 需要返回字段列表逗号分隔。scrollId: 游标。isDelete: 是否删除。
元数据配置
在轻易云数据集成平台中，我们可以通过元数据配置来定义API请求和响应的处理逻辑。以下是针对jackyun.tradenotsensitiveinfos.list.get接口的元数据配置：
{
"api": "jackyun.tradenotsensitiveinfos.list.get",
"effect": "QUERY",
"method": "POST",
"number": "tradeNo",
"id": "tradeId",
"name": "tradeNo",
"request": [
{"field": "tradeNo", "label": "销售单号，多个用半角逗号分隔", "type": "string", "describe": "销售单号，多个用半角逗号分隔"},
{"field": "pageSize", "label": "每页记录数，默认50，最大1000", "type": "string", "describe": "每页记录数，默认50，最大1000", "value": "20"},
{"field": "pageIndex", "label": "页码，0为第1页", "type": "string", "describe": "页码，0为第1页"},
{"field": "startModified", "label": "开始更新时间", "type": "string", "describe": "发货时间（起始）",
"value":"{{LAST_SYNC_TIME|datetime}}"},
{"field":"endModified","label":"最后更新时间","type":"string","describe":"发货时间（截止）","value":"{{CURRENT_TIME|datetime}}"},
{"field":"tradeStatus","label":"订单状态","type":"string","describe":"订单状态"},
{"field":"tradeType","label":"订单类型","type":"string","describe":"订单类型"},
{"field":"fields","label":"需要返回字段列表逗号分隔","type":"string","describe":"需要返回字段列表逗号分隔",
"value":"checkTotal,tradeNo,postFee,otherFee,chargeCurrency,accountName,payType,payNo,sellerMemo,buyerMemo,goodsDetail,..."}
],
...
}数据请求与清洗
在调用接口时，我们需要构建一个包含必要参数的请求体。以下是一个示例请求体：
{
“tradeNo”: “12345”,
“pageSize”: “20”,
“pageIndex”: “0”,
“startModified”: “2023-01-01T00:00:00Z”,
“endModified”: “2023-01-31T23:59:59Z”,
“fields”: “checkTotal,tradeNo,postFee,...”
}通过上述请求体，我们可以获取到符合条件的销售单信息。在接收到响应后，需要对数据进行清洗和初步加工。例如，将日期格式统一转换，将金额字段转换为标准货币格式等。
数据转换与写入
在完成数据清洗后，需要将数据转换为目标系统所需的格式，并写入到MySQL数据库中。以下是一个示例转换逻辑：
def transform_data(data):
transformed_data = []
for record in data:
transformed_record = {
'trade_id': record['tradeId'],
'trade_no': record['tradeNo'],
'total_fee': float(record['totalFee']),
'post_fee': float(record['postFee']),
'pay_time': parse_date(record['payTime']),
...
}
transformed_data.append(transformed_record)
return transformed_data将转换后的数据写入MySQL数据库，可以使用标准的SQL插入语句或批量插入操作：
INSERT INTO sales_orders (trade_id, trade_no, total_fee, post_fee, pay_time, ...)
VALUES (%s, %s, %s, %s, %s, ...);通过上述步骤，我们实现了从吉客云·奇门接口获取销售单信息，并将其清洗、转换后写入到MySQL数据库中。这一过程不仅提高了数据处理效率，也确保了数据的一致性和准确性。
使用轻易云数据集成平台将销售单数据转换并写入MySQL
在数据集成生命周期的第二步中，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台MySQL API接口所能接收的格式，并最终写入目标平台。本文将详细探讨这一过程，重点关注API接口相关的技术细节。
元数据配置解析
我们使用以下元数据配置来定义从源平台到目标平台的数据映射和转换规则：
{
"api": "batchexecute",
"effect": "EXECUTE",
"method": "SQL",
"number": "id",
"id": "id",
"name": "id",
"idCheck": true,
"request": [
{"field":"tradeFrom","label":"订单来源","type":"string","describe":"订单编码","value":"{tradeFrom}","mapping":{"target":"6565481acb9aba7d4a1f0f63","direction":"positive"}},
{"field":"tradeNo","label":"订单编号","type":"string","describe":"店铺名称","value":"{tradeNo}"},
{"field":"tradeTime","label":"下单时间","type":"string","describe":"所属平台","value":"{tradeTime}"},
{"field":"consignTime","label":"发货时间","type":"string","describe":"是否线上","value":"{consignTime}"},
{"field":"tradeStatus","label":"订单状态","type":"string","describe":"销售员","value":"{tradeStatus}","mapping":{"target":"65655dc92bda517407132e18","direction":"positive"}},
{"field":"tradeType","label":"订单类型","type":"string","describe":"部门","value":"{tradeType}","mapping":{"target":"6565623432c79270545d5902","direction":"positive"}},
{"field":"shopName","label":"店铺名称","type":"string","describe":"订单时间","value":"{shopName}"},
{"field":"warehouseName","label":"仓库名称","type":"string","describe":"折扣总额","value":"{warehouseName}"},
{"field": "brandName", "label": "品牌", "type": "string", "describe": "实际支付金额", "value": "{{tradeOrderAssemblyGoodsDtoList_brandName}}"},
{"field": "barcode", "label": "条码", "type": "string", "describe": "订单备注", "value": "{{tradeOrderAssemblyGoodsDtoList_barcode}}"},
{"field": "sellCount", "label": "数量", "type": "string", "value": "{{tradeOrderAssemblyGoodsDtoList_sellCount}}"},
{
"field": "shareFavourableAfterFee",
"label": "分摊后金额",
"type": "string",
"_function IF(ISNULL('{{tradeOrderAssemblyGoodsDtoList_shareFavourableFee}}')=1,'{{tradeOrderAssemblyGoodsDtoList_sellTotal}}','{{tradeOrderAssemblyGoodsDtoList_sellTotal}}'-'{{tradeOrderAssemblyGoodsDtoList_shareFavourableFee}}')"
},
{"field": "logisticName", "label": "物流名称", "type":"string",
