查询小满客户主数据并写入中间层:单策略实战教程
这个策略解决什么问题
客户主数据从 CRM 同步到 ERP 看似只是「搬运」,但现场真正难的是「可控地搬运」。这条策略只做一件事:定时去小满 OKKI CRM 把客户列表拉回到轻易云集成平台的中间层,作为后续写入目标系统(金蝶云·星空旗舰版)的前置动作。把「查询」和「写入」拆成两个策略,先落中间层再做下游转换,是客户现场最稳妥的过渡做法。
数据流向与字段映射
数据流向分三段:源系统(小满 OKKI CRM,平台代号 Moor7) → 中间层(轻易云集成平台,平台代号 datahub) → 目标系统(金蝶云·星空旗舰版)。本策略覆盖前两段。
源端调用 GET /v1/company/list,分页参数 start_index(默认 1)、count(默认 20),过滤参数 removed(0/1)、all(1=查所有客户 / 0=只查私海)、group_id、date。返回后以 name 作为业务编号、以 company_id 作为业务主键进入中间层。
中间层这一站用「写入空操作」承接(POST,idCheck=true),目的是让数据先落到平台的可追溯存储里,便于核对与回放,也为后续策略提供数据快照。
| 维度 | 源端(小满) | 中间层(轻易云) | 备注 |
|---|---|---|---|
| 主键 | company_id | 透传 | 用于幂等去重 |
| 编号 | name | 透传 | 业务编号 |
| 页码 | start_index | 内部游标 | 增量起点 |
| 每页 | count | 内部游标 | 建议 50–200 |
| 删除态 | removed | 同行透传 | 谨慎开启 |
| 范围 | all / group_id | 透传 | 默认查所有 |
在轻易云上如何配置
在轻易云数据集成平台里,这条策略是 QUERY_ONLY 类型,源平台选小满,目标平台选 datahub 本身(即中间层)。几个要点:
- API 与方法:源端
GET /v1/company/list,目标端用平台内置的「写入空操作」POST。 - 游标与幂等:把
company_id设为主键、idCheck=true,避免重复写入;name作为业务编号字段。 - 请求参数默认值:
start_index=1、count=20、removed=0、all=1,按需要再叠加group_id与date增量过滤。 - 调度:源端 crontab 用
3 2 * * *,中间层落地用23 2 * * *,错开 20 分钟便于追日志。 - 响应模型:源端响应不强制自动建模(
buildModel=false、autoFillResponse=false),由平台按 schema 解析即可。
客户现场常见的轻量化模式是把编码映射集中放在平台映射表里维护,下游策略(往 ERP 写入)只引用、不重写——这样后续加字段、改分组,不用翻十几个脚本。
实施步骤
- 环境与凭证:在轻易云里登记源平台
Moor7的访问凭证与目标平台datahub的内部路由,私有化环境走内网域名即可。 - 增量起点:先用
start_index=1&count=20&all=1&removed=0全量跑一轮,确认中间层落地条数与源端一致。 - 增量与全量双轨:日常调度走「按
date增量」,每周固定时间触发一次全量校对,避免漏单;这是轻易云客户里最常见也最省心的双轨做法。 - 调度频率:源端每天凌晨 02:03 触发一次拉取,02:23 落中间层;对客户体量在十万级以内的租户,默认频次足够。
- 后续衔接:本策略(sequence B)跑稳后,下游「小满客户=>星空旗舰版客户-新增」(sequence A)即可消费中间层数据,按目标系统的客户主数据规范写入。
踩坑复盘
- 翻车点 1:分页中途报错导致漏页。源端接口对
count大于某阈值会截断,又不返回总数;稳妥的做法是把count控制在中段值,并在平台里打开「断点续拉」。 - 典型错误 2:
removed默认开着。现场常把「是否查已删除」误设成 1,结果中间层涌入一堆已删除记录,下游又没法判断。默认必须为 0。 - 典型错误 3:
all=0导致私海漏数。小满里销售私海客户不会被拉取,业务方事后才发现「怎么少了 30%」。要按业务口径确认all=1。 - 典型错误 4:编码映射散落多处。同一
group_id在不同策略里被映射成不同分组,最后两边对不上。集中管理放平台映射表是必选动作。 - 典型错误 5:源/中间层调度挨太近。源拉取未结束中间层就触发,会读到旧快照;至少错开 15–20 分钟。
适用场景与不适用场景
适用:CRM 作为客户主数据源头、需要把数据先落中间层再分发到多个 ERP / 财务 / 数据仓库的场景;客户量在十万级以内、对实时性要求为「次日可见」。 不适用:要求分钟级实时同步、需要直接调用 CRM 实时接口而非落库的链路;以及客户量在百万级以上、需要专门的 CDC 与流式通道的场景,那已超出本策略的设计范围。