小编推荐

在项目集成中，通常会面临数据量大、数据清洗难度高、项目时间短等挑战。为此，很多小伙伴会感到非常苦恼，如何在短时间内完成超大数据量的系统集成，并满足客户需求？

别担心，本期文章为大家带来亿级数据量的高效系统集成，一线真实案例，亲测有效~

撰稿人：金蝶—汪继超。

1 应用场景

2022年初，刚完成烟草行业集成项目的我们，又接到医药零售行业的系统集成需求。当时以为有了烟草超大型项目集成经验的我们，面对这样的集成需求应该是处变不惊。可是刚到现场，就被现场的数据量所震惊。

客户需要将SAP和TT两套系统共7亿+数据，清洗处理为3000万库存数据，然后生成星瀚库存初始化单。整体的性能指标要求非常高：数据同步需要在6小时内完成、数据处理为2小时内完成、生成单据则为8小时内完成。

从集成方式来看，对于这种大批量数据集成无非是人工导入或程序导入，但人工导入工作量巨大，程序处理富有挑战性，数据同步与数据清洗体量大、逻辑复杂(批号匹配、加价计算、尾差处理等)。从数据分类来看，需要集成的数据分为DC库存和门店库存。DC库存数据量：含零1300万，不含零15万；门店库存量：SAP门店库存，含零1.6亿，不含零2300万；TT门店库存，含零6亿，不含零3500万。这种动辄亿级别的数据，在以往的企业级项目中是比较少见的，我们顿感压力山大。

业务需求

需求抽象

2 解决方案

在烟草项目中，我们主要使用了集成服务云作为数据抽取、转换、加载的工具。集成服务云是一款采用元数据模型驱动的低代码集成工具，提供了数据模型管理、映射、编排、日志、脚本等集成核心引擎组件，通过可视化配置快速实现客户技术多样、灵活多变的集成需求。

毋庸置疑，此处的集成工具仍然选择集成服务云，但是面临如此复杂、巨量的数据集成需求，需要对集成方案进行详细规划。为保障程序处理逻辑清晰、程序执行效率，整体方案分为3至4步：

1）在外围系统做好初步数据清洗，并结构化存储(存数据库)。初步数据清洗保障剔除非必要同步到星瀚的数据，然后进行结构化存储，避免系统间开发额外的接口；

2）抽取原始数据存储到星瀚系统。设计质量决定了性能上限。在本次实践中，没优化前，预估同步完数据需要86小时，优化后仅需10分钟即可同步完成。设计要点如下：

创建与外围系统结构一样的原始数据表，并去除主键及索引，这样数据初始化时数据库底层不用执行创建索引、更新索引，同步更快。

数据同步，采用多任务+分批并行处理，具体实现是集成方案+启动方案，并用集成方案负责单批处理，启动方案设计并行任务数和分批大小。

数据同步完后，将后续程序操作数据库需要的主键和索引加上，以保障程序SQL执行速度。这里需要提前梳理好操作该表的场景，依据使用场景确定索引。

3）在星瀚系统内进行数据处理、计算，将计算结果存储到单独中间表。由于大量数据处理核心无外乎分治，此处也不例外，落实到苍穹里实现为系统任务调度框架+分布式计算框架AlgoX。对于大量数据先将计算存放中间表有两点好处：

一是方便核对计算结果；二是可以断点重算；三是方便异常数据可以直接在中间表进行手工调整。另外，对于少量数据可以直接计算并生成单据。

4）生成单据。这里两个关键工作要做到位：

一方面，需要做多任务+分批处理。本方案中用1个服务流程负责整体任务调度+1个服务流程处理单个任务逻辑（含单任务内分批、数据清洗、数据计算、生成单据）。

另一方面，需要做单据分批大小测试调优。由于项目上时间紧张，初步测试结论为每单1000条分录速度较优。

解决方案示例

解决方案抽象

3 竞品比较

下面，我给大家分析一下，是否基于苍穹对于项目实施的影响：

基于苍穹产品的对比分析

4 方案的可推广价值

本方案主要提供了大数据场景下的数据同步与处理思路，既适用于大数据场景解决难题，也适用于数据量小的场景提升数据处理能力，在同项目内其他类似的需求也极大受益于本方案，如8000万价格数据初始化、1.27亿商品数据初始化。具体三个方面及其效果如下：

1）数据同步。优化前3000万数据同步预计86小时，优化后3000万数据10分钟同步完成，同步效率达300万条数据/分钟；

数据同步优化差异对比

2）数据计算。优化前需要跑2天且稳定性堪忧，优化后10分钟执行完成且运行稳定；

3）单据生成。优化前58230条库存初始化数据保存需要1小时+，优化后45秒，如下图所示：

单据生产优化差异对比

5 注意事项

1）原始数据同步设计要点中，数据集成方案执行前会用服务流程清空苍穹数据表，这个切记是用于初始化同步数据的场景，若是其他场景需要灵活改造。

2）数据分批处理时务必要提前确定分批大小不会造成OOM，一是要控制好单批处理量，二是需要全面考虑整体运行状态。例如，同个容器并行跑多个任务，应当考虑并行时系统负载。

更多系列文章，敬请期待~

#往期推荐#

# 集成健康度检测，一切尽在掌控中

# 集成ES日志转储，让留存更久远

更多精彩内容，“码”上了解！↓

实践案例 | 系统集成-亿级库存数据同步与初始化

实践案例 | 系统集成-亿级库存数据同步与初始化

恭喜您！