苍穹系统直连第三方数据库,第三方视图数据量非常大如何使用服务流程进行集成原创
金蝶云社区-夜阑风
夜阑风
4人赞赏了该文章 635次浏览 未经作者许可,禁止转载编辑于2023年09月01日 21:23:45

问题:第三方系统视图(表)数据量大,如何使用服务流程进行数据集成,既支持增量集成,又可支持数据初始化(大数据通常采用数据迁移)

问题思路分析:直连第三方数据库时,采用分页查询获取数据,循环进行数据处理

实施步骤:

1、二开单据对应第三方视图查询字段(或创建后台表)

2、集成对象类型选择视图,视图配置查询第三方数据库SQL或者视图

image.png

3、集成对象类型选择实体,数据表选择二开或脚本创建的表

image.png

4、配置数据集成方案,并创建启动方案,将第三方系统数据集成至二开单据(数据库后台表)

5、服务流程编排

入参变量:用于控制全量或者特定获取时间段数据

核心变量:PAGE_SIZE,PAGE_OFFSET,PAGE_ROWS 用于控制查询分页条数及循环查询控制

通过控制START_DATE,END_DATE 可获取特定时间短数据,配合核心变量可达成增量或全量数据获取

image.png

节点说明:

             a、编写分页查询获取二开单据表数据SQL语句,执行获取分页结果

             b、数据递增统计,当次查询数据条数赋值变量PAGE_ROWS

             c、脚本处理组装标准API结构报文,判断获取数据PAGE_ROWS与设置分页条数PAGE_SIZE进行PAGE_OFFSET递增处理,继续执行下一次循环

image.png

image.png

image.png

 

ps:可以不采1、2、3、4步骤通过集成对象集成数据留底的方式实现,直接采用第5步服务流程,通过数据脚本查询第三方数据获取数据,示例列举方式可避免服务流程循环过程记录日志信息不全问题,且数据留底可用于后续运维

图标赞 4
4人点赞
还没有人点赞,快来当第一个点赞的人吧!
图标打赏
0人打赏
还没有人打赏,快来当第一个打赏的人吧!

您的鼓励与嘉奖将成为创作者们前进的动力,如果觉得本文还不错,可以给予作者创作打赏哦!

请选择打赏金币数 *

10金币20金币30金币40金币50金币60金币
可用金币: 0