小编推荐

随着业务增长，表单数据量越来越大，影响系统性能和业务效率时，该如何解决？

不愁！本期实践案例便带来“苍穹水平分表”的解决方案，通过表单的水平切分存储，减少单个物理表的数据量，提高增删改查性能，有效满足在线大数据量存储性能的要求~

撰稿人：金蝶-张金锋

1 业务背景

2021年某零售企业实施上线金蝶云星瀚系统，随着业务的增长，部分表单月增数据量巨大，给系统的性能带来巨大压力，具体痛点如下：

供应链模块表单与报表的界面操作存在超时中断、无法使用的情况：默认列表查询超时中断，请求在后端查询数据时，数据库长时间处于执行状态，耗费了数据库服务器的资源，导致系统整体卡慢。特别是月末成本核算无法结账，只能人为干预，移除历史数据，保留当月数据结账，费时费力。

且数据库已经使用了阿里云顶级配置RDS（MySQL版），通过提升硬件解决该问题的可能性极小，除非更换商业数据库。

因此，客户希望能够提供方案，解决当前超大数据量存储性能问题，满足客户的日常运营工作。

利用金蝶云·苍穹提供的水平分表服务，对大表单进行水平拆分存储。同时，对表单进行优化适配，以达到分表的最佳使用性能，支撑在线大数据的应用，解决大表性能问题和存储瓶颈。

图1-方案整体思路

小知识：水平分表又称为横向拆分。它是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分，以减少单个物理表的数据量，提高增删改查性能。例如：根据业务日期按月分片，每个月的数据放在单独的一张表中。

步骤1：大数据表单梳理及分片策略确认

目前，苍穹水平分表支持的分片策略如下：

分片策略	使用场景	备注
映射策略	复杂业务场景下可组装分片策略，在不能通过具体日期策略、哈希取模等策略适配时，优先考虑此策略	任意列类型单、多属性分片
日期策略	按日、按月、按年等分片场景	日期列类型单属性分片
ID时序策略	Long类型主键、引用属性值，值必须由分布式ID生成	从ID中获取创建时间，做日期分片用
哈希取模策略	数据分布在预设的N张表中	任意列类型单、多属性分片
自定义策略	以上策略均不能满足时	用户自定义，配置类路径关联

将客户当前阶段需要做分表的表单进行梳理（共14张）后，根据表单的使用场景确定每个表单的分片属性及分片策略，做好分片配置，如下图所示：

图2-分片配置示例

步骤2：优化适配

水平分表提供分片指标采集日志功能：对分片后的功能进行覆盖测试，自动输出存在性能问题的警告日志。

根据性能警告日志（如下图），对定位到的代码处进行检查优化。

图3-定位代码进行检查优化

步骤3：测试验证

所有分表表单，均通过全功能测试验证，无功能错误、数据错误和性能问题（警告）。

步骤4：上线效果

上线效果最典型的分片表单为核算成本记录，其分表配置如下：

该表单数据量截止2021年12月下旬，数据量27亿行，存储占用1.9T，月增2.6亿行数。

分表前后性能对比：有效解决了性能问题，详细对比如下：

	查询	结账
分表前	列表查询一个月数据，超时(>1分钟)，数据库SQL查询长时间未结束，系统卡死	无法结账，只能手工处理：移除表数据，保留在线一个月数据
分表后	列表查询一个月数据，小数据核算组织1~4秒，最大数据的核算组织查询5~8秒	正常结账

行业普适性强

水平分表从理论上突破了单库表数据量处理的瓶颈，并且扩展相对自由，是数据分片的标准解决方案。

客户价值高

1. 水平分表服务是平台标准产品功能，苍穹云平台上的所有产品线、客户均可使用。

2. 全面提升系统在线交易大数据能力，解决了在线大数据应用的性能和存储瓶颈。

关于水平分表的具体使用方法，可参考下方文档：

#往期推荐#

# 苍穹大表治理之水平分表