目前，当报表的数据量较大时，系统会出现查询结果显示卡顿、无法导出Excel表等问题，只能暂时通过限定最大的展示记录数来解决。

但客户在实际应用中，有时候需要查询或导出海量数据，以下述两个场景为例：

用户场景一

像库存管理中物料收发明细表、存货核算中的物料交易明细表、成本中的产品标准成本查询等报表，若客户的业务量较大，查询当月或当季的数据明细时，数据量很可能达到百万级别。

用户场景二

存货核算及成本会计人员，月末对账需要导出业务单据交易明细到excel再加工统计核对数据。

针对上述用户场景，苍穹提供了相应的解决方案。本期小编就带大家了解苍穹是如何处理大数据报表的查询及导出问题的。

1 解决方案

1.1 核心思路

报表出现卡顿、不可用现象，主要是因为目前服务端的实现方式是将所有数据一次性加载到内存中，前端报表表格进行分页取数再从内存中取对应的分页数据返回前端，直到关闭报表页签后才会释放内存。

针对该问题，解决方案的核心思路如下：

服务端：改为分批次加载数据到内存，内存中不保存全部批次，而是缓存部分批次数据且每批独立缓存（内存中最大缓存数据行数由插件根据业务场景自行指定；超过时缓存淘汰规则为：越远离当前页的数据批次，越先被淘汰）。

注：分批不等于分页，其中分批指从数据分批加载数据，分页指列表翻页，通常加载一批数据可供几十到几百个分页数据，从报表插件的开发角色的角度而言，分批更合理。
客户端：表格控件不依赖于总行数的判断，是否加载完以服务端返回的“是否为最后一批数据”来判断。

解决方案核心思路

1.2 限制场景

依赖版本：(补丁号：V3.0.007_0328)
报表插件需继承自AbstractReportListDataPlugin，且实现override方法，queryBatchBy时才走分批加载模式。像树型报表（继承自AbstractReportTreeDataPlugin）则不支持分批加载。

2 开发实现

报表插件主要实现queryBatchBy方法，返回分批依据DataSet。分批依据可为一个或多个字段，根据实际业务场景而定。例如：queryBatchBy返回报表过滤条件下涉及的所有物料数据集。其中：

queryParam.byBatchInfo().setCountPerBatch：设置一批次调用query取数时传入分批数据集的记录数。
queryParam.byBatchInfo().setMaxRowCountCached：设置这个报表整体缓存在内存中的记录数，若不设置，则默认缓存10万行数据。

报表插件的实现代码如下：

//报表插件
public class XxxRptQueryPlugin extends AbstractReportListDataPlugin {
    /**
    * 返回用于分批取数的依据数据
    * eg,以物料为分批依据，些接口返回涉及的所有物料，
    *   然后query接口中通queryParam.getCurrentBatch获取当前分批，
    *   并可基于该分批过滤取数
    * @param queryParam
    * @return
    */
    public DataSet queryBatchBy(ReportQueryParam queryParam){
        ...
        List<QFilter> filters = MacRptHelper.getCommonFiltersBy(param);
        filters.add(new QFilter("effectdate", QFilter.less_equals, oldDateAdd1Day));
        filters.add(new QFilter("expdate", QFilter.large_equals, oldDateAdd1Day));
        ORM orm = new ORMImpl();
        DataSet dataSet = orm.queryDataSet(getAlgoKey("queryAuditDataSet"),
        "cad_calceffectiveresult",
                "material.id,material.number", filters.toArray(new QFilter[0]),
                "material.number desc", 100000000, null);
        ...
        //分批加载数据-批次等信息
        IReportBatchQueryInfo byBatchInfo = queryParam.byBatchInfo();
        //设置每批多少个物料加载一性加载
        byBatchInfo.setCountPerBatch(CountPerBatch);
        //最大缓存行数(默认10w,可不设置)
        byBatchInfo.setMaxRowCountCached(MaxRowCountCached);
        return dataSet;
    }

query方法中加上分批过滤，通过输入下述指令：reportQueryParam.byBatchInfo().getCurrentBatchRows()来获取传入的分批数据集。具体代码如下：

// 报表插件
public class XxxRptQueryPlugin extends AbstractReportListDataPlugin {
    @Override
    public DataSet query(ReportQueryParam reportQueryParam, Object o)
        throws Throwable {
        ...
        //分批加载过滤
        IReportBatchQueryInfo byBatchInfo = reportQueryParam.byBatchInfo();
        List<Row> currentBatchRows = byBatchInfo.getCurrentBatchRows();
        Set<Long> matIdsOfCurrentBatch = new HashSet<>(CountPerBatch);
        for (Row currentBatchRow : currentBatchRows) {
            Long matId = currentBatchRow.getLong(0);
            matIdsOfCurrentBatch.add(matId);
        }
        filters.add(new QFilter("material", QFilter.in, matIdsOfCurrentBatch);
        ...
    }
}

2.1 分批依据

分批依据的确认一般要根据具体报表的业务数据特性来定，主要原则如下：

用来分批的字段，其每一批次对应的报表数据需较为均衡，以避免一批次就把内存耗光；
尽量采用必录条件或用于排序的字段作为过滤条件；
分批依据字段可为一个或多个字段，但需注意，queryBatchBy返回的DataSet会全部缓存在内存中，因此应尽量控制返回的数据量不要过大；
返回的分批依据集需先按业务需求进行排序，再按顺序分批传入query。

3 应用案例

案例1: 物料交易明细表，以日期为分批依据

下述图示主要展示了物料交易明细表中的部分字段及过滤场景。

物料交易明细表部分字段

以日期为分批依据过滤后的数据

上述场景所需插件的代码如下：

public class TransactionDetailRptQueryPlugin extends AbstractReportListDataPlugin{
/**
     * query接口中通queryParam.getCurrentBatch获取当前分批，
     * @param queryParam
     * @return
     */
    @Override
    public DataSet queryBatchBy(ReportQueryParam param){
       filterInfo = param.getFilter();
       RowMeta rowMeta = new RowMeta(new Field("dayBeginDate",DateType.DateType),new Field("dayEndDate",DateType.DateType));
        DataSetBuilder dataSetBuilder = Algo.create(this.getClass().getName()).createDataSetBuilder(rowMeta);
        Date startdate = filterInfo.getDate("startdate");
        Date enddate = filterInfo.getDate("enddate");
        Calendar calendar = new GregorianCalendar();
       Date dayBeginDate;
       Date dayEndDate;
       //日期分批处理，5天为一批
       for (int i = 0; i < 9999; i += 5) {
           calendar.setTime(startdate);
           calendar.add(calendar.DATE, i);
           dayBeginDate = calendar.getTime();
           calendar.add(calendar.DATE, 5);
           dayEndDate = calendar.getTime();
           if (dayEndDate.after(enddate)) {
              dataSetBuilder.append(new Object[] {dayBeginDate, enddate});
              break;
           } else {
              dataSetBuilder.append(new Object[] {dayBeginDate, dayEndDate});
           }
       }
        DataSet dataSet = dataSetBuilder.build();
        //分批加载数据-批次等信息
        IReportBatchQueryInfo byBatchInfo = param.byBatchInfo();
        //每批个数
        byBatchInfo.setCountPerBatch(CountPerBatch);
        //最大缓存行数(默认10w)
        byBatchInfo.setMaxRowCountCached(MaxRowCountCached);
        return dataSet;
    }
}

案例2: 物料收发明细表，以起止物料为分批依据

下述图示主要展示了物料收发明细表中的部分字段及过滤场景。

物料收发明细表部分字段

以起止物料为分批依据过滤后的数据

上述场景所需插件的代码如下：

public class InvBillDetailRptQuery extends BaseInvBillRptQuery{
@Override
    public DataSet queryBatchBy(ReportQueryParam queryParam) {
       FilterInfo filterInfo = queryParam.getFilter();
       RowMeta rowMeta = new RowMeta(new Field("firstNumber", DateType.StringType), new Field("lastNumber", DateType.StringType));
       DataSetBuilder dataSetBuilder = Algo.create(this.getClass().getName()).createDataSetBuilder(rowMeta);
       DataSet materials = getMaterialList(filterInfo);
       GroupbyDataSet groupbyDataSet = materials.groupBy(new String[]{"materialid","materialnumber"});
       materials = groupbyDataSet.finish().orderBy(new String[]{"materialnumber"});
       //物料分批处理，100个为一批
       int count = 1;
        // 只有物料编码从,且其值大于分批数量
        Iterator<Row> materialRow = materials.iterator();
        StringBuilder stringBuilder = new StringBuilder();
        while (materialRow.hasNext()) {
            Row material = materialRow.next();
            String materialNumber = material.getString("materialnumber");
            stringBuilder.append(materialNumber);
            stringBuilder.append("@");
            if (count % materialBatchSize == 0 || !materialRow.hasNext()){
                stringBuilder.deleteCharAt(stringBuilder.length() - 1);
                dataSetBuilder.append(new Object[]{stringBuilder.toString(), null});
                stringBuilder = new StringBuilder();
            }
            count++;
        }
       DataSet dataSet = dataSetBuilder.build();
       //分批加载数据-批次等信息
       IReportBatchQueryInfo byBatchInfo = queryParam.byBatchInfo();
//     每批个数
       byBatchInfo.setCountPerBatch(countPerBatch);
//     最大缓存行数(默认10w)
//        byBatchInfo.setMaxRowCountCached(MaxRowCountCached);
       return dataSet;
    }

4 报表相关资料

更多关于报表的相关资料，可参考以下链接：

树形报表展示功能

表格列头过滤功能

表格列头排序功能

#往期推荐#

# 提升5倍效率的开发平台哪里有？看这里！

# BOTP增效之路（上）：“转换规则”助你一键下推单据

# BOTP增效之路（下）：“反写规则”助你自动实现单据反写

更多精彩内容，“码”上了解！↓

用这招，海量数据的查询导出也能无比顺畅 !

用这招，海量数据的查询导出也能无比顺畅 !

恭喜您！