报表客户端计算尾差分析原创
3人赞赏了该文章
1,226次浏览
编辑于2021年04月29日 15:40:09
问题现象:如图所示报表客户端两个相等的数相减结果不等于零
该问题也反馈给报表控件厂商,他们给的反馈是:
由于double的计算机制就是这样,没办法彻底解决该问题。
我们现在可以做的就是对结果单元格设置小数位,确保在我们需要的小数位范围内是正确的。
Excel也有同样问题:
结论:由于报表客户端内部计算使用的是double,不可避免的出现一些尾差现象。这些都是浮点自身的问题,可通过 ROUND 函数来优化一下小数点位数。
赞 3
3人点赞
还没有人点赞,快来当第一个点赞的人吧!
打赏
0人打赏
还没有人打赏,快来当第一个打赏的人吧!