计算小数点后结果不正确

显示全部楼层 · 2024-11-28 08:01:03

第三列=left(1)*left(2)，比如第一行小数点后应为.84 结果却为.856 数据库中前两列的数据就为展现出来的样子，没有更高位小数了

显示全部楼层 · *Efheih* 显示全部楼层 *发表于 2024-11-28 08:01:03*

两数相乘是用最精确数值计算的，比如998.94实际精度为998.9400024668516805427073697194，这样结果就是.856了

显示全部楼层 · *隔壁老帆* 显示全部楼层 *发表于 2024-11-28 08:47:03*

看楼上

显示全部楼层 · *yhdata_kziiINtR* 显示全部楼层 *发表于 2024-11-28 08:57:28*

Efheih 发表于 2024-11-28 08:36
两数相乘是用最精确数值计算的，比如998.94实际精度为998.9400024668516805427073697194，这样结果就是.856 ...

但实际精度是这样的

显示全部楼层 · *yhdata_kziiINtR* 显示全部楼层 *发表于 2024-11-28 09:02:10*

yhdata_kziiINtR 发表于 2024-11-28 08:57
但实际精度是这样的

显示全部楼层 · *yhdata_kziiINtR* 显示全部楼层 *发表于 2024-11-28 14:20:13*

已解决，数据类型设置为double后确实能看到更高精度的情况如楼上所示

[填报与传统报表] 计算小数点后结果不正确