计算小数点后结果不正确

显示全部楼层 · 2024-11-28 08:01:02

第三列=left(1)*left(2)，比如第一行小数点后应为.84 结果却为.856 数据库中前两列的数据就为展现出来的样子，没有更高位小数了

显示全部楼层 · 发表于 2024-11-28 08:01:03

两数相乘是用最精确数值计算的，比如998.94实际精度为998.9400024668516805427073697194，这样结果就是.856了

显示全部楼层 · 发表于 2024-11-28 08:47:03

看楼上

显示全部楼层 · 发表于 2024-11-28 08:57:28

Efheih 发表于 2024-11-28 08:36
两数相乘是用最精确数值计算的，比如998.94实际精度为998.9400024668516805427073697194，这样结果就是.856 ...

但实际精度是这样的

显示全部楼层 · 发表于 2024-11-28 09:02:10

yhdata_kziiINtR 发表于 2024-11-28 08:57
但实际精度是这样的

显示全部楼层 · 发表于 2024-11-28 14:20:13

已解决，数据类型设置为double后确实能看到更高精度的情况如楼上所示