找文章 / 找答案
精选问答 更多内容

[填报与传统报表] 计算小数点后结果不正确

yhdata_kziiINtR玄铁一 显示全部楼层 发表于 3 小时前 |阅读模式 打印 上一主题 下一主题
第三列=left(1)*left(2),比如第一行小数点后应为.84   结果却为.856     数据库中前两列的数据就为展现出来的样子,没有更高位小数了
lanxin_20241128075827.png
回复

使用道具 举报

精彩评论4

Efheih白银一 显示全部楼层 发表于 3 小时前
两数相乘是用最精确数值计算的,比如998.94实际精度为998.9400024668516805427073697194,这样结果就是.856了
回复

使用道具 举报

隔壁老帆青铜四 显示全部楼层 发表于 3 小时前
看楼上
回复

使用道具 举报

yhdata_kziiINtR玄铁一 显示全部楼层 发表于 3 小时前
Efheih 发表于 2024-11-28 08:36
两数相乘是用最精确数值计算的,比如998.94实际精度为998.9400024668516805427073697194,这样结果就是.856 ...

但实际精度是这样的
lanxin_20241128085637.png
回复

使用道具 举报

yhdata_kziiINtR玄铁一 显示全部楼层 发表于 2 小时前
yhdata_kziiINtR 发表于 2024-11-28 08:57
但实际精度是这样的

lanxin_20241128090120.png
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部