导出数据库数据行数限制

显示全部楼层 · yhdata_vNbdeYoO 2024-06-03 16:46:46 发布在论坛

你好，将数据集导出到数据库这个功能发现只能导出150w行，这个限制应该如何调整呢？具体参数是什么呢？数据集中执行数据提示执行数据超时，是否也是有限制？谢谢。

显示全部楼层

是报什么错了吗，怎么知道是150w的，当前是什么版本呢

显示全部楼层

您可以参考帮助手册（https://www.yonghongtech.com/real-help/Z-Suite/10.2/ch/defenseproperties.html）中说明的max.grid.rows参数，在系统设置的系统参数配置中可以看见。如图

•max.grid.rows=100000000

10.0及以后支持。从数据库或集市中获取数据的最大行数，如果超过，计算将会终止，并弹出提示。默认为100000000。抽取数据的任务（数据集上抽取数据，调度任务里同步数据和增量导入数据）不受此属性影响。可以通过【管理系统>系统设置>系统参数配置】进行设置。提示信息：“内存处理的结果集超过行数限制。请查看数据集或报告的“检测性能”的结果，通过调优避免从数据库中或集市中加载大数据量的数据；或到系统设置>系统参数配置>数据量参数配置中修改max.grid.rows的值。”

关于超时问题，产品中数据查询超时在许多不同的位置都存在，您可以看看以下参数是否是您想要的内容。

参考连接：

https://www.yonghongtech.com/real-help/Z-Suite/10.2/ch/defenseproperties.html?zoom_highlightsub=timeout

https://www.yonghongtech.com/real-help/Z-Suite/10.2/ch/biproperties_connect.html?zoom_highlightsub=timeout

•qry.dbmeta.timeout=10000
取元数据的时间如果超过了设置时间，抛错提示，默认为10秒。

•pre.process.timeout=10000
查看数据集数据详情和总行数时，数据库查询或集市计算的超时时间，超过配置时间则弹提示“执行SQL慢，请检查对应数据库”或“执行集市计算慢”，默认值为10000，单位毫秒。

•grid.normal.exists.timeout=120000

数据等待的超时时间，单位为毫秒，默认2分钟。

•qry.defense.timeOut=1800000
数据集预览等请求的超时时间。

显示全部楼层

永洪tech_xh 发表于 2024-6-3 17:12
您可以参考帮助手册（https://www.yonghongtech.com/real-help/Z-Suite/10.2/ch/defenseproperties.html） ...

在调度任务中将数据集导出到数据库，发现都是导出到150w就停止了，也没报错，这个应该调整哪个参数呢？谢谢

显示全部楼层

yhdata_lyaa 发表于 2024-6-3 17:00
是报什么错了吗，怎么知道是150w的，当前是什么版本呢

没有报错哦，调度任务显示是成功的，但去数据库去count导出的记录时发现都是150w记录就停止了

显示全部楼层

yhdata_lyaa 发表于 2024-6-3 17:00
是报什么错了吗，怎么知道是150w的，当前是什么版本呢

目前是10.1.2版本

显示全部楼层

yhdata_vNbdeYoO 发表于 2024-6-4 10:09
没有报错哦，调度任务显示是成功的，但去数据库去count导出的记录时发现都是150w记录就停止了 ...

本地测试了几次，回复的有点晚，本地测试结果是200W数据可以正常进行导出的。所以产品默认状态下应该没有但对此功能进行限制。
建议您依旧可以按照以下方法进行排查：
1、在【系统设置】的【系统参数配置】-【数据量参数配置】中找到max.grid.rows参数查看其值是否限制了150W。并检查该位置其他参数是否有修改为150W的相关设置。再或者您可以前往后台中的配置文件bi.properties查看是否有修改为150W的相关设置。
2、拉去任务相应时间段内的日志，反馈给在线工单对日志进行排查，查看是否是作业存在问题。
3、可以去数据库中开启日志记录，查看查询和插入是哪段出了问题。