wendy白银一
2022-10-8 10:26:44 发布在问答
【数据处理】 Doris,MaxCompute等数据库sql中有order by后,只能读取100万数据
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000}   17是MaxCompute,51是Doris。
默认是100万, 如果有需要,可以配置属性适当增加这个值。

最佳答案

speedy 玄铁三 关注Ta

2022-10-08 10:26:45

针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。 因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000} 17是MaxCompute,51是Doris。 默认是100万, 如果有需要,可以配置属性适当增加这个值。
查看完整内容
2741
5
精彩评论5
speedy玄铁三
发表于 2022-10-8 10:26:45 显示全部楼层
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000}   17是MaxCompute,51是Doris。
默认是100万, 如果有需要,可以配置属性适当增加这个值。
回复

使用道具 2#

haipeng_kang玄铁三
发表于 2023-6-20 14:46:29 显示全部楼层
请问这个 配置在永洪哪里配置
回复

使用道具 3#

haipeng_kang玄铁三
发表于 2023-6-20 14:46:49 显示全部楼层
speedy 发表于 2022-10-8 10:26
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个 ...

请问这个配置 在永洪哪里配置
回复

使用道具 4#

yonghong_cai白银三
发表于 2023-6-20 15:14:40 显示全部楼层
没有用过这个功能,下次试下
回复

使用道具 5#

yhdata_lcFGp3PV新手上路
发表于 2023-7-11 10:32:47 显示全部楼层
https://help.aliyun.com/zh/maxco ... ng-bi-to-maxcompute
---鸣谢阿里云的海鹏大佬

使用说明
Yonghong Desktop抽取MaxCompute数据集时,最高行数限制为100W行,如果需要解除该限制,您可以采取下述方法:

在bi.properties文件(本地文件路径:${Yonghong Desktop}\YonghongBI\Yonghong\bihome)中添加参数vendor.limit.rows={17:1000000} 。

17:代表MaxCompute。

1000000:表示抽取数据集时的最高限制行数,您可以根据需要将其修改为合适的数值,避免给系统带来压力。

修改bi.properties文件后需重启Yonghong Desktop使其生效。
回复

使用道具 6#

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
100W

用户等你来哦

Copyright   ©2012-2025  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部