找文章 / 找答案
精选问答 更多内容

[数据处理] Doris,MaxCompute等数据库sql中有order by后,只能读取100万数据

wendy白银一 显示全部楼层 发表于 2022-10-8 10:26:44 |阅读模式 打印 上一主题 下一主题
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000}   17是MaxCompute,51是Doris。
默认是100万, 如果有需要,可以配置属性适当增加这个值。

最佳答案

speedy 玄铁三 关注Ta

2022-10-08 10:26:45

针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。 因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000} 17是MaxCompute,51是Doris。 默认是100万, 如果有需要,可以配置属性适当增加这个值。
查看完整内容
回复

使用道具 举报

精彩评论5

speedy玄铁三 显示全部楼层 发表于 2022-10-8 10:26:45
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个配置vendor.limit.rows={17:1000000,51:1000000}   17是MaxCompute,51是Doris。
默认是100万, 如果有需要,可以配置属性适当增加这个值。
回复

使用道具 举报

haipeng_kang玄铁三 显示全部楼层 发表于 2023-6-20 14:46:29
请问这个 配置在永洪哪里配置
回复

使用道具 举报

haipeng_kang玄铁三 显示全部楼层 发表于 2023-6-20 14:46:49
speedy 发表于 2022-10-8 10:26
针对SQL中有order by的场景,MaxCompute和Doris这种类型的数据,需要强制添加limit。
因此产品中增加了一个 ...

请问这个配置 在永洪哪里配置
回复

使用道具 举报

yonghong_cai青铜三 显示全部楼层 发表于 2023-6-20 15:14:40
没有用过这个功能,下次试下
回复

使用道具 举报

yhdata_lcFGp3PV新手上路 显示全部楼层 发表于 2023-7-11 10:32:47
https://help.aliyun.com/zh/maxco ... ng-bi-to-maxcompute
---鸣谢阿里云的海鹏大佬

使用说明
Yonghong Desktop抽取MaxCompute数据集时,最高行数限制为100W行,如果需要解除该限制,您可以采取下述方法:

在bi.properties文件(本地文件路径:${Yonghong Desktop}\YonghongBI\Yonghong\bihome)中添加参数vendor.limit.rows={17:1000000} 。

17:代表MaxCompute。

1000000:表示抽取数据集时的最高限制行数,您可以根据需要将其修改为合适的数值,避免给系统带来压力。

修改bi.properties文件后需重启Yonghong Desktop使其生效。
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部