找文章 / 找答案
精选问答 更多内容

[大数据] 预览odps分区表报错

nothingzsf玄铁三 显示全部楼层 发表于 2023-4-23 11:14:39 |阅读模式 打印 上一主题 下一主题
100
已解决

【大数据】 预览odps分区表报错

3093 4
FROM innovamed_mc.innovamed_mc.dim_product_df LIMIT 5000;] instance:[20230423022054153gnyv60empcg] failed: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(innovamed_mc,innovamed_mc,dim_product_df) is full scan with all partitions, please specify partition predicates.



不能直接选择阿里odps分区表创建数据集吗

最佳答案

社区管理员
yhdata_yzm 关注Ta

2023-04-23 11:14:40

看情况是的。
查看完整内容
回复

使用道具 举报

精彩评论4

yhdata_yzm 显示全部楼层 发表于 2023-4-23 11:14:40
yhdata_fn0TdEXK 发表于 2023-4-23 13:26
产品本身不支持指定分区,必须写sql实现?

看情况是的。
回复

使用道具 举报

nothingzsf玄铁三 显示全部楼层 发表于 2023-4-23 11:17:30
版本10.0.3
回复

使用道具 举报

yhdata_yzm 显示全部楼层 发表于 2023-4-23 13:16:09
这个错误提示表明在执行 SQL 语句时,ODPS 无法生成物理执行计划。具体原因是由于你在查询表 innovamed_mc.dim_product_df 时,没有指定分区谓词,导致 ODPS 无法对表进行分区过滤而只能对整个表进行全表扫描,由于该表较大,导致查询时间较长。
你用sql语句写写呢例如:
SELECT * FROM innovamed_mc.innovamed_mc.dim_product_df WHERE partition_key = 'partition_value' LIMIT 5000;
其中 partition_key 和 partition_value 是你的表的分区键和分区值,这样就可以将查询限定在指定分区中,避免了全表扫描的情况。如果你不知道表的分区键和分区值,可以使用 DESCRIBE TABLE 命令查看表的结构信
回复

使用道具 举报

nothingzsf玄铁三 显示全部楼层 发表于 2023-4-23 13:26:17
产品本身不支持指定分区,必须写sql实现?
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |《永洪社区协议》
返回顶部