[报错信息处理] 剔除数据集报错File could not be empty.

Orcish青铜一 显示全部楼层 发表于 2022-3-11 09:44:06 |阅读模式 打印 上一主题 下一主题
1
已解决
管理系统->监控预警->数据集市文件夹信息统计,剔除1个数据集,报File could not be empty.
页面仍然显示此数据集,无法删除。

最佳答案

永洪vip
永洪tech-Bella 铂金四 关注Ta

2022-03-11 09:44:07

回复

使用道具 举报

精彩评论12

永洪tech-Bella铂金四 显示全部楼层 发表于 2022-3-11 09:44:07
Orcish 发表于 2022-3-11 14:07
不能这么做,我们的数据量是7000多万行,总共1775个文件,共7TB。现在只有1个文件有问题。这么做工作量太 ...

好的
回复

使用道具 举报

永洪tech-Bella铂金四 显示全部楼层 发表于 2022-3-11 09:48:19
点击剔除弹出一个界面,报这个错吗?是某个指定文件夹有这个问题,还是多个文件夹都有这个问题呢?
页面仍然显示此数据集,无法删除
--这个可以重新打开该报告看下

另外确认下要剔除的这个文件夹,能否正常使用呢(可通过新建数据集市数据集,选择这个文件夹,看是否能查出对应数据来判断)

回复

使用道具 举报

Orcish青铜一 显示全部楼层 发表于 2022-3-11 09:53:00
之前一直都没有问题的,我就是想把它删除,因为里面的数据我已经重新抽取,这个文件不删除,数据会重复吧。
操作页面.png
报错页面.png
回复

使用道具 举报

永洪tech-Bella铂金四 显示全部楼层 发表于 2022-3-11 10:21:22
Orcish 发表于 2022-3-11 09:53
之前一直都没有问题的,我就是想把它删除,因为里面的数据我已经重新抽取,这个文件不删除,数据会重复吧。 ...

不删除,理论上也不会重复的。
如果是同步任务,会自动删除之前的数据
如果是增量任务,不勾选追加,之前的数据也会删除
现在报错文件不存在,可能是文件真的不存在了,从安装目录确认下文件是否还存在。截图看下这两个目录的情况:
Yonghong/cloud  和Yonghong/bihome/cloud 这两个目录 找一下咱们要删除的这个文件夹,并截图看下文件夹下的情况
回复

使用道具 举报

Orcish青铜一 显示全部楼层 发表于 2022-3-11 11:22:44
没有找到图示的文件:
新交易/快捷_手动_20190101000000--20190701000000.41be5cec98.zb
我们这个文件是2019年1-7月的交易笔数,现在查看集市,由于我1-4月4-7月重新追加,并重命名了2个新的数据集,现在刚查看了7月交易笔数没错,但是6月翻倍了,显然没有删除
bihomecloud.png
cloud.png
1755个文件,不是64个.png
回复

使用道具 举报

永洪tech-Bella铂金四 显示全部楼层 发表于 2022-3-11 11:27:14
Orcish 发表于 2022-3-11 11:22
没有找到图示的文件:
新交易/快捷_手动_20190101000000--20190701000000.41be5cec98.zb
我们这个文件是201 ...

集群是什么样呢?
M节点看下Yonghong/cloud  和Yonghong/bihome/cloud 这两个目录
N节点看下onghong/bihome/cloud 这个目录
截图的Yonghong/cloud下没有东西不正常呢,是看的什么节点的
另外入集市是怎么入得,什么方式?可以看下对应的调度任务
回复

使用道具 举报

Orcish青铜一 显示全部楼层 发表于 2022-3-11 11:45:26
我们是1个cnr,3个m,人工删除了,但是元数据还在似乎,刚才的操作页面.png
而且使用集市报错了
发送MAP任务失败:'新交易/快捷_手动_20190101000000--20190701000000.41be5cec98.zb'。
找到要删除的文件了.png
回复

使用道具 举报

永洪tech-Bella铂金四 显示全部楼层 发表于 2022-3-11 11:59:43
Orcish 发表于 2022-3-11 11:45
我们是1个cnr,3个m,人工删除了,但是元数据还在似乎,刚才的操作页面.png
而且使用集市报错了
发送MAP任 ...

不能从底层删除哦,需要从前台删除。
这个数据集重新入一下呢?
回复

使用道具 举报

Orcish青铜一 显示全部楼层 发表于 2022-3-11 12:00:49
调度是这样的
调度.png
回复

使用道具 举报

高级模式
您需要登录后才可以回帖 登录 | 免费注册

  • 官方微信

    欢迎关注永洪服务号!收费为0,价值无限

    扫码关注
  • 新浪微博

    让每位用户轻松挖掘数据价值!

    访问新浪微博
  • 智能客服
50W

会员等你来哦

Copyright   ©2012-2024  北京永洪商智科技有限公司  (京ICP备12050607) 京公网安备110110802011451号 |联系社区管理员|《永洪社区协议》
返回顶部