创建数据集市后速度还是很慢，有其他优化方案吗

yh_xishan 发表于 2022-3-18 17:59
不需要了，还想咨询一下，像这种数据量非常大的时候，用那种方式访问是最优解呢，维度也比较多，打标签还 ...

您好，数据量非常大的时候，建议您叠加使用这些方式。在增加节点的情况下（M节点的计算压力会会分摊），首先通过打标签、分割、过滤减少增量入集市的数据行数减少入集市的时间，其次数据集市数据集上通过增加文件过滤（标签值、分割文件）、具体列的值过滤（如时间筛选），精确您需要查询的数据，这么会大大缩短查询时间。

数据量大概在一个亿左右，如果选择标签则一直提示i/o错误，只能单纯增量导入然后什么也不选，数据集同步的也很慢，报表展示也很慢

您好，就该问题，请反馈一下目前在使用的永洪版本号（从登录页下方或者个性化设置可查看）。并且如果目前日志可以正常下载，麻烦提供一下出现问题这段时间的日志(从管理系统->日志管理里下载日志，选择起始时间和时间跨度，请一定要包含出现问题这段时间的日志)，我们本地分析一下，谢谢~

版本为865b

永洪科技-黄旭东 发表于 2022-3-17 15:43
您好，就该问题，请反馈一下目前在使用的永洪版本号（从登录页下方或者个性化设置可查看）。并且如果目前 ...

版本为865b

yh_xishan 发表于 2022-3-17 16:00
版本为865b

您好，该日志文件已经损坏，麻烦重新上传一下

111

永洪科技-黄旭东 发表于 2022-3-17 16:11
您好，该日志文件已经损坏，麻烦重新上传一下

已上传

您好，从日志看“如果选择标签则一直提示i/o错误”是因为执行的sql过长导致超时失败，建议您使用分割功能，如图，可以选择你需要的列进行分割。
并且鉴于数据量非常大，建议您可以集市数据集上加文件/标签过滤、集市数据集上控制查询行数；以及增加节点个数、入集市分割集市文件等方式，都能提升数据集市查询的速度。