永洪社区

标题: 10.0剧透第二弹丨性能多重优化&丰富可视化功能 [打印本页]
作者: Yonghong-Club    时间: 2022-8-8 14:28
标题: 10.0剧透第二弹丨性能多重优化&丰富可视化功能
性能多重优化

在本期V10.0路透中，我们将与大家聊聊永洪BI新版本的性能与稳定性优化问题。

对于BI产品来讲，性能代表着运行速度和运行质量，永洪BI的性能在实现行业领先的同时再次向打破性能极限而努力，为用户带来更快的分析响应速度和实时处理数据速度。同时，稳定性也是企业最关注的BI要素之一，频繁宕机及故障必然会影响企业的整个IT环境，以此，永洪BI则更加重视在稳定性上精益求精，保证永洪BI在跑得更快的同时，也行得更稳！

永洪科技在V10.0版本持续解决企业客户常见的运维痛点，通过限制、隔离、存储优化等一系列技术手段，达到系统可管控，并持续健康稳定运行，提高BI的使用体验。



高危操作进行确认，
确保每次操作都是必须的
●重命名确认
修改名称会弹出名称修改框，避免误修改数据源、数据集等资源或文件夹的名称。而修改的动作在BI的资源比较多的情况下，可能会导致长时间的底层同步（此同步性能问题在V10.0版本中也得到了很好的解决）。

●移动目录确认
移动资源和目录会进行弹窗确认，避免操作过快误将数据源、数据集、报告、文件夹移动到其他地方。

●删除驱动确认
删除驱动会进行弹窗确认，避免误点击驱动的删除按钮，将驱动直接删除。

隔离有问题的内容和操作，
确保资源和系统健康

●组件隔离
可以将错误限制到组件级别，避免单组件解析失败导致整个报告白屏。

●错误任务标记，让重启能快速恢复
对内存等消耗大造成系统宕机的问题任务进行标记，重启之后将临时禁止此类任务的执行，避免反复出现宕机，同时提供问题任务清单，便于后续排查。


监控预警优化，
确保可方便全面的管控
●监控报告优化
在集群状态下可以在任意C节点看到全部C的状态和数据。

●健康检查优化
优化健康检查报告，提供系统层面的运行数据统计分析，协助日常的运维。

●关键操作记录
关键操作要事先预记录、操作完之后记录完成。更多监控信息的记录，请见上期的“集成和安全”部分。

●FastQueryPool和SlowQueryPool告警阈值设置
V9.4版本，通过FastQueryPool和SlowQueryPool对慢查询和快查询做隔离，分而治之，达到快查询能立即执行，慢的查询能排队执行，使产品不会因为某一部分性能较差的查询从而导致整体查询速度的下降。V10.0版本，增加FastQueryPool和SlowQueryPool使用率预警。默认情况下，FastQueryPool使用率达到100%、SlowQueryPool使用率达到95%，并且持续大于3分钟，系统告警知会相关人。

性能优化

●资源ID化
实现底层资源的ID化存储，可以通过ID实现资源的引用。提升移动/重命名目录后的同步效率。解决资源同步慢导致的性能和稳定性问题。

●资源的序列化和反序列化优化
BI的资源(数据源、数据集、报告）等都是将对象序列化为二进制流存储到配置数据库中，使用时再读库并进行反序列化。通过优化（减少重复和冗余）减少流的大小，可以有效提升读写库的时间开销，并提升序列化和反序列化的速度。

●优化Tree的加载性能
数据源、数据集、报告、实验等各类Tree在数据量大时加载慢，优化数据量大的情况下Tree的加载性能。

●血缘分析存储结构优化，提升处理和查询速度
结合资源ID化，使用资源ID作为血缘节点的ID。

优化存储结构，V9.4版本血缘关系使用二维表将血缘关系的各个节点之间都存储一条依赖关系，一条依赖关系在数据库表中占用一行，这样会导致数据库表的行数越来越大。

V10.0使用树形结构来描述血缘关系中的依赖关系，根据数据流向划分为输入树和输出树。输入树表示当前资源的数据来源，即当前资源依赖哪些资源，输出树表示当前资源的数据输出，即哪些资源依赖当前资源，一个资源分别对应一个输入树和输出树，在数据库表中使用一行记录就可以存储一个资源的依赖关系，极大地减少了存储的行数。这样的存储结构在更新资源血缘关系时，大大减少了数据库查询和更新的次数，也减少了不同事务之间的锁竞争，提升了处理效率。同时也加快了血缘关系的查询速度，V10.0之前查询资源的血缘关系需要多次地联表查询，V10.0后只需要一条SQL根据资源ID就可以查询到资源的血缘关系。V10.0不再对血缘关系的依赖关系进行分表，使用LINEAGE_RELATION来存储所有资源的依赖关系，减少了数据库表的数量。

●自由表动态计算内存占用优化
优化自由表格的计算逻辑，降低在自由表包含大量子区域的情况下的内存消耗。

●在用户量很大或资源很多时，调度任务打开作业页面性能慢
优化UI，确保按需展示信息。以前选择数据集、数据源或报告都会直接展开全部，现在是按Tree的方式展示。以前赋予权限选择用户的界面是下拉框，打开作业即开始加载用户，现在是点击编辑Icon才加载用户。

●WebAPI-setPermission性能优化
针对集成场景，在分享报告等资源后，需要调用setPermission接口授权，V10.0大幅优化了此接口的性能。


限制数量和流量

●WebAPI调用频率限制
可以配置同一时刻可以执行的API总数，超过这个数目的API调用不进入线程池。

●VooltDB抽数限制
对于数据抽取的场景，限制抽数行数，实现抽取最大数据量的两级管理，避免不可控的数据量造成的稳定性问题。

●新增max.grid.rows属性
控制后期计算的数据集的总行数，超过报错。避免由于不合理操作形成的大数据量冲击。

●max.load.rows控制逻辑优化
统一系统中max.load.rows的控制逻辑，避免调度任务导出相关的行为导致的大数据量压力。

●提交按钮以及文本框点击后（触发提交或刷新等事件），未完成前使按钮不可用。
避免重复相同的提交导致的资源消耗，或者重复提交引起的其它问题。



丰富可视化功能，新版本大屏更酷炫

随着大数据技术和智能显示技术的发展，数据大屏已经成为IT信息领域一种常见的数据展示应用场景。从政府政务决策到企业运营管理、从电商流量监控到环保实时监控......可视化大屏已经成为了对内信息共享、决策分析，对外信息公布、行业交流、会议现场展示等的重要工具。

在更加广泛的应用场景中，用户们对于大屏的需求与日俱增，以此，V10.0版本中我们将对永洪BI的可视化和大屏功能进行大幅更新优化。

本次新版本的内容涉及多指标卡、热图、帕累托图、高亮闪动动画等多个内容，满足多种可视化需求，下面一起来看看！

多指标卡
除了单指标卡，新增支持了多指标卡。
(, 下载次数: 982)