说明文档是对永洪BI在XX保险业务场景中的实际应用介绍，包括硬件架构到前台业务应用类型，希望给有意于使用永洪数据分析工具在类似的金融行业等场景下辅助、推动业务的老师提供应用方向和思路参考。1.数据资产与处理 ...
|
说明 文档是对永洪BI在XX保险业务场景中的实际应用介绍，包括硬件架构到前台业务应用类型，希望给有意于使用永洪数据分析工具在类似的金融行业等场景下辅助、推动业务的老师提供应用方向和思路参考。 1. 数据资产与处理流程不限于保险行业，企业经过一定时间的经营都会产生一定的数据资产，这些资产的特殊性、行业及个体适用性正是其个性化价值所在，我们借助永洪BI和层层处理手段展现并分析了这些数据，较好的实现了数据资产的商业智能化。 处理流程：
说明： l 从基础的源数据和最终想实现的功能出发，确定起点和终点，探索中间的数据处理过程，这种思路也能避免一些不必要的数据转换和资源浪费。 l 以上方动图为例，最左侧源数据使我们的业务数据记录存储的平台，未经过任何处理和提取；最右侧罗列的一些样式是我们想实现的最终效果。 l 为了易于全司用户上手、实现即时响应、更美观地达到右侧罗列的分析效果，我们借用敏捷BI工具（永洪），BI报告的数据来源于平台自身的数据集，再向前推来源于永洪所支持的全部数据源。 l 由于行业的特殊性，源数据中的脏数据、重复数据、极大数据量如果直接入集市将会极大地损耗性能甚至造成系统崩溃，因此必须对数据进行层层处理，仅提取我们需要的数据，并在中间ETL过程优化性能，不能仅依靠BI平台自身的数据处理和性能调试。 l ODS贴源层对源数据进行初步提取，但此时提取的数据业务用户无法良好的应用，于是对这些数据进一步ETL加工入到数据仓库中以标准化的格式进行管理和存储，这些过程的处理都是以集群的架构形式完成。 l 数仓中的数据虽然较为规范，但并没有针对性的业务、应用指向。因此进行进一步的分类和数据跑批优化性能，来到应用层，最终入到BI的集市中应用。 l 整个BI平台部分，帮助达到了数据提取和展现的敏捷性；同时在该平台开发完成的数据分析将指导未来的业务决策和发展方向，这些决策执行后也将对后续录入的源数据产生影响，形成闭环，持续优化业务发展。 2. 部署架构依照永洪的旗舰部署方案，综合场景实际情况，制定特定的架构。2.1永洪BI+AI+MPP+DW架构（高可用）
说明： l 整个永洪旗舰级架构中除了AI计算引擎模块均为高可用。 l 中间多个永洪C节点组成集群，负载均衡的同时保证高可用。 l 服务以同一个链接对外提供服务，多终端可访问同时Desktop也可连接到服务，地址代理的Nginx服务也高可用，保障地址可稳定访问。 l 永洪BI集群的配置文件存储在双活的数据库中，配置文件也高可用。 l 数据从建设的HA数据仓库中提取和查询。 l 永洪可以配置C节点以外的其他R、M、N节点以完成更复杂的计算，MapReduce服务使用zookeeper管理集群，各个环节均保持高可用。 2.2. 实际应用架构
应用说明： l 由于Desktop连接server功能的有限性和全国多家分公司、中支机构的用户群体较大的特殊性，我们在架构中去除了Desktop的应用。 l 使用Nginx代理地址蒋永洪集成到公司官网的数据应用平台，作为其中的即时查询系统，实现了单点登录和权限控制。 l 8个永洪C节点保证前台服务的稳定性、负载均衡，需注意八个节点均需要不同的许可。 l 无AI计算需求、无复杂的BI的并行计算分发需求，因此去除了AI和MapReduce模块。性能和计算压力主要集中在数据抽取和查询部分。 l 企业已有成熟的数据系统，既定的数据存储平台，因此不需要额外建设数据仓库。 l 现有数据体量大、结构复杂、查询困难，我们采取的思路是将新、老数据、多种业务类型、多种数据库及存储形式看成一个整体，使用impala快速查询应对Hadoop的HDFS和HBase中的PB级大数据。 3. 业务应用详情3.1. 清单：清单数据集、清单查询报表
说明： l 常见的固定清单我们开发了目录结构一致的数据集和查询报表。 l 简单需求的用户可以直接使用报告，通过筛选条件查询选用自己想要的数据进行输出。 l 有特定字段需求的用户也可以直接操作数据集，做各种转换或过滤自行拉取清单。 3.2. 宽表：宽表数据集、拉取业务看板、作为驾驶舱等大屏数据源
说明： l 上图分别为宽表数据集、以宽表为数据集拉取的业务看板和驾驶舱。 l 宽表一般都至少有80以上的字段数，且数据量较大，较全面和完善的数据可供业务用户自行查找使用，补足了清单业务中的遗漏需求。 3.3. 系统监控：BI健康状况、访问并发量统计、数据跑批监控、用户管理
说明: l 永洪BI自带的系统监控看板记录了大部分需要关注的信息。 l 自行使用永洪开发展示了监控上游impala数据查询系统的健康情况，包括但不限于：CPU、内存、耗时。 l 数据跑批作业Top与耗时异常的任务统计。 l 各个平台内存占用量监控。 3.4. 嵌套报表：维度动态勾选、特定业务展示需求
说明： l 除查询栏的开发外，加入了维度和指标的动态勾选区域，变更时提交，满足对业务的多维分析。 l 特定的查询状态可以通过分享或输出给同事提高工作协同效率。 3.5. 订阅、分享：邮箱、消息中心、共享
说明： l 我们在永洪BI中配置了企业邮箱，订阅任务、转队列任务、清理磁盘消息等都可以发送到邮箱中查看。 l 对于分享报告在实践中有一条注意事项分享出来：如上图，在我们分享一张制作好的报告时，默认情况下接收方只有查看该报告的权限，无法按照自己的需求自定义调整，此时可以在分享方的制作报告页面编辑查看模式添加另存为功能，接收方在另存后即可作出个性化调整。 3.6. 其他：其他业务挂靠、重点需求开发、提数媒介l 其他业务系统的部分需求，如：信保、保代、MIS等。 l 分公司的个性化报表开发，在政策执行中的某些特定需求沟通处理。 l 作为一些特定数据的监管提数需求处理媒介，借助永洪BI可以更方便的从总公司将后台数据提取交付给对应业务部门。 4. 总结4.1. 产品体验在体验了市面上大量常见的BI产品后，选择永洪的原因。 l 数据分析师教学课程 l 初中高级分析师认证 l 响应迅速的论坛答疑 l 全面的帮助中心文档 l 积极优化的研发团队 l 完善的功能点和高度的可定制化 寄语感激在BI学习过程中的提供帮助的永洪同事们，也感激永洪产品对解决业务问题带来的巨大帮助。 任何一款工具都无法做到对所有人来说都是完美的，在探索和挖掘应用价值的阶段永洪BI可提供的散发思维是无限的。 希望永洪越来越好，预祝大家也能应用其契合自身业务场景，挖掘更多优秀的解决方案。 |
2