永洪BI采集分布式集群架构,可以使用相对低配置的服务器,组成一个性能强大的分布式服务器集群。永洪BI将服务器集群分为N、M、R、C,共四类角色。其中各类角色的功能用途如下: 节点名称 | | | | | 1. 负责统一调度各节点工作,使各节点工作压力相当,达到Map节点计算负载均衡。 2. 整个集群中只会有一个Naming节点。 | | | 1. 负责存储数据集市中的分布式数据文件。 2. 执行Naming节点分派的计算任务。 3. 整个集群中有N个Map节点,Map节点承担了集群的大部分计算工作。 | | | 1. 多个M节点将同一计算任务的计算结果发送给同一个R节点,由该R节点对计算结果进行汇总。 2. 集群中有多个R节点。 | | | 1. 接受终端客户请求,并将请求提交给N节点。 2. 接受R节点的汇总计算结果并展现。 3. 与原始数据源相连接,抽取原始数据,并存入数据集市。 |
当用户从客户端发起一个分析请求时,集群处理过程如下: 1. 客户端将该分析请求发送给Naming节点,请求执行该分析请求。 2. Naming节点将分析任务分派到各个Map节点。 3 . 各Map节点接收Naming节点分派的计算任务,并在本节点存储的数据中执行计算任务。 4. 各Map节点完成计算后,将计算结果发送至同一个Reduce节点。 5. Reduce节点接收各Map节点发送过来的计算数据,并将这些数据合并成一个结果,反馈给Client节点。 6. Client节点接收汇总结果,同时将其绑定到报表中。
|