本帖最后由 Lydia 于 2024-11-29 11:20 编辑
1.概述 如果之前用的是MPP(老的高性能计算引擎MPP请参考V9.3帮助中心数据集市->MPP部分),想切换成VooltDB,已经入MPP集市的数据,可以通过数据迁移将其导入VooltDB集市。具体来说,就是在老的MPP集群上执行map任务将zb文件导入到新的VooltDB集群,迁移不会改变有关属性,比如之前是维度表,迁移后还是维度表。迁移完成后,物化数据集还是会保持物化状态,而集市数据集才能正常访问数据。 •如果8.5.*,8.6.*,8.8.*版本升级到9.2及以上版本,并切换成VooltDB,参考方案一。 •如果同版本从MPP切换到VooltDB,参考方案二。 ➢例如: 开始用的9.2 MPP,相同的环境想切换成VooltDB。 •如果9版本以上,相同大版本之间通过替换jar包升级产品,并切换成VooltDB,参考方案二。 ➢例如: 通过替换9.0 MPP集群环境的永洪jar包(product.jar, thirds.jar, api.jar),升级到9.2。替换jar包之前需要备份bihome。 •如果9版本以上,相同大版本之间通过部署新的环境升级产品,并切换成VooltDB,参考方案三。 ➢例如: 之前用的9.0 MPP,装了一个新的9.2 VooltDB环境。 •如果从8.0.*升级到9.2及以上版本,并切换成VooltDB,参考方案三。
2.方案一 通过永洪定制的jar包 + 自定义任务进行迁移。 ➢例如: 以8.5升级到9.2为例,8.5用MPP,9.2用VooltDB 1)前置条件 •装好9.2的VooltDB环境 •将老集群的bihome拷到新集群下 登录老版本MPP集群上C节点服务器的vividime安装目录(数据库系统需要将存储到数据库的bihome先从数据库同步到文件系统,再拷贝到新环境的bihome下),将bihome文件夹整体拷贝到新环境的同级目录下,替换目录下的bihome文件夹。 编辑bi.properties文件,删除所有dc开头的属性(这些属性都是MPP相关配置,VooltDB不需要)。 •停止原集群数据集市调度任务 登录9.0MPP集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。 2)获取对应版本的定制jar:migration-task.jar。比如老环境是8.5,就找永洪服务团队获取8.5版本的migration-task.jar。 3)将migration-task.jar放到老版本MPP所有节点的product路径下。 4)将9.2的bihome下的VooltDB.config文件放到老版本MPP中C节点的bihome下,可以只放某个C节点下,重启服务(此处可以将9.2上C节点vividime/bihome下的VooltDB.config文件放到8.5的C节点的bihome下)。 5)启动老集群和新集群。 6)在MPP的C节点上创建作业,选择自定义任务,VooltDB.config文件放到哪个节点下就在哪个节点上创建定制任务(此处需要在8.5的cnmr节点上创建定制任务),操作类输入:MigrateToVooltDBTask,默认全量迁移,如果想单独迁移某个文件夹,则点击参数后的收集按钮,出现参数folder,填入文件夹。
7)执行作业,完成迁移。 8)用新的VooltDB集群 完成上述步骤后,MPP数据迁移到VooltDB的工作已经完成。 此时可以停掉老的集群,启用新的VooltDB集群。
3.方案二 通过【管理系统>VooltDB管理>数据迁移】界面进行迁移。 ➢例如: 以9.2的环境为例,从MPP切换成VooltDB。 1)前置条件 •装好9.2的VooltDB环境 比如之前的集群是(C,C,N,MR,MR)5个节点,则在其中一个C上安装规划数量的VooltDB节点,比如2个VooltDB节点,VooltDB集群由(C,C,N,MR, MR)变成(C,C,VooltDB,VooltDB),参考VooltDB节点安装。 •停止原集群数据集市调度任务 登录9.0MPP 集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。 2)确保之前的集群节点(C,C,N,MR,MR)和两个新的VooltDB节点都启动。 3)进入管理系统->VooltDB管理->数据迁移页面,点击开始迁移按钮进行迁移。数据迁移页面说明参考如下:数据迁移页面。 4)将MPP集群切换成VooltDB集群,即将cloud.use.vooltdb属性从false切换成true,停掉N,M,R等相关节点,重启C节点,在通过管理系统->VooltDB管理->节点管理->节点状态页面启动全部VooltDB节点。
4.方案三 通过将老的MPP集群环境替换成新版本的jar包+新安装VooltDB环境的C节点接入老的MPP集群环境+管理系统->VooltDB管理->数据迁移界面进行迁移。 ➢例如: 9.0升级到9.4,9.4重新安装了C和VooltDB节点的集群。 1)前置条件: •停止原集群数据集市调度任务 登录9.0MPP集群所有C节点,打开“调度任务”页面,停掉每个节点上的作业服务。 •数据备份 数据备份的内容和步骤和MPP版本升级一致,需要注意每个节点的数据都需要备份,文件系统需要备份bihome和cloud目录,数据库系统需要先将数据库内容同步到本地文件系统后,再备份bihome和cloud目录。 •新集群部署 9.4 Voolt DB集群安装部署: •将老集群的bihome拷到新集群下 登录老版本MPP集群中C节点服务器的vividime安装目录,将bihome文件夹整体拷贝到新环境的同级目录下,替换目录下的bihome文件夹。 编辑bi.properties文件,添加或修改:cloud.use.vooltdb=true(使用VooltDB),删除所有dc开头的属性(这些属性都是MPP相关配置,VooltDB不需要)。 2)9.0MPP集群各节点,停止服务,备份vividime/product中原有jar包,然后替换9.4版本的api.jar、product.jar、thirds.jar。 3)9.4环境的C节点接入9.0环境的MPP集群 在新安装的C节点中,修改相关配置项 bi.propertise新增或修改配置项为如下: cloud.use.vooltdb=false (不用VooltDB,切回MPP) dc.global.path=XXX/vividime/bihome/global_bi.properties(XXX为产品安装目录,整个目录需要指向新安装节点的global_bi.properties文件) global_bi.properties 配置: dc.node.naming=XXX(XXX为老版本集群环境N节点的IP,如果是Naming双活,请填写主N的IP) dc.io.local=false 启动9.0版本MPP集群,需要逐台节点检查是否正常启动,可以在C节点的“监控预警->系统监控概览”中查看是否每台节点都是alive,如果不是,请检查没有alive的节点,确保每台服务器都是alive。 启动9.4新安装的节点C,查看节点是否成功接入老集群,在“管理系统->VooltDB管理->数据迁移”页面显示老集群中的集市文件信息,则接入成功,如果没有数据请检查前序步骤是否操作正确。选择【管理系统>VooltDB管理>节点管理>节点状态】,查看VooltDB节点的状态,确保全部启动。 4)MPP集市数据迁移到VooltDB 登录9.4新安装的节点C,打开【管理系统>VooltDB管理>数据迁移】页面,点击“开始迁移”按钮。所有集市文件状态均显示“迁移成功”后,表示迁移完成。数据迁移页面说明参考如下:数据迁移页面。 5)用新的VooltDB集群 完成上述步骤后,MPP数据迁移到VooltDB的工作已经完成。 此时可以停掉老的集群,启用新的VooltDB集群。 启动新安装的节点,按照客户实际情况(如果有定开的相关内容需要部署定开并验证)进行基本功能验证,测试新系统的功能是否正常。
5.数据迁移页面 【MPP数据集市文件夹】存在于MPP中的集市文件夹名称。 【迁移版本】文件夹最后一次入MPP的时间。 【状态】当前文件夹的状态,分别为:未迁移、迁移中、迁移成功 【操作】可以对当前集市文件夹进行的操作,分别为:开始迁移,停止 数据迁移页面的按钮可以对集市文件夹进行相应的操作,下面介绍每个按钮的作用: 【开始迁移】开始迁移有两个按钮,分别为每个集市文件夹后面单独的开始迁移,和页面最上方的开始迁移,其中点击单个集市文件夹的开始迁移,只会对所选的集市文件夹进行迁移操作,如果点击页面最上方的开始迁移,则系统会自动依次对所有的集市文件夹进行迁移。 【停止迁移】页面最上方的停止迁移按钮,如果没有任务进行中,将会置灰显示,如果当前有迁移任务进行中,按钮会高亮显示,点击后将会停止当前所有迁移操作。 【停止】单个数据文件夹开始迁移后,文件夹后方的开始迁移按钮将会变成“停止”,点击停止按钮后,将会停止这个迁移任务。 数据迁移任务可以多次进行,如果迁移任务失败或者数据有重新入集市的情况,只需要针对有变化的集市文件夹再次进行迁移操作即可。 【执行迁移常见报错】: 执行迁移的时候,报错“等待 job@XXX 超时” 永洪的MPP数据集市数据查询任务超时时间默认是“mpp.scheduler.exec.timeout=900000”,当执行大数据量迁移任务的时候,可能会超过这个时间,建议在执行数据迁移之前将这个参数添加到“bi.properties”文件中,并设置为“1800000”。
6.VooltDB集群部署方案 需要提前规划好VooltDB环境部署方案,部署可以参考如下方案。 •原有老版本MPP集群有几台C节点,新版本规划相同数量的C节点。 •原有老版本MPP集群有几台MR节点,新版本规划相同数量的V节点。 ➢例如: •原环境为两个CN节点,两个MR节点,那么VooltDB集群建议部署为两个C节点,两个V节点。 •原集群为一个C节点,一个N节点,三个MR节点,那么VooltDB集群建议部署为一个C节点,三个V节点。 以上只为建议方案,具体部署可以根据客户实际规划和业务量制定。
|