本帖最后由 Lydia 于 2024-11-29 11:20 编辑
1.概述 如果之前用的是MPP（老的高性能计算引擎MPP请参考V9.3帮助中心数据集市->MPP部分），想切换成VooltDB，已经入MPP集市的数据，可以通过数据迁移将其导入VooltDB集市。具体来说，就是在老的MPP集群上执行map任务将zb文件导入到新的VooltDB集群，迁移不会改变有关属性，比如之前是维度表，迁移后还是维度表。迁移完成后，物化数据集还是会保持物化状态，而集市数据集才能正常访问数据。 •如果8.5.*，8.6.*，8.8.*版本升级到9.2及以上版本，并切换成VooltDB，参考方案一。 •如果同版本从MPP切换到VooltDB，参考方案二。 ➢例如： 开始用的9.2 MPP，相同的环境想切换成VooltDB。 •如果9版本以上，相同大版本之间通过替换jar包升级产品，并切换成VooltDB，参考方案二。 ➢例如： 通过替换9.0 MPP集群环境的永洪jar包（product.jar, thirds.jar, api.jar），升级到9.2。替换jar包之前需要备份bihome。 •如果9版本以上，相同大版本之间通过部署新的环境升级产品，并切换成VooltDB，参考方案三。 ➢例如： 之前用的9.0 MPP，装了一个新的9.2 VooltDB环境。 •如果从8.0.*升级到9.2及以上版本，并切换成VooltDB，参考方案三。
2.方案一 通过永洪定制的jar包 + 自定义任务进行迁移。 ➢例如： 以8.5升级到9.2为例，8.5用MPP，9.2用VooltDB 1)前置条件 •装好9.2的VooltDB环境 •将老集群的bihome拷到新集群下 登录老版本MPP集群上C节点服务器的vividime安装目录（数据库系统需要将存储到数据库的bihome先从数据库同步到文件系统，再拷贝到新环境的bihome下），将bihome文件夹整体拷贝到新环境的同级目录下，替换目录下的bihome文件夹。 编辑bi.properties文件，删除所有dc开头的属性（这些属性都是MPP相关配置，VooltDB不需要）。 •停止原集群数据集市调度任务 登录9.0MPP集群所有C节点，打开“调度任务”页面，停掉每个节点上的作业服务。 2)获取对应版本的定制jar：migration-task.jar。比如老环境是8.5，就找永洪服务团队获取8.5版本的migration-task.jar。 3)将migration-task.jar放到老版本MPP所有节点的product路径下。 4)将9.2的bihome下的VooltDB.config文件放到老版本MPP中C节点的bihome下，可以只放某个C节点下，重启服务（此处可以将9.2上C节点vividime/bihome下的VooltDB.config文件放到8.5的C节点的bihome下）。 5)启动老集群和新集群。 6)在MPP的C节点上创建作业，选择自定义任务，VooltDB.config文件放到哪个节点下就在哪个节点上创建定制任务（此处需要在8.5的cnmr节点上创建定制任务），操作类输入：MigrateToVooltDBTask，默认全量迁移，如果想单独迁移某个文件夹，则点击参数后的收集按钮，出现参数folder，填入文件夹。
7)执行作业，完成迁移。 8)用新的VooltDB集群 完成上述步骤后，MPP数据迁移到VooltDB的工作已经完成。 此时可以停掉老的集群，启用新的VooltDB集群。
3.方案二 通过【管理系统>VooltDB管理>数据迁移】界面进行迁移。 ➢例如： 以9.2的环境为例，从MPP切换成VooltDB。 1)前置条件 •装好9.2的VooltDB环境 比如之前的集群是（C，C，N，MR，MR）5个节点，则在其中一个C上安装规划数量的VooltDB节点，比如2个VooltDB节点，VooltDB集群由（C，C，N，MR， MR）变成（C，C，VooltDB，VooltDB），参考VooltDB节点安装。 •停止原集群数据集市调度任务 登录9.0MPP 集群所有C节点，打开“调度任务”页面，停掉每个节点上的作业服务。 2)确保之前的集群节点（C，C，N，MR，MR）和两个新的VooltDB节点都启动。 3)进入管理系统->VooltDB管理->数据迁移页面，点击开始迁移按钮进行迁移。数据迁移页面说明参考如下：数据迁移页面。 4)将MPP集群切换成VooltDB集群，即将cloud.use.vooltdb属性从false切换成true，停掉N，M，R等相关节点，重启C节点，在通过管理系统->VooltDB管理->节点管理->节点状态页面启动全部VooltDB节点。
4.方案三 通过将老的MPP集群环境替换成新版本的jar包+新安装VooltDB环境的C节点接入老的MPP集群环境+管理系统->VooltDB管理->数据迁移界面进行迁移。 ➢例如： 9.0升级到9.4，9.4重新安装了C和VooltDB节点的集群。 1)前置条件： •停止原集群数据集市调度任务 登录9.0MPP集群所有C节点，打开“调度任务”页面，停掉每个节点上的作业服务。 •数据备份 数据备份的内容和步骤和MPP版本升级一致，需要注意每个节点的数据都需要备份，文件系统需要备份bihome和cloud目录，数据库系统需要先将数据库内容同步到本地文件系统后，再备份bihome和cloud目录。 •新集群部署 9.4 Voolt DB集群安装部署： •将老集群的bihome拷到新集群下 登录老版本MPP集群中C节点服务器的vividime安装目录，将bihome文件夹整体拷贝到新环境的同级目录下，替换目录下的bihome文件夹。 编辑bi.properties文件，添加或修改：cloud.use.vooltdb=true（使用VooltDB），删除所有dc开头的属性（这些属性都是MPP相关配置，VooltDB不需要）。 2)9.0MPP集群各节点，停止服务，备份vividime/product中原有jar包，然后替换9.4版本的api.jar、product.jar、thirds.jar。 3)9.4环境的C节点接入9.0环境的MPP集群 在新安装的C节点中，修改相关配置项 bi.propertise新增或修改配置项为如下： cloud.use.vooltdb=false （不用VooltDB，切回MPP） dc.global.path=XXX/vividime/bihome/global_bi.properties（XXX为产品安装目录，整个目录需要指向新安装节点的global_bi.properties文件） global_bi.properties 配置: dc.node.naming=XXX（XXX为老版本集群环境N节点的IP，如果是Naming双活，请填写主N的IP） dc.io.local=false 启动9.0版本MPP集群，需要逐台节点检查是否正常启动，可以在C节点的“监控预警->系统监控概览”中查看是否每台节点都是alive，如果不是，请检查没有alive的节点，确保每台服务器都是alive。 启动9.4新安装的节点C，查看节点是否成功接入老集群，在“管理系统->VooltDB管理->数据迁移”页面显示老集群中的集市文件信息，则接入成功，如果没有数据请检查前序步骤是否操作正确。选择【管理系统>VooltDB管理>节点管理>节点状态】，查看VooltDB节点的状态，确保全部启动。 4)MPP集市数据迁移到VooltDB 登录9.4新安装的节点C，打开【管理系统>VooltDB管理>数据迁移】页面，点击“开始迁移”按钮。所有集市文件状态均显示“迁移成功”后，表示迁移完成。数据迁移页面说明参考如下：数据迁移页面。 5)用新的VooltDB集群 完成上述步骤后，MPP数据迁移到VooltDB的工作已经完成。 此时可以停掉老的集群，启用新的VooltDB集群。 启动新安装的节点，按照客户实际情况（如果有定开的相关内容需要部署定开并验证）进行基本功能验证，测试新系统的功能是否正常。
5.数据迁移页面 【MPP数据集市文件夹】存在于MPP中的集市文件夹名称。 【迁移版本】文件夹最后一次入MPP的时间。 【状态】当前文件夹的状态，分别为：未迁移、迁移中、迁移成功 【操作】可以对当前集市文件夹进行的操作，分别为：开始迁移，停止 数据迁移页面的按钮可以对集市文件夹进行相应的操作，下面介绍每个按钮的作用： 【开始迁移】开始迁移有两个按钮，分别为每个集市文件夹后面单独的开始迁移，和页面最上方的开始迁移，其中点击单个集市文件夹的开始迁移，只会对所选的集市文件夹进行迁移操作，如果点击页面最上方的开始迁移，则系统会自动依次对所有的集市文件夹进行迁移。 【停止迁移】页面最上方的停止迁移按钮，如果没有任务进行中，将会置灰显示，如果当前有迁移任务进行中，按钮会高亮显示，点击后将会停止当前所有迁移操作。 【停止】单个数据文件夹开始迁移后，文件夹后方的开始迁移按钮将会变成“停止”，点击停止按钮后，将会停止这个迁移任务。 数据迁移任务可以多次进行，如果迁移任务失败或者数据有重新入集市的情况，只需要针对有变化的集市文件夹再次进行迁移操作即可。 【执行迁移常见报错】： 执行迁移的时候，报错“等待 job@XXX 超时” 永洪的MPP数据集市数据查询任务超时时间默认是“mpp.scheduler.exec.timeout=900000”，当执行大数据量迁移任务的时候，可能会超过这个时间，建议在执行数据迁移之前将这个参数添加到“bi.properties”文件中，并设置为“1800000”。
6.VooltDB集群部署方案 需要提前规划好VooltDB环境部署方案，部署可以参考如下方案。 •原有老版本MPP集群有几台C节点，新版本规划相同数量的C节点。 •原有老版本MPP集群有几台MR节点，新版本规划相同数量的V节点。 ➢例如： •原环境为两个CN节点，两个MR节点，那么VooltDB集群建议部署为两个C节点，两个V节点。 •原集群为一个C节点，一个N节点，三个MR节点，那么VooltDB集群建议部署为一个C节点，三个V节点。 以上只为建议方案，具体部署可以根据客户实际规划和业务量制定。
| 
