![cover](https://img-blog.csdnimg.cn/a5e8ee539d334d14ba44c6ec5b6367d2.png)
TDEngine - taosdump的安装与使用实战
TDEngine - taosdump的下载、安装、卸载与使用实战
taosdump的安装与使用实战
一、taosdump简介
taosdump 是一个支持从运行中的 TDengine 集群备份数据并将备份的数据恢复到相同或另一个运行中的 TDengine 集群中的工具应用程序。
taosdump 可以用数据库、超级表或普通表作为逻辑数据单元进行备份,也可以对数据库、超级 表和普通表中指定时间段内的数据记录进行备份。使用时可以指定数据备份的目录路径,如果 不指定位置,taosdump 默认会将数据备份到当前目录。
如果指定的位置已经有数据文件,taosdump 会提示用户并立即退出,避免数据被覆盖。这意味着同一路径只能被用于一次备份。 如果看到相关提示,请小心操作。
taosdump 是一个逻辑备份工具,它不应被用于备份任何原始数据、环境设置、 硬件信息、服务端配置或集群的拓扑结构。taosdump 使用 Apache AVRO 作为数据文件格式来存储备份数据。
二、下载
taosTools工具包,包含备份taosdump和taosBenchmark工具,不能单独使用,需要先安装客户端和服务端。客户端和服务端安装参考链接:TDEngine3.0环境安装及配置
taosTools下载链接:TDEngine官网 - taosTools发布历史页面
tips:
1、下载的版本最好与实际安装的TDEngine Server版本对应,实际的安装包后缀与server的后缀部不是一致的
2、server 2.0版本之后的建议下载1.4.5之后版本
3、如果安装之后,taos服务可以正常启动,但是运行taosdump时异常:缺少.so文件,大概率是因为版本不匹配,建议更换taostools版本。
我这边实战匹配过的版本如下示例:
tdenger server | taostoools |
---|---|
2.4.0.16 | 1.4.5 |
2.6.0.32 | 2.2.4 |
3.0.4.2 | 2.2.4 |
因为我这边安装的TDEngine Server版本是3.4.0.2,第一次匹配安装的taostools版本为2.1.3,该版本数据导入时是可以的,但是数据导出时会报异常(【点击查看异常信息及解决方案】),然后升级到2.2.4版本后就可以正常导出了。所以后面本文的截图部分是2.1.3下的安装信息,部分是2.2.4的安装信息,不影响整体安装流程的部分图片没有修订。
server安装参考,对应下载的taostools版本为:taosTools-2.2.4-Linux-x64.tar.gz
注意:最好不要在同一个系统上,同时使用rpm 、tar 、 deb安装。如果服务端用的是.tar.gz形式安装,客户端和taostools最好也用.tar.gz形式安装。
三、安装
3.1 tar方式安装
1.创建目录,并将下载的文件传输至目录:
mkdir /home/tdengine
- 解压缩:
tar -zxvf taosTools-2.2.4-Linux-x64.tar.gz
查看加压缩后的目录:
#查看解压缩后的目录
ls
#进入解压缩后的目录
cd taosTools-2.2.4
#查看目录下的文件内容
ls
3.执行安装命令:./install-taostools.sh
卸载命令:
./uninstall-taostools.sh
安装成功后,进入taos shell命令查看安装是否成功。
3.2 rpm方式安装
执行命令:
#命令·
rpm -ivh rpm文件位置及名称.rpm
#示例
rpm -ivh /home/soft/taosTools-2.2.4-Linux-x64-comp3.rpm
四、taosdump主要参数
taosdump 的导出行为的本质其实是使用 SQL 进行查询,将数据压缩后输出到本地,导入行为则是通过 STMT 接口再把导出的数据导入新的环境。因此,能够顺利完成数据导出的用户,应尽量拥有如下几个特征:
(1)拥有足够磁盘空间,建议需要至少留出 du -sh $dataDir/vnode --exclude=‘wal’ 大小的 3 倍空间(多多益善)。但如果是按照库/表为单位分批导出,或者指定时间范围导出的话,就比较灵活了。
(2)数据库日常使用负载不高,在大量导出 SQL 执行时,数据库仍有充足资源可以保障正常生产使用。
(3)待迁移的数据为测试环境不需担心影响业务,或者生产环境的业务间歇期足够完成数据的导出。
只要磁盘空间充足,时间充足,就可以完成导出操作。导入则相对简单,没有额外需求,按照正常的数据库部署思路即可。
taosdump主要参数
-o:指定输出文件的路径。文件会自动生成。一个dbs.sql文件,导出数据库、超级表;若干个XXX_tables.N.sql文件,文件名的规则:XXX是数据库名称,N是数字,从0开始递增
-u:用户名。
-p:密码。
-A:指示导出所有数据库的数据。
-D:表示指定数据库。
-i:表示输入目录。
-s:表示导出schema。
-t:指定导入到一个文件的表的个数。该参数可以控制输出文件的大小。(网上很多博客里面都有记录这个参数,但是好像taosdump已经不用这个参数了)
-B:指定一条import语句中包含记录的条数。注意:不要让sql语句超过64k,否则后续导入会出错。该参数为了后续导入时,提高导入速率。
-T: 指定导出数据时,启动的线程数。建议设置成机器上core的2倍。
可以通过 命令 taosdump --help 获取参数信息
五、taosdump数据导出(备份)
# 以tar形式安装的,需要先进入taostools安装目录,rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导出命令
taosdump -o <导出存放目录> -D 需要导出的数据库
1.创建导出目录
#创建存放数据总目录
mkdir /home/tdengine/taosdump
#创建本次导出存放目录
mkdir /home/tdengine/taosdump/data20230602
#进入存放目录
cd /home/tdengine/taosdump/data20230602
2.执行导出命令:
(1)进入taostool的安装目录 - rpm方式安装的这步骤可以忽略
#进入taostool的安装目录 -
cd /home/tdengine/taosTools-2.2.4
#查看该目录下是否有bin目录
ls
(2)执行命令导出:
#执行命令导出 - 指定数据库及时间范围
taosdump -o /home/backupdatas/tljddatan2023.4.20-4.30/ -D tljd_datan -S 2023-04-20T00:00:00Z -E 2023-05-01T00:00:00Z
如果是通过rpm形式安装的taostools可以在任意目录下执行taosdump命令,不需要进入安装目录,格式示例:taosdump -o /taosdump/data20230602/ -A
3.查看导出的文件:
#进入刚指定的导出目录
cd /home/backupdatas/tljddatan2023.4.20-4.30
#查看是否已存在备份文件
ls
六、taosdump数据导入
# 以tar形式安装的,需要先进入taostools安装目录,rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导入命令
taosdump -i <导入的数据存放目录>
- 进入taostools安装目录: - rpm方式安装的这步骤可以忽略
cd /home/tdengine/taosTools-2.2.4
- 执行命令:
taosdump -i <data dir>
#如:
taosdump -i /home/tdengine/taosdump/data20230602/
七、不同版本的数据迁移
参考链接:如何把数据从 TDengine 2.x 迁移到 3.x ?
参考链接:如何把数据从 TDengine 2.x 迁移到 3.x ?
迁移背景:
1、数据导出:将TDEngine2.4.0.16中数据通过taostools.1.4.5中的taosdump工具将数据导出。
2、数据导入:在TDEngine3.0.4.2中通过taostools.2.1.3中的taosdump工具将数据导入。
7.1 问题:报错- create database 语句不一致
导入时报错:create database 语句不一致
对别导出的dbs.sql中数据库的创建语句,和TDEngine3.0中的数据创建语句:
#查看数据库创建语句
SHOW CREATE DATABASE 数据库名称 \G;
对比两边的创建语句,发现语句不相同:
7.2 解决:修改导出的dbs.sql
修改导出的dbs.sql中的create database语句,删除create database语句中默认的参数设置,只保留需要特别设置的属性。
CREATE DATABASE IF NOT EXISTS 库名称 [KEEP 保留时间][..其他必要设置];
比如我的数据库需要设置保留天数1825天(5年),其他的参数不需要特别注意,将语句修改为:
CREATE DATABASE IF NOT EXISTS test KEEP 1825d;
修改前的2.0语句为:
修改后的语句为:
再执行导入:
./bin/taosdump -i /home/tdengine/taosdump/datatest/
这一次成功了:
tips:
如果你还出现其他的错误,根据提示,对比2.0和3.0版本中的语句差异,调整sql文件。
八、卸载
【TDEngine彻底卸载 - taostools工具卸载】
九、异常 - error in ‘taosdump:malloc’
如果在数据导入或导出过程中,遇到上图所示的问题,解决步骤如下:
- 先看导出目录下的内存是否足够,不够的话,换其他目录导出
- 如果在内存充足的情况下,出现上述问题那么可能是taostools版本不对,不能适应数据导出或导入,建议升级到高版本重试。
十、 更多
- TDEngine的常用命令及功能总结
- TDEngine环境安装、配置及使用经验总结
- taosdump的安装与使用实战
- TDengine3.0与2.0版本的差异总结
- TDEngine 调优 - 高速查询及插入
- TDEngine彻底卸载
- 异常解决 - Error in `taosdump‘: malloc(): memory corruption: 0x0
- 数据库管理工具DBeaver 连接 TDengine详细教程
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)