type
status
date
slug
summary
tags
category
icon
password
dirtree分析Linux系统文件目录
- 将分析工具dirtree上传到Linux目录，并赋予执行权限
- 使用dirtree工具分析待迁移Linux目录，并生成SQL脚本，以根目录 / 为例
- 将生成的SQL脚本拷贝到Windows客户端
- 在Windows Server 2021 R2上安装MySQL并导入生成的SQL脚本
- 依次安装如下组件
- 使用MySQL Workbench登录MySQL
- 新建Schemas，参数如下
- 打开并执行导入的SQL脚本
- 使用SQL语句分析目录
- 查看二级目录，按文件大小排序
- 查看三级目录，按文件大小排序
- 查看四级目录，按文件大小排序
- 查看五级目录，按文件大小排序
以此类推，将文件大小较大的可以根据实际情况拆分出来作为单独的实例，原来的实例排除掉拆分的实例，达到减小实例目录数据的目的，提高迁移效率
Rsync迁移Linux系统文件
Rsync迁移Linux系统文件操作
最新本地测试Rsync传输效率
Rsync多进程
文件迁移方案中的多进程与多线程
多线程：shell脚本本身没有多进程的概念，在MD5批量校验方案中，使用多线程同时执行多行命令——同时计算源端和目标端的MD5值，优化校验速度。
多进程：在rsync传输方案中，使用screen命令开启多个后台窗口，在每个screen后台窗口分别对不同的迁移目录手动启动rsync任务。此方法同样适用于在多个screen后台窗口手动执行MD5批量校验脚本。此方法虽然简陋，但有两个好处：
- 每个screen后台窗口都可以分别访问，查看任务运行动态日志(最新)，没有日志文件查看延迟的问题。
- 目前的rsync任务、MD5批量校验脚本没有任何异常处理与程序守护机制，每个screen后台窗口能够更方便地监控、重启任务，排查任务问题。
rsync多进程
测试数据
测试环境：规格:1核 | 2G;镜像:CentOS7.8;
测试方式：user目录(3.9G);本地两个目录对拷;本地两个目录对比
rsync全量传输时间:5分45秒
rsync增量比对时间:15秒
其他并行方案
msrsync
GNU parallel
Official packages
https://www.gnu.org/software/parallel/
xargs
or
MD5校验脚本 for Linux
文件迁移方案中的多进程与多线程
多线程：shell脚本本身没有多进程的概念，在MD5批量校验方案中，使用多线程同时执行多行命令——同时计算源端和目标端的MD5值，优化校验速度。
多进程：在rsync传输方案中，使用screen命令开启多个后台窗口，在每个screen后台窗口分别对不同的迁移目录手动启动rsync任务。此方法同样适用于在多个screen后台窗口手动执行MD5批量校验脚本。此方法虽然简陋，但有两个好处：
- 每个screen后台窗口都可以分别访问，查看任务运行动态日志(最新)，没有日志文件查看延迟的问题。
- 目前的rsync任务、MD5批量校验脚本没有任何异常处理与程序守护机制，每个screen后台窗口能够更方便地监控、重启任务，排查任务问题。
MD5批量校验
测试数据
测试环境：规格:1核 | 2G;镜像:CentOS7.8;
测试方式：user目录(3.9G);本地两个目录对拷;本地两个目录对比
MD5批量校验时间：7分25秒
TreeSize分析Windows系统文件目录
- 安装.NET Framework 4.7.2 Runtime
- 安装TreeSize并分析Windows目录
FreeFileSync迁移Windows系统文件
FreeFileSync迁移Windows系统文件操作
最新本地测试FreeFileSync传输效率
- Author:NotionNext
- URL:https://tangly1024.com/article/11140ef0-3786-8003-9d2e-c077676baf90
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts