影像数据迁移验证方案-ai版

10 月 26 日

执行的过程中发现很多可以更好的地方，在迁移的过程中就可以进行验证对比导出对比结果，还是不够专业；

大量文件迁移后对比方案：

1.迁移前后生成文件哈希清单
find /data/syhl/datafly/images/2023/{09,10,11,12} -type f | xargs -P 8 -n 100 sha256sum >> /root/下载/sha_file_list.txt
2、文件格式化，格式化路径
sed 's|/data/syhl/datafly||' old_sha_file_list.txt > formatted_output.txt 
3、文件对比
awk 'NR==FNR {lines[$0]; next} !($0 in lines)' new_formatted_output.txt old_formatted_output.txt > difference_output.txt