DupFinder - 重复文件查找工具

一个用 Rust 编写的高性能重复文件查找工具，模仿 fdupes 的 4 层验证策略。

✨ 特性

• 🚀 4 层验证：文件大小 → 部分哈希 → 完整 MD5 → 逐字节比较
• ⚡ 高性能：多层筛选，避免不必要的计算
• 🔒 100% 准确：最终字节比较确保绝对正确
• 💻 友好界面：彩色输出，清晰的进度提示
• 📊 详细统计：显示可节省的空间
• 🔍 智能过滤：支持 glob 模式和正则表达式过滤文件
• 📄 JSON 输出：导出结构化的重复文件报告
• 🗑️ 删除脚本：自动生成安全的删除脚本（支持 Windows PowerShell）

📦 安装

从源码编译

git clone <repository>
cd dupfinder
cargo build --release
sudo cp target/release/dupfinder /usr/local/bin/

🚀 使用方法

基本用法

# 扫描当前目录（默认递归）
dupfinder

# 扫描指定目录（默认递归）
dupfinder /path/to/directory

# 只扫描当前目录，不递归
dupfinder -n /path/to/directory

# 显示详细过程
dupfinder -v /path/to/directory

# 显示文件大小和可节省空间
dupfinder -S /path/to/directory

# 显示相对路径
dupfinder -R /path/to/directory

# 组合使用：详细模式 + 大小显示 + 相对路径
dupfinder -v -S -R /path/to/directory

# 包含硬链接
dupfinder -H /path/to/directory

# 输出 JSON 报告
dupfinder /path/to/directory --json report.json

# 生成删除脚本
dupfinder /path/to/directory --delete-script delete_dups.sh

# 组合使用：扫描 + JSON + 删除脚本
dupfinder -v -S /path/to/directory --json report.json --delete-script delete_dups.sh

# 只检测 PDF 文件
dupfinder /path/to/directory -p "*.pdf"

# 检测多种文件类型
dupfinder /path/to/directory -p "*.pdf" -p "*.jpg" -p "*.mp4"

# 使用正则表达式匹配所有 Office 文档
dupfinder /path/to/directory --regex ".*\\.(txt|pdf|docx?|xlsx?|pptx?|csv|xmind)$"

# 查找特定命名模式的文件
dupfinder /path/to/directory -p "backup*" -p "*_copy.*"

命令行参数

📖 工作原理

DupFinder 使用 4 层渐进式验证策略，确保高效和准确：

第 1 层：文件大小比较

快速排除大小不同的文件
时间复杂度：O(1)

第 2 层：部分内容哈希

计算文件前 8KB 的 MD5
快速排除内容开头不同的文件

第 3 层：完整 MD5 校验

计算整个文件的 MD5
排除内容完全不同的文件

第 4 层：逐字节比较

最终的完整字节比较
100% 确保文件完全相同

🔍 文件过滤功能

支持两种过滤方式：Glob 模式和正则表达式

Glob 模式（推荐）

简单直观，支持通配符：

# 只检测 PDF 文件
dupfinder ~/Documents -p "*.pdf"

# 检测多种图片格式
dupfinder ~/Pictures -p "*.jpg" -p "*.png" -p "*.gif"

# 检测特定命名模式
dupfinder ~/Backup -p "backup_*" -p "*_old.*"

正则表达式（高级）

适合复杂匹配：

# 匹配所有 Office 文档（推荐）
dupfinder ~/Documents --regex ".*\\.(txt|pdf|docx?|xlsx?|pptx?|csv|xmind)$"

# 完整的 Office 文档匹配（包括 doc、xls、ppt）
dupfinder ~/Documents --regex ".*\\.(txt|pdf|doc|docx|xls|xlsx|ppt|pptx|csv|xmind)$"

# 匹配日期格式的文件
dupfinder ~/Logs --regex "log_2025[0-9]{4}\\.txt$"

# 匹配编号的照片
dupfinder ~/Photos --regex "photo_[0-9]{4}\\.(jpg|png)$"

组合使用

# 只检测 PDF 中的重复文件，生成报告
dupfinder ~/Documents -p "*.pdf" --json pdf_report.json -S

# 检测所有文档，生成删除脚本
dupfinder ~/Work --regex ".*\\.(pdf|docx?|xlsx?)$" --delete-script clean_docs.sh

📊 使用示例

示例 1：基本扫描

$ dupfinder ~/Downloads
🔍 DupFinder - 重复文件查找工具
📂 扫描路径: /home/user/Downloads

🔎 开始扫描 1234 个文件...

======================================================================
📊 发现 3 组重复文件
======================================================================

组 1:
  /home/user/Downloads/photo1.jpg
  /home/user/Downloads/backup/photo1.jpg

组 2:
  /home/user/Downloads/video.mp4
  /home/user/Downloads/copy_video.mp4
  /home/user/Downloads/video_backup.mp4

组 3:
  /home/user/Downloads/document.pdf
  /home/user/Downloads/document_copy.pdf

======================================================================
📈 统计信息:
  总重复文件数: 7
  可删除文件数: 4 (保留每组 1 个)
======================================================================

示例 2：详细模式

$ dupfinder -v -S /tmp/test
🔍 DupFinder - 重复文件查找工具
📂 扫描路径: /tmp/test
📋 详细模式: 开启

🔎 开始扫描 100 个文件...

🔍 第 1 层：按文件大小分组...
  ✓ 找到 5 组可能重复的文件（15 个文件）
🔍 第 2 层：计算部分内容哈希...
  ✓ 检查了 15 个文件，找到 3 组部分哈希相同（8 个文件）
🔍 第 3 层：计算完整文件 MD5...
  ✓ 检查了 8 个文件，找到 2 组完整 MD5 相同（6 个文件）
🔍 第 4 层：逐字节比较验证...
  ✓ 进行了 4 次字节比较，确认 2 组完全重复（6 个文件）

======================================================================
📊 发现 2 组重复文件
======================================================================

组 1:
  文件大小: 1048576 bytes
  /tmp/test/file1.bin
  /tmp/test/file1_copy.bin
  /tmp/test/file1_backup.bin

组 2:
  文件大小: 2097152 bytes
  /tmp/test/data.dat
  /tmp/test/data_copy.dat

======================================================================
📈 统计信息:
  总重复文件数: 5
  可删除文件数: 3 (保留每组 1 个)
  可节省空间: 5.00 MB (5242880 bytes)
======================================================================

示例 3：JSON 输出

$ dupfinder /path/to/directory --json report.json
🔍 DupFinder - 重复文件查找工具
...
✅ JSON 报告已保存到: report.json

JSON 格式示例：

{
  "scan_info": {
    "base_path": "/path/to/directory",
    "total_groups": 2,
    "timestamp": "2025-12-02T16:30:00+08:00"
  },
  "duplicate_groups": [
    {
      "group_id": 1,
      "file_size": 1048576,
      "file_count": 3,
      "md5_hash": "5d41402abc4b2a76b9719d911017c592",
      "files": [
        {
          "path": "/path/to/file1.txt",
          "absolute_path": "/path/to/file1.txt"
        },
        {
          "path": "/path/to/file2.txt",
          "absolute_path": "/path/to/file2.txt"
        }
      ]
    }
  ],
  "statistics": {
    "total_duplicate_files": 5,
    "deletable_files": 3,
    "potential_space_savings": 3145728
  }
}

示例 4：生成删除脚本

$ dupfinder /path/to/directory --delete-script delete_dups.sh
🔍 DupFinder - 重复文件查找工具
...
✅ 删除脚本已生成: delete_dups.sh
   请仔细检查后执行！

# 检查脚本内容
$ cat delete_dups.sh

# Linux/macOS: 执行 Bash 脚本
$ bash delete_dups.sh

# Windows: 执行 PowerShell 脚本
PS> PowerShell -ExecutionPolicy Bypass -File delete_dups.ps1

⚠️  警告: 即将删除重复文件！
扫描路径: /path/to/directory
重复组数: 2
将删除文件数: 3
可节省空间: 3.00 MB

确认要继续吗? (yes/no): yes
删除: /path/to/file2.txt
删除: /path/to/file3.txt
...
✅ 成功删除: 3 个文件

删除脚本特点：

• ✅ 自动识别操作系统，生成对应脚本（Bash 或 PowerShell）
• ✅ Linux/macOS: 生成 .sh 脚本
• ✅ Windows: 生成 .ps1 PowerShell 脚本
• ✅ 每组重复文件保留第一个，删除其他的
• ✅ 需要手动确认（输入 yes）才会执行删除
• ✅ 详细的注释，方便手动编辑
• ✅ 错误处理和统计信息
• ✅ 可以手动修改脚本选择保留哪个文件

🎓 技术实现

核心数据结构

struct FileInfo {
    path: PathBuf,           // 文件路径
    size: u64,               // 文件大小
    partial_hash: Option<String>,  // 部分哈希
    full_hash: Option<String>,     // 完整哈希
}

性能优化

1. 早期筛选：大部分文件在第 1-2 层就被排除
2. 按需计算：只对可能重复的文件计算哈希
3. 缓冲读取：使用 8KB 缓冲区减少 I/O 次数
4. 智能比较：使用图算法减少字节比较次数

内存安全

• ✅ 所有权系统防止内存泄漏
• ✅ 借用检查器防止数据竞争
• ✅ 编译时检查防止空指针

🔧 开发

编译

# 开发版本
cargo build

# 发布版本（优化）
cargo build --release

# 运行测试
cargo test

# 代码检查
cargo clippy

# 格式化代码
cargo fmt

项目结构

dupfinder/
├── Cargo.toml          # 项目配置
├── src/
│   └── main.rs        # 主程序（包含详细注释）
├── README.md          # 本文件
└── .gitignore

🆚 与其他工具对比

📝 对比说明

JSON 输出对比:

• dupfinder ✅: 支持导出完整的 JSON 格式报告，包含扫描信息、重复文件组、MD5 哈希、统计数据等，方便自动化处理和 CI/CD 集成
• fdupes ❌: 不支持 JSON 输出，只有纯文本输出
• rdfind ❌: 不支持 JSON 输出，只有纯文本输出

删除脚本/删除功能对比:

• dupfinder ✅: 生成安全的 Bash 删除脚本，需要手动确认，可以编辑脚本选择保留哪个文件，包含详细注释和错误处理
• fdupes ❌: 只支持交互式删除（-d 参数），不能生成删除脚本
• rdfind ✅: 支持自动删除（-deleteduplicates）或创建硬链接/符号链接，但不生成可编辑的脚本

总结: dupfinder 在自动化和安全性方面更有优势，特别适合需要审查删除操作或集成到自动化流程中的场景。

📈 性能测试

测试环境：1000 个文件，总大小 500MB

🎯 未来计划

• 支持输出 JSON 格式 ✅ (v0.2.0)
• 生成删除脚本 ✅ (v0.2.0)
• 支持硬链接检测 ✅ (v0.1.0)
• 支持交互式删除模式
• 并行处理大文件
• 进度条显示
• 支持更多哈希算法（SHA256, xxHash）
• CSV 输出格式
• 支持排除模式（.gitignore 风格）
• 并行处理大文件
• 支持排除模式（.gitignore 风格）

📚 学习资源

这个项目是一个很好的 Rust 学习示例，涵盖了：

• ✅ 命令行参数解析（clap）
• ✅ 文件系统操作
• ✅ 哈希计算
• ✅ 集合类型（HashMap, Vec）
• ✅ 错误处理（Result）
• ✅ 迭代器和函数式编程
• ✅ 所有权和借用
• ✅ 结构体和方法

代码中包含详细的注释，适合 Rust 初学者阅读。

📄 许可证

MIT License

🤝 贡献

欢迎提交 Issue 和 Pull Request！

Made with ❤️ using Rust 🦀