fdupes – программа, написанная Андрианом Лопесом (Adrian Lopez), сканирующая каталоги для поиска дубликатов файлов, с возможностью вывода списка и автоматическим удалением дублей. Она сравнивает размер файла и MD5 хеш, и после сравнения начинает сверку по-байтно. Написана на языке программирования C и выпущена под Лицензией MIT.

Нуждается в установке

apt-get install fdupes
yum install fdupes
dnf install fdupes 

Для демонстрации работы программы, создадим несколько дубликатов файлов в директории nevvad (директорию тоже создадим.)

mkdir /home/$USER/nevvad && cd /home/$USER/nevvad && for i in {1..5}; do echo 'I Love Nevvad!' > nevvad${i}
.txt; done

Проверим, все ли на месте

~/nevvad$ ls -l
total 20
-rw-r--r-- 1 nevvad nevvad 15 May 10 12:39 nevvad1.txt
-rw-r--r-- 1 nevvad nevvad 15 May 10 12:39 nevvad2.txt
-rw-r--r-- 1 nevvad nevvad 15 May 10 12:39 nevvad3.txt
-rw-r--r-- 1 nevvad nevvad 15 May 10 12:39 nevvad4.txt
-rw-r--r-- 1 nevvad nevvad 15 May 10 12:39 nevvad5.txt

Все эти файлы содержат только одну ласкающую душу строку I Love Nevvad!

Теперь посмотрим как работает виновница статьи. Как-то так:

fdupes /home/$USER/nevvad
/home/nevvad/nevvad2.txt
/home/nevvad/nevvad3.txt
/home/nevvad/nevvad1.txt
/home/nevvad/nevvad4.txt
/home/nevvad/nevvad5.txt

Команда имеет ряд опций:

• -r – рекурсивный поиск
• -S – размер дубликатов
• -d – удаление дубликатов с сохранением копии
• -f – исключить первый файл из каждого набора совпадений
• -h – HELP