Поиск и удаление одинаковых фотографий. Программы для поиска дубликатов файлов (или как найти одинаковые картинки, фото, документы, аудио и видео в разных папках)

Удалите лишние фото, и пусть ваша РС коллекция фотографий будет безупречной.

Image Comparer ™ представляет собой программу поиска дубликатов для любого фото-коллектора. Как только вы установите программу на компьютер, она автоматически отыщет копии фотографий или фотографии с различной степенью схожести. Все, что вам нужно, это выбрать папку для сканирования и начать поиск. Используя инновационную технологию сравнения фотографий на основе содержания, Image Comparer™ произведет анализ каждого фото в выбранной папке и найдет точные копии или близкие соответствия по фактическому содержанию изображения . Получив результаты, просто поставьте отметку рядом с нежелательными файлами и удалите их все, лишь кликнув мышкой. Вот и все. Вам не нужно просматривать папки и запоминать то, что вы увидели. Программа Image Comparer™ поставит весь процесс на автопилот, так что вам не нужно будет беспокоиться. В качестве дополнительного преимущества, программа Image Comparer™ предлагает встроенную систему просмотра изображений, чтобы вы были уверены, что удалили то, что действительно хотели.

Программа Image Comparer™ работает на Windows 2000 / XP / Vista / 7 / 8 / 10 и имеет бесплатную ознакомительную 30-дневную версию.

Что умеет программа:

  • Поиск фото дубликатов и похожих изображений по фактическому содержанию изображений
  • Сканирование на предмет дубликатов внутри одной папки или сравнение между двумя папками
  • Определение фото дубликатов в различных форматах: RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA
  • Выбор индивидуального порога схожести для фильтрации похожих соответствий
  • Предварительный просмотр фотографий во встроенной системе просмотра изображений
  • Классификация и сортировка файлов изображений по различным критериям: название, дата, размер, ширина, высота
  • Удаление, копирование, перемещение файлов одним кликом
  • Автоматическая отметка изображений с высоким или низким качеством для последующих операций над ними
  • Программа имеет русскоязычный интерфейс (среди десятков других доступных языков)

Обзор программы Image Comparer

Image Comparer™ представляет совершенно новую технологию того, как пользователи могут находить дубликаты фото. В отличие от большинства программ поиска дубликатов, которые выполняют поиск дубликатов по имени файла, его размеру и не способны находить похожие файлы, Image Comparer™ может находить похожие файлы с любой степенью схожести, которая может быть задана пользователем. Более того, программа Image Comparer™ способна анализировать и распознавать изображения по содержанию , независимо от имени файла, формата, размера изображения, битовой глубины и расположения объекта. Программа распознает даже повернутые или перевернутые фото или фотографии с разными условиями съемки. Инновационный алгоритм сравнения фотографий, основанный на содержании, обеспечивает феноменальную точность.

Image Comparer™ позволяет находить дубликаты фотографий в компьютерной коллекции и без труда удалять лишние фотографии. Чтобы начать поиск, просто запустите Мастер сравнения, уточните, необходим ли поиск внутри одной папки, или сравнение двух папок, и выберите целевой каталог для сканирования. Можно также задать собственный уровень схожести изображений, который определяет, с какой точность Image Comparer™ будет искать сходства в файлах. По умолчанию, этот параметр устанавливается на уровне 95%. Наконец, нужно выбрать папку сохранения результатов и кликнуть на кнопке "Старт", чтобы запустить поиск.

Удаляйте, копируйте, перемещайте файлы одним кликом

Image Comparer™ позволяет выполнять различные действия с найденными дубликатами. Когда сканирование закончено, программа отображает результат сравнения - перечень фотографий в галерее вместе с десятью самыми похожими изображениями для каждого выбранного фото. Можно также просматривать предполагаемые дубликаты парами, рядом друг с другом. Запись каждого фото-файла содержит подробные данные о формате изображения, разрешении и размере файла. Лишние файлы можно выделить, поставив отметку, и выполнить действия по ним - копировать, перемещать их в отдельную папку, или просто удалять. Также есть опция, позволяющая автоматически отмечать фото-файлы с высоким и низким качеством.

Сканируйте файлы в различных графических форматах

Image Comparer™ способен находить дубликаты и похожие изображения различных форматов, таких как RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA и многих других. Список поддерживаемых файлов изображений регулярно обновляется при появлении новых форматов. Независимо от типа файла, программа находит дубликат невероятно быстро.

Просматривайте фотографии прямо из Image Comparer™

Программа Image Comparer™ имеет встроенную систему просмотра фотографий, позволяющую просматривать миниатюры фотографий, поэтому нет необходимости выходить из программы и запускать внешнее приложение просмотра фотографий. Система просмотра фотографий поможет вам убедиться, что вы собираетесь удалить правильные файлы, а не просто две версии одной картинки, обе из которых вы хотели бы сохранить.

Начните прямо сейчас!

Сделайте вашу фото-коллекцию безупречной! Скачайте испытательную версию программы Image Comparer™ и составьте собственное мнение, и вы увидите, как это просто - находить дубликаты фото и похожие файлы с помощью специальной программы поиска дубликатов фотографий.

Кому Image Comparer™ наиболее полезен?

Image Comparer™ может быть полезен каждому, кто хранит фотографии в компьютере. Вот некоторые примеры.

  • Профессиональные фотографы. Будучи фотографом, вы сможете автоматически выделить серии фотографий и выбрать в каждой лучшие изображения. Специально для фотографов, мы добавили поддержку формата изображений RAW.
  • Веб-мастера . Веб-мастера, сайты которых содержат много фотографий и графики, могут использовать Image Comparer™, чтобы упорядочить изображения и удалить дубликаты фото, которые занимают место на жестком диске.
  • Коллекционеры фотографий . Люди, которые собирают фотографии, цифровые изображения и обои для рабочего стола могут положиться на Image Comparer™ - он удалит лишние или слегка измененные файлы и сделает коллекцию уникальной.

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

  • поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
  • высокая скорость работы;
  • бесплатная и с поддержкой русского языка;
  • очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

  • подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
  • галерея заняла: 71.4Мб
  • время создания: 26 мин. 54 сек.
  • время сравнения и вывода результатов: 6 мин. 31 сек.
  • результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Допустим у Вас есть какое-то изображение (рисунок, картинка, фотография), и Вы хотите найти такое же (дубликат) или похожее в интернет. Это можно сделать при помощи специальных инструментов поисковиков Google и Яндекс, сервиса TinEye, а также потрясающего браузерного расширения PhotoTracker Lite, который объединяет все эти способы. Рассмотрим каждый из них.

Поиск по фото в Гугл

  1. Указываем ссылку на изображение в интернете
  2. Загружаем файл с компьютера

В итоге получаем полный список похожих картинок по изображению, которое было выбрано в качестве образца:

Есть еще один хороший способ, работающий в браузере Chrome. Находясь на страничке с интересующей Вас картинкой, подведите к ней курсор мыши, кликните правой клавишей и в открывшейся подсказке выберите пункт «Найти картинку (Google)»:

Вы сразу переместитесь на страницу с результатами поиска!

Поиск по картинкам в Яндекс

У Яндекса всё не менее просто чем у Гугла:) Переходите по ссылке https://yandex.by/images/ и нажимайте значок фотоаппарата в верхнем правом углу:

Укажите адрес картинки в сети интернет либо загрузите её с компьютера (можно простым перетаскиванием в специальную области в верхней части окна браузера):

Результат поиска выглядит таким образом:

Вы мгновенно получаете доступ к следующей информации:

  • Какие в сети есть размеры изображения, которое Вы загрузили в качестве образца для поиска
  • Список сайтов, на которых оно встречается
  • Похожие картинки (модифицированы на основе исходной либо по которым алгоритм принял решение об их смысловом сходстве)

Многие наверняка уже слышали об онлайн сервисе TinEye, который русскоязычные пользователи часто называют Тинай. Он разработан экспертами в сфере машинного обучения и распознавания объектов. Как следствие всего этого, тинай отлично подходит не только для поиска похожих картинок и фотографий, но их составляющих.

Проиндексированная база изображений TinEye составляет более 10 миллиардов позиций, и является крупнейших во всем Интернет. «Здесь найдется всё» — это фраза как нельзя лучше характеризует сервис.

Есть еще один способ поиска в один клик. По умолчанию в настройках приложения активирован пункт «Показывать иконку быстрого поиска». Когда Вы наводите на какое-то фото или картинку, всплывает круглая зеленая иконка, нажатие на которую запускает поиск похожих изображений – в новых вкладках автоматически откроются результаты поиска по Гугл, Яндекс, Тинай и Бинг.

Расширение создано нашим соотечественником, который по роду увлечений тесно связан с фотографией. Первоначально он создал этот инструмент, чтобы быстро находить свои фото на чужих сайтах.

Когда это может понадобиться

  • Вы являетесь фотографом, выкладываете свои фото в интернет и хотите посмотреть на каких сайтах они используются и где возможно нарушаются Ваши авторские права.
  • Вы являетесь блогером или копирайтером, пишите статьи и хотите подобрать к своему материалу «незаезженное» изображение.
  • А вдруг кто-то использует Ваше фото из профиля Вконтакте или Фейсбук в качестве аватарки на форуме или фальшивой учетной записи в какой-либо социальной сети? А ведь такое более чем возможно!
  • Вы нашли фотографию знакомого актера и хотите вспомнить как его зовут.

На самом деле, случаев, когда может пригодиться поиск по фотографии, огромное множество. Можно еще привести и такой пример…

Как найти оригинал заданного изображения

Например, у Вас есть какая-то фотография, возможно кадрированная, либо отфотошопленная, а Вы хотите найти её оригинал, или вариант в лучшем качестве. Как это сделать? Проводите поиск в Яндекс и Гугл, как описано выше, либо средствами PhotoTracker Lite и получаете список всех найденных изображений. Далее руководствуетесь следующим:

  1. Оригинальное изображение, как правило имеет больший размер и лучшее качество по сравнению с измененной копией, полученной в результате кадрирования. Конечно можно в фотошопе выставить картинке любой размер, но при его увеличении относительно оригинала, всегда будут наблюдаться артефакты. Их можно легко заметить даже при беглом визуальном осмотре.
  2. Оригинальные фотографии часто имеют водяные знаки, обозначающие авторство снимка (фамилия, адрес сайта, название компании и пр.). Конечно водяной знак может добавить кто угодно на абсолютно на любое изображение, но в этом случае можно поискать образец фото на сайте или по фамилии автора, наверняка он где-то выкладывает своё портфолио онлайн.
  3. И наконец, совсем простой признак. Если Ваш образец фото черно-белый (сепия и пр.), а Вы нашли такую же, но полноцветную фотографию, то у Вас явно не оригинал. гораздо более сложнее, чем перевести цветную фотографию в черно-белую:)

Часто у нас хранятся похожие фотографии, неудачные кадры, или же лежат в разных папках жесткого диска одинаковые снимки. Чем больше человек увлекается фотографиями, тем больше таких файлов может храниться на компьютере, занимая свободное место. Чтобы найти одинаковые фотографии на компьютере, обратимся за помощью к сторонним программам.

Какими бывают одинаковые фотографии

Рассмотрим, какие фотографии, являющиеся дубликатами, обычно хранятся на компьютере:

  1. Полностью идентичные файлы:
    как правило, образуются при копировании одних и тех же папок с фотографиями в разные места для сохранности.
  2. Фотографии с одинаковыми именами файлов:
    могут появиться, если пользоваться разными фотоаппаратами одной марки. По сути не являются одинаковыми фотографиями, но могут быть случайно удалены при визуальном сравнении имен файлов без просмотра их содержимого.
  3. Неудачные кадры:
    с уходом из массового обращения пленки для фотографий отпала необходимость контролировать количество сделанных кадров. Что, в свою очередь, позволило делать столько фотографий, сколько требуется, и потом отобрать самые удачные. Неудачные кадры, зачастую, визуально очень похожи на удачные, за исключением мелочей: моргнувший человек, смазанный кадр, случайный объект в поле съемки.
  4. Изменённые фотографии:
    уменьшенные или увеличенные копии, фотографии с добавленными надписями, обрезанные в редакторе изображения.

Рассмотрим две популярные программы для поиска дубликатов изображений и сравним их возможности. Для этого возьмем фотографию известного кота, сделаем несколько её копий с разными изменениями и поместим все файлы в одну папку.


Способ 1: Awesome Duplicate Photo Finder

Бесплатная программа, не требующая установки. Благодаря простому интерфейсу позволяет быстро проверить папки на наличие дубликатов. Русский язык отсутствует.


Скачать Awesome Duplicate Photo Finder

    1. Запускаем программу.


    1. Выбираем папку для поиска нажав на «+» .

    1. После нажатия на кнопку «Start search» получаем таблицу с результатами и окно сравнения двух выбранных файлов.


Программа показывает процент сходства двух изображений и предлагает три варианта действий с каждым:

    • Move — Переместить;
    • Browse — Показать в папке выбранный файл;
    • Delete — Удалить.

Способ 2: AntiDupl.NET

Бесплатная программа с открытым исходным кодом, с поддержкой русского языка. Покажем её возможности на тех же четырех фотографиях.


Скачать AntiDupl.NET

    1. Запускаем программу.


    1. Для начала поиска нажимаем «Поиск» и выбираем «Пути» .


    1. Добавляем папки, в которых будет произведен поиск, и нажимаем «Ок» .


    1. Запускаем поиск в выбранных папках, нажав «Поиск» и затем «Начать поиск» .


    1. После завершения поиска в главном окне выводится сравнение двух изображений в таблице найденных совпадений.

Программа смогла найти дубликат фотографии и в графе рекомендаций советует удалить один из файлов.


В данном случае приложение нашло два похожих изображения и показывает их отличия выделяя красным цветом в их свойствах (размер файла, размер изображения, степень сжатия, степень размытия).


Заключение

Разница между работой этих двух программ минимальна, но для некоторых пользователей наличие русского интерфейса является главным плюсом.

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.