Otázka:
Inteligentní vyhledávač duplicitních souborů pro Linux
H. Freeze
2015-09-28 16:45:18 UTC
view on stackexchange narkive permalink

To, co hledám, je software pro vyhledání duplicitních souborů v systému Linux. Očekávám, že splňuje tyto požadavky.

Musí mít

  • Spustí se nativně v systému Linux (nikoli prostřednictvím aplikace Wine nebo PlayOnLinux)
  • Dokáže najít duplikáty podle obsahu (velikost, jméno nebo datum nezáleží)
  • Je možný ruční výběr a hromadné mazání duplikátů
  • Schopen skenovat jak ext4, tak i Jednotky NTFS

Volitelné

  • GUI
  • Řazení podle velikosti, času, počtu. duplikátů atd.
  • Je otevřený zdroj

Věci, na kterých nezáleží

  • načasovat trvá skenování disků
  • Zdroje, které jí při skenování (CPU, GPU nebo RAM)

Takže nějaká doporučení?

Pět odpovědi:
SeeSpotRun
2015-10-12 04:19:43 UTC
view on stackexchange narkive permalink

rmlint ( http://rmlint.readthedocs.org/en/latest/)

  • Spustí se nativně v systému Linux
  • Je schopen najít duplikáty na základě obsahu
  • Ruční výběr a hromadné mazání duplikátů je možné (vytvoří dávkový skript, který můžete zkontrolovat / upravit / spustit)
  • Schopen skenovat ext4 i NTFS disky
  • GUI (ve větvi rozvíjet)
  • třídění podle velikosti, času, č. duplikátů atd.
  • Je otevřený zdroj

Také, i když na tom nezáleží:

  • Je velmi rychlý
  • svítí na RAM i při velkých souborech dat

další důležité poznámky:

  • místo toho obsahuje možnost shody souborů po bajtech kontrolního součtu SHA1
  • Může výstup do formátu CSV nebo JSON, takže můžete provádět další zpracování a analýzu
Děkujeme za návrh, rmlint je určitě rychlejší než fdupes a miloval, jak vytvořil skript pro kontrolu. Teď to bude můj primární vyhledávač dupe;).
//, potvrzuji požadavky na lehký procesor a RAM. Doporučuji použít verzi příkazového řádku, pokud víte, jak udělat celou věc ctrl + alt + t. https://www.youtube.com/watch?v=xLg4HWzlsE8 <<< Ten chlap má na sobě dobré video, i když o instalaci nemluví.
dr_
2015-09-28 18:28:54 UTC
view on stackexchange narkive permalink

fdupes by si měli dělat, co chcete.

Z Wikipedie:

fdupes je program napsaný Adrianem Lopezem pro skenování adresářů pro duplicitní soubory, s možnostmi výpisu, mazání nebo nahrazování soubory s pevnými odkazy směřujícími na duplikát. Nejprve porovná velikosti souborů, částečné podpisy MD5, úplné podpisy MD5 a poté provede ověření po bajtech pro ověření.

fdupes je napsán v jazyce C a je vydán pod licencí MIT.

+1 za skvělý návrh, zdá se, že je to přesně software, který jsem potřeboval, GUI by byl dobrý, ale bez něj to funguje skvěle.
Pokud máte rádi fdupes, mohla by se vám také líbit sada [samesame] (http://samesame.kruijff.org/)
@baitisj Vyzkoušeno pomocí samesame, je to dobrá alternativa pro fdupes, ale má svoji křivku učení.
Nathaniel M. Beaver
2015-10-08 03:11:44 UTC
view on stackexchange narkive permalink

Pokud chcete GUI, má KDE komparator:

http://komparator.sourceforge.net/

Používá kontrolní součet MD5 a nebyl aktualizován od roku 2013, ale stále funguje dobře.

+ 1, Děkuji za návrh, funguje to skvěle. Ačkoli používal gnome, díky čemuž mi jeho instalace byla peklem závislostí;)
Arun
2015-10-22 20:17:35 UTC
view on stackexchange narkive permalink

Zkontrolujte prosím findimagedupes ( http://tuxdiary.com/2012/05/20/find-visually-similar-images-in-ubuntu/), vizuálně podobný vyhledávač obrázků v systému Linux. Kromě duplikátů najde stejné obrázky s různými rozlišeními, formáty atd.

Vítejte v softwarových doporučeních - a děkujeme za sdílení! I když určitě obsahuje řešení, tento příspěvek neobsahuje dostatek informací, aby mohl být považován za kvalitní odpověď. [Přečtěte si prosím naši diskusi o tom, díky čemu je odpověď vysoce kvalitní] (http://meta.softwarerecs.stackexchange.com/q/356/185), abyste zjistili, zda můžete některá z těchto vylepšení zahrnout do své odpovědi. Vaše odpověď by měla zejména ukázat, jak produkt splňuje požadavky a co ho činí doporučitelným. Také [bylo by vhodnější] (http://meta.stackoverflow.com/q/8259) zahrnout jádro za tento odkaz (apt-get)
jamadagni
2019-09-22 15:29:00 UTC
view on stackexchange narkive permalink

fslint : http://www.pixelbeat.org/fslint/

  • běží nativně a je otevřený zdroj : existuje v Debianu

  • GUI a výběr duplikátů k smazání:

GUI and selection of dups to delete

Q. Jaký algoritmus se používá ke kontrole duplicitních souborů?

A. Při standardní instalaci vidíte skript používaný v / usr / share / fslint / fslint / findup. Stručně řečeno, algoritmus je:

  1. vyloučit soubory s jedinečnou délkou

  2. zpracovat soubory, které jsou navzájem pevně propojeny

  3. vyloučit soubory s jedinečným md5 (first_4k (soubor))

  4. vyloučit soubory s jedinečným md5 (celý soubor)

  5. vyloučit soubory s jedinečným sha1 (celý soubor) (v případě kolizí md5).

  • jiné nástroje než duplikáty souborů (špatné odkazy, prázdné adresáře atd.)
fslint stále přechází ze závislostí Pythonu 2, takže v tuto chvíli to není skvělá volba. Doufejme, že to bude brzy upgradováno.


ⓘ
Tyto otázky a odpovědi byly automaticky přeloženy z anglického jazyka.Původní obsah je k dispozici na webu stackexchange, za který děkujeme za licenci cc by-sa 3.0, pod kterou je distribuován.
Loading...