hashdeep mit Multi-Threading
Posted: 09.01.2012, 09:51Hallo und ein frohes neues Jahr in die Runde! (Jepp, auch noch am 9. Januar. 
)
Vom hashdeep-Tool gibt es eine neue Version 4.0.0, die nun auch Multi-Threading beherrscht (Changelog im Download-Bereich des Tools). Das wirkt sich dann aus, wenn dem Tool eine Liste von Dateien übergeben wird, in unserem Fall also beim Überprüfen und Erstellen von Hashes für die Download-Verzeichnisse. Und natürlich sollte der Computer mehrere Prozessor-Cores haben, was ja heutzutage gängig ist.
Ein Kurztest mit dem aktuellen Verzeichnis \w60-x64\glb (hat ziemlich viele Dateien):
V3.9.2: 35 Sek.
V4.0.0: 15 Sek.
(Intel Core2 Quad Q8300 @ 2.5 GHz)
Der Geschwindigkeitsvorteil ist zwar nicht die Welt, aber immerhin.
Das Multi-Threading wirkt sich leider nicht positiv bei den großen ISO-Dateien aus, da nicht mehrere Threads an einer Datei arbeiten können (1 Verwaltungsthread + 4 Arbeitsthreads für jeweils eine Datei). Bei den ISO-Dateien ergibt sich sogar ein kleiner CPU-Last-Nachteil im Vergleich zur Vorgängerversion, da für die eine Datei sowohl der Verwaltungs-Thread als auch ein Arbeitsthread jeweils einen CPU-Core voll auslasten (vorher nur ein Core). Aber das sind Feinheiten.
Aus meiner Sicht also das Fazit, dass man die neue Version ruhig in WSUS Offline integrieren könnte.
Eventuell denkbar für die Zukunft wäre die Erstellung der ISO-Hashes in einem Rutsch, um auch dort gegebenenfalls (mehrere ISO-Dateien, mehrere Cores) einen Geschwindigkeitsvorteil zu erwirken. Aber das würde wohl eine größeren Umbau im Skript bedeuten, oder?
Schöne Grüße
Gerby
)Vom hashdeep-Tool gibt es eine neue Version 4.0.0, die nun auch Multi-Threading beherrscht (Changelog im Download-Bereich des Tools). Das wirkt sich dann aus, wenn dem Tool eine Liste von Dateien übergeben wird, in unserem Fall also beim Überprüfen und Erstellen von Hashes für die Download-Verzeichnisse. Und natürlich sollte der Computer mehrere Prozessor-Cores haben, was ja heutzutage gängig ist.
Ein Kurztest mit dem aktuellen Verzeichnis \w60-x64\glb (hat ziemlich viele Dateien):
V3.9.2: 35 Sek.
V4.0.0: 15 Sek.
(Intel Core2 Quad Q8300 @ 2.5 GHz)
Der Geschwindigkeitsvorteil ist zwar nicht die Welt, aber immerhin.
Das Multi-Threading wirkt sich leider nicht positiv bei den großen ISO-Dateien aus, da nicht mehrere Threads an einer Datei arbeiten können (1 Verwaltungsthread + 4 Arbeitsthreads für jeweils eine Datei). Bei den ISO-Dateien ergibt sich sogar ein kleiner CPU-Last-Nachteil im Vergleich zur Vorgängerversion, da für die eine Datei sowohl der Verwaltungs-Thread als auch ein Arbeitsthread jeweils einen CPU-Core voll auslasten (vorher nur ein Core). Aber das sind Feinheiten.
Aus meiner Sicht also das Fazit, dass man die neue Version ruhig in WSUS Offline integrieren könnte.
Eventuell denkbar für die Zukunft wäre die Erstellung der ISO-Hashes in einem Rutsch, um auch dort gegebenenfalls (mehrere ISO-Dateien, mehrere Cores) einen Geschwindigkeitsvorteil zu erwirken. Aber das würde wohl eine größeren Umbau im Skript bedeuten, oder?
Schöne Grüße
Gerby
)