Grep Memory Exhausted

Grep Memory Exhausted

Postby ppost » 13.12.2014, 19:17

Good day,

I have set up wsus offline on a Synology DS712+ NAS by compiling the missing modules myself.

I still get the following error, but it seems the output is ok anyway, however as the .sh files are quite complex I am not 100 % sure and would like to know if this message also appears on other linux systems or if I might need a different GREP version or compile it differently. Presently all is compiled with default settings.

Code: Select all
Determining update URLs for w2k3 enu...
=== > grep: memory exhausted  <===           
Determining update URLs for win enu... 


The GREP commands I find in the DownloadUpdates.sh between the above lines are - but the output files are created.
Code: Select all
grep -F -i -v -f ../temp/tmpExcludeList-${sys}.txt ../temp/tmpUrls-${OS_sys}-${lang}.txt > ../temp/ValidUrls-${sys}-${lang}.txt
grep -F -i -v -f ../temp/tmpExcludeList-${sys}.txt ../temp/tmpValidUrls-${sys}-glb.txt > ../temp/ValidUrls-${sys}-glb.txt


An other thing I do not understand is that the file count in the client\w2k3\enu folder is different depending on which system fills it - blank wsusoffline directory, same day, same parameters:

Synology: 200 files
Ubuntu: 236 files
Windows: 246 files

My setup:
Synology DSM 4.0 = Linux Kernel 2.6.32.12
bash-4.3
cabextract-1.4
coreutils-8.23
grep-2.21
libxml2-2.7.8
libxslt-1.1.26
md5deep-3.9.2
mkisofs-1.12b5 (this is too old for the script and others do not compile)
openssl-1.0.1j
wget-1.16
xmlstarlet-1.6.1

Thanks and brgds
Philipp

N. B. replies in German are certainly fine as well.
ppost
 

Re: Grep Memory Exhausted

Postby hhullen » 16.12.2014, 18:02

ppost wrote:Good day,

I have set up wsus offline on a Synology DS712+ NAS by compiling the missing modules myself.

[...]

Code: Select all
Determining update URLs for w2k3 enu...
=== > grep: memory exhausted  <===           
Determining update URLs for win enu... 


The GREP commands I find in the DownloadUpdates.sh between the above lines are - but the output files are created.

[...]

grep-2.21

N. B. replies in German are certainly fine as well.


Könnte sein, dass auf der Synology ein "echtes" grep läuft; auf meiner Maschine (Slackware) ist GNU-grep installiert.

Kontrolle:
Code: Select all
 grep -V

liefert hier u.a. "GNU grep 2.14", also eine vermutlich etwas andere grep-Linie.
Viele Grüsse
Helmut
hhullen
 
Posts: 100
Joined: 23.04.2012, 10:43

Re: Grep Memory Exhausted

Postby ppost » 20.12.2014, 12:02

Besten Dank, Helmut. Ich habe nun GNU grep 2.14 installiert und der Fehler ist verschwunden. Ich bekomme auch die gleiche Anzahl an Downloads wie unter Ubuntu. Zu Windows besteht aber immer noch eine Differenz. Für Win 2003 - enu werden unter Windows folgende zusätzliche 10 Dateien in den Ordner \client\w2k3\enu heruntergeladen:

windowsserver2003-kb967723-x86-enu_e4016e0fe84b55c83bbd3ac8d9360eb5c102dbef.exe
windowsserver2003-kb975467-x86-enu_067f51a20fa95ec8dd586be8dd20fd3cc709cad2.exe
windowsserver2003-kb2893984-x86-enu_26ad657442fe22f46a7f8c9363fe019716dff045.exe
windowsserver2003-kb956744-x86-enu_83d79816052efde748645ffebe6bd80751dd1656.exe
windowsserver2003-kb2850869-x86-enu_50164a48c2f846ffcf7ef489c4fe6d2b339f8a46.exe
windowsserver2003-kb2645640-x86-enu_9e50f913aed8980b4f9a894b7f7aab644a5c8654.exe
windowsserver2003-kb2567053-x86-enu_c2603883b808c0e185a97afa71eac91558671cbc.exe
windowsserver2003-kb2476490-x86-enu_c14b9655fccd5002ede28be4bbb14b572e41e392.exe
ie7-windowsserver2003-kb2925418-x86-enu_f2e6835be45a54d431655465a92b8801f6e5aa9a.exe
windowsserver2003-kb2698032-x86-enu_b73ee0b5157f524c2599d40297104a7735394e58.exe

Ist das so richtig?

Zusätzlich fehlt im Wsusoffline 9.5 die Datei ./xslt/ExtractDownloadLinks-win-x86-enu.xsl und das .sh script beschwert sich. Ich kann das natürlich aus einer älteren Version hineinkopieren, mir ist aber nicht klar, ob nun die .xsl Datei nur im Paket vergessen wurde oder ob der Verweis darauf hätte entfernt werden sollen. Vielleicht könnt ihr euch das einmal ansehen?

Danke + Gruß
Philipp
Last edited by ppost on 20.12.2014, 16:49, edited 1 time in total.
ppost
 

Re: Grep Memory Exhausted

Postby aker » 20.12.2014, 15:08

Diese XSL-Datei wurde bei einer Umstruktutrierung innerhalb von wsusou entfernt, scheinbar feht die entsprechende Änderung im Linux-Skript.

Viele Grüße
Wer Rechtschreibfehler findet, darf sie behalten oder an den Meistbietenden versteigern. / Everybody finding a misspelling is allowed to keep or sell it.
aker

WSUS Offline Update „Community Edition“
https://gitlab.com/wsusoffline/wsusoffline/-/releases
aker
 
Posts: 3999
Joined: 02.03.2011, 15:32

Re: Grep Memory Exhausted

Postby hhullen » 20.12.2014, 15:37

ppost wrote:Besten Dank, Helmut. Ich habe nun GNU grep 2.14 installiert und der Fehler ist verschwunden. Ich bekomme auch die gleiche Anzahl an Downloads wie unter Ubuntu.


Ok - ein Problem weniger.

ppost wrote:Zu Windows besteht aber immer noch eine Differenz. Für Win 2003 - enu werden unter Windows folgende zusätzliche 10 Dateien in den Ordner \client\w2k3\enu heruntergeladen:

windowsserver2003-kb967723-x86-enu_e4016e0fe84b55c83bbd3ac8d9360eb5c102dbef.exe
[...]

Ist das so richtig?


"Wir arbeiten daran ..." - bei den Dateien unterhalb von ".../win" und (z.B.) ".../w61" gibt es noch Unterschiede zwischen dem, was die Windows-Version und was die Linux-Version liefern. Bei einigen anderen Verzeichnissen gab es bisher auch (kleine) Unterschiede, die sollten seit Revision r635 (18.12.14) bereinigt sein.

ppost wrote:Zusätzlich fehlt im Wsusoffline 9.5 die Datei ./xslt/ExtractDownloadLinks-win-x86-enu.xsl und das .sh script beschwert sich. Ich kann das natürlich aus einer älteren Version hineinkopieren, mir ist aber nicht klar, ob nun die .xsl Datei nur im Packet vergessen wurde oder ob der Verweis darauf hätte entfernt werden sollen. Vielleicht könnt ihr euch das einmal ansehen?

Danke + Gruß
Philip


Schau ich mir noch mal an (aber vielleicht erst nach Weihnachten); eben habe ich gesehen, dass in meinem ".../xslt"-Verzeichnis noch Dateien von 2012 herumfliegen, die nicht mehr in den neueren Paketen enthalten sind. Wo und wie sich das auswirkt, wird vermutlich wieder eine mehrstündige Bastelei werden.
Viele Grüsse
Helmut
hhullen
 
Posts: 100
Joined: 23.04.2012, 10:43

Re: Grep Memory Exhausted

Postby ppost » 20.12.2014, 17:39

Danke, Helmut. Dann weiß ich, dass der Fehler nicht in meinem System zu suchen ist. Ich wünsche angenehme Festtage.

Gruß
Philipp
ppost
 

Re: Grep Memory Exhausted

Postby hhullen » 20.12.2014, 21:59

ppost wrote:
[...]

Zusätzlich fehlt im Wsusoffline 9.5 die Datei ./xslt/ExtractDownloadLinks-win-x86-enu.xsl und das .sh script beschwert sich. Ich kann das natürlich aus einer älteren Version hineinkopieren, mir ist aber nicht klar, ob nun die .xsl Datei nur im Paket vergessen wurde oder ob der Verweis darauf hätte entfernt werden sollen. Vielleicht könnt ihr euch das einmal ansehen.


Es geht doch nichts über Arbeiten, die im Hintergrund ablaufen, während im Vordergrund der Samstag-Krimi läuft ...

Der grosse Auslöser der Unterschiede liegt in den Dateien unterhalb von ".../xslt" - danke. Da habe ich jetzt einfach mal den kompletten Altbestand gelöscht und durch die Dateien ersetzt, die im 9.5-Paket liegen. Reduziert (bei meinem Probelauf) die Zahl der Dateien unterhalb von ".../w61" ziemlich genau auf den Wert, der sich auch bei der Windows-Version ergibt.

Hier wurde dabei die Datei ".../xslt/ExtractDownloadLinks-win-x86-glb.xsl" vermisst - wenn ich sie aus der Version 9.31 rüberkopiere, dann wird kein Fehler gemeldet, und in ".../win/glb" landet einzig die Datei "capicom*.exe" von 2007 - dürfte nicht richtig sein. Und die Dateien "rootsupd.exe" und "rvkroots.exe", die in der Windows-Version erscheinen, tauchen in der Linux-Version nicht unterhalb von ".../win" auf.

Diese klitzekleinen Probleme zu lösen dürfte ein wenig dauern ...
Viele Grüsse
Helmut
hhullen
 
Posts: 100
Joined: 23.04.2012, 10:43

Re: Grep Memory Exhausted

Postby aker » 20.12.2014, 22:24

Das mit den root-Updates müsste aber ein Problem beim Parsen der static-Links sein; die sind statisch definiert.

Es sollte aber reichen die win-xsl's einfach nur aus der Routine herauszunehmen, da deren Funktion in die anderen xsl's verlagert wurde.

Viele Grüße
Wer Rechtschreibfehler findet, darf sie behalten oder an den Meistbietenden versteigern. / Everybody finding a misspelling is allowed to keep or sell it.
aker

WSUS Offline Update „Community Edition“
https://gitlab.com/wsusoffline/wsusoffline/-/releases
aker
 
Posts: 3999
Joined: 02.03.2011, 15:32

Re: Grep Memory Exhausted

Postby hhullen » 21.12.2014, 11:08

aker wrote:Das mit den root-Updates müsste aber ein Problem beim Parsen der static-Links sein; die sind statisch definiert.

Es sollte aber reichen die win-xsl's einfach nur aus der Routine herauszunehmen, da deren Funktion in die anderen xsl's verlagert wurde.

Viele Grüße


Noch habe ich keine gute Idee, wie die Linux-Version mit den Dateien unterhalb von ".../static", ".../exclude" und ".../xslt" umgehen soll. Inzwischen weiss ich ja, dass bei einem Update pures Drüberkopieren nicht funktioniert, weil dann die steinalten und nicht mehr benötigten Dateien unversehrt bleiben. Pures Löschen der Verzeichnisse würde auch die "custom"-Unterverzeichnisse löschen.
Viele Grüsse
Helmut
hhullen
 
Posts: 100
Joined: 23.04.2012, 10:43

Re: Grep Memory Exhausted

Postby aker » 21.12.2014, 16:12

In der DownloadUpdates.cmd (r636) sind ab Zeile 251 Bereinigungs-Kommandos. Wenn man die in ein Text-Dokument auslagern würde, könnten sowohl die Linux, als auch die Windows Version dieses zur Bereinigung verwenden.

Viele Grüße
Wer Rechtschreibfehler findet, darf sie behalten oder an den Meistbietenden versteigern. / Everybody finding a misspelling is allowed to keep or sell it.
aker

WSUS Offline Update „Community Edition“
https://gitlab.com/wsusoffline/wsusoffline/-/releases
aker
 
Posts: 3999
Joined: 02.03.2011, 15:32

Next

Return to Linux

Who is online

Users browsing this forum: Google [Bot] and 39 guests