mkgmap unter Windows 10, seltsames Verhalten

Garmin fenix 7X und epix Gen 2 im Test

Der Schwerpunkt dieses Tests und Vergleichs der Garmin Fenix 7X Solar und Garmin Epix Gen 2 liegt auf den Sensoren wie Höhenmesser, Positionsbestimmung und Herzfrequenz. Was unterscheidet die beiden GPS-Outdoor-Smartwatches? Und wie gut ist die Taschenlampe der Fenix 7X für den Outdoorbereich? Hier geht es zum Test der Outdoor-Smartwatches ...
  • Ich brauche mal Hilfe von fortgeschrittenen Usern, die selbst mit mkgamp unter Windows arbeiten. Bis vor 1/2 Jahr lief die Compilierung unter W10-64 bit 32 GB Ram bei mir absolut problemlos. Jetzt habe ich nach langer Abwesenheit den Pc wieder in Betrieb genommen, der lud dann alle Updates, und die alten Scripte für mkgamp-r4919 gestartet. Zum Beispiel hat die Alpenkarte 269 Kacheln, mkgmap startete und arbeitet die ersten 184 Kacheln wie gewohnt rasant ab. Dann scheint Java resp.Mkgmap plötzlisch anzuhalten und im Resourcenmonitor sieht man nur noch windows-interne Prozesse, scan .logs usw. 30 min später compiliert mkgmap 2 weitere Kacheln und scheint erneut nicht zu arbeiten, obwohl der Prozess mit geringer schwankender CPU-Leistung weiter läuft. Die CPU schankt so etwa zwischen 6- 75 %. 1/2 Stunden ! später 'erwacht' mkgmap und erzeugt weiter Kacheln. Zu sehen am Zeitstempel : Bis 15:30 alles okay, dann Pause und nochmal Pause ab 16:02. Jedesmal ~1/2 Stunde. Dann sind ie Kacheln fertig, aber für die .<name>.gmap vergeht wieder ~ 1/2 Stunde Pause. Auffällig ist es jedesmal die gleiche 'Pausenzeit' : ~1/2 Stunde.

    Diese scheinbare einfrieren' kannte ich bisher nicht. Tritt dieses 'einfrieren' bei Euch auch auf ? Vorschläge Hinweise zur Lösung sind sehr erwünscht.

    Energieverwaltung steht auf 'nie abschalten. Java Version 1.8.0_333. Java -Update meldet : aktuell.

    Ein Rückspielen der älteren Windows Version 21H1 hat auch nichts gebracht. Deshalb wird es wohl nicht an den Updates liegen .Sicher bin ich da nicht. Ich vermute die Ursache in den Tiefen der Systemeinstellungen von Windows , aber wo kann man da suchen. Irgendwelche Richtlinien ?

    Ich habe auf dem selben PC noch als 2.OS Ubuntu laufen auf separater HDD. Scheue aber zurück von Ubuntu aus auf die W10 -Datenpartition mit den OSM-Datein zuzugreifen. Mit Linux bin ich nicht so fit. Hat jemand da Erfahrungen bzw.gibt es Probleme, wenn man von Ubuntu aus auf die Datenpartition der mit windows geschriebenen osm Datein zugreift ? Bei einem erneuten Windows- start wolte jedenf0alls die Startroutine das Laufwerk scannen. Also hat Ubuntu da irgendwie irgendwas verändert.

    morgen1

  • Hallo Thomas,


    auch ich habe in der letzten Zeit immer mehr Schwierigkeiten große Karten zu splitten und kompilieren.

    Nach dem Frust unter Linux hab ich dann auch unter Windows 11 probiert.

    War bisher leider nicht erfolgreich eine TOPO Europakarte mit den Daten von diesem Monat zu generieren.

    Ich nutze jeweils die aktuelle Version des Splitter und vom mkgmap.

    Aber auch ältere Versionen brechen ab.

    Die Programme brechen bei jeweils anderen Stellen ab, je nach Quelle und Timestamp der Primärdaten (pbf).


    Bisher hab ich auf mangelnden Speicher (16GB) geschoben, da Du aber mit 32GB die gleichen Probleme hast ...

    Ich fürchte da stimmt was mit den Primärdaten nicht.


    PS: Das Einfrieren habe ich unter Windows auch beobachtet.

    Nachdem ich abbrechen wollte (crtl C) ging es dann erst mal weiter!?

    GuSy

  • Okay, da bin ich nicht allein. Dachte schon, ich bin zu blöd.... Ich sitze seit 1 Woche an dem Problem. Mittlerweile habe ich einiges dazu gelernt. Nach dem W10 auch noch Bluescreens lieferte ( die waren die Ursache für die anfänglichen Abstürze nach der Inbetriebnanahme des PC nach langer Pause, nur wußte ich es nicht), habe ich die Hardware untersucht und tatsächlich war 1 St. 8- GB RAM-Riegel defekt. Also mit 24 RAM weitergemacht. Da kamen dann die ewigen Pausen, aber im Endeffekt eine funktionsfähige Alpenkarte. Jetzt habe ich 2 neue RAM (man soll ja paarchenweise wechseln ) , also wieder 32 GB RAM. Und siehe da, es scheint zu gehen. Der Durchlauf unter Linux ging ohne die Pausen. Nur eigenartigerweise meldete dann BaseCamp " es gibt ein Problem". Verstehe ich nicht. Also zurück auf W10 und mit max-jobs= 16 gestartet. Die CPU ist ein Ryzen 7 5800 ohne Grafik. Der Durchlauf ist gedae erfolgreich durchgelaufen. In der 1. Minute knallt mkgmap den RAM fast vollständig voll und im Dateiexplorer werden extrem viele Kacheln als #neu# angezeigt. Dann verlangsamt sich das Tempo auf so ~3 -4 Kacheln/Minute. Der Ram zeigt eine Auslastung von 3220 MB (obwohl nur 32 GB installiert sind, wie geht denn das ? . Vielleicht liegt es an der unkorrekten Schreibweise GB statt GiB. Faktor 1024). Und des läuft mit 32 GBRAM und 16 jobs ohne Unterbrechungspausen. Dauer ~1,5 Stunden

    Der entscheidende Unterschied sind die max-jobs und der RAM.

    Ach ja, auch ich hatte den Verdacht , dass die latest-europe.osm.pbf von Geofabrik korrupt ist. Splitter hat nicht gemeckert. Aber mkgmap schon. Sinngemäß # kann 12345678.osm.pbf nicht lesen# bei 1 Kachel. Deshalb heute vorsichtshalber die latest-europe noch mal gezogen. Momentan scheint zumindest der Ausschnitt Alpen (selbst definiert mit osmium und poly file) zu laufen. Arbeitest Du mit OSMIUM ? Ich seit kurzen. Es ist das genialste TOOL der ganzen OSM-Palette neben mkgmap. Installation unter Windows schwierig, weil es das nicht fertig gibt. Aber eigentlich ist die Installation ganz einfach: einige wenige Datein in das selbe Verzeichniss und läuft. Osmium spart Zeit ohne Ende.

    Für meine Strassenkarte habe ich ein verbessertes Design kreiirt: Alle Einbahnstrassen werden mit unterlegten Pfeilen angezeigt. Leider ist die Grafikengine vom veralteten Mapsource da überfordert und rendert unvollständig. Unter BaseCamp aber super.

    Wenn jetzt der PC wieder so funktioniert wie früher kommen in der nächsten Woche schrittweise die ersten Veröffentlichungen. Hier schon mal die Vorschau :



    Nachtrag : ich bin zurück auf mkgmap-r4916. Ob das eine Rolle spielt vs. 4919 weis ich noch nicht...

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...
  • #

    Arbeitest Du mit OSMIUM ? Ich seit kurzen. Es ist das genialste TOOL der ganzen OSM-Palette neben mkgmap.

    Nein, das Tool ist mir bisher noch nicht bekannt.

    Ich "brate in meinem eigenen Saft" und bekomme solche Sachen meist nur durch solche Hinweise mit.

    Ich schneide mit dem splitter und render mit mkgmap und das wars.


    Ein kleinerer Ausschnitt (D+) hat geklappt.

    Das ist das Ergebnis von einem größeren Teil Europas.

    Er ist trotz Fehler bis zur letzten Kachel gekommen, wobei einige Kacheln nicht gerendert wurden und ist beim letzten Fehler (wohl beim Erzeugen der Metadaten) abgebrochen:


    ...

    java.util.zip.DataFormatException: incorrect data check

    at java.base/java.util.zip.Inflater.inflateBytesBytes(Native Method)

    at java.base/java.util.zip.Inflater.inflate(Inflater.java:373)...

    java.util.zip.DataFormatException: invalid bit length repeat

    at java.base/java.util.zip.Inflater.inflateBytesBytes(Native Method)

    at java.base/java.util.zip.Inflater.inflate(Inflater.java:373)...


    ...

    14.04.2024 04:01 1.835.008 40461408.img

    14.04.2024 04:01 2.162.688 40461409.img

    14.04.2024 04:01 2.162.688 40461410.img

    14.04.2024 04:01 2.162.688 40461411.img

    1407 Datei(en), 3.182.690.304 Bytes



    PS: Bei Anderen scheint es aber zu klappen:


    PPS:

    Rohdaten von Geofabrik Anfang April

    splitter-r654

    mkgmap-r4917

    Win 11


    Mit dem Planetfile von

    Index of /osm/planet/

    klappt auch nicht :(

    GuSy

  • Update: unter W10 friert mkgmap nach 20 min und ~600 Kacheln ein. Wacht auch nach 1.5 Stunden nicht wieder auf. Jetzt mit Ubuntu : mkgmap erzeugt 37 Kacheln und Ubuntu friert ein !. Nur mit Ausschalten des PC und Neustart zu lösen. Fazit : ich weis nicht mehr woran es liegt.

    Welche Linux Distribution benutzt Du ?

    Gibt es einen Linux-user, der große Karten erfolgreich compiliert und mit welcher Linux -Version ?

  • Unter Linux kann es vorkommen, dass die Swap-Partition nicht eingebunden wird. Mir passierte öfters, dass bei großer Speicherauslastung, der Rechner plötzlich einfrierte und dann meist nur ein Neustart möglich war. Es kann halt sein, dass eine nicht eingebundene Auslagerung im "normalen" Betrieb gar nicht auffällt.

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...
  • Ich habe die SuSE (noch) 15.4.

    Anfang Februar und März ging das noch so leidlich.


    Unter Linux bricht er beim ersten Fehler ab.

    Unter Windows macht er erstmal weiter und bricht erst beim erzeugen der Metadaten ab.


    Unter Linux kann es vorkommen, dass die Swap-Partition nicht eingebunden wird. Mir passierte öfters, dass bei großer Speicherauslastung, der Rechner plötzlich einfrierte und dann meist nur ein Neustart möglich war. Es kann halt sein, dass eine nicht eingebundene Auslagerung im "normalen" Betrieb gar nicht auffällt.

    Das habe ich so noch nie erlebt.

    Ich sehe auch bei der Systemüberwachung wie viel Speicher und auch swop zur Verfügung und benutzt wird.

    GuSy

  • Kann vielleicht nur mal vorkommen, sobald man mehrere Linuxe auf einer Platte hat. Klar, sieht man das in der Sytemüberwachung. Bei leichten Anforderungen hat jeden falls die Swap meist nur 0 Bytes und man könnte denken, alles wäre i.O.

  • Swap ? ja da war mal was :) Ich bin ziemlicher Linux-Anfänger und habe erst vor wenigen Tagen Ubuntu installiert. Und ich habe nur die boot partition und /etc -Partition angelegt. Also auf der Platte ist gar keine Swap-Partition. Wie kann man das Beheben ? Oder Ubuntu nochmal neu vom USB-Stick installieren und 3.Partitionen anlegen ? Der Rechner hat 32 GB RAM, wie groß sollte da die Swap-Partition sein ?

    Deine Anmerkungen klingen logisch, das könnte es sein. Läßt es die Datenträgerverwaltung von Ubuntu zu, auf dem freien Platz der HDD nachträglich eine swap-Partition anzulegen ?

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...
  • Ich kenne das so, dass die Swap Partition bei der Installation angelegt wird. Die Faustregel ist: doppelter RAM Speicher.


    Das ist das gleiche wie unter Windows der Auslagerungsspeicher, nur dass das eine eigene Partition ist.


    Ubuntu kenne ich nicht so, aber auch da sollte es ein Partitionierungstool geben mit dem der Swap space angelegt werden kann.

    Man(n) muss das System nur dazu überreden die Swap Partition beim booten gleich mit einzubinden.


    PS: Der Swapspace kommt eigentlich nur zum Tragen wenn der Hauptspeicher nicht mehr ausreicht.

    Dann wird was gerade nicht gebraucht wird ausgelagert.

    Und dann wird das System auch seeehr langsam.

    Bei 32GB sollte das nicht so schnell passieren.

    GuSy

    2 Mal editiert, zuletzt von GuSy ()

  • Unter Linux kann man auch mit swap-Dateien arbeiten und sie auch nachträglich einbinden.

    Vorgehensweise :

    1. Eine leere Datei gewünschter Größe z.B mit dd erzeugen

    2. mit mkswap formatieren

    3. mit swapon einhängen

    Mehr dazu in den manpages von mkswap (8)und swapon (8)

    Einmal editiert, zuletzt von mkossmann () aus folgendem Grund: Anleitung ergänzt

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...
  • Ich bin gerade dabei den Hinweis betreffs Swap umzusetzen. Aus der Systemsteurung heraus ging es nicht, Ubuntu meint 'die Part ist in Nutzung'. Habe die hdd neu partitioniert, Ubuntu installiert sich gerade. Bis mit apt-get wieder alles aktualisiert ist, dauert es vermutlich die halbe Nacht. Ich melde mich wenn ich den nächsten Versuch mit mkgmap starten kann.

    Unter W10 abeitet mkgmap ziemlich genau 20 min und dann ist einfach Schluß (bei >600 Kacheln). Da muss irgendwo in W10 ein Zeitschalter sein. Sei es drum. der nächste Versuch ist mit Swap-Part. in Ubuntu.

    Nicht begreife ich , dass es bis vor 1/2 Jahr problemlos ging. Ich werde den Verdacht nicht los,dass es an der Hardwre liegen könnte. Obwohl die ist fast unverändert, nur 2 x neue RAM-Riegel sind eingesetzt worden mit selber Kapazität.


  • Nicht begreife ich , dass es bis vor 1/2 Jahr problemlos ging. Ich werde den Verdacht nicht los,dass es an der Hardwre liegen könnte.

    genau wie bei mir.

    Ich habe die Rohdaten in Verdacht.

    Oder mangelnden Speicher, da die Rohdaten immer umfangreicher werden.

    Leider habe ich keine alten pbf 's.

    Da die doch sehr groß sind habe ich die alten immer zeitnah gelöscht.


    Wenn du noch alte pbf 's hast, Versuch es doch damit nochmals.

    GuSy

  • Update heute :

    Ubuntu mit Swap-Partition neu installiert, alle Updates gemacht. 2 zusätzliche JVM-machines installiert .

    -Ergebniss : mit jdk 11 : nach dem start von mkgmap stürzt Ubuntu ab und startet sich neu.

    - mit jdk 21 von Oracle : mkgmap erzeugt ca. 41 Kacheln und das terminal beendet sich. Ubuntu stürzt aber nicht ab.

    - mit jdk 22 von Oracle : mkgmap erzeugt ca. 70 Kacheln und das terminal beendet sich. Ubuntu stürzt aber nicht ab.


    Welche JVM sollte denn installiert sein ?


    Neben bei hatte ich auf einem Uraltrechner mit AMD 4 Kern und W10 , 8GB RAM das ganze parallel gestartet. Der hat nach 18 Stunden Laufzeit immerhin 636 Kacheln erzeugt und arbeitet weiter... Mal schauen, ob der das zu Ende bringt. Dann liegt es wohl an der Hardware.....

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...
  • ...

    Unter W10 abeitet mkgmap ziemlich genau 20 min und dann ist einfach Schluß (bei >600 Kacheln). Da muss irgendwo in W10 ein Zeitschalter sein. ...

    Eine Frage: Hast du da unter Windows eventuell einen Bildschirmschoner installiert?

    Ist bei mir so seit zwei- drei Updates, da unterbricht der Bildschirmschoner jetzt auch die Musikausgabe, wenn er anspringt. Könnte es auch so was sein?

    Grüße... Ali

  • Ich hab mir mal ein "gut abgehangenes" Planetfile herunter geladen und will sehen ob es damit klappt:

    https://planet.osm.org/pbf/planet-231002.osm.pbf

    splitter-r654

    mkgmap-r4919


    gusy@linux:~> java -version

    openjdk version "11.0.21" 2023-10-17

    OpenJDK Runtime Environment (build 11.0.21+0-suse-150000.3.107.1-x8664)

    OpenJDK 64-Bit Server VM (build 11.0.21+0-suse-150000.3.107.1-x8664, mixed mode)



    Betriebssystem: openSUSE Leap 15.4

    KDE-Plasma-Version: 5.24.4

    KDE-Frameworks-Version: 5.90.0

    Qt-Version: 5.15.2

    Kernel-Version: 5.14.21-150400.24.100-default (64-bit)

    Grafik-Plattform: X11

    Prozessoren: 8 × Intel® Core™ i7-8550U CPU @ 1.80GHz

    Speicher: 15,5 GiB Arbeitsspeicher

    Grafikprozessor: Mesa DRI Intel® UHD Graphics 620


    PS: Ich habe (bisher) nur Probleme bei großen Ausschnitten.

    Mit kleinen Karten (D et.al.) habe ich bisher noch keine Probleme gehabt.

    Daher mein Verdacht auf den Speicher.

    GuSy

  • Ja, die RAM -Größe ist ein Problem beim erzeugen der _mdr.img. Das ist in der Regel die größte Datei des Mapsets und braucht beim erzeugen den meisten RAM weil da alle img nochmal gelesen werden und Daten daraus in die _mdr.img geschrieben wird, eine Art 'Datenbank'. Falls du testweise in den args die Option -index rausnimmst, sollte der RAM keine Rolle spielen, weil ja die Kacheln selbst kleiner sind und nacheinader abgearbeitet werden. Selbstverständlich fehlt solchen Karte dann der globale Suchindex. Testweise kann man es ja machen.

    Ich habe jetzt Hinweise bekommen von Spezies, die vermuten Hardwarefehler. Jetzt teste ich mal den RAM und die CPU, das dauert Stunden....Aber ich muss wissen, woran es liegt. Schlimmstenfalls ist ein neues Motherboard fällig...


    Bildschirmschoner ist nicht aktiv.


    mkossmann : Unter Ubuntu stürzt mkgmap ab nach ca. 40 Kacheln. Das ist in etwa dann, wenn der 32 GB RAM voll ist. Wie kann man kontrolieren, ob die SWAP-Partition eingehängt ist ?

    morgen1

  • Datenschutz ist uns & Euch wichtig, daher verzichten wir auf Bannerwerbung & Web-Analysetools! Um das Forum zu unterstützen bitten wir Euch über diesen Link: bei Amazon zu bestellen....
    Für Euch ist das nur ein Klick, uns hilft es das Forum langfristig und werbefrei für Euch zu betreiben! Vielen vielen Dank...