Generierung von Beschneidungsscripten für Batchverarbeitung in GM

ray · 25. September 2009

Für die ital. Westalpen sind die alten russ. Topo-Karten noch mit das Beste sind was man aktuell findet.
Nur haben diese einzelnen Kartenblätter einen wunderschönen Rahmen der beim Zusammenfügen in GM zu einer großen Map störrt.

Da mir das manuelle Beschneiden doch zu zeitaufwendig war habe ich ein kleines Perl-Script geschrieben um das ganze zu automatisieren.
Dieses Script erzeugt einen Batchscript, welches dann von GM über "Run Script..." ausgeführt werden kann.

Ladet euch einfach das Script genCropGMBatch.pl runter.
Aktuell ist die Version 0.4.0, hier ist immer die aktuelle Version zu finden!

Achja, Perl muss auf den Rechner installiert sein, was ja ausser für Windows Standard ist

Da ich nur die russ. Topo Maps habe, die beschnitten werden müssen, konnte ich es nur damit testen.

Zum Testen kann man sich z.B. die russ. Topo 100k Maps von der Provence runterladen:
http://en.poehali.org/maps/7.75/43.83
4 Maps reichen, am besten in quadratischer Anordnung
Am Besten mit IE, Firefox geht leider nicht so gut.
und die .map-Files nicht vergessen!

hier der einfachste Aufruf:

Code

genCropGMBatch.pl -o alpsAE100k -p geoWGS84 100k*.map

das geoWGS84.prj liegt im Zip-Archieve bei.
Projektionsfiles können aber jederzeit mit GM erzeugt werden.
Falls die Projektion nicht geändert werden soll, einfach kein -p setzen.

Das Script erzeugt ein alpsAE100k.ecw und benutzt das AUTO-Crop von GM
Die Map wird dabei auf Lat/Lon und Datum WGS84 reprojeziert.
Bei den russ. Topos funktioniert das Auto-Crop von GM sehr gut!

Und noch paar andere Bspe.:

Code

genCropGMBatch.pl -o alpsGT100k -p geoWGS84 -f gotiff{rus100k.pal} -m map 100k*.map

Benutzt die Palette rus100k.pal (Bsp.-Paltte liegt bei, kann man mit Irfanview erzeugen, falls keine Palette angegeben wird, braucht GM eine ganze Weile mehr)
Das Script erzeugt ein GEOTIFF mit Namen alpsGT100k.tif und benutzt die Eckpunkte aus den .map-Files
Das sollte man verwenden wenn Kalibrierungspunkte vorliegen die auf den Ecken der map liegen. Weitere Kalibrierungspunkte stören nicht.

Code

genCropGMBatch.pl -o alpsPJ100k -d  provence -p geoWGS84 -f jpeg -m pixels=71,87,86,70 -b 200 -c 0.1 100k*.map

Beschneidet 71 pixels links, 87 unten, 86 rechts und 70 obenund erzeugt ein JPEG mit Namen provence.jpg und das zugehörige Worldfile.
Das Batchscript heisst alpsPJ100k.gms
Man sieht gut das es an den Kartengrenzen nicht ganz passen, da hätte die Pixelbeschneidung noch optimieren müsen.

Am besten probiert man das Pixelbeschneiden mit GM aus um die besten Werte zu finden.
Gleichzeit wird die Map aufgehellt (Brightness 200, 256 wäre keine Veränderung, 0(weiss)-512(schwarz) sind zulässig) und der Kontrast verstärkt (-c 0.1 Standard ist 2.0, zulässig ist 0.1 bis 4.0).
Mit den Parameter sollte man vorher in GM gespielt haben.

Ruft einfach mal das Scrip mit

Code

genCropGMBatch.pl -h

auf, dann seht ihr die möglichen parameter und zulässigen werte.

Das erzeugte Batchscript sollte man sich auch anschauen.
Es ist ein reines Textfile und kann dann von euch noch angepasst werden.

Über Anregungen, Verbesserungsvorschläge, Fehlermeldungen und Tests mit anderen Karten würde ich mich freuen.

Ray

History:

Version 0.6.1, 27.01.2010
disable TILE_SIZE=256 for GEOTIFF
disable switch GRID_KEEP_CELL_SIZE on
Version 0.6.0, 18.01.2010
new format JPEG2000,
set Target_compression=5 for ECW and JPEG2000
set TILE_SIZE=256 for GEOTIFF
export .prj-File and switch GRID_KEEP_CELL_SIZE on
Version 0.5.0, 11.01.2010
support of canadian CanMatrix, rename crop method geo to 'map'
Version 0.4.1, 25.11.2009
bugfix on option -d
Version 0.4.0, 08.10.2009
new crop method -m none and option -s
Version 0.3.1, 25.09.2009
first public version

ray · 8. Oktober 2009

Hier eine Version:
Die 0.4.0er Version enthält 2 Neuerungen:

Die Option -s:
Diese exportiert jede Map separat, sprich man beschneidet jede Map und exportiert diese einzeln.
Man kann dabei mit -d <prefix> einen Namen vor den Kartennamen hängen.
Einen Prefix sollte man auf jeden Fall verwenden, wenn das Exportformat identisch ist mit den Importformat!

Code

genCropGMBatch.pl -o 100kNS [B]-d 100kNS[/B] -m map -p geoWGS84 -f png{rus100k.pal} [B]-s[/B]  100k*.map

Man erhält damit einen Satz beschnittener Maps.

Bei den Beschneidungsmethoden, kann man jetzt sagen das man nicht Beschneiden will.
Das macht Sinn, wenn man bereits korrekt beschnittene Maps hat und jetzt diese zur einer Map zusammenfügen will.
In diesen Fall sagt man einfach -m none

Code

genCropGMBatch.pl -o 100kN -b 200 [B]-m none[/B] -p geoWGS84 -f ecw  [B]100kNS[/B]*.png

Bei diesen Bsp. verwende ich die Maps die mit den ersten Script beschnitten wurden. Die ganze Map wird dabei mit -b 200 etwas aufgehellt.

Somit kann man den ganzen Prozess auf 2 Schritte aufteilen.
Das hat den Vorteil, falls einige Maps nicht korrekt beschnitten wurden, das man dies manuell korrigieren kann.

-f png{rus100k.pal}
Man beachte das ich die runden Klammern durch geschweifte ersetzt habe!

Ray

Sardinien · 9. November 2009

Hallo,
der Globalmapper hat einen integrierten Batchkonvertierer. Um manche Karten rechtwinklig zu beschneiden, müssen diese in LatLong oder Mercator reprojeziert werden, damit die Karten rechtwinklig dargestellt werden.

Manuell ist das kein Problem. Mit dem Batchkonvertierer werden die Karten wohl reprojeziert, aber nicht rechtwinklig "gerichtet".

Kann dies jemand bestätigen oder stelle ich etwas falsch ein.

ray · 10. November 2009

Hallo Gerd,

Ist die Map mit der original Projektion nicht rechwinklig?

Wenn ich die GM-Script-Befehle richtig verstanden habe, wird
per Batch bereits beim Import beschnitten, erst dann kann reprojeziert (z.B. für einen Export) werden.

Evt. muss du erst in einen ersten Batch reprojezieren und dann in einen zweiten Durchlauf beschneiden.

Oder habe ich dein Problem nicht verstanden?

Ray

Sardinien · 10. November 2009

Zitat von ray

Oder habe ich dein Problem nicht verstanden?
Ray

Hallo Ray,
die Karte liegt in WGS 84 TransverseMercator rechtwinklig mit teilweise Rändern vor, die ein blattschnittfreies Zusammenfügen nicht ermöglichen. Erst ein reprojezieren auf Mercator ermöglicht ein Beschneiden für das blattschnittfrei zusammensetzen. Dieser Vorgang wird wohl im Batchmodus des GM angeboten, jedoch nach meiner Meinung nicht richtig durchgeführt. Das richtige Ergebnis erziele ich nur manuell.

Sardinien · 16. November 2009

Ray,

dein Script ist Spitze und ersetzt das manuelle Beschneiden und vieles Andere mehr.

Ein wirklich starkes Tool.

ray · 26. November 2009

Version 0.4.1:
kleiner Bugfix in der online-Hilfe, da waren 2 kleine Fehler in der beschreibung drin.
Auch die Option -d war fehlerhaft, das ist jetzt auch korrigiert.

Ray

ray · 26. November 2009

Beim Beschneiden von nicht rechtwinkligen Maps muss man folgendes beachten:

Beim Export muss die Map so reprojeziert werden das diese rechtwinklig wird.
Das sollte man vorher in GM manuell klären.

Ray

Ben Rettig · 30. Dezember 2009

Hallo Ray,
Dein Tool klingt für mich sehr interessant, da ich sehr viel mit den russischen Millitärkarten arbeite. Durch die Möglichkeit, diese jetzt auch auf dem Oregon zu verwenden um so mehr. Die Ränder sind dabei allerdings jetzt wirklich störend (was auf dem PC bisher keine Rolle spielte). Folgende Fragen tun sich mir auf, bevor ich loslege:
- Bleibt die ozi oder ttqv-Kalibrierung nach dem Beschneiden erhalten?
- Wozu benötige ich Perl (bin auch kein Fan von Linux...)
- Geht es auch mit maps anderer Masstäbe <z.B. 50000) und/oder was muss man dann beachten?
Die Karten sind bei mir mit Mapdatum Pulkova 1942 kalibriert.
Gruss Ben

ray · 30. Dezember 2009

Hi Ben,

als erstes brauchst du GlobalMapper
Ansonsten kannst du hier aufhören.

Denn GlobalMapper macht das Beschneiden, mein Script steuert nur GlobalMapper.
man könnte also alles auch zu Fuss machen....
Wäre halt eine riesen Fleissarbeit.

Mein Script ist in Perl geschrieben.
Perl ist unter Unix standardmässig installiert, unter Windows nimmt man ActivePerl. (kostenfrei).

Das MapDatum muss nicht geändert werden, man kann es aber genauso wie die Projektion ändern.

Die Ozi- oder Kalibrierung hast du dann so nicht mehr direkt.
Aber der Import in TTQV (wohl auch in Ozi) ist ohne Probleme möglich.
GEOTIFF wäre z.B. ideal.

wenn du mir eine Bsp.-Karte schickst, kann ich es testen ob es geht.

ich würde die kart nach den Beschneiden zur einer großen karten zusammenfügen (kann man gleich mit erledigen lassen).
Das macht dann in TTQV mehr Spass als viele kleine Karten.

Für deinen Oregon macht es aber Sinn die Karten passend gekachelt als KMZ aus GlobalMapper zu exportieren.
Wie das geht, kann Sardinien erklären.
Ich vermute mal spätestens dann musst du das MapDatum und die Projektion ändern lassen. oder unterstützt hier KMZ und der Oregon auch anderes als WGS84 und Mercartor?

Ray

Sardinien · 31. Dezember 2009

Ben,
mit Ray's Tool habe ich kürzlich die Ukraine 100 K und 50 K automatisch beschnitten. Dazu wandelt das Script von Pulkova 42,nach WGS 84 Lat/Long zum Beschneiden. Aus den beschnittenen png`s erstellte ich eine mercator geotiff. Dieses Format ist zur Weiterverwendung in TTQV>RMAP für TwoNav und GM>kml bestens geeignet. Wenns z.B. 200 Kacheln 1024x1024 in einer kml enthalten sind, werden diese in GE eingelesen und die Kacheln für die KMZ ausgewählt. So kann die rechtwinklige Auswahl für die 99 gehenden Kacheln modifiziert werden.

Das Script ist sehr beweglich. Die oben angeführten Formate sind änderbar.

Wie immer, eine klasse Arbeit von Ray.

Ben Rettig · 31. Dezember 2009

Hallo!
in meiner mobilen Internetverbindung ist heute leider der Silvester-Wurm drin - kann Perl nicht herunterladen. Vermutlich muss das Ausprobieren also warten, bis ich mich wieder in heimischen DSL-Gefilden befinde.
Inzwischen kann ich die Karten ja schon mal auf Rechtwinkligkeit überprüfen..

Zitat von ray

Hi Ben,
ich würde die karten nach den Beschneiden zur einer großen karte zusammenfügen (kann man gleich mit erledigen lassen).
Das macht dann in TTQV mehr Spass als viele kleine Karten.
Ray

Das würde ich gern tun und nehme an, dass die aus Global Mapper heraus möglich ist. Du schriebst, dass GeoTiff ein günstiges Format für TTQV-Import ist. Orginal liegen die meisten Karten als *.GIF vor. Für den Oregon brauche ich jpg-Kacheln in der KMZ-Datei. Dann habe ich u.U. die Karten in 3 verschiedenen Formaten auf dem Rechner...

Vermutlich tauchen demnächst noch ein paar Fragen zur Anwendung auf. Dann werde ich mich bei Euch melden. Erst mal guten Rutsch ins Neue Jahr!
Gruss Ben

Sardinien · 1. Januar 2010

Zitat von Ben Rettig

Du schriebst, dass GeoTiff ein günstiges Format für TTQV-Import ist. Orginal liegen die meisten Karten als *.GIF vor. Für den Oregon brauche ich jpg-Kacheln in der KMZ-Datei. Dann habe ich u.U. die Karten in 3 verschiedenen Formaten auf dem Rechner..

Hallo Ben,
nach dem zusammenfügen der Einzelkacheln zu einer Großkarte sind bei mir noch eine, max. 2 Karten vorhanden, ecw für Satkarten und zusammenhängende Großkarten mit über 4 - 20 GB -handling-, geotiff für Kacheln unter 4 GB, die durchaus von zuvor aus tausenden Einzelkacheln, eingelesen im Globalmapper und anschließend automatisch mit "Gridding" ausgegeben, erzeugt sind.

Die rudimentäre Raster-KMZ Erzeugung eignet sich nicht wirklich für Archivierungszwecke. Der aufgezeigte Weg ist für die verlustfreie Weiterverarbeitung wichtig und dazu ist Geotiff für 8 Bit Karten maximal.
Mit GM sind die Karten-KML in Windeseile erzeugt. Wird eh nur eine Übergangslösung bleiben. JPEG ist kein Format für 8 Bitkarten. Wer feststellt, dass Rastermaps eine andere Orientierungsmöglichkeit auf dem GPS Geräten bietet, wird eh zur Zeit Garmin untreu. Sat-Karten archiviere ich in ecw mit einer max. Kompression von 1:5.

8 Bitkarten
Für das reprojezieren von Großkarten, Hintergrund ist die Minimierung von Rechnerlaufzeiten, eine weitere Möglichkeit:
viele Einzelkacheln in einer exotischen Projektion>ecw in WGS 84/Mercator ohne Kompression>geotiff nicht über 3-4 GB, die mit TTQV-PU zu einer gut händelbaren Kacheltiff gewandelt werden -Handling + Dateigrößenreduzierung-. Die mit TTQV erzeugte Kacheltiff liest der GM ebenfalls ein und stellt für mich zur Zeit das Format mit dem besten Handling/Datenverlust/Weiterverarbeitunspotential dar.

Sind nur Vorschläge, die auf Grund von Tests für mich maximale Ergebnisse brachten.

Beispiel: 13 GB in 5 blattsschnittfreien RMAP Kacheln 25 K für D in Spitzenqualität. Ausgangsmaterial GM/TTQV Kacheltiff.

Ben Rettig · 1. Januar 2010

Zitat von Sardinien

Hallo Ben,
nach dem zusammenfügen der Einzelkacheln zu einer Großkarte sind bei mir noch eine, max. 2 Karten vorhanden, ecw für Satkarten und zusammenhängende Großkarten mit über 4 - 20 GB -handling-, geotiff für Kacheln unter 4 GB, die durchaus von zuvor aus tausenden Einzelkacheln, eingelesen im Globalmapper und anschließend automatisch mit "Gridding" ausgegeben, erzeugt sind.

Hallo Sardinien,
Ich habe schon mehrfach gelesen, dass jpg und Tiff nicht optimal für die Verwendung in TTQV sind. Wo ist aber die Grenze bei TTQV für Großkarten erreicht? 3-4 GB? Im Übrigen hoffe ich bei der Nachfolgeversion TTQV5 auf einen komfortabelen Kartenexport in die Garmin Geräte. Allerdings hoffe ich auch auf eine Verbesserung/Erweiterung der Garmin-Firmware, dass die 100-Kachel Begrenzung und jpg-Muss-Format in der kmz aufhebt. Du schriebst ja bereits:

Zitat von Sardinien

JPEG ist kein Format für 8 Bitkarten. Wer feststellt, dass Rastermaps eine andere Orientierungsmöglichkeit auf dem GPS Geräten bietet, wird eh zur Zeit Garmin untreu.

Meine Garmin-Geräten werde ich deswegen trotzdem nicht untreu, da es robuste Outdoor-Geräte sind, es nach wie vor eine relativ gute weltweite Vektor-Kartenabdeckung gibt (durch OSM auch bestens erweitert) und Gebiete ohne Vektorkarten jetzt die - zugegeben ausbaufähige - Rasterkartenlösung implementiert wurde. Sicherlich wäre eine Lösung wie auf dem Aventura hier anzustreben....

Um beim Thema zu bleiben, ich danke Dir für Deine Hinweise und werde erst einmal anfangen, meine vielen einzelnen Rasterkarten auf Deine vorgeschlagene Weise zu archivieren. Ich hatte vorher bereits einmal begonnen, die Rahmen der Russ. Millitärkarten händisch zu beschneiden, mit StichMaps zusammenzufügen und danach neu zu kalibrieren, aber irgendwann entnervt aufgegeben . Durch die Rasterkarten-Funktion des Oregon bin ich jedoch wieder reanimiert worden und bin dankbar für jedes Tool und jeden Hinweis, das die Arbeit hierbei erleichtert.

Gruß Ben

Sardinien · 1. Januar 2010

Zitat von Ben Rettig

Hallo Sardinien,
Ich habe schon mehrfach gelesen, dass jpg und Tiff nicht optimal für die Verwendung in TTQV sind. Wo ist aber die Grenze bei TTQV für Großkarten erreicht? 3-4 GB? Gruß Ben

Hallo Ben,
jpeg ist kein Format für Großkarten. Geotiff sehr wohl in der gekachelten Version (nur mit TTQV PU). Nicht gekachelt ist das Handling bei Großkarten eingeschränkt. ECW ist halt etwas verlustbehaftet. Solltest du keine TTQV-PU Version haben für die Kacheltiffs, verwende ecw mit einer kleinen Kompression für große Karten in TTTQV via GM. FÜR ecw ist WGS 84/UTM und WGS 84/Mercator recht gut. Die KML-jpegs (im KMZ Container) sind nichts anderes als eine gekachelte Anzeige von jpegs.

Eine Kacheltiff könnte in TTQV über 10 GB groß sein. ECW sind mit 25 GB ebenfalls leicht händelbar. Ich möchte dir gar nicht das Garmin madig machen. Nur wenn du sehen würdest, wie der Aventura mit einer 13 GB Karte (komplett D), aufgeteilt durch Fat 32 in 3-4 GB große Tiles im RMAP Format umgeht zusammen mit einer Vektor, würdest du meine Formatkritik verstehen.

Habe dir eine PN gesandt für eine kleine Anleitung für das Beschneidungsscript.

Ich selbst verwende das Skript zur Zeit für Italien. Hätte nie gedacht, dass es so viele erstklassige, neue Rastermaps von Italien gibt mit eingezeichnet Wanderwegen in sehr guter Qualität.

Sardinien · 8. Januar 2010

Zitat von ray

???
laeuft es denn schon damit?
Die Kartengrenzen stehen in XML-Files. Diese Files kann das Script noch nicht lesen. Oder macht du einfach ein Pixel-Crop?
Da hier OT lass uns im GM-Subforum ueber das Beschneiden der Canmatrix-Maps reden.Ray

Hallo Ray,
ich beginne erst mit dem download. Nach Beendigung des downloads hätte ich bei dir angefragt, ob du ein Skript zum Auslesen der xml erstellen kannst.

ray · 8. Januar 2010

Ich schau mal wenn ich Zeit habe.
Für den Download wirst du einige Zeit brauchen.
Bei Kanada fällt einiges an Daten an.
1 oder doch eher 2 TB?

Ray

nordlicht · 9. Januar 2010

Zitat von ray

1 oder doch eher 2 TB?

Hallo Ray,

Abschätzung für 50k:

Die Canmatrix 50k ist mit 300dpi gescannt, macht 4,23 m/pixel. Das ergibt mit den knappen 10 Mio km² Landfläche Kanadas etwa 550 Terapixel, bei 8 bit Farbtiefe also eine Rohdatenmenge von 550 Terabyte. Die Daten liegen zip-komprimiert auf den Servern, bei einem angenommenen mittleren Kompressionsfaktor von 10 für dieses Material bleiben dann immer noch grob 55 Terabyte übrig.

Für die Canmatrix 250k/300dpi würden sich nach dieser Abschätzung etwa 2,3 Terabyte ergeben.

ray · 9. Januar 2010

2.3 TB sind schon sehr viel.
Aber das lässt sich mit Geld lösen, Gerd spart dann ja Heizkosten

Die CanMatrix sind Geotiff in UTM.
Die Cantopo sind dagegen reine TIFFs, somit unbrauchbar.
Gerd, stattdessen nimm die GEOPDF-Version, GM kann das lesen.

Bei der Größe von Kanada, halte ich UTM für nicht brauchbar.
Nimmst du Mercator?

Bei der Canmatrix sind die Infos für einen Crop in den XML-Files zu finden:

Code

<bounding>
    <westbc>-64</westbc>
    <eastbc>-62</eastbc>
    <northbc>45</northbc>
    <southbc>44</southbc>
   </bounding>

Da hier geodetische Koordinaten angeben sind, aber die Map selbst in UTM sollte kein Problem sein.
Ich benutze bereits
CLIP_COLLAR=LAT_LON
Ein Crop im Nativen Koordinatensytem, ist ber auch möglich.

Neben den Kartengrenzen muss ich den jeweiligen Filename ermitteln, das war den .map-Files klarer.

Bei den 50k Canmtrix:
011d12_2_0.tif
canmatrix_011d12_2_0_fgdc_en.xml oder ..._fr.xml
und 250k:
011d_1_1.tif
canmatrix_011d_1_1_fgdc_en.xml

das sieht beides gut aus.
=> canmatrix_{mapname}_fgdc_en.xml

Aber...
...bei den Cantopo als GEOPDF:
011e03_0500_geo.pdf
cantopo_011e03_5_0_fgdc_en.xml
Warum hier ein _ statt einer 0 steht....

Gerd, versuche mal die Einstellung Auto als Cropmethode (-m auto), evt. klappt das schon.

Ray

Sardinien · 10. Januar 2010

Hallo Ray,
danke schon mal für deinen Einsatz. Gerade läuft die Konvertierung geopdf zu geotiff/mercator mit GM 32- GM64 mag keine geopdf's. Leider wird die Karte nicht komplett zum download bereitstehen. Ganz Canada hätte in dieser Güte ca. 70 GB (Vektrokarten zum Vergleich):
[Blockierte Grafik: http://up.picr.de/3566182.png]
[Blockierte Grafik: http://s1.up.picr.de/3566183.jpg]
[Blockierte Grafik: http://s2.up.picr.de/3566184.png]

Generierung von Beschneidungsscripten für Batchverarbeitung in GM

Garmin fenix 7X und epix Gen 2 im Test

Datentransfer unter Linux zwischen QMapShack und eTrex

der ersteSchneefall

GPS Logger mit aktuellem Chipsatz, Alternative zu meinem Wintec202

Live Track mit GPS 67

Garmin GPS 64 s zu verkaufen

Oziexploerer .ozf4 Datei nach .ozfx3 konvertieren

Stava Heatmap

jnx Dateien verpixelt und nur 220kb groß

Koordinaten

GM .kmz und .jnx Export-Frage

Teilen

Tags

Benutzer online in diesem Thema