HOWTO: Osm->mp->mpv(f)

Osm->mp->vmp(f)

Da die Infos im anderen Thread stark verteilt sind, habe ich sie nochmals zusammengefasst.
(Auch soll dies als Vorlage fyr die Wiki dienen)

Um OSM-Daten auf den Aventura einsetzen gibt es neben der Möglichkeit als Tiles-RMAPs auch die Möglichkeit diese über den Umweg MP als Vektorkarte zu verwenden.

1) OSM-Daten holen.

2) OSM nach MP konvertieren
2.a) OSM themenspezifisch mit osm2mp.pl nach MP konvertieren
2.b) MPs aufbereiten (splitten, mergen, Typen transformieren, Levels anpassen, ...)

3) Verarbeitung in CompeGPS Land
3.a) MP importieren
3.b) WICHTIG: Zoom-Levels löschen, ausser Level 0!,
3.c) optional Anpassung für Routing vornehmen
3.d) Export als MPV
3.e) optional Layer-Attribute setzen, dies ist aber auch über das CLAY möglich siehe 4)
3.f) Export als MPVF
3.g) Export des CLAYs der MPVF-Map

4) CLAY anpassen (Linientyp, Farbe, Zoomverhalten, Routingverhalten, ...)
4.a) optional lesbare Form von Clay erzeugen -> clay.cfg
4.b) optional clay.cfg anpassen
4.c) CLAY modifizieren (unter Verwendung einer.clay.cfg)

Hierzu braucht man folgende Tools:
Perl (https://www.activestate.com/activeperl/downloads/ für Windows, auf allen anderen Betriebssystemen ist es standardmässig installiert).

Für 1) und 2a):
http://wiki.openstreetmap.org/wiki/RU:Osm2mp
Ich habe dieses Tool unter Mac OS X und Windows getestet.
tv-arnd unter Linux.
osm3mp.pl und osmget.pl kann mit

svn co http://osm2mp.googlecode.com/svn/trunk/ osm2mp

heruntergeladen werden.
Wer kein Subversion hat muss sich die Files einzeln holen.
Unter Windows kann dann mit den Perl Package Manager (siehe Abschnitt zu Active Perl unter http://wiki.openstreetmap.org/wiki/RU:Osm2mp) die fehlenden Libs installiert werden.
Bei Linux folgt man der Doku der OSM2MP-Wiki.
Für Mac OS X, bitte mich direkt ansprechen.

Für 2b):
PTextReorg.pl

Für 3):
CompeGPS Land (registriert) oder zumindest das Vektormodul

Für 4):
clayExtractor.pl und clayModifierer.pl

Jetzt im Detail zu den einzelnen Punkten:
1) entweder bei http://download.geofabrik.de/osm/ das gesuchte Länder-OSM runterladen.
Oder mit http://wiki.openstreetmap.org/wiki/RU:Osm2mp"]osmget.pl[/URL] einen Bereich gezielt herunterladen.

2a) Mit osm2mp.pl kann man OSM-Daten auf MP abbilden.
Dieser Prozess ist konfigurierbar.
Ich habe 3 verschiedene Konfigurationen erstellt:
poi.cfg und poly.cfg für die normale Abbildung von Wegen und sonstigen Objekten.
Dann eine spezielle Konfiguration (mtbpoly.cfg) und mtb:scale-getagte Wege und sac_scale-getagte (sapoly.cfg) auf separate MPs abzubilden.
Es entstehen also 3 MPs (mit Topo-, MTB- und SAC-Daten).
Diese angepassten oder speziellen cfg's liegen PTextReorg.pl bei.

Beispiel:
Für allgemeine Daten:

osm2mp.pl --nocodepage canary_islands.osm > canary_topo.mp

Um mtb:scale Daten zu extrahieren:

osm2mp.pl --nocodepage --cfgpoi nopoi.cfg --cfgpoly mtbpoly.cfg canary_islands.osm > canary_mtb.mp

Um sac_scale Daten zu extrahieren:

osm2mp.pl --nocodepage --cfgpoi nopoi.cfg --cfgpoly sacpoly.cfg canary_islands.osm > canary_sac.mp

Um Routen (Relationen in OSM) zu extrahieren:

osm2mp.pl --nocodepage --cfgpoi nopoi.cfg --cfgpoly routepoly.cfg canary_islands.osm > canary_routes.mp

2b) Mit PTextReorg.pl kann das MP-File für den Import in CompeGPS Land vorbereitet werden.

Damit kann man MPs verschmelzen und/oder splitten (einzeln nach Objekttyp oder in Gruppen von Objekttypen (z.b. nur Strassen)).
Dabei kann man MP-ObjektTypen verbiegen und u.a. alle Levels auf 0 setzen (ist für Compe notwendig). Auch lässt sich die Reihenfolge der Objekttypen
im MP gezielt ändern.
Das ist sinnvoll, wenn man die Drawpriority anpassen will, dann muss man dies nicht manuell in Land machen.
Das nutze ich um erst die MTB:Scale zeichnen zu lassen und die Wege.
Das Verhalten von PTextReorg.pl wird komplett durch die Konfiguration gesteuert. Ein Batchfile (Drag and Drop) für Windows liegt bei.
Damit lassen sich alle MPs (also auch nicht aus OSM-Daten stammenden MPs) anpassen.
PTextReorg.pl wird über das File maging.def gesteuert.
Siehe Formatbeschreibung am Anfang dieses Files.

PTextReorg.pl -D Canary -i utf8 -o cp1252 canary_*.mp

Mit dieser Anweisung lese ich die MPs im UTF8-Encoding und exportiere im Windows-Encoding CP1252.
Alle obigen 3 MPs werden gemeinsam verarbeitet.

3) Verarbeitung in CompeGPS Land:
3a) mit CompeGPS Land MP importieren
d.h. für unser Bsp. Canary_OSM.mp laden
3.b) WICHTIG: Zoom-Levels löschen, ausser Level 0!,
3.d) Export als MPV
3.f) Export als MPVF
3.g) Export des CLAYs der MPVF-Map

4) CLAY anpassen
4a) clay.cfg erzeugen

clayExtrator.pl Canary_OSM.clay

erzeugt das File Canary_OSM.clay
4b) Das File Canary_OSM.clay im Texteditor an eigene Wünsche anpassen.
Einige Sachen sollte man dann auch in clayExcrator.cfg einpflegen.
Wie z.B. Icon Namen, Farben, ...
4c) Clay modifizieren:

clayModifierer.pl Canary_OSM.clay

Ziel ist es aber langfristig ein OSM.clay.cfg zu erhalten und damit alle CLAYs automatisch anzupassen, sprich das 4b) und 4b) überflüssig werden.

clayModifierer.pl -c OSm.clay.cfg Canary_OSM.clay

Ergebnis ist ein MPVF welches normale Topo-Infos enthält und gleichzeitig SAC und MTB-Wegeklassifizierungen.

Sinnig ist es dabei 3 verschiedene CLAYs zu erzeugen, um eine Topo, MTB und SAC-Darstellung zu haben.

Baustellen sind die ganzen Konfigurationen, da steckt noch Arbeit drin.
Suchen nach VMPF-POIs ist eine komplett offene Baustelle.
Routing ist grundsätzlich denkbar.

Ich werde den Text so in die Wiki einpflegen.
Mit euerer Hilfe sollte der Text natürlich ergäntzt werden.

Bei Fragen, Anregungen einfach hier posten.

Ray

Hier werde ich Infos zu osm2mp sammeln.

Wichtig:
Das von osm2mp.pl erzeugte MP-File kann von CompeGPS Land nicht fehlerfrei gelesen werden.
Erstes Problem ist, das Objekte nicht nur in Level 0 geschrieben werden.
Das wird durch PTextReorg.pl korrigiert. Man könnte dies aber auch durch Anpassen von pol.cfg lösen.
Schlimmer ist das zwischen Koordinatenpaaren ein Leerzeichen geschrieben wird. Damit hat Land massiv Probleme.
Wer schuld ist schwer zu sagen, in der Doku von cGPSmapper wird es ohne Leerzeichen geschrieben, aber cGPSmapper hat keine Probleme mit den Leerzeichen.

Aus

Data1=(47.4132695,12.2167294), (47.4160102,12.2292065), (47.4192079,12.2443824)

mache ich mit PTextReorg:

Data0=(47.4132695,12.2167294),(47.4160102,12.2292065),(47.4192079,12.2443824)

Bitte osm2mp.pl immer mit --nocodepage aufrufen, damit das Unicode von OSM erhalten bleibt.

osm2mp.pl  --nocodepage austria.osm > austria.mp

Das reicht wenn man keine Besoderheiten aus OSM rausziehen möchte!

Um klassifizierte Wege (sac_scale für Wandern, mtb:scale für MTB ) zu extrahieren macht man folgendes:

Für Wandern:

osm2mp.pl  --nocodepage --cfgpoi nopoi.cfg --cfgpoly sacpoly.cfg austria.osm > austria_sac.mp

Für MTB:

osm2mp.pl  --nocodepage --cfgpoi nopoi.cfg --cfgpoly mtbpoly.cfg austria.osm > austria_mtb.mp

Für Routen (Wander Routen und Fernwanderrad-Routen), diese werden in OSM als Relationen bezeichnet:

osm2mp.pl  --nocodepage --cfgpoi nopoi.cfg --cfgpoly routepoly.cfg austria.osm > austria_route.mp

Für Ski:
Ski Wege (Alpin, Nordic und Skitouren):

osm2mp.pl  --nocodepage --cfgpoi nopoi.cfg --cfgpoly ski.cfg austria.osm > austria_ski.mp

Ski Schwierigkeitsgrade:

osm2mp.pl  --nocodepage --cfgpoi nopoi.cfg --cfgpoly piste.cfg austria.osm > austria_piste.mp

Ray

Hier werde ich Infos zu PTextReorg sammeln.

Standard-Aufruf:

PTextReorg.pl  hessen_*.mp

Da werden die Dateien
hessen_OSM.mp, hessen_others.mp, hessen_Custom.mp und hessen_Marina.mp erzeugt.

Damit sich keine Verwechlung mit den Ursprungsdateien ergibt, empfehle ich den Ausgabename der MP-Files zu ändern:

PTextReorg.pl -d Hessen hessen_*.mp

Das erzeugt die Dateien
Hessen_OSM.mp, Hessen_others.mp, Hessen_Custom.mp und Hessen_Marina.mp erzeugt.

WICHTIG: PTextReorg.pl überschreibt keine bestehenden Dateien, sondern hängt die Daten an.
Also wenn man PTextReorg.pl mehrmals hintereinander laufen lässt, umbedingt die vorher erzeugten Dateien löschen.

Bsp.:

PTextReorg.pl -D Austria austria_*.mp

Da werden die Dateien
Austria_OSM.mp, Austria_others.mp, Austria_Custom.mp und Austria_Marina.mp erzeugt.

Falls man PTextReorg.pl danach nochmals laufen lässt, werden die Daten an diese Dateien angehängt.
Also Austria_OSM.mp, Austria_others.mp, Austria_Custom.mp und Austria_Marina.mp umbedingt vor einen neuen Lauf löschen!

Encoding:
Weiter oben schrieb ich schon man sollte osm2mp.pl immer mit --nocodepage aufrufen.
das führt dazu das osm2mp.pl den Text in Unicode von OSM unverändert lässt.
Zur Zeit liest CompeGPSLand MP-Files aber im lokalen Encoding des Windows-Systems.
Für Zentral- und Westeuropa ist das meist CP-1252.
PTextReorg.pl liest daher default-mässig in utf8 und schreibt dann in cp1252-Encoding.
Einige Unicode-Zeichen lassen sich nicht abbilden, das führt zu Fehlermeldungen, damit muss man mit leben oder eine passendes Encoding wählen.
Die Lage wird besser, sobald CompeGPS Land beim Import auf utf8 (Unicode) umgestellt wird.
Wer MP's in einen anderen Encoding hat oder dessen Windows anders eingestellt hat, kann das Encoding fürs Lesen und Schreiben einstellen.

PTextReorg.pl -i cp1251 -o cp1250 bulgaria.mp

Hier wird mit CP1251 gelsen und mit CP1250 geschrieben.
Man darf naþürlich auch nur das Import-(Export-)Encoding setzen.

PTextReorg.pl -i cp1251 bulgaria.mp

In diesen Fall wird mit cp1251 gelesen, für das Export wird das Default-Encoding cp1252 verwendet.
-i setzt das Import-Encoding (dafault ist utf8)
-o setzt das Export-Encoding (dafault ist cp1252)

Falls man das Standard-Maping nicht anpassen oder verwenden will, kann man eine andere Konfiurationsdatei angeben:

PTextReorg.pl -c justMTBMaping.def -d A_MTB austria_*.mp

Konfiguration (maping.def):
Die Datei maping.def sollte man sich anschauen, in den ersten paar Zeilen steht eine Kurzbeschreibung.
Das erkläre ich im Detail später.

####################################################
# configuration file of PTextReorg.pl
####################################################
[SUBSTITUTION]
# use Perl regular expressions for substitutions
# set all Data Levels to Level 0, that's necessary for Import to CompeGPS Land
# for other Software comment this line out
s/Data\d+=/Data0=/
# remove blanks between coordinate data pairs,
# necessary for Import to CompeGPS Land, no harm for others
s/\)\,\s+\(/\),\(/g


####################################################
[SPLIT]
# this types will be separated in single files
# [POLYLINE][POLYGON][POI] define the object typ
#
# <.*> define a group, which will be written to the same files
# A group can include [POLYLINE],[POLYGON] and/or [POI]
# A group shall be closed with a </.*>!
# Types outside of a group will be exported separately
#
# It's also possible to merge a set of Polish Map Files to one file!
#
#########
# 0x12,    Cycleway -> Typ, Name of the Type (Don't miss the comma!)
# 0x5D00-0x5D3F, Daymark,Green Squar -> Range of types, which have the same name
# 0x1901,0x1B01,    Fog Horn -> Type 0x1901 is mapped to 0x1B01
# 0x5D00-0x5D3F,0x5D00,    Daymark,Green Square -> The Types 0x5D00-0x5D3F mapped to 0x5D00

Unter [SUBSTITUTION] im File maping.def können text Substitutionen vorgenommen werden.
Ich verwende dabei die Perl-Syntax.
s/Data\d+=/Data0=/ setzt alle Daten auf Level 0.
s/\)\,\s+\(/\),\(/g entfernt Leerzeichen zwischen Koordinatenpaare.
Beide Substitionen sind für den Import in Land notwendig.

Achja, Kommentare beginnen immer mit einer Raute/Hash (#)
Es gehen nur ganzzeilige Kommentare.

So schreibt man einen einzelnen Typ.
0x12, Cycleway -> Typ, Name of the Type (Don't miss the comma!)

So kann man ganze Bereiche angeben:
0x5D00-0x5D3F, Daymark, Green Square

0x1901,0x1B01, Fog Horn -> Typ 0x1901 wird auf 0x1B01 abgebildet

0x5D00-0x5D3F,0x5D00, Daymark,Green Square -> Die Typen 0x5D00-0x5D3F werden alle auf den Typ 0x5D00 abgebildet

Mit [POI], [POYLINE] und [POLYGON] definiert man die Typ-Art.
Eine Typ-Art wird solange verwendet, bis man explizit auf eine andere andere umschaltet.

[POLYLINE]
<Trail>
0x16,    Trail


[POI]
0x6412,    Trail
</Trail>

Gruppen werden durch <...> und </...> geklammert.
Elemente eine Gruppe werden in ein gleichnamige Datei geschrieben.
Diese Gruppe enthält eine Linien-Typ und einen POI-Typ.

Elemente ausserhalb einer Gruppe werde in ein separates File geschrieben.

Wie man sieht, kann man Typ-Arten jederzeit umschalten. Egal ob in einer Gruppe oder Gruppen übergreifend.
Man sollte nur aufpassen das man nicht den Überblick verliert.
Typen, die einen nicht interessieren sollte man in eine gemeinsame Gruppe packen und dann einfach ignorieren.

Wie man sieht kann man durch entsprechende Anpassung der Maping-Konfiguration MP-Files zusammenführen, thematisch auftrennen und Typen verbiegen um z.B. alle Subtypen von Restaurants auf einen gemeinsamen Typ abzubilden.

Ray

Hier werde ich Infos zu ClayExtractor und ClayModifierer sammeln.

Ich werde heute Abend PTextReorg in einer neunen Version hochladen.
Es hat sich nur die Konfiguration maping.def geändert.

Bei ClayExtractor habe ich die Konfiguration clayExtractor.cfg erweitert.
clayModifierer.pl werde ich erweitern, damit es eine Grund-Konfiguration anzieht, falls man keine angibt oder keine spezifische zu einen Clay existiert.
clayModifierer.clay.cfg (oder wäre basic.clay.cfg besser?) werde dazu packen.
Diese wird eine Konfiguration für "alle" Wegtypen und Schwierigkeitsgrade für SAC, MTB und Ski und (Wander-,Fernwanderrad-)Routen enthalten.

Erklären werden ich das noch im Detail.

Ray

P.s.: Bin fertig mit posten

PTextReorg habe ich in einer neunen Version hochladen.
Es hat sich nur die Konfiguration maping.def geändert.
Die Konfigurationsdateien für osm2mp.pl habe ich in ein Subverzeichnis gepackt. Das original poly.cfg liegt in einer angepassten Version bei.
Bis Revision 205 (vom 19.2.2010) von osm2mp.pl kann es einfach ersetzt werden. Bei neueren Versionen sollte man ein Diff machen und nur meine Änderungen einpflegen.
Ich empfehle hierzu einen Editor wie UltraEdit oder den freien JEdit (läuft auf allen Betriebssystemen!).

Beim Clay Handling habe ich die Konfiguration clayExtractor.cfg um paar weitere Icons erweitert.
Und ein kleines Bugfix beim Script clayModifierer.pl (Version 0.1.2).

Ray

P.s.: Habe an beiden obigen Modulen gearbeitet und jeweils eine neue Version hochgeladen.

Ich habe gestern Abend eine kleine Änderung an der Datei maping.def aus den Paket PTextReorg vorgenommen.

Änderungen am Paket Clay Handling :
clayExtrator.pl liegt jezt in der Version 0.5.0 vor.
Icon-Größe und Zoom-Verhalten für Icons werden/können auf Standardwerte gesetzt.
Die Konfiguration erfolgt über clayExtrator.cfg, welche ebenfalls in einer neuen Version vorliegt.
Einfach mal die Sektion [ICON.DEFAULTS] anschauen.

Ray

Änderungen am Paket Clay Handling :
clayExtrator.pl liegt jezt in der Version 0.6.0 vor.
Die Sortierreihenfolge der Layer ist nicht mehr alphabetisch sondern genauso wie im CLAY.

Ray

Ich habe gestern die Konfiguration von PTextReorg (auch die von osm2mp) und von ClayExtractor aktualisiert.

Ray

Ich hatte am Wochenende zwei Fehler in der Konfiguration von PTextReorg (maging.def) korrigiert und eine Fehler in clayModifierer behoben.
Falls z.B. der dt. Layer-Bezeichner fehlt sollte erst der engl. und wenn dieser fehlt der span. Bezeichner genommen werden.
Naja, es wurde gleich der span. genommen, dies ist nun behoben.
In der Konfiguration clayExtractor.cfg habe ich die Default-Größe für POI-Icons nun auf 34 Pixeln gesetzt.

Ray