MariaDB

Andre__ · 15. Januar 2020

Hallo,

ich bin Geocacher und möchte auch Caches speichern. Das Funktioniert mit SQLite ohne Probleme.

Wenn ich einen Pocketquery auf meiner Synology Discstation unter MariaDB speichern möchte erscheint folgender Fehler:

Code

2020-01-15 17:58:32.332 [warning] Execution of SQL-Statement ` "INSERT INTO items (type, keyqms, icon, name, date, comment, data, hash) VALUES (:type, :keyqms, :icon, :name, :date, :comment, :data, :hash)" ` failed:
2020-01-15 17:58:32.332 [warning] QSqlError("1366", "QMYSQL3: Der Befehl konnte nicht ausgeführt werden", "Incorrect string value: '\\xF0\\x9F\\x97\\x9D\\xEF\\xB8...' for column `caching`.`items`.`comment` at row 1")

Ich habe auch die Fehlermeldung angehängt.

Ich benutze (Archlinux):

MariaDB 10.21.3

QMapShack 1.14.0

tooltime · 15. Januar 2020

Wie hast du denn auf die neue Datenbank umgestellt? Hast die Tabellen alle neu angelegt?

Andre__ · 16. Januar 2020

Zitat von tooltime

Wie hast du denn auf die neue Datenbank umgestellt? Hast die Tabellen alle neu angelegt?

Ich habe nichts umgestellt. Die Datenbanken wurden neu angelegt. Ich habe einmal die .gpx in SQLite gespeichert und einmal in MySQL.

Ich habe den Fehler mal weiter eingekreist.

Code

Es stolpert über diesen Eintrag:
<b>GC63XZW</b><br/>
 🗝️ HomeZone 🗝️ (Micro, D 4.0, T 2.0)</div>

Es geht bestimmt um das encodieren der Schlüsselsymbole.

kiozen · 16. Januar 2020

Ich hab das mit MySql schon lange nicht mehr ausprobiert. Ich könnte mir jetzt zwei Gründe vorstellen.

1. MariaDB Version zu alt. Da gab es eine Grenze. Ich weiß nur nicht mehr bei welcher Version

2. In dem Cache sind tatsächlich seltsame Steuerzeichen. Vielleicht auch irgendein UTF-8 Problem bei der Datenbank.

Edit:

Ok, sehe gerade Du warst schneller. Schau mal ob dein Setup UTF-8 unterstützt.

Andre__ · 16. Januar 2020

Okay weitere Nachforschungen

Bei Stackoverflow wir empfohlen die Table mit dem Charset 'utf8mb4' anzulegen.

QMapShack benutzt 'utf8'.

Ich habe mal ein testtable mit 'utf8mb4' angelegt:

Code

MariaDB [caching]> show table status;
+---------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+------------------+-----------+
| Name          | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time         | Update_time         | Check_time | Collation          | Checksum | Create_options | Comment | Max_index_length | Temporary |
+---------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+------------------+-----------+
| folder2folder | InnoDB |      10 | Dynamic    |    1 |          16384 |       16384 |               0 |        32768 |         0 |              4 | 2020-01-15 17:56:51 | 2020-01-16 07:25:15 | NULL       | utf8_general_ci    |     NULL |                |         |                0 | N         |
| folder2item   | InnoDB |      10 | Dynamic    |    0 |              0 |       16384 |               0 |        32768 |         0 |            744 | 2020-01-15 17:56:51 | 2020-01-16 07:25:05 | NULL       | utf8_general_ci    |     NULL |                |         |                0 | N         |
| folders       | InnoDB |      10 | Dynamic    |    2 |           8192 |       16384 |               0 |            0 |         0 |              5 | 2020-01-15 17:56:50 | 2020-01-16 07:25:25 | NULL       | utf8_general_ci    |     NULL |                |         |                0 | N         |
| items         | InnoDB |      10 | Dynamic    |    0 |              0 |       16384 |               0 |        32768 |   6291456 |            373 | 2020-01-15 17:56:50 | 2020-01-16 07:25:10 | NULL       | utf8_general_ci    |     NULL |                |         |                0 | N         |
| testtable     | InnoDB |      10 | Dynamic    |    2 |           8192 |       16384 |               0 |            0 |         0 |           NULL | 2020-01-16 08:24:07 | 2020-01-16 08:34:03 | NULL       | utf8mb4_general_ci |     NULL |                |         |                0 | N         |
| versioninfo   | InnoDB |      10 | Dynamic    |    0 |              0 |       16384 |               0 |            0 |         0 |           NULL | 2020-01-15 17:56:50 | 2020-01-15 17:56:50 | NULL       | utf8_general_ci    |     NULL |                |         |                0 | N         |
+---------------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+------------------+-----------+
6 rows in set (0.00 sec)

Alles anzeigen

Wenn ich nun ein 'INSERT' in die QMapShack Tabelle items starte:

Code

MariaDB [caching]> insert into items(comment) values('🗝️'); 
ERROR 1366 (22007): Incorrect string value: '\xF0\x9F\x97\x9D\xEF\xB8...' for column `caching`.`items`.`comment` at row 1

Wenn ich nun ein 'INSERT' in testtable starte:

Code

MariaDB [caching]> insert into testtable(comment) values('🗝️');
Query OK, 1 row affected (0.04 sec)

kiozen · 16. Januar 2020

SqLite hat mit dem PQ keine Probleme?

Andre__ · 16. Januar 2020

Nein keine Probleme bei SQLite flutscht alles.

Heia · 16. Januar 2020

Kannst Du mal die Eigenschaften der Tabellen vergleichen?

Ein ...

SHOW CREATE TABLE 'testtable';

SHOW CREATE TABLE 'items';

... müsste u.U. hier unterschiedliche Ausgaben haben?

Andre__ · 16. Januar 2020

Wie man in Post #5 im ersten Codeblock sehen kann ist der Unterschied der Charset.

Code

MariaDB [caching]> SHOW CREATE TABLE testtable;  
+-----------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| Table     | Create Table                                                                                                                                      |
+-----------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| testtable | CREATE TABLE `testtable` (
  `comment` text CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 |
+-----------+---------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

Code

MariaDB [caching]> SHOW CREATE TABLE items;    
+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| items | CREATE TABLE `items` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `type` int(11) DEFAULT NULL,
  `keyqms` varchar(64) CHARACTER SET utf8 NOT NULL,
  `date` datetime DEFAULT current_timestamp(),
  `icon` blob NOT NULL,
  `name` text CHARACTER SET utf8 NOT NULL,
  `comment` text DEFAULT NULL,
  `data` longblob NOT NULL,
  `hash` text CHARACTER SET utf8 NOT NULL,
  `last_user` text CHARACTER SET utf8 DEFAULT NULL,
  `last_change` datetime DEFAULT current_timestamp() ON UPDATE current_timestamp(),
  `trash` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `keyqms` (`keyqms`),
  FULLTEXT KEY `searchindex` (`comment`)
) ENGINE=InnoDB AUTO_INCREMENT=374 DEFAULT CHARSET=utf8 |
+-------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

Alles anzeigen

Ich habe diesen Thread nur als Hinweis gestartet.

Für mich hab ich es so gelöst das ich items.comment auf utf8mb4 eingestellt habe.

Andre__ · 16. Januar 2020

So.

Ich habe die Datenbank erstellt wie hier beschrieben. So wird das default Charset genommen, welches bei mir UTF8 ist.

Wenn ich die Datenbank mit

create database MyData CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

erstelle, funtioniert alles.

Heia · 16. Januar 2020

Genau das mit dem Charset war mein Hintergedanke.

Dieses Schlüsselchen ist halt in dem einen Charset enthalten und in dem anderen eben nicht.

Also alles gut und alles richtig gemacht, soweit ich das als DB-Admin aus der Ferne sehen kann

kiozen · 16. Januar 2020

Wäre schön wenn es dazu ein Patch gibt.

* Ticket erstellen: https://github.com/Maproom/qmapshack/issues

* Bitte Templates benutzen https://github.com/Maproom/qmapshack/wiki/DocFaqProjectSite

* Diese Anleitung lesen https://github.com/Maproom/qma…/wiki/DeveloperCommitCode

* in `src/qmapshack/gis/db/IDBMysql.cpp` ist der Code um die Datenbank zu erstellen bzw zu migrieren.

Danke!

Andre__ · 17. Januar 2020

Zitat von kiozen

Wäre schön wenn es dazu ein Patch gibt.

* Ticket erstellen: https://github.com/Maproom/qmapshack/issues

* Bitte Templates benutzen https://github.com/Maproom/qmapshack/wiki/DocFaqProjectSite

* Diese Anleitung lesen https://github.com/Maproom/qma…/wiki/DeveloperCommitCode

* in `src/qmapshack/gis/db/IDBMysql.cpp` ist der Code um die Datenbank zu erstellen bzw zu migrieren.

Danke!

Alles anzeigen

In 'src/qmapshack/gis/db/IDBMysql.cpp' wird keine Datenbank erstellt nur die Tabellen.

Laut der Anleitung im Wiki muss der MySQL Admin die Datenbank selbst erstellen.

Es braucht nur eine Erwähnung in diese Seite eingefügt werden.

Übrigens ist hier ein lesenswerter Artikel zu UTF8 vs UTF8MB4.

kiozen · 17. Januar 2020

Oh, Du hast recht. Da hatte ich Pech beim Lesen und war noch beim Erstellen von Tabellen ein paar Posts darüber.

Ich pass das Wiki an.

MariaDB

Garmin fenix 7X und epix Gen 2 im Test

Datentransfer unter Linux zwischen QMapShack und eTrex

der ersteSchneefall

GPS Logger mit aktuellem Chipsatz, Alternative zu meinem Wintec202

Live Track mit GPS 67

Garmin GPS 64 s zu verkaufen

Höhenprofile im Tagebuch

Import gpx-track: Berechnete Geschwindigkeit und "Invalid slopes"

Offlinekarten - Lückenhafte Darstellung

Zwei Tracks miteinander verbinden

QMapShack

Teilen

Benutzer online in diesem Thema