Umzug Synology Docker auf Docker in Proxmox

[fugazzy]

Meine Synology wird mich leider bald verlassen, sodass ich Solectrus davon umziehen muss. Es bietet sich mein Proxmox-Server an. Dort ist ein Docker LXC vorbereitet.
Gestern habe ich ein Backup mit dem Script von hier gemacht und versucht das im Docker LXC wieder einzuspielen (mit restore.sh). Das hat leider nicht geklappt. Nun habe ich Solectrus manuell im LXC Docker zum laufen gebracht.
Aber mit fehlen die bisherigen Verlaufsdaten.
Gibt es eine Möglichkeit, diese in das neu System zu bekommen?

Leider habe ich wohl gestern auch Nebenwirkungen auf dem Synology Docker erzeugt. Ich sehe in dem noch laufenden Solectrus zwar noch die beiden großen Grafiken (Bezug und Verbrauch) und Wochen-, Monats- und Jahres Diagramme, aber bei den Tagesdiagrammen wird nur noch "keine Daten vorhanden!" angezeigt.
Lediglich die neuen Daten seit gestern werden noch angezeigt. Auch ein heutiges neues Backup ist wesentlich kleiner, als das von gestern.
Kann ich hier etwas tun?

[ledermann]

Zunächst zum Verständnis: SOLECTRUS speichert die Messwerte in InfluxDB ab und berechnet Tageszusammenfassungen, die in PostgreSQL landen. Tageszusammenfassungen können jederzeit neu berechnet werden. In Redis wird außerdem ein Cache abgelegt, der muss weder gesichert noch übertragen werden.
Ein ähnliches Thema gab es kürzlich hier: https://github.com/orgs/solectrus/discussions/3962

Sieht man die Strombilanz (links) mit Inhalt, aber keine Tagesdiagramme, dann ist das schlecht - denn die InfluxDB ist dann entweder leer ODER die Sensorkonfiguration wurde so geändert, dass SOLECTRUS an einer falschen Stelle (Measurement/Field) in InfluxDB sucht. Du siehst dann nur Werte aus den Tageszusammenfassungen - beim nächsten Zurücksetzen der Tageszusammenfassungen wird dann alles weg sein.

Es ist daher wichtig, vor allem die InfluxDB sauber zu übertragen. Das Backup-Tool sichert und stellt beide Datenbanken (InfluxDB und PostgreSQL) wieder her. Was genau hat denn beim Wiederherstellen nicht geklappt?
Grundsätzlich ist es auch möglich, ohne Backup/Restore zu arbeiten. Es genügt, einfach die Ordner zu kopieren - während SOLECTRUS heruntergefahren ist (vorher also docker compose down).

Auf Synology liegen die Daten vermutlich in /volume1/docker/solectrus. Auf LXC willst du sie vermutlich woanders haben. Wichtig ist dann, die Pfade in .env anzupassen.

Dass das alte System (Synology) beeinträchtigt wurde, versteht ich nicht. Hast du denn da irgendwas geändert?

[fugazzy]

Ich bin mir keiner Änderung bewusst. Habe bewusst nur Backup gemacht und auch die Container neu gestartet.
Ich habe das Backup von gestern und dann alles, was seit dem neu in die DB gespeichert wurde.
Lassen sich diese Daten zusammen führen?
Wie läuft ein richtiger restore ab? Brauche ich nur docker und das Backup, oder muss ich erst einen laufenden solectrus bauen und dann die Daten zurück spielen?

[ledermann]

Zusammenführen von InfluxDB-Daten ist zwar machbar, aber etwas knifflig (über CSV-Export und dann Import). Aber erst mal musst du ja das Restore hinbekommen.

Ja, ein Restore erfordert ein lauffähiges System, erst dann kann ein Backup wiederherstellt werden. Das wird auch hier beschrieben:
https://github.com/solectrus/backup-restore?tab=readme-ov-file#restoresh

Der Ablauf wäre also so:

1. Auf dem alten Server Backup erstellen (hast du ja gemacht)
2. Auf dem neuen Server irgendwo einen Ordner solectrus/ anlegen.
3. In den neuen Ordner folgendes vom alten Server kopieren:
   • .env
   • docker-compose.yaml
   • Backup-Datei (*.tar.gz)
4. Leere Ordner für die Datenbanken anlegen (z.B. mit mkdir influxdb postgresql redis, am einfachsten als Unterorder in solectrus/, aber das ist nicht zwingend)
5. Sicherstellen, dass in der .env diese drei Ordner korrekt referenziert werden (Variablen INFLUX_VOLUME_PATH, DB_VOLUME_PATH und REDIS_VOLUME_PATH).
6. Starten auf dem neuen Server mit docker compose up -d
7. Im Browser prüfen, ob das Dashboard erreichbar ist (natürlich noch ohne Daten)
8. Erst jetzt das Restore ausführen mit ./restore.sh YYYY-MM-JJ
9. Im Browser prüfen, ob die historischen Daten jetzt angezeigt werden

[fugazzy]

Thanky you. I think on the weekend I find some time for the restore

[fugazzy]

I restarted on a fresh docker installation and now the restore worked. :-)
Then I wanted to open the web interface and edited the docker-compose.yml to open port 8086.
I restarted the containers a couple of times and I now have access to the web interface of influxdb.
But as last time I again lost all past data in the db.
What did I wrong? Did I restart too often, too fast . . .?

[ledermann]

Ok, in dem Backup, das am 16. Februar erstellt wurde, sind Daten bis zum 16.02.2025 enthalten. Somit ist an diesem Backup nichts auszusetzen.

Wenn nach dem Backup das Altsystem weitergelaufen ist, und es dir um diese Daten geht, dann kommt es darauf an, ob es auch davon ein Backup gibt. Ich meine, dich so verstanden zu haben. Es wäre denkbar, diese Daten zusammenzuführen. Dazu könntest du die Daten aus dem zweiten (kleineren) Backup als CSV exportieren und dann in deine aktuelle Installation importieren.

So ganz ist mir weiterhin nicht klar, was da bei dir passiert ist. Eine Idee noch: Wenn mit restore.sh ein Backup wiederhergestellt wird, dann muss man ja bestätigen, dass die bestehende Datenbank überschrieben wird. Das Überschreiben sieht so aus, dass das InfluxDB-Bucket gelöscht wird, das in der .env definieren ist. Es ist also mit restore.sh nicht möglich, zwei Backups zusammenzuführen. Solche Dinge müsste man manuell tun.

[fugazzy]

IIch habe gerade bemerkt, dass die Konfiguration für InfluxDB 2x in der Config-Datei steht, auf der Synology-Installation. Vielleicht war das die Ursache für den Datenverlust?
Meine beiden Datenverluste stehen jeweils im Zusammenhang mit einem, oder mehreren Neustarts.
Die Übertragung mit CSV-Dateien könnte ich mal probieren.

[ledermann]

Wenn eine doppelte Konfiguration bedeutet, dass InfluxDB zweimal lief, dann wäre das tatsächlich eine Erklärung. Möglicherweise wurde dann bei einem Neustart mal die eine und mal die andere Datenbank benutzt.

[fugazzy]

Nunja,, wie auch immer das nun passiert ist, das neue System läuft und im Influxdb-Web-Interface sehe ich auch die die Daten. Allerdings konnte ich solectrus noch nicht dazu bringen weiter als bis zum 17. Februar zurück zu gehen. (Das war der zweite Neustart auf dem Altsystem mit dem kleineren Datenverlust).
EDIT:
Habs gefunden: Das Installationsdatum musste noch korrigiert werden.
Bis auf zwei kurze Lücken habe ich alle Daten zusammen, danke für den Support!

[ledermann]

Genau, INSTALLATION_DATE muss auf das Datum des ersten Messwertes gesetzt sein, SOLECTRUS erlaubt keine Navigation vor dieses Datum.

Freut mich, dass es nun geklappt hat!