Backup und Synchronisation - Mal Wieder

[fat-lobyte]

Hallo!
Es ist wiedermal so weit, dass ich eine Frage zu Backups habe.

Es sieht bei mir so aus:
Ich habe einen Stand-PC und ein Netbook, dazu zusätzlich zwei externe Festplatten, also insegesamt 4 Dateisysteme.

Im Prinzip sollen die gesamten Daten auf den beiden externen Festplatten gespeichert werden.
Auf den Rechnern soll nur ein Teil der Daten temporär vorhanden sein (z.B. Filme die ich gerade ansehen wollte) und ein anderer Teil ständig (z.B. Musik oder PDF-Bibliothek).

Das Dateisystem ist übrigens auf jedem der Dateisysteme gleich aufgebaut:
/
/media
/media/music
/media/movies
/media/...
/library # PDF-Bibliothek
/images # Betriebssystemabbilder
/isos
/software


Soweit so gut, Probleme bekomme ich allerdings wenn ich neue Daten hinzufüge, die auf alle 4 Dateisysteme zu übertragen oder noch mehr Probleme wenn ich eine Datei, die Synchronisiert ist löschen will.
Bis jetzt habe ich mich Kopieren (und Gnome's "Zusammenführen) und rsync begnügt. Das wird langsam anstrangend.

Was ich will ist eine Synchranisationslösung, die es mir erlaubt bestimmte Verzeichnisse auf bestimmten Festplatten/Systemen synchronisiert zu halten. Cool wäre es, wenn ich quasi "domänen" definieren könnte, die für alle Synchronisiert und andere, die nur zwischen bestimmten rechnern synchronisiert werden.

Hat jemand eine Idee zu dieser Eierlegenden Wollmilchsah? Benutzt jemand so etwas?
Was tut ihr um mehrere Geräte synchronisiert zu halten?

[cloidnerux]

Ganz konkret würde mir Unison einfallen, das kann Dateien und Ordner abgleichen, nur Löschen ist da auch nicht so einfach.

Was tut ihr um mehrere Geräte synchronisiert zu halten?

Ich habe eine ganz coole Lösung namens "AerosFS" gefunden.
Das läuft als Client auf allen Computern, die ich Synchron halten will.
Das Programm legt einen Ordner an und alle Dateien in diesem Ordner werden auf allen Geräten Synchronisiert und zwar via P2P, sodass es möglich ist übers Internet Dateien zu Synchronisieren oder eben Lokal und dann mit voller Geschwindigkeit.
Bei mir ist aber das besondere, das ich nen eigenen Dateiserver habe und keine Externe Festplatten.

[Kerli]

Geht mir ähnlich. Wobei es bei mir inzwischen 5 Dateisysteme sind. Auf den ersten Blick schaut Conduit nicht so schlecht aus, ist dann aber irgendwie auch nicht optimal, zumindest was die Rückmeldungen anbelangt. Vermutlich wird es daraus hinauslaufen, dass ich mir irgendwann einmal etwas auf Basis von rsync schreiben werde.
Nachdem ich jetzt auch seit kurzem eine externe 2TB Festplatte habe sicherer ich dort jetzt einmal alle Daten inkrementell mit Deja-Dup, vor allem nachdem das jetzt ziemlich gut in Ubuntu integriert ist. Für kleinere Datenbestände (ein paar GB) verwende ich auch noch Dropbox und Ubuntu One. Da hat man dann neben der automatischen Synchronisierung auch noch ein offsite-Backup.

[fat-lobyte]

Ganz konkret würde mir Unison einfallen, das kann Dateien und Ordner abgleichen, nur Löschen ist da auch nicht so einfach.

Was tut ihr um mehrere Geräte synchronisiert zu halten?

Ich habe eine ganz coole Lösung namens "AerosFS" gefunden.

Sieht ganz interessant aus, allerdings würde ich gerade bei Backupprogrammen freie Software bevorzugen. Außerdem sieht das nicht geeignet für externe Festplatten aus.

Geht mir ähnlich. Wobei es bei mir inzwischen 5 Dateisysteme sind.

Gut zu wissen dass man nicht ganz alleine mit dem Problem ist. Ich versuche die Daten, die ich nicht auf jedem System parat haben muss zu "deduplizieren", also nur einmal irgendwo gespeichert zu haben. Ist zwar nicht im Sinne von Datensicherheit, aber das macht die Sache schon mal einfacher.

Auf den ersten Blick schaut Conduit nicht so schlecht aus, ist dann aber irgendwie auch nicht optimal, zumindest was die Rückmeldungen anbelangt.

Danke für den Tip, ich sehs mir mal an.

Nachdem ich jetzt auch seit kurzem eine externe 2TB Festplatte habe sicherer ich dort jetzt einmal alle Daten inkrementell mit Deja-Dup, vor allem nachdem das jetzt ziemlich gut in Ubuntu integriert ist.

Das mach ich auch, ich find déjá-dup super. Aber Backup ist nicht ganz das gleiche wie Synchronisation.

Für kleinere Datenbestände (ein paar GB) verwende ich auch noch Dropbox und Ubuntu One. Da hat man dann neben der automatischen Synchronisierung auch noch ein offsite-Backup.

Und welche Datenbestände sind das?
Ich krieg nichtmal meine Studienunterlagen auf auf Dropbox unter, weil die schon über 2,8 GB groß sind :-/

Vermutlich wird es daraus hinauslaufen, dass ich mir irgendwann einmal etwas auf Basis von rsync schreiben werde.

Halt mich auf dem Laufenden! Wär interessiert.

[Xin]

Hat jemand eine Idee zu dieser Eierlegenden Wollmilchsah? Benutzt jemand so etwas?
Was tut ihr um mehrere Geräte synchronisiert zu halten?

Eine Eierlegende Wollmilchsau ist mir noch nicht untergekommen.

Meine Philosophie geht wie folgt: Möglichst wenig zu synchronisierende Daten haben.
Daten, die ich zu Hause bearbeite (also quasi fast alles) liegen auf dem Storage-Server. Das kann man als Pfad auch mal eben dazumounten. Dafür habe ich die Hardware komplett auf GBit-Lan umgestellt. Ob das Dateisystem auf dem Server oder local ist, merke ich kaum.
Meistens programmiere ich oder mache Dinge im Netz (Wiki z.B.), also brauche ich den Storage Server meistens gar nicht erst einzuschalten.

Der Storage-Server hat unter anderem ein RAID 5 aus 4x2TB Platten drin. Früher hatte ich ein 2. RAID aus 4x500GB Platten im Arbeitsrechner, auf dem z.B. mein Home-Verzeichnis lag. Da ich das RAID nur selten brauche, ist das inzwischen auch im Storage-Server gelandet, um Strom zu sparen. Mein Arbeitsrechner hat nur noch eine 750G Platte, die fast leer ist.

Zu bearbeitende Daten hole ich mir auf den Arbeitsrechner, wenn ich fertig bin, spiele ich sie zurück auf's RAID, damit sie bei einem Festplattenschaden nicht verloren gehen.

Arbeiten an mehreren Rechnern an den gleichen Dateien passiert eigentlich nur bei Quelltexten: Subversion mit einem Repository auf dem Storage-Server. Der Server wird also nur kurz hochgefahren, es wird eingecheckt und aktualisiert und dann kann der Server auch schon wieder abgeschaltet werden.

Backup ist vergleichsweise simpel gelöst: eine USB-Dockingstation, da kommt eine 2TB Platte rein, auf die wichtigen Daten kopiert werden. Das kopiert dann eben mal 'nen Tag. Das ist noch überarbeitungsfähig, ich weiß... kommt Zeit, kommt bessere Lösung. Momentan läuft es halt so.
Diese Platte kann man dann außer Haus lagern, falls man mal abbrennen sollte. 2 2TB Platten wechseln sich hier ab. Die Erfahrung, dass das Original kaputt geht, während das einzige Backup vorbereitet wird, habe ich nämlich leider schon gemacht...

Da ich das nicht täglich mache, kopiere ich sich schnell ändernde Daten (das SVN-Repository vor allem) entweder ins Netz, bzw. ich habe eine 3,5" CD-RW im Auto, auf dem ich verschlüsselt eine Kopie des SVN-Repositories durch die Gegend fahre. Abbrennen meiner Wohnung, sowie das Abbrennen des Hauses meiner Eltern, Servercrash bei proggen.org und Verkehrsunfall bei dem CD zerstört wird - an dem Tag hätte ich echt einen schlechten Tag, denn dann hat meine Backup-Strategie versagt und meine Quellen sind tatsächlich alle weg.

Alle Daten (Bilder, Texte, Datenbanken, Repositories) von proggen.org werden täglich nachts per Batch-Job in ein ZIP-Archiv gepackt und auf einen Server eines anderen Providers kopiert. Davon ziehe ich vereinzelt Backups auf den Storage-Server - also nicht täglich.

[fat-lobyte]

Ok, ich habe lang genug darüber nachgedacht und gestern habe ichs endlich durchgezogen.

Ich werde kurz Skizzieren, wie ich zu einer Lösung gekommen bin, die mich einigermaßen befriedigt:

1) Anstatt die Daten doppelt/dreifach zu halten, habe ich viele Dateien dedupliziert.Das habe ich hauptsächlich mit großen Mediendateien und ISO-Images gemacht, die einen relativ geringes Wert/Größe-Verhältnis haben - deswegen wäre ein Datenausfall zu verkraften.
Wichtige Daten habe ich noch immer 3 -Fach: Netbook, Desktop und mind. eine Festplatte.

Auf eine Festplatte habe ich nur die Mediendateien und Backups gepackt, auf die andere nur Isos/Images/Software/PDFs

2) Ich habe die Bereiche Identifiziert, die Synchronisiert werden müssen:
- /home - Verzeichnis,
- Musik, Bilder
- PDF-Bibliothek

3)
Für die Synchronisierung der Browserdaten verwende ich weiterhin Firefox Sync, die E-Mails werden wie bisher alle auf den IMAP-Servern belassen.

Für den Rest habe ich ein echt verdammt cooles Programm gefunden: Unison
Dieses Programm liest zwei Verzeichnisse ein, die beim ersten mal ziemlich Manuell synchronisiert werden müssen. Das war der Horror, hat ziemlich lange gedauert und war anstrengend. Nach dem ersten mal kann es folgendes:
es merkt sich, welche Dateien hinzugefügt werden, welche gelöscht und welche verändert wurden. Wenn es keine Konflikte gab, werden die Aktionen auf dem jeweilig anderen Rechner ausgeführt. Wenn doch, dann muss der Konflikt manuell behoben werden (dazu gibt es für Textdateien ein Merge, aber in der Praxis wählt man meist eine der beiden Kopien aus, die erhalten werden soll).

Damit halte ich jetzt die Home-Verzeichnisse synchron. Dabei werden die versteckten Dateien/Verzeichnisse (die mit '.' beginnen) _nicht_ mitsynchronisiert, sowie zwei weitere Ordner (~/Downloads und ~/usr, meine selbstkompilierte Software). Unison hat ziemlich gute Methoden Ausnahmen und Ausnahmen von Ausnahmen zu spezifizieren.
Die Verbindung erfolgt über SSH, innerhalb von meinem lokalen WLAN-Netzwerk.

4) Unison funktioniert leider nur für zwei "Kopien" von Daten, nicht jedoch für 3. Ein 3-Wege merge erfolgt in 3 Schritten:

Desktop --> HDD
Netbook <--> HDD
HDD <--> Desktop

Damit werden die PDF-Bibliothek und meine Musik/Photos synchronisiert. Dabei sind die Festplatten am Desktop angeschlossen (und haben gvfs sei dank immer den gleichen Mountpoint), der Sync zwischen Desktop/HDD funktioniert lokal, der Sync zwischen Netbook/HDD läuft übers WLAN. Da ist Unison glücklicherweise transparent.

5) Daten, die nur "upstream" synchronisiert werden müssen, also nur in eine Richtung (z.B. neu heruntergeladene Isos kommen auf die HDD, aber nicht automatisch wieder zurück) werden weiterhin mit rsync synchronisiert.

6) Zu guter letzt verwende ich noch Déjà Dup (welches "duplicity" als Backend hat) zum Backup meines home-Verzeichnisses.
Die Mediendaten/Isos/PDF's bekommen kein Backup, da a) die wichtigen Dateien davon sowieso 3fach vorhanden sind und b) ich auf die weniger wichtigen Sachen im Falle des Falles verzichten kann.

Hier die verwendeten Programme:
Unison
rsync
Déjà Dup

Ich hoffe, falls jemand ähnliche Probleme hat, dass er sich von mir inspirieren lässt. Ich bin zurzeit ziemlich zufrieden. Sollte sich das Ändern, werde ich hier posten.

ps.:
Da die Unison-Version in Ubuntu ziemlich veraltet ist (Ubuntu: 2.32, Upstream: 2.40), habe ich das erst vor kurzem aktualisierte Debian-Paket geklaut und in mein Ubuntu-PPA hochgeladen.

[Kerli]

Vielleicht sollte ich mir Unison doch noch einmal anschauen. Mit zwei Computern und 3 externen HDDs entsteht doch irgendwie etwas Chaos :/
Wer übrigens Dropbox verwendet und etwas mehr Platz möchte sollte einmal unter Windows die aktuelle Betaversion installieren und das Fotoupload-Feature verwenden. Damit kann man bis zu 5GB zusätzlich bekommen. Ich hab zb. inzwischen schon 15GB, was für die Unisachen und noch weitere aktuell verwendete Daten leicht reicht.

edit: Ubuntu One hat übrigens inzwischen auf 5GB kostenlos aufgestockt. Ist praktisch zb zum Synchronisieren von Notizen mit Tomboy.