SSHFS avec copie locale

Bonjour,

J'ai, depuis quelques temps déjà, un petit serveur perso que je comptais utiliser pour effectuer des sauvegardes.

Au début, je pensais utiliser unison ou un logiciel similaire pour synchroniser le serveur avec mes ordinateurs. Malheureusement j'avais une très mauvaise connexion m'empêchant d'effectuer mes sauvegardes donc je n'ai jamais pu mettre tout ceci en place.

J'ai depuis déménagé et je dispose désormais d'une très bonne connexion internet.
J'ai entendu parlé de sshfs qui me semble plus qu'intéressant pour monter un répertoire à distance.

Mais je souhaiterais pouvoir conserver une copie en local et pouvoir travailler dessus pour ne pas me retrouver au dépourvu en cas de coupure de ma connexion. Malheureusement, je n'arrive pas à voir si sshfs permet de conserver une copie locale.
Le but serais donc d'avoir l'avantage de sshfs qui synchronise les dossiers directement, sans actions de ma part et sans devoir parcourir tout le dossier ce qui peut être lourd. Mais je voudrais qu'au moins, les fichiers consultés via sshfs restent disponibles si je suis hors-ligne et se synchronisent (si modifications) dès que je retrouve une connexion.

Est-ce que vous auriez une piste ?

Cordialement,

Bonsoir,

Personnellement, j'utilise lftp en mode mirror pour avoir une copie locale et une copie distante à jour.
Et comme je l'applique récursivement à partir d'un répertoire racine, je suis certain de ne pas oublier une mise à jour.
Je me suis créé un script d'envoi et un script de récupération (1 ligne chacun :mrgreen:) et j'envoie ou récupère mes données.

Merci pour votre réponse,

Le problème, c'est que soit tu lances ta commande manuellement, soit tu l'exécutes à intervalle régulier.
Si l'arborescence est grande, cela peut être très coûteux non ?

Soit on l’exécute très régulièrement et je crains que cela ne ralentisse énormément le système, soit on l'exécute plus rarement mais on a alors plus l'impression de "dossier monté".

De plus, j'aimerais que mes clients n'aient pas toutes les données, il n'a que 500Go de mémoire contre 2To pour le serveur.

Je sais qu'on peut facilement savoir quelles sont les modifications effectuées avec notify, donc j'aimerais si possible une solution se basant dessus.

Je pourrais avoir un dossier sshfs et un dossier de "sauvegarde", mais ce ne serait pas pratique de passer de l'un à l'autre en cas de coupure internet.

Mais peut-être qu'avec une commande "modesshfs" qui :

• lorsque "online" monte le dossier "x" en sshfs ;
• lorsque "hors-ligne" fait que le dossier "x" est un lien symbolique vers le dossier de "sauvegarde"

Après deux problèmes :

• synchronisation sshfs -> sauvegarde : inotify (?) ;
• synchronisation sauvegarde -> sshfs : idem (?).

Qu'en pensez-vous ?

Bonsoir,

Aurais-je mal compris votre demande ?
J'ai compris que vous souhaitiez avoir une copie locale identique à la copie sur le serveur distant.

Sinon avez vous pensé à des montages tels autofs par exemple ? Mais si coupure du net...

En gros, avec sshfs, je vais monter un répertoire distant et travailler dessus comme s'il était en local.

Mais en cas de coupure d'internet, je n'aurais plus accès au dossier distant.
Le but serait de pouvoir conserver les fichiers utilisés pour un accès en offline puis de pouvoir répercuter les modifications sur le sshfs lorsque je repasse en online.

Je ne veux pas avoir tous les fichiers en local déjà par manque de place mais aussi parce que certains fichiers ne sont pratiquement jamais utilisés.

Je veux aussi que la synchronisation soit transparente donc que les modifications locaux soient directement reportés sur le serveur.

Je pousserais bien le vice jusqu'à avoir un système de gestion de version si je partageais l'accès au dossier distant avec des amis, mais je pense qu'il est possible de bidouiller côté serveur en choisissant un système de fichier "qui va bien".

Donc pour résumé :

• monter un dossier distant ;
• ne charger les fichiers en local que si nécessaire ;
• garder une copie locale en cas de offline avec synchronisation avec le dossier distant quand je repasse en online.

Ce n'est clairement pas l'objectif de sshfs, qui comme son nom l'indique, propose un file system distant sur ssh. Ce que vous souhaitez ressemble à du dropbox bizarre. Bizarre, pourquoi ? Parce que c'est votre répertoire distant qui est sensé être la référence, mais quand il y a coupure, vous travaillez sur la sauvegarde: du coup, quand le réseau reviendra, comment ferez vous ? qu'est-ce qui sera prioritaire ? La logique voudrais plutôt que vous travailliez en local avec des synchronisations fréquentes. C'est comme ça que fonctionne dropbox, il me semble.
Il y a un temps, j'avais lu des avancées sur certains file system qui permettait aux applications de synchronisation d'utiliser les fichiers de journalisation pour vérifier la présence de modifications sur le file system (plutôt que devoir scanner le disque). Ca serait bien, mais je n'ai pas suivi ça avec attention, et je ne sais pas s'il y a eu des progrès là-dessus.

Toujours est-il que d'après votre besoins, le mieux serait d'utiliser un rsync-like avec une fréquence assez rapprochée pour obtenir ce que vous voulez.

Citation:

---

Envoyé par thierry.chich

comment ferez vous ? qu'est-ce qui sera prioritaire ?

---

Je ne vois pas où serait le problème, on prend le contenu le plus récent et si conflit il y a on le marque et on demande sa résolution, un peu comme la résolution des conflits git en somme.

Citation:

---

La logique voudrais plutôt que vous travailliez en local avec des synchronisations fréquentes. C'est comme ça que fonctionne dropbox, il me semble.

---

Par contre deux problèmes :

• on fait une attente active :aie:
• je ne peux pas faire en sorte que mon serveur contienne des fichiers dont je n'ai pas besoin en local pour le moment mais que je pourrais récupérer ultérieurement.

Citation:

---

Toujours est-il que d'après votre besoins, le mieux serait d'utiliser un rsync-like avec une fréquence assez rapprochée pour obtenir ce que vous voulez.

---

Mais cela me semble très lourd, si je synchronise toutes les 5 secondes et que la synchronisation prend 6 secondes, cela ne va pas être génial.
Le problème, c'est que non seulement, on fait de l'attente active (on regarde périodiquement s'il y a eu des modifications ou non), mais en plus on recherche les modifications à la main au lieu de s'aider de inotify par exemple.
Comme c'est une sauvegarde "complète" de plusieurs centaines de Go, j'ai peur que cela ne soit trop lourd (?).


Mais cela m'étonne qu'il n'existe apparemment pas une sorte de sshfs avec un cache local. Alors même que le "cloud" est à la mode.

Bonjour,

Finalement, je vais tester Seafile.

ZumoDrive semblait plus correspondre à ce que je recherchais, mais c'est malheureusement payant.

Bon, je n'arrive pas à utiliser seafile avec lighttpd.

Je me suis rabattu sur git-annex qui est assez marrant.