Discussion :

[micoudic]

Bonjour, non, ce n'est pas une blague !

J'utilise rsync depuis pas mal de temps, et j'en suis très satisfait. Je viens de faire l'acquisition d'un smartphone, et je souhaite synchroniser de temps en temps certains dossiers de mon PC sur ce smartphone. Je suis débutant sur ce genre d'outil(le smartphone).
Après bien des galères, j'ai réussi à monter le smatphone dans un dossier que j'ai créé (/media/mtp). Je vois bien mes dossiers, je peux en faire une liste via la cde "ls -l" dans une console. Tout va donc pour le mieux ... pensais-je.
J'ai donc créé un petit script que j'execute en mode terminal pour executer rsync. Mais au lieu de me faire la sauvegarde, j'obtiens la même chose que si j'avais lancé un " ls -l ".

ma commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 rsync --exclude='NoSave*' -arv  /mnt/sdb5/MonDdossier/Dossier_Photos/   /mnt/mtp/MonDdossier/Dossier_Photos/

Quelqu'un a-t-il une explication à ce phénomène ?

NB : Je soupçone que la cible est définie en lecture seule, mais je ne sais pas comment le vérifier. Peut-être ce modèle est-il trop récent (honor 6x) et que la libmtp ne prend pas encore en charge ce modèle ?pas

[Jipété]

ma commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 rsync --exclude='NoSave*' -arv  /mnt/sdb5/MonDdossier/Dossier_Photos/   /mnt/mtp/MonDdossier/Dossier_Photos/

NB : Je soupçonne que la cible est définie en lecture seule, mais je ne sais pas comment le vérifier.

ls -l /mnt/mtp/MonDdossier et tu verras les dossiers avec leurs droits et propriétaire, genre drwxr-xr-x 11 root root 4096 nov. 17 18:17 backup.

d pour directory
r pour read
w pour write
x pour execute
1^er groupe le proprio
2^e groupe le groupe du proprio
3^e groupe le reste du monde

PS : dans ton option -arv, le "r" est déjà inclus dans le "a" (man rsync) donc redondant, donc inutile.

[micoudic]

Heu effectivement, ça crève les yeux et merci pour l'observation. Ci-dessous un extrait de ce que ça donne. Ce n'est pas vraiment ce que j'attendais de rsync.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
drwxrwxrwx          4,096 2015/02/05 21:51:02 M_Mécanique/MTV_Train Avant/Originaux
-rwxrwxrwx      1,022,225 2015/02/03 10:06:02 M_Mécanique/MTV_Train Avant/Originaux/IMG_2375.JPG
-rwxrwxrwx      1,129,472 2015/02/03 10:06:14 M_Mécanique/MTV_Train Avant/Originaux/IMG_2376.JPG
-rwxrwxrwx      1,090,836 2015/02/03 10:06:28 M_Mécanique/MTV_Train Avant/Originaux/IMG_2377.JPG
-rwxrwxrwx      1,098,789 2015/02/03 10:06:44 M_Mécanique/MTV_Train Avant/Originaux/IMG_2378.JPG
-rwxrwxrwx      1,125,920 2015/02/03 10:07:22 M_Mécanique/MTV_Train Avant/Originaux/IMG_2379.JPG
-rwxrwxrwx      1,100,083 2015/02/03 10:07:38 M_Mécanique/MTV_Train Avant/Originaux/IMG_2380.JPG
-rwxrwxrwx      1,041,698 2015/02/03 10:08:14 M_Mécanique/MTV_Train Avant/Originaux/IMG_2381.JPG
-rwxrwxrwx      1,087,523 2015/02/03 10:08:30 M_Mécanique/MTV_Train Avant/Originaux/IMG_2382.JPG
-rwxrwxrwx        982,609 2015/02/03 10:08:56 M_Mécanique/MTV_Train Avant/Originaux/IMG_2383.JPG
-rwxrwxrwx        971,856 2015/02/03 10:09:34 M_Mécanique/MTV_Train Avant/Originaux/IMG_2384.JPG
-rwxrwxrwx        954,263 2015/02/03 10:09:46 M_Mécanique/MTV_Train Avant/Originaux/IMG_2385.JPG

C'est déjà pas facile d'arriver à voir ce smartphone dans le gestionnaire de fichiers. J'ai quand même réussi à faire quelques copies en rusant un peu : j'ai utilisé la possibilité fournie dans thunar de creer des actions personnalisées, en entrant mes commandes par ce biais. Mais ce n'est pas complètement concluant. Je finis par avoir un blocage avec le message "trop de fichiers ouverts". je vais continuer d'explorer cette piste.

[Jipété]

Ce n'est pas vraiment ce que j'attendais de rsync.

Et tu attendais quoi ?
Ça fait des années que j'utilise rsync pour mes sauvegardes quotidiennes, et je retrouve dans la destination exactement la même arborescence que les dossiers source passés en paramètre (c'est ce que je voulais, note bien : j'ai estimé qu'en cas de pépin sur le dd source, le plus simple serait *pour moi* de recréer l'arborescence avec laquelle je travaille au quotidien, c'est donc ce que je sauvegarde.)

Mais ce n'est pas complètement concluant. Je finis par avoir un blocage avec le message "trop de fichiers ouverts". je vais continuer d'explorer cette piste.

C'est rsync qui te dit ça ?
Jamais vu, en ce qui me concerne.

[micoudic]

Et tu attendais quoi ?
Ça fait des années que j'utilise rsync pour mes sauvegardes quotidiennes, et je retrouve dans la destination exactement la même arborescence que les dossiers source passés en paramètre (c'est ce que je voulais, note bien : j'ai estimé qu'en cas de pépin sur le dd source, le plus simple serait *pour moi* de recréer l'arborescence avec laquelle je travaille au quotidien, c'est donc ce que je sauvegarde.)

En premier, j'attends qu'il me fasse la sauvegarde, pas qu'il me sorte une liste comme celle citée dans mon post précédent. On dirait le résultat de la commande "ls"
En second, la forme de la liste que j'ai l'habitude de voir ressemble plutôt à ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
sending incremental file list
./
 
mozilla/firefox/Crash Reports/
mozilla/firefox/Crash Reports/InstallTime20150916094008
mozilla/firefox/mwad0hks.default/
mozilla/firefox/mwad0hks.default/.parentlock
mozilla/firefox/mwad0hks.default/SiteSecurityServiceState.txt
mozilla/firefox/mwad0hks.default/addons.json
mozilla/firefox/mwad0hks.default/blocklist-addons.json
mozilla/firefox/mwad0hks.default/blocklist-plugins.json
mozilla/firefox/mwad0hks.default/blocklist.xml
Delphi/Lazarus/
Delphi/Lazarus/Annonces.lps
Delphi/Lazarus/Annonces.res
Delphi/Lazarus/backup/
Delphi/Lazarus/backup/Annonces.lps.bak

C'est rsync qui te dit ça ?
Jamais vu, en ce qui me concerne.

Je ne sais pas. J'essaie simplement de l'utiliser pour synchroniser des fichiers que je veux stocker sur un smartphone. Dans l'état actuel des choses, je n'ai trouvé que la solution d'utiliser le gestionnaire de fichiers (thunar). Je peux effectivement faire des copies, ne copier que les nouveaux fichiers ou les plus récents seulement, mais je ne peux supprimer sur la cible ceux que j'aurais effacé sur la source, pas automatiquement du moins. et comme il y a plus de 6.000 fichiers, je ne me vois pas faire un pointage à chaque fois. D'où lidée d'utiliser rsync.
Ce message (trop de fichiers) s'affiche lorsque je lance rsync via la création d'une commande dans thunar. Lequel des deux m'envoie ce message, j'avoue que je n'en sait rien.

[Jipété]

En premier, j'attends qu'il me fasse la sauvegarde, pas qu'il me sorte une liste comme celle citée dans mon post précédent. On dirait le résultat de la commande "ls"
En second, la forme de la liste que j'ai l'habitude de voir ressemble plutôt à ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sending incremental file list

J'ai l'impression que c'est l'effet de l'option -v (verbose) qui te balance ce listing : tu peux la supprimer sans problème. Et regarde l'aide, il y a des exemples.
Mais la copie se fait-elle ou pas ?

Je peux effectivement faire des copies, ne copier que les nouveaux fichiers ou les plus récents seulement, mais je ne peux supprimer sur la cible ceux que j'aurais effacé sur la source, pas automatiquement du moins. et comme il y a plus de 6.000 fichiers, je ne me vois pas faire un pointage à chaque fois. D'où l'idée d'utiliser rsync.

Oui, bonne idée.
Et pour supprimer de la destination les fichiers qui n'existent plus dans la source moi je rajoute --delete.

Ce message (trop de fichiers) s'affiche lorsque je lance rsync via la création d'une commande dans thunar. Lequel des deux m'envoie ce message, j'avoue que je n'en sais rien.

Moi non plus.
Mes premiers essais avec rsync ont été faits à partir de scripts Bash, tout simplement, et j'ai évolué vers une IHM sous Lazarus qui appelle rsync en lui passant les bons paramètres et hop !

Un conseil : avant d'attaquer d'essayer de sauvegarder 6 000 fichiers, crée-toi un petit dossier de test avec 2 ou 3 fichiers et 2 dossiers, un vide et un avec des fichiers, et essaye de sauvegarder cette arbo.
Avec peu de fichiers/dossiers, ça sera facile de voir où ça coince.
Bon courage,

[micoudic]

J'ai l'impression que c'est l'effet de l'option -v (verbose) qui te balance ce listing : tu peux la supprimer sans problème. Et regarde l'aide, il y a des exemples.
Mais la copie se fait-elle ou pas ?

La copie ne se fait pas. C'est cela qui est curieux : si je place une ligne de commande cp dans la configuration des actions personnalisées, ça fonctionne, mais si je place une ligne de commande avec rsync, ça ne fonctionne pas (à part la liste.
Petite précisions :
Comme j'ai un doute quant à la possibilité de MAJ sur le smartphone à cause des droits sur les fichiers, je lance une console, me signe en root et à partir de cette console, j'exécute thunar (c'est pas bien, mais pour faire mes tests, c'est ce qui est le plus rapide). C'est dans la console que j'obtiens cette liste. Je ne pense pas que ce soit thunar qui la génère.

Oui, bonne idée.
Et pour supprimer de la destination les fichiers qui n'existent plus dans la source moi je rajoute --delete.

Oui, ça je le fais déjà. J'utilise rsync depuis pas mal d'années (et j'ai pas l'intention d'en changer , mais je ne sais pas tout... )

Un conseil : avant d'attaquer d'essayer de sauvegarder 6 000 fichiers, crée-toi un petit dossier de test avec 2 ou 3 fichiers et 2 dossiers, un vide et un avec des fichiers, et essaye de sauvegarder cette arbo.
Avec peu de fichiers/dossiers, ça sera facile de voir où ça coince.
Bon courage,

C'est aussi ce que je fais.
Concernant android, on m'avais dit "pas de problème, tu te branches via le câble USB et ça fonctionne comme sous linux". Mais à force de rechercher sur le net, j'ai vu que les dernières versions d'android ont durci les possibilités de gérer les fichiers des smartphones. J'espère malgré tout finir par trouver une solution.
Je ne vais pas pouvoir tester davantage dans les jours qui viennent, mais je ne lâche pas le morceau
Version d'android : 6.0

[Jipété]

Salut,

La copie ne se fait pas. C'est cela qui est curieux : si je place une ligne de commande cp dans la configuration des actions personnalisées, ça fonctionne, mais si je place une ligne de commande avec rsync, ça ne fonctionne pas (à part la liste.
Petite précisions :
Comme j'ai un doute quant à la possibilité de MAJ sur le smartphone à cause des droits sur les fichiers, je lance une console, me signe en root et à partir de cette console, j'exécute thunar (c'est pas bien, mais pour faire mes tests, c'est ce qui est le plus rapide). C'est dans la console que j'obtiens cette liste. Je ne pense pas que ce soit thunar qui la génère.

La seule option que je vois, c'est "-n" qui fait tout sauf la vraie écriture : ça montre ce qui va se passer. Mais tu ne l'utilises pas...

Donc ça :

si je place une ligne de commande cp dans la configuration des actions personnalisées, ça fonctionne, mais si je place une ligne de commande avec rsync, ça ne fonctionne pas

plus ça :

Version d'android : 6.0

(Android je ne connais pas du tout.)
j'en conclus ça :
une histoire de protocole interne qui ferait que les machines source et cible étant d'architectures différentes ne savent pas se "causer" ou ne se comprennent pas, et là c'est mort...
Teste ta commande avec une clé usb : tu seras vite fixé.

[micoudic]

Salut,(Android je ne connais pas du tout.)
j'en conclus ça :
une histoire de protocole interne qui ferait que les machines source et cible étant d'architectures différentes ne savent pas se "causer" ou ne se comprennent pas, et là c'est mort...
Teste ta commande avec une clé usb : tu seras vite fixé.

Oui, je le pense également. Le samrtphone est un modèle très récent (sorti en janvier 2017). Je vais attendre un peu que les développeurs de la ou des librairies qui vont bien les adaptent pour supporter ce nouveau modèle.
Merci pour le temps passé

[RaphaelG]

Tu pourrais creuser du coté Media Transfer Protocol.
Voilà comment je fais pour transférer des fichiers de mon smatphone vers ma Debian Jessie :

-- J'ai installé le paquet mtp-tools. Il y avait déjà quelques paquets libmtp d'installés mais pas mtp-tools.
Entre autres, mtp-tools m'apporte les commandes :
- mtp-detect qui donne des infos sur la connexion des équipements MTP connectés et en particulier les idVendor et idProduct qui sont nécessaires pour remplir le fichier /etc/udev/rules.d/69-libmtp.rules.
- mtp-files pour lister les fichiers de mon smaprtphone
- mtp-getfile pour copier un fichier de mon smartphone vers mon PC
- mtp-sendfile pour faire l'opération inverse (mais là j'ai pas encore testé)

-- J'ai créé le fichier /etc/udev/rules.d/69-libmtp.rules.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
rules.d# cat 69-libmtp.rules
ATTR{idVendor}=="05c6", ATTR{idProduct}=="f003", SYMLINK+="limtp-%k", MODE="660", GROUP="audio", ENV{ID_MTP_DEVICE}="1", ENV{ID_MEDIA_PLAYER}="1", TAG+="uaccess"
rules.d#

Je maîtrise pas très bien les "udev rules". Je me suis inspiré de ça.
Pourquoi le n° 69 ? Année érotique ? Mais bon ça marche.

-- Dans mon smartphone, j'ai validé le protocole MTP.
Dans mon Wiko, c'est pas si simple à trouver. Il faut que le Wiko soit relié en USB au PC et alors là, on a accès à un menu "Connexion USB à l'ordinateur" qui permet les choix :
- Périphérique multimédia (MTP)
- Appareil photo (PTP)
- Carte SD
- Charge uniquement
Evidemment je choisis "Périphérique multimédia (MTP)".

A partir de là, mon gestionnaire de fichier, en l'occurence PCManFM car j'ai un DE LXDE, me montre le contenu de mon smartphone.
Ce n'est pas un montage de fichier local, je ne le vois pas avec mount.
C'est comme un système de fichier monté depuis un serveur tiers via les protocoles NFS ou SMB. PCManFM me montre ce chemin : mtp://[usb:001,005]/ .

Je peux aussi accéder à mes fichiers en ligne de commande avec les commandes de mpt-tools. Par contre il y a intérêt à scripter car mtp-getfile identifie le fichier à copier par un File ID et pour trouver ce File ID avec mtp-files, on est vite obligé à faire appel à un awk à rallonge.
Exemple : je veux transférer sur mon PC une vidéo qui est stockée dans mon smartphone sous le nom VID_20160622_132539.mp4.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Wiko_Rainbow_Jam_4G$ mtp-files | awk '$1 == "File" && $2 == "ID:" {fid=$3; next} $1 == "Filename:" && $2 ~ 132539.mp4 {printf("%s %s\n", fid, $2)}'
Unable to open ~/.mtpz-data for reading, MTPZ disabled.
Device 0 (VID=05c6 and PID=f003) is UNKNOWN.
Please report this VID/PID and the device model to the libmtp development team
243 VID_20160622_132539.mp4
Wiko_Rainbow_Jam_4G$ mtp-getfile 243 ~/Videos/mavideo.mp4
Unable to open ~/.mtpz-data for reading, MTPZ disabled.
libmtp version: 1.1.8
 
Device 0 (VID=05c6 and PID=f003) is UNKNOWN.
Please report this VID/PID and the device model to the libmtp development team
ignoring libusb_claim_interface() = -6PTP_ERROR_IO: failed to open session, trying again after resetting USB interface
LIBMTP libusb: Attempt to reset device
Android device detected, assigning default bug flags
Getting file/track 243 to local file /home/raph/Videos/mavideo.mp4
Progress: 24734380 of 24734380 (100%)
Wiko_Rainbow_Jam_4G$

IHTH.

[micoudic]

En fait, j'arrive bien à copier, déplacer, supprimer des fichiers sur mon smartphone. Curieusement, tout cela fonctionne très bien avec thunar, mais avec thunar seulement. Impossible de voir le smartphone avec d'autres programmes. Le GROS problème pour moi, c'est que je n'arrive pas à utiliser rsync, produit que j'utilise pourtant depuis bien des années. Là, rien à faire, malgré mes nombreuses tentatives. Mais comme dit dans les deux messages précédents, je pense que la libmtp ne supporte pas encore ce modèle de smartphone très récent (le mtp-detect me renvoit une erreur).
Pour me connecter, j'utilise effectivement le protocole MTP. Pas facile à trouver la manip. J'ai longuement fouillé sur le net et je me suis constitué tout un tas de documents. L'ennui, c'est que selon les distribution linux, les paquets ne sont pas les mêmes. Je les ai quasiment tous installés et testés. Aucun ne m'a permis d'utiliser rsync (un peu normal, non ? )

Je garde précieusement ton code, mais je vais attendre l'évolution du pakage libmtp. Comme demandé dans le message d'erreur du la commande mtp-detect, je leur ai transmis les codes VID et PID de mon appareil. A suivre donc.

[Jipété]

Salut,

RaphaelG a peut-être mis le doigt sur le problème.
Je ne connaissais pas mtp, j'ai fait une première recherche qui m'a un peu ouvert les yeux et les neurones (pi ça me permet de mieux comprendre pourquoi je ne voyais pas mon APN "mounted" alors que PCmanFM me présentait l'arborescence -- un brave mystère pour moi, jusqu'à ce soir !), et à partir de là j'ai fait une recherche plus précise (mtp +rsync) qui va te rapprocher de la solution : lecture...

Tiens-nous au courant.