Discussion :

[IvyAlice]

Bonjour,
Voici mon problème :
j'ai un scripte qui copie des dossiers avec ''cp'', mais parfois, pour certains de ces dossiers, il ne copie pas tous les sous-dossiers.
J'ai rechercher ce qui pouvait différencier les sous-dossiers qui se copient de ceux qui ne se copient pas, sans succès.
j'ai regardé également si le/s dossier/s copié/s avaient quelque chose de particulier qui aurait pu faire planter les suivants, là non plus aucun indices.
Pourtant il me reste encore beaucoup de place sur la destination, et ça ne semble pas venir de la taille puisque j'ai parfois des sous-dossiers de plusieurs giga qui se copient tandis que des de quelque méga ne se copient pas, mais il à peut-être une limtie de taille en ce qui concerne le dossier principal ??

Merci d'avance à qui pourra m'aiguiller

Ivy

[Vespasien]

On peut voir la commande cp exécutée ainsi que le nom d'une paire de fichier qui ne sont pas copiés?

[IvyAlice]

Salut Vespasien,
la commande c'est un bête cp -a qui donnerait quelque chose comme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
cp -a /donnees/dossier1/<nomDossierACopier> /home/dossier2/repDest/

donc il copie en principe tout ce qu'il y a dans <nomDossierACopier> dans repDest.
Par exemple(désolé mon exemple est mauvais mais je ne veut pas utiliser la vrai arborescence pour des raisons de sécurité) imaginons une partie de l'arborescence source
<nomDossierACopier>
..|_sous-dossier1
....|_ moult fichiers
..|_sous-dossier2
....|_moult fichiers
..|_sous-dossier3
....|_moult fichiers

dans repDest je me retrouve avec ceci
repDest
..|_sous-dossier2
....|_moult fichiers

et les autres sous-dossiers ne sont pas copié.

PS : j'ai essayé de remplacer cp -a par cp -dvR pour activer le mode parlant. Il me montrait bien les trucs copier de sous-dossier2, mais pas un mot pour tout le reste (même pas une erreur ou un 'omitting')

PS2: en ce qui concerne le nom des sous-dossiers, ça ne doit pas venir de ça car dans d'autres dossiers à copier, j'ai la même arborescence de sous-dossier et là, il les copie sans aucun problème. (curieux)
Mais est-ce que tu pense qu'un fichier ayant une arborescence trop longue peut faire planter le scripte ?

[Vespasien]

Je pensais plutôt a des caractères d'échappement ou des espaces dans les noms de fichiers. Des petits $ ou des ' qui pourrait rendre l'interprétation du shell caduc.

PS: J'adore l'utilisation du PS2. Je pensais être le seul a utiliser cette notation.

[IvyAlice]

re Vespasien
Hmm des caractères d'échappements... c'est pas impossible mais ça me paraît tout de même peu probable à mon avis car
1 ) ça aurait du -selon le scripte- faire planter la copie de tout les sous -répertoire (à moins qu'il les prenne autrement que dans l'ordre alphabétique, ça serait alors très crédiblecar il me semble avoir vu que dans certains cas il ne commence pas par le début)
2) en fait j'arrive à copier ces sous-répertoire si je les fait 1 à 1 comme ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
cp -a /donnees/dossier1/<nomDossierACopier>/sous-répertoire1 /home/dossier2/repDest/<nomDossierACopier>

et là il y a vraiment tout dans le sous-répertoire

Donc du coup ce que je pensais faire, c'est qu'avec le scripte je descend d'un niveau dans l'arborescence... c'est p-e une solution, mais le problème c'est surtout de ne pas savoir pourquoi la copie réagit comme ça.

PS: pour le PS2 c'est que je me suis tout rappelé à la fin,

[lavazavio]

Bonjour,

Tu as essayé un bon vieux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cp -rf .... .....

[IvyAlice]

Salut Lavazavio

nope, pas encore (c'est p-e tout bête mais pour moi y a encore rien de ''vieux'' dans le monde linux )
Mais ça me parait intéressant, je vais essayer (dès que la copie d'hier aura terminer) et je te redis.

Merci !

Ivy

[MarcG]

... la copie d'hier.....

Haie cela a l'air gros, tres gros .....

Regarde la commande "rsync" plutot qu'un cp ..... celle-ci fait "un peut la même chose" mais ne copie pas ce qui n'a pas été modifié, ce qui dans ton cas peut s'avérer bien plus rapide (peut être).

Sinon les repertoires qui ne se copie pas, ne sont ils pas des liens symboliques ?

[IvyAlice]

Salut MarcG,
Merci pour ta réponse.
En fait, avant ça, on utilisait RSnapshot pour faire ce qu'on essaie de faire maintenant avec nos CP.
RSnapshot, lui, se chargeait de lancer des RSync, mais le problème c'est qu'on avait parfois des dossier avec tellement de fichiers dedans, que RSync n'est jamais parvenu à la fin de sa copie sans planter. En fait il n'est jamais arrivé à la fin tout court.
(enfin bon il faut dire qu'on essayait de faire un full avec RSync si je me souvient bien)
C'est pourquoi on s'est tourné vers cette solution. Ce scripte ne devait servir que -disons- une fois par mois, mais suite à une longue histoire il s'est retrouvé promu au poste de quotidien.

Mais ça me donne des idées, ça serait p-e intéressant de faire un full en début de semaine/mois avec un (satané) CP et de faire tourner un RSync quand il y a moins à faire le reste de la semaine/mois

à bientôt

Ivy

[IvyAlice]

Hello tout le monde,

J'ai enfin un peu de temps pour essayer des trucs avec notre matos pendant qu'il n'est pas utilisé.
J'ai lancé les commandes à la main la copie de mon répertoire complet , deux fois, une fois avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cp -r monRepSource monRepDest

là, comme d'hab, il m'a copié qu'un sous-répertoire
ensuite avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cp -rf monRepSource monRepDest

et là à ma grande surprise, il m'a copié aussi qu'un sous-répertoire, puis m'affiche le message suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

File size limit exceeded

PS: il n'y a rien dans /etc/security/limits.conf, ce n'est donc pas une limitation souhaitée.
PS2: notre destination est un système formaté en vfat.

Donc je ne suis pas plus avancée...
J'imagine que le problème sera exactement le même lorsque je copierai chaque sous-dossier (enfin les autres sous-dossiers du répertoire seront présent, mais j'parie qu'il manquera les fichiers qui sont dans le sous-dossier qui pose problème mais après le problème... heu ... c'est un peu mélimélo ce que je dis)
misère -_-
Il n'y aurait pas un truc qui permette de copié bit-à-bit sur un disque externe ?

[MarcG]

haaaaaa tu ecris sur du Vfat ....... depuis du ext3, la taille limite d'un fichier n'est pas la même !
sur du Vfat sauf erreur de ma part c'est 2 Go MAX. Et la pas de solution autre que ne pas copier sur du vfat......

Apres tout depend l'objectif de la copie sur disque externe : Si c'est "de la sauvegarde" pourquoi garder du VFAT ?

Une copie bit a bit pourrait être envisagée, un peut comme sur une bande magnetique, mais la ce sera de la restauration "tout ou rien" (copie en mode "raw") type dd if = "mon filesystem" of = "mon device". device etant "le disque" et non pas "la partition".
ou un "tar -cvf /dev/le dd". Dans tout les cas la recuperation des données ne peut se faire que par la même commande.

[IvyAlice]

Salut MarcG,
Merci pour ta réponse.
Moui en effet... je ne sais pas trop pourquoi on garde du vfat, en plus ça fait perdre tous les droits.
Ah donc c'est pas tellement pratique en bit à bit
Bon je vais de ce pas commencer à tester si ça marche en ext3 ( apriori il n'y a pas de raisons que ça n'aille pas) mais ça ne risque pas d' overloader le serveur si il se met à copier des fichiers de 18 Go ? (si,si, il y a des users qui ont des fichiers de cette taille Oo)



- à suivre ce soir après l'essai -

[MarcG]

Arf 18 Go ......
overloader tout depend de l'heure et de l'activité du serveur durant la copie.
Une solution c'est de lancer la copie (reste que rsync si tout n'est pas modifier va prendre bien moins de temps) avec une priorité basse :
nice -n 20 ta_commande ou script de copie.
Cela pénalisera tres nettement moins les users tout en utilisant au mieux les ressources du serveur pour la copie.
Par contre a tu mesuré le risque q'un "user" utilise un fichier que tu copie ?

[IvyAlice]

re,
Malheureusement RSync ne parvenait pas au bout de sa tâche, étant donné le nombre abracadabrant de petit fichiers que contenait certains dossiers :-/
Oui, le nice est à tester, je n'ai pas pu aller au bout de mes testes ce matin (partir en laissant le serveur sans surveillance alors que la charge augmentait constamment ne m'a pas paru une bonne idée).
Là pourtant on est déjà à un nice de 16.
Faut dire que ce que font les utilisateurs, sauf manip particulière (et très rare) ne charge pas le serveur (on fait notre surveillance avec nagios, je ne le connais pas encore très bien, mais là le load average du serveur concerné est à 0.01, avec le teste de ce matin, il est monté à 9.59 en moins de 20 minutes Oo)
Je tâcherai de tester ce soir quand il y aura moins d'utilisateurs, au cas ou.

Oui, notre backup se fait sur >24h donc ça serait presque un miracle s'il n'y avait aucun fichiers utilisé qui soit copié en même temps, ça fait planter ça ??
Bon ça me parait quand même drôle par ce que c'est toujours les mêmes sous-répertoires qu'il manque.

[IvyAlice]

Hello,
Après avoir tester la copie d'un des répertoire posant problème(avec cp -a ), j'ai vu que ça marchait (ça surcharge pas mal mais pas jusqu'à faire planter le serveur)
Donc hier soir j'ai lancé le backup comme ça(dans le scripte, cp -dR, à modifier), on verra si la charge tient le coup jusqu'au bout ( là il en est environ à la moitié)

Hm... maintenant que j'aurai ce backup full sur HD, je pourrais utiliser sur le même HD des RSync, comme tu disais, MarcG ça va bien moins charger le serveur.
Les ennuis c'est que je dois refaire tous les scriptes (d'ici ce soir,lol après je suis en vacances ) et qu' il y a des trucs copiés, mais il y a aussi des truc zippé en tar Oo.

Misère on aurait eu meilleur temps de faire que des CP

Cette solution est à étudier.

PS : avec ext3 manifestement, ce sont les copies qui chargent énormément le serveur, la compression en tar sur la destination charge très peu, même si la source se trouve sur le serveur.

Bonne journée à tous , je reste à l'écoute de vos avis, conseils et autre recommandation.

Merci encore

[IvyAlice]

Pour l'anecdote amusante, j'ai découvert hier que de toute façon on utilisait des ACL pour les droits sur nos dossiers, donc pas pris en charge ni par tar ni par cp