Discussion :

[cpalperou]

Bonjour,
voici mon problème.
J'ai grossomodo 1 millions de fichiers disséminés une arborescence de dossier du type ./yyyy/mm/dd (année mois jour).
La 3ème ligne du header de chacun de ces fichiers doit se terminer par la lettre K. Or, il est possible que pour certains d'entre eux (peu pour moi serait le mieux) la 3ème ligne ne se termine pas par cette lettre.
Je voudrais donc écrire un script permettant de scanner l'intégralité des fichiers, de repérer ceux n'ayant pas la bonne 3ème ligne et de les copier dans un répertoire temporaire.
Pouvez vous SVP m'aiguiller?
Merci beaucoup

[N_BaH]

Bonjour,

tu rediriges la sortie de find vers le read d'une boucle while, dans laquelle tu extrais le dernier caractère de la troisième ligne du fichier en cours avec sed pour tester s'il vaut "K".

[frp31]

Bonjour,
Je voudrais donc écrire un script permettant de scanner l'intégralité des fichiers, de repérer ceux n'ayant pas la bonne 3ème ligne et de les copier dans un répertoire temporaire.
Pouvez vous SVP m'aiguiller?
Merci beaucoup

si c'est temporaire il est inutile de copier les fichiers tu fais une liste des fichiers dans /tmp/

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec grep -l ".*..K$" {} \; > /tmp/toto

ça donne une liste sous la forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
./l
./k

exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
sh-4.2$ touch {a,b,c,d,e,f,g,h,i,j}
sh-4.2$ ls
a  b  c  d  e  f  g  h  i  j
sh-4.2$ echo "cvK" >k
sh-4.2$ echo "cvK" >l
sh-4.2$ find . -type f -exec grep -l ".*..K$" {} \; 
./l
./k
sh-4.2$ rm [a-l]

après il te reste plus qu'à relire ton fichier temporaire pour lancer un éventuel traitement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
while read
do 
#traitement de $REPLY
done < /tmp/tonfichier_de_liste

donc en une seule passe ça devient :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
while read
do 
#traitement de $REPLY
done < $( find /chemin/de/depart -type f -exec grep -l ".*..K$" {} \; 2> /dev/null )

[jack-ft]

si c'est temporaire il est inutile de copier les fichiers tu fais une liste des fichiers dans /tmp/

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec grep -l ".*..K$" {} \; > /tmp/toto

ça marche, ça, pour tester si la 3ème ligne finit par K?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec sh -c "head -3 {} | tail -1 | egrep -q -v 'K$' && echo {}" \; > /tmp/liste_fichiers.txt

y a probablement plus rapide...

Sinon, on peut aussi copier directement:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec sh -c "head -3 {} | tail -1 | egrep -q -v 'K$' && cp {} /le/repertoire" \;

BUG: ça rend un faux-positif pour un fichier de moins de 3 lignes (donc 1 ou 2) dont la dernière ne se termine pas par K.

[zipe31]

Sinon, on peut aussi copier directement:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec sh -c "head -3 {} | tail -1 | egrep -q -v 'K$' && cp {} /le/repertoire" \;

BUG: ça rend un faux-positif pour un fichier de moins de 3 lignes (donc 1 ou 2) dont la dernière ne se termine pas par K.

Changer head -3 {} | tail -1 | par sed -n '3p' {} |

[jack-ft]

Changer head -3 {} | tail -1 | par sed -n '3p' {} |

Ah ben ouais!
Va vraiment falloir que je mette à sed...

[zipe31]

Ah ben ouais!
Va vraiment falloir que je mette à sed...

Et à awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /chemin/de/base -type f -exec  awk 'NR==3 && $NF =! /K$/ { print FILENAME }' {} \;

PS. Je laisse le soin aux fortiches en awk de rajouter la commande qui va bien pour copier directement les fichiers dans /tmp... merci

[jack-ft]

Et à awk

Ah ben non! awk, ça va! Je veux dire que je peux écrire un programme de plusieurs pages (c'est plus dur pour les programmes en 1 ligne et demi que nous pondent certains ici!), mais, au moins, je suis autonome... parce que pour sed, avec sa syntaxe, c'est une autre paire de manches (on dirait de l'APL... (pour moi!)).

[cpalperou]

Bonjour et merci pour vos réponses.
J'ai donc essayé cette commande basée sur vos réponses:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find ./ -type f -exec sh -c "sed -n '3p' {} | egrep -q -v 'K$' && cp {} /tmp/toto" \;

Je dois scanner les répertoires /home/data/yyyy/mm/dd/ , je me suis donc mis sous /home/data/ et j'ai executée la commande.

Si je comprends bien, je devrais avoir dans le fichier /tmp/toto les noms des fichiers dont la 3ème ligne se termine par K sous la forme /yyyy/mm/dd/filename . Est-ce correct?
Or, mon fichier /tmp/toto contient un des fichiers de mon arborescence (pas son nom, le contenu de ce fichier).
Je pense donc faire une bétise dans mon adaptation des commandes que vous me proposez.

Autre détail d'importance (qui n'est donc pas un détail!), il ne s'agit pas du dernier caractère de la 3ème ligne mais de l'avant-avant-avant dernier.
C'est à dire que la 3ème igne se termine soit par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/J  "

soit par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/K  "

merci beaucoup

[zipe31]

Si je comprends bien, je devrais avoir dans le fichier /tmp/toto les noms des fichiers dont la 3ème ligne se termine par K sous la forme /yyyy/mm/dd/filename . Est-ce correct?

Euh... non. Tu dois avoir le nom des fichiers dont la 3ème ligne NE se termine PAS par "K", selon ta demande initiale.

Or, mon fichier /tmp/toto contient un des fichiers de mon arborescence (pas son nom, le contenu de ce fichier).
Je pense donc faire une bétise dans mon adaptation des commandes que vous me proposez.

Bizarre, parce que la même commande chez moi retourne bien le nom du fichier et non son contenu

Autre détail d'importance (qui n'est donc pas un détail!), il ne s'agit pas du dernier caractère de la 3ème ligne mais de l'avant-avant-avant dernier.
C'est à dire que la 3ème igne se termine soit par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/J  "

soit par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/K  "

Il suffit de remplacer "K$" par "[JK]..$" dans le "grep".

Voila un exemple chez moi...

Le contenu de mon répertoire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ ls
f1  f2  f3  f4  f5

Le contenu des fichiers (seuls f2 et f3 remplissent les conditions, à savoir le caractère J ou K en antépénultième place de la 3 ème ligne) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
$ head * | cat -A
==> f1 <==$
1$
2$
3$
4$
5$
6$
7$
$
==> f2 <==$
1$
2$
3J  $
4$
5$
6$
7$
$
==> f3 <==$
1$
2$
3K  $
4$
5$
6$
7$
$
==> f4 <==$
1$
2$
3$
4$
5$
6$
7$
$
==> f5 <==$
1$
2$
3$
4$
5$
6$
7$

La commande avec "sed" (je ne fais qu'afficher les fichiers avec la commande "echo") :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ find /home/jp/trash/ -type f -exec sh -c "sed -n '3p' {} | egrep -q -v '[JK]..$' && echo {}" \;
/home/jp/trash/f5
/home/jp/trash/f4
/home/jp/trash/f1

La même avec "awk :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ find /home/jp/trash/ -type f -exec awk 'NR==3 && $0 =! /[JK]..$/ { print FILENAME }' {} \;
/home/jp/trash/f5
/home/jp/trash/f4
/home/jp/trash/f1

[jack-ft]

Bizarre, parce que la même commande chez moi retourne bien le nom du fichier et non son contenu

àmha vous ne parlez pas du même script!
Dans mon premier post, j'avais fourni les 2 versions:
celle qui copie les noms dans un fichier (avec 'echo')
et celle qui copie les fichiers dans un répertoire (avec 'cp').

[zipe31]

àmha vous ne parlez pas du même script!
Dans mon premier post, j'avais fourni les 2 versions:
celle qui copie les noms dans un fichier (avec 'echo')
et celle qui copie les fichiers dans un répertoire (avec 'cp').

Si si j'avais bien noté, je le dis d'ailleurs, je me cite "La commande avec "sed" (je ne fais qu'afficher les fichiers avec la commande "echo")", en sous-entendant par "fichiers" le nom des fichiers. C'était surtout pour bien voir ce que contenait les "{}"

Mais bon, peut importe la commande (echo, cp, etc.) si le résultat était autre que le nom du fichier, echo l'afficherait et cp renverrait un message d'erreur, non ?

[jack-ft]

il ne s'agit pas du dernier caractère de la 3ème ligne mais de l'avant-avant-avant dernier.
C'est à dire que la 3ème igne se termine soit par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/J  "

soit par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/K  "

J'ai un peu de mal avec les spécifications incrémentales...

Veux-tu dire que la 3ème ligne d'un quelconque fichier se termine TOUJOURS soit par '/J ' soit par '/K ' et que tu veux:
déterminer lesquels se terminent par '/K '?
ou lesquels NE se terminent PAS par '/K '?
ou lesquels se terminent par '/J '?
ou lesquels se terminent par '/J ' ou '/K '?
ou lesquels ne se terminent ni par '/J ' ni par '/K '?
ou lesquels se terminent à la fois par '/J ' et par '/K '?

Rayez les mentions inutiles...

[cpalperou]

Bonjour,
j'ai résolu mon problème avec la superbe commande ci-dessous. Elle marche très bien et est très rapide:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
while read f; do
  [ -z "$(grep "REF_DOC.*/K" <(head -4 $f))" ] && echo $f;
done < <(find /home/20?? -type f) > /home/list.tmp.txt

REF_DOC est un terme contenu aussi dans toutes les 3 ème lignes de mes fichiers.
Merci à tous

[jack-ft]

Bonjour,
j'ai résolu mon problème avec la superbe commande ci-dessous. Elle marche très bien et est très rapide:

Probablement un poil plus rapide (en testant le status du grep et non la chaine retournée sur la stdout):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while read f; do
  grep -q "REF_DOC.*/K" <(head -4 $f) || echo $f;
done < <(find /home/20?? -type f) > /home/list.tmp.txt

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find /home/20?? -type f -exec awk 'FNR==3 && ! /K$/{print > "/home/list.tmp.txt"}' {} \+